2개 논문이 있습니다.
실험자료 분석을 위해 다층모형을 사용하는 경우, 무선효과 구조 설정에 따라 가설 검정의 결과가 달라질 수 있다. 선행연구들에 따르면, 무선효과 구조를 선택하는 방법 중 우도비 검정(likelihood-ratio test; LRT)은 분산의 모수 공간 제약으로 인해 영가설 분포의 모양이 표준적인 카이제곱 분포와 일치하지 않는다. 본 연구에서는 몬테카를로 시뮬레이션을 통해 무선효과 구조를 검정하기 위한 LRT 영가설 분포의 모양, 1종 오류 비율, 수렴 실패율에 대해 알아보았다. 본 연구를 진행함에 앞서, 고정효과를 검정하기 위한 LRT 영가설 분포의 모양을 확인함으로써 본 연구방법의 타당성을 확보하였다. 실험설계와 참가자 수, 문항 수를 조작하여 시뮬레이션 실험을 수행한 결과, 무선효과 구조를 검정하기 위한 LRT 영가설 분포의 평균, 분산, 95분위수와 99분위수는 모든 조건에서 표준적인 카이제곱 분포보다 작았다. 표준적인 카이제곱 분포를 사용하여 LRT를 수행했을 때 1종 오류 비율 또한 유의수준인 .05보다 작았다. 실험설계가 복잡하고 무선효과 구조에 상관 구조를 포함한 모형에서 추정 과정에서 수렴에 실패가 빈번하게 발생하였다. 경험적 연구자들이 실험조건 효과 검정을 위해 다층모형을 사용할 때 모형의 무선효과 구조 선택 시 주의할 점을 논의하였다.
When using a multilevel model to analyze experimental data, the results of hypothesis testing can vary depending on the random effects structure. Previous studies have shown that the likelihood ratio test (LRT) for selecting the random effect structure does not match the shape of the null distribution with the theoretical chi-squared distribution due to the parameter space constraints of the variance. In this study, we investigate the shape, the type 1 error rate, and convergence failure rate of null distribution of LRT to select random effects structures through Monte Carlo simulations. Before proceeding with this study, the validity of the methodology was secured by checking the shape of null distribution of LRT for testing fixed effects. We conducted simulations by manipulating the experimental design, number of participants, and number of items, and found that the mean, variance, 95th and 99th percentiles of null distribution of LRT for selecting random effects structures were smaller than the theoretical chi-squared distribution under all conditions. When LRT was performed using the theoretical chi-squared distribution, the type 1 error rate was smaller than .05 significance level. The convergence failure occurred frequently in models with complex experimental designs and correlation structure in the structure of the random effects. The caveats of choosing the model’s random effects structure were discussed for empirical researchers when using multilevel models to test for experimental condition effects.
실제 자료를 이용할 때 여러 통계 모형의 필수 가정인 정규성 가정을 위배하는 경우가 빈번하게 일어남에 따라 비정규성과 관련한 시뮬레이션의 필요성이 대두되고 있다. 이 과정에서 가장 중요한 것은 연구 목적에 맞는 비정규 자료의 생성인데, 현재 여러 자료 생성 방법들이 제시된 것에 비해 생성 절차에 대하여 구체적으로 논의한 연구는 아직 부족하다. 이에 따라 본 연구에서는 시뮬레이션을 위한 비정규 자료 생성 절차를 단계적으로 보임으로써 연구자가 참고할 수 있는 가이드라인을 제시하고자 한다. 특히 가장 많이 사용되는 자료 생성 방법인 power method를 바탕으로 비정규 자료 생성 절차에 대해 논의하며, 이를 바탕으로 실제 비정규 자료 생성 예시 및 연구자가 활용할 수 있는 코드를 제시함으로써 연구 목적에 맞는 비정규 자료를 생성하는 절차에 대한 이해를 높이고 추후 연구자가 응용할 수 있는 도구를 제공한다.
As many real datasets do not satisfy the normality assumption, the need for simulation studies related to nonnormality has arisen. To conduct such simulation studies, it is important to generate appropriate non-normal data. Although many non-normal data generation methods have been developed, there is a lack of studies that discuss the entire process of non-normal data generation. Therefore, this study offers guidelines that researchers can consider for conducting simulation studies by outlining the process of non-normal data generation with specified steps. Specifically, the non-normal data generation process will be discussed based on the power method, which is the most widely used technique for generating non-normal data, and the program and functions that researchers can utilize will also be examined. Furthermore, by providing a real example of non-normal data generation based on a two-factor CFA model along with the program code, we expect that this study will enhance understanding of the data generation process while providing tools that researchers can use.