ISSN : 1229-067X
컴퓨터 기반 적응적 검사는 이전에 제시된 문항에 대한 반응을 기반으로 피검사자의 잠재 특질 수준을 추정하기에 가장 적절한 다음 문항을 선택해 출제함으로써 피검사자별 맞춤형 검사를 제시하는 컴퓨터 기반 검사형태다. 컴퓨터 기반 적응적 검사 제작의 핵심 요소 중 하나는 문항 선정 알고리즘이라 할 수 있으며, 최근 결정-트리를 이용한 적응적 심리 검사 구성에 대한 관심과 적용 사례가 늘어나고 있다. 결정-트리는 기계학습 분야에서 주로 연구되어온 예측 모형 중 하나로서 쉽게 해석 가능한 트리-구조를 가진다는 장점에도 불구하고 과적합 문제에 매우 취약하다는 것이 알려져 있다. 본 연구의 목적은 기계학습 분야에서 결정-트리의 대안으로 제시된 앙상블 모형 중에서 해석 가능한 트리-구조를 지닌 Alternating Model Tree (AMT)가 컴퓨터 기반 적응적 심리 검사 제작에 활용될 수 있는지 탐색하는 데 있다. 이를 위해 먼저 AMT의 작동 방식을 적응적 검사의 특징에 비추어 상술하였고, 검사 점수를 예측하는 AMT 기반의 적응적 검사와 결정-트리 기반의 적응적 검사의 예측 성능을 두 개의 심리 검사를 대상으로 비교하였다. 그 결과, AMT는 적응적 검사의 특징을 가지는 것으로 확인되었고, AMT 기반 적응적 심리 검사의 성능은 결정-트리 기반 적응적 심리 검사의 성능과 유사하거나 더 나은 결과를 보였다. 이러한 결과를 바탕으로 본 연구의 의의와 한계, 후속연구에 대한 제언 등을 논의하였다.
Computerized adaptive testing (CAT) is a computer-administered test where the next question for estimating the examinee’s trait level is selected depending on his or her reponses to the previous items, resulting in tailored testing for each individual examinee. A defining feature of CAT stems from its item selection algorithms, among which both research interest and practical applications of decision-tree based CAT (DT-based CAT) have been rising recently. In the field of machine learning, however, it is well known that decision-trees, as a form of predictive models with simple and interpretable tree structures, can be vulnerable to the problem of overfitting or the problem of creating overly complex trees that do not generalize to newly observed data. Among various ensemble techniques developed to adequately address this problem, we the authors paid attention to the Alternating Model Tree (AMT) due to its interpretable tree-like structure. The purpose of this article is to investigate the viability of the Alternating Model Tree (AMT) as an item selection algorithm for constructing CAT. To this end, we first presented a detailed exposition of how AMT-based CAT can be constructed and then compared its performance with DT-based CAT using two sets of publicly available psychological test scores. The results provided supportive evidence that AMT-based CAT is viable, and that AMT-based CAT can predict test scores at least as accurate as DT-based CAT does. Based on our findings, we discuss implications, limitations, and directions of future studies.