바로가기메뉴

본문 바로가기 주메뉴 바로가기

ACOMS+ 및 학술지 리포지터리 설명회

  • 한국과학기술정보연구원(KISTI) 서울분원 대회의실(별관 3층)
  • 2024년 07월 03일(수) 13:30
사전등록 바로가기
 

logo

  • ENGLISH
  • P-ISSN1229-067X
  • E-ISSN2734-1127
  • KCI

ISSN : 1229-067X

논문 상세

이전 다음
논문 투고

Vol.28 No.3

Citation Share

급내 상관과 일반화가능도 이론 간의 이론적 및 경험적 비교

A Theoretical and Empirical Comparison between Intraclass Correlation and Generalizability

한국심리학회지: 일반 / Korean Journal of Psychology: General, (P)1229-067X; (E)2734-1127
2009, v.28 no.3, pp.659-686
김지윤 (성균관대학교)
여성칠 (건국대학교)
이순묵 (성균관대학교)
김지윤, 여성칠, & 이순묵. (2009). 급내 상관과 일반화가능도 이론 간의 이론적 및 경험적 비교. 한국심리학회지: 일반, 28(3), 659-686.

초록

자료의 신뢰도를 추정하기 위해 연구자들은 여러 가지 방법을 통해 신뢰도 계수를 산출한다. 신뢰도를 나타내는 대표적인 방법은 계수, 급내 상관(intraclass correlation), 그리고 일반화가능도 이론(Generalizability theory)이다. 세 이론 모두 고전검사이론에 기초한 추정 방법으로서 공분산의 모형(계수), 분산분석(ANOVA)의 모형(급내 상관, 일반화가능도 이론)을 적용하므로 많은 공통점이 있지만, 모두가 서로 다른 가정들에 근거하여 각각의 신뢰도 값을 산출한다. 그럼에도 불구하고 산출된 신뢰도 값이 동일하다는 점에서, 해석상의 문제를 제기한다. 특히 급내 상관과 일반화가능도 이론에 의한 계수의 해석이 그러하다. 계수는 사용되기 시작한지 60년에 이르는 긴 역사와, 분야를 가리지 않고 보고되는 보편성을 가지고 있다. 그에 비해 상대적으로 복잡성과 포괄성을 더해가는 급내 상관과 일반화가능도 이론은 응용 연구에서 아직은 제한적으로 사용되고 있으며 그 논리가 명확하지 않은 부분이 있다. 특히 급내 상관의 경우, 연구자에 따라 신뢰도에 대한 정의와 해석에서 서로 다른 부분이 확인 되었다. 따라서 본 연구에서는 급내 상관계수의 개념을 서로 다르게 정의한 두 연구를 비교 및 검토하였다. 또한 대부분의 연구에서 신뢰도의 지표로서 제시되는 계수와 비교하여 급내 상관계수와 일반화가능도 이론에서 산출되는 신뢰도 값들 간의 관계를 개념적으로 정리하였다. 특히 급내 상관과 일반화가능도 이론에 따라 다르게 해석되었던 계수가 어떠한 효과로 정의된 신뢰도인지 제시하고, 계수의 값이 동일하게 산출되더라도 그 해석은 자료수집의 모형을 반영하여야 함을 보였다. 따라서 급내 상관, 일반화가능도 이론, 그리고 계수의 관계에 대해 정리를 하고, 실제 자료를 토대로 각각의 신뢰도 계수를 산출하여 세 이론적 개념간 비교를 명확히 하였다.

keywords
신뢰도, 신뢰도 계수, 급내 상관, 일반화가능도 이론, reliability index, Cronbach의, Intraclass Correlation Coefficient, Generalizability

Abstract

Researches report many different measures of reliability to establish accuracy of measurement. Intraclass correlation coefficient and generalizability theory are based on classical test theory and widely used for obtaining reliability measurement. They share some communality, however, they have different assumptions for estimation of reliability measures. If was observed that some measures rooted in different assumptions yield identical values. Also, it was found that definitions of reliability are different across different researchers in the context of intraclass correlation coefficients. In the present study we examined two studies defining the intraclass correlation differently. Also relationships between the reliability measures provided by intraclass correlation coefficient and generalizzbility theory are interpreted in the context of reliability alpha coefficient that is most widely used for a reliability measure.

keywords
신뢰도, 신뢰도 계수, 급내 상관, 일반화가능도 이론, reliability index, Cronbach의, Intraclass Correlation Coefficient, Generalizability

참고문헌

1.

강승호, 김양분 (2004). 신뢰도. 서울: 교육과학사.

2.

김성숙, 김양분 (2001). 일반화가능도 이론. 서울: 교육과학사.

3.

김성숙 (1993). 관찰을 통한 교수 평가 체계에 대한 측정의 일반화 가능도 연구. 교육학연구, 31(1), 23-40.

4.

양지승, 이규민 (2007). 일반화가능도 이론을 적용한 단위검사 구성 검사점수의 신뢰도 추정. 교육평가연구, 20(1), 119-139.

5.

이규민 (2003). 단위검사 개념의 적용-일반화가능도 이론을 중심으로-. 교육평가연구, 16(1), 53-70.

6.

이규민 (2006). 학생들의 동료평가를 활용한 수행평가 결과의 일반화가능도 분석. 교육평가연구, 19(3), 107-121.

7.

이종성 (1989). 일반화가능도 이론. 연세대학교출판부.

8.

이종구 (2001). SAS와 통계자료 분석. 학지사.

9.

Allen, M. J & Yen, W. M. (1979). Introduction to Measurement Theory (1st ed.). Long Grove, Illinois: Waveland Press. Inc.

10.

Anastasi, Anne (1982). Psychological Testing (6th ed.). NY: Macmillan.

11.

Brennan, R. L. (2001). Generalizability theory. NY: Springer.

12.

Brennan, R. L. (1983). Elements of generalizability theory. Iowa City, IA: American College Testing Program.

13.

Buros, O. K. (1963). Schematization of old and new concepts of test reliability based upon parametric models. New Brunswick, NJ: Gryphon Press.

14.

Clark, H. H. (1973). The language-as-fixed-effect fallacy: A critique of language statistics in psychological research. Journal of Verbal Learning and Verbal Behavior, 12(4), 335-359.

15.

Cook, C. (2000). A review of intraclass correlation. The Annual Meeting of the Southwest Educational Research Association. (Dallas, Tx, January 27-29, 2000). 1-35.

16.

Crick, J. E. & Brennan, R. L. (1983). Mannual for GENOVA : A generalized analysis of variation system. Mid-Western Educational Researcher, v9. n2 p.2-4 Spr.

17.

Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika 16(3), 297-334..

18.

Croncach, L. J., Gleser, G. C., Nanda, H., & Rajaratnam, N. (1972). The dependability of behavioral measurements. NY : Wiley.

19.

Ebel, R. L. (1951). Estimation of the reliability of ratings. Psychometrika, 16(4), 407-424.

20.

Fagot, R. F. (1991). Reliability of rating for multiple judges: Intraclass correlation and metric scales, Applied Psychological Measurement. 15(1), 1-11.

21.

Guttman, L. (1945). A basis for analyzing test- retest reliability. Psychometrika, 10, 255-282.

22.

Haggard, E. A. (1958). Intraclass correlation and the analysis of variance. NY: The Dryden Press.

23.

McDonald, R. P. (1999). Test Theory: A unified treatment. Mahwah, NJ: Erlbaum.

24.

McGraw, K. O., & Wong, S. P. (1996). Forming inferences about some intraclass correlation coefficients. Psychological Methods, 1(1), 30-46.

25.

Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420-428.

26.

Weir, J. P. (2005). Quantifying test-retest reliability using the intraclass correlation coefficient and the SEM. Journal of Strength and Conditioning Research, 19(1), 231-240.

27.

Winer, B. J. (1971). Statistical principles in experimental design (2nd ed.). NY: McGraw- Hill.

한국심리학회지: 일반

논문 투고 OA 정책