- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
분포유사도를 이용한 문헌클러스터링의 성능향상에 대한 연구
Improving the Performance of Document Clustering with Distributional Similarities
초록
이 연구에서는 분포 유사도를 문헌 클러스터링에 적용하여 전통적인 코사인 유사도 공식을 대체할 수 있는 가능성을 모색해보았다. 대표적인 분포 유사도인 KL 다이버전스 공식을 변형한 Jansen-Shannon 다이버전스, 대칭적 스큐 다이버전스, 최소 스큐 다이버전스의 세 가지 공식을 문헌 벡터에 적용하는 방안을 고안하였다. 분포 유사도를 적용한 문헌 클러스터링 성능을 검증하기 위해서 세 실험 집단을 대상으로 두 가지 실험을 준비하여 실행하였다. 첫 번째 문헌 클러스터링 실험에서는 최소 스큐 다이버전스가 코사인 유사도 뿐만 아니라 다른 다이버전스 공식의 성능도 확연히 앞서는 뛰어난 성능을 보였다. 두 번째 실험에서는 피어슨 상관계수를 이용하여 1차 유사도 행렬로부터 2차 분포 유사도를 산출하여 문헌 클러스터링을 수행하였다. 실험 결과는 2차 분포 유사도가 전반적으로 더 좋은 문헌 클러스터링 성능을 보이는 것으로 나타났다. 문헌 클러스터링에서 처리 시간과 분류 성능을 함께 고려한다면 이 연구에서 제안한 최소 스큐 다이버전스 공식을 사용하고, 분류 성능만 고려할 경우에는 2차 분포 유사도 방식을 사용하는 것이 바람직하다고 판단된다.
- keywords
- distributional similarity, divergence, second-order similarity, document clustering, automatic classification, distributional similarity, divergence, second-order similarity, document clustering, automatic classification, 분포유사도, 다이버전스, 2차 유사도, 문헌 클러스터링, 자동분류, distributional similarity, divergence, second-order similarity, document clustering, automatic classification
Abstract
In this study, measures of distributional similarity such as KL-divergence are applied to cluster documents instead of traditional cosine measure, which is the most prevalent vector similarity measure for document clustering. Three variations of KL-divergence are investigated; Jansen-Shannon divergence, symmetric skew divergence, and minimum skew divergence. In order to verify the contribution of distributional similarities to document clustering, two experiments are designed and carried out on three test collections. In the first experiment the clustering performances of the three divergence measures are compared to that of cosine measure. The result showed that minimum skew divergence outperformed the other divergence measures as well as cosine measure. In the second experiment second-order distributional similarities are calculated with Pearson correlation coefficient from the first-order similarity matrixes. From the result of the second experiment, second-order distributional similarities were found to improve the overall performance of document clustering. These results suggest that minimum skew divergence must be selected as document vector similarity measure when considering both time and accuracy, and second-order similarity is a good choice for considering clustering accuracy only.
- keywords
- distributional similarity, divergence, second-order similarity, document clustering, automatic classification, distributional similarity, divergence, second-order similarity, document clustering, automatic classification, 분포유사도, 다이버전스, 2차 유사도, 문헌 클러스터링, 자동분류, distributional similarity, divergence, second-order similarity, document clustering, automatic classification
참고문헌
정영미. (2005). 정보검색연구. , -.
정영미. (2001). 지식 분류의 자동화를 위한 클러스터링 모형 연구. 18(2), 203-230.
Dagan, Ido. (1999). Similarity-based models of cooccurrence probabilities. 34(1-3), 43-69.
Griffith, A. (1984). Hierarchic agglomerative clustering methods for automatic document classification. , 175 3-11.
Kullback, S. (1951). On information and sufficiency. , -.
Kullback, Solomon. (1968). Information Theory and Statistics. , -.
Lee, Lillian. (1999). Measures of distributional similarity. , 25-32.
Lee, Lillian. (2001). On the effectiveness of the skew divergence for statistical language analysis. , 65-72.
Lin, Dekang. (1998). Automatic retrieval and clustering of similar words. 98, 768-773.
Lin, Jianhua. (1991). Divergence measures based on the Shannon entropy. , 145-151.
Pereira, Fernando. (1993). Distributional clustering of English words. , -.
Theodoridis, S. (2003). Pattern Recognition. , -.
Weeds, J. E.. (2003). Measures and Applications of Lexical Distributional Similarity. , -.
White, H. D. (1981). Author cocitation: a literature measure of intellectual structure. , 163-171.
Griffiths, A. (1986). Using interdocument similarity information in document retrieval systems. , -.
Lee, Lillian. (1999). Distributional similarity models: Clustering vs. nearest neighbors. , 33-40.
Salton, Gerard. (1983). Introduction to Modern Information Retrieval. , -.
- 다운로드 수
- 조회수
- 0KCI 피인용수
- 0WOS 피인용수