- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
용어의 문맥활용을 통한 문헌 자동 분류의 성능 향상에 관한 연구
A Study on Improving the Performance of Document Classification Using the Context of Terms
정영미 (연세대학교)
초록
자동 분류에서 문헌을 표현하는 일반적인 방식인 BOW는 용어를 독립적으로 처리하기 때문에 주변 문맥을 반영하지 못한다는 한계가 있다. 이에 본 연구는 각 용어마다 주제범주별 문맥적 특징을 파악해 프로파일로 정의하고, 이 프로파일과 실제 문헌에서의 문맥을 비교하는 과정을 통해 동일한 형태의 용어라도 그 의미나 주제적 배경에 따라 구분하고자 하였다. 이를 통해 주제가 서로 다름에도 불구하고 특정 용어의 출현만으로 잘못된 분류 판정을 하는 문제를 극복하고자 하였다. 본 연구에서는 이러한 문맥적 요소를 용어 가중치, 분류기 결합, 자질선정의 3가지 항목에 적용해 보고 그 분류 성능을 측정했다. 그 결과, 세 경우 모두 베이스라인보다 분류 성능이 향상되었고 가장 큰 성능 향상을 보인 것은 분류기 결합이었다. 또한 제안한 방법은 학습문헌 수가 많고 적음에 따라 발생하는 성능의 편향을 완화하는데도 효과적인 것으로 나타났다.
- keywords
- 자동분류, 문맥프로파일, 용어가중치, 분류기 결합, 자질선정, document classification, context profile, term weighting, ensemble classifier, feature selection, document classification, context profile, term weighting, ensemble classifier, feature selection
Abstract
One of the limitations of BOW method is that each term is recognized only by its form, failing to represent the term’s meaning or thematic background. To overcome the limitation, different profiles for each term were defined by thematic categories depending on contextual characteristics. In this study, a specific term was used as a classification feature based on its meaning or thematic background through the process of comparing the context in those profiles with the occurrences in an actual document. The experiment was conducted in three phases; term weighting, ensemble classifier implementation, and feature selection. The classification performance was enhanced in all the phases with the ensemble classifier showing the highest performance score. Also, the outcome showed that the proposed method was effective in reducing the performance bias caused by the total number of learning documents.
- keywords
- 자동분류, 문맥프로파일, 용어가중치, 분류기 결합, 자질선정, document classification, context profile, term weighting, ensemble classifier, feature selection, document classification, context profile, term weighting, ensemble classifier, feature selection
참고문헌
김판준. (2008). 용어 가중치부여 기법을 이용한 로치오 분류기의 성능 향상에 관한 연구. 정보관리학회지, 25(1), 211-233.
이재윤. (2005). 문헌간 유사도를 이용한 SVM 분류기의 문헌분류성능 향상에 관한 연구. 정보관리학회지, 22(3), 261-287.
이지혜. (2009). 지도적 잠재의미색인(LSI)기법을 이용한 의견 문서 자동 분류에 관한 실험적 연구. 정보관리학회지, 26(3), 451-462.
정은경. (2009). 문서범주화 성능 향상을 위한 의미기반 자질확장에 관한 연구. 정보관리학회지, 26(3), 261-278.
David, D. L.. (2004). Reuters-21578 text categorization test collection distribution 1.0. http://www.daviddlewis.com/resources/testcollections/reuters21578/.
Gabrilovich, E.. (2009). Wikipedia-based semantic interpretation for natural language processing. Journal of Artificial Intelligence Research, 34(2009), 443-498.
Huynh, D.. (2011). A new term ranking method based on relation extraction and graph model for text classification (145-152). Proceedings of the Australasian Computer Science Conference (ACSC 2011).
Porter, M.. (1980). An algorithm for suffix stripping. Program, 14(3), 130-137.
Sable, C.. (2002). NLP found helpful(at least for one text categorization task) (172-179). Proceedings of the Conference on Empirical Methods in Natural Language Processing(EMLNLP).
Wang, P.. (2008). Building semantic kernels for text classification using wikipedia (713-721). Proceeding of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.
- 다운로드 수
- 조회수
- 0KCI 피인용수
- 0WOS 피인용수