- P-ISSN2466-2542
- KCI
정보검색에서의 언어모델 적용에 관한 분석
An analysis of the Application of the Language Models for Information Retrieval
정영미 (동의대학교)
초록
본 연구의 목적은 정보검색 분야에서의 언어모델의 적용에 관한 연구동향을 개관하고 이 분야의 선행연구 결과들을 분석해 보는 것이다. 선행연구들은 (1)전통적인 모델 기반 정보검색과 언어모델링 정보검색의 성능 비교 실험에 초점을 두고 있는 1세대 언어모델링 정보검색(LMIR)과 (2)기본적인 언어모델링 정보검색과 확장된 언어모델링 정보검색의 성능 비교를 통해 보다 우수한 언어모델링 확장기법을 찾아내는 것에 초점을 두고 있는 2세대 LMIR로 구분하여 분석하였다. 선행연구들의 실험결과를 분석해 본 결과 첫째, 언어모델링 정보검색은 확률모델, 벡터모델 정보검색보다 그 성능이 뛰어나고, 둘째 확장된 언어모델들은 기본적인 언어모델 정보검색보다 그 성능이 우수한 것으로 나타났다.
- keywords
- 언어모델, 정보검색, 통계적 언어모델, Language Model(LM), Information Retrieval, Statistically Language Model(SLM), Language Model(LM), Information Retrieval, Statistically Language Model(SLM)
Abstract
The purpose of this study is to examine the research trends and their experiment results on the applications of the language models for information retrieval. We reviewed the previous studies with the following categories: (1) the first generation of language modeling information retrieval (LMIR) experiments which are mainly focused on comparing the language modeling information retrieval with the traditional retrieval models in their retrieval performance, and (2) the second generation of LMIR experiments which are focused on comparing the expanded language modeling information retrieval with the basic language models in their retrieval performance. Through the analysis of the previous experiments results, we found that (1) language models are outperformed the probabilistic model or vector space model approaches, and (2) the expended language models demonstrated better results than the basic language models in their retrieval performance.
- keywords
- 언어모델, 정보검색, 통계적 언어모델, Language Model(LM), Information Retrieval, Statistically Language Model(SLM), Language Model(LM), Information Retrieval, Statistically Language Model(SLM)
참고문헌
강미경, (2003) 효율적인 문서처리를 위한 띄어쓰기 교정 기법 개선, 한국정보과학회
강승식, (2001) 음절 bigram을 이용한 띄어쓰기 오류의 자동 교정,
박선희 ; 노용완 ; 홍광석, (2004) 문장음성인식을 위한 VCCV 기반의 언어모델과 Smoothing 기법 평가, 정보처리학회논문지. 소프트웨어 및 데이터 공학
심철민, (1996) 언어 정보에 기반한 한국어 철자 검사와 교정기의 구현,
이도길, (2003) 한글 문장의 자동 띄어쓰기를 위한 두 가지 통계적 모델 소프트웨어 및 응용,
이진석, (1999) K-SLM Toolkit을 이용한 한국어의 통계적 언어 모델링 비교,
최학윤, (2003) Back-off bigram을 이용한 대용량 연속어의 화자적응에 관한 연구, 한국통신학회논문지C
Croft, (2001.) John Lafferty. Workshop on Language Modeling and Information Retrieval. Carnegie Mellon University,
Croft, (2003) Language Models for Information Retrieval Proceedings of the 19th International Conference on Data Engineering,
Gao, (20042002) Dependence Language Model for Information Retrieval A Language Modeling Approach to Relevance Profiling for Document Browsing,
Jin, (2002) Title Language Model for Information Retrieval,
Jin, (2002) Language Model for IR Using Collection Information,
List, (2003) The Tijah XML-IR System at INEX 2003,
Liu, (2002) Passage Retrieval Based On Language Models,
Luk, (feb.2002) A Survey in Indexing and Searching XML Document,
Lyer, (1999) Relevance Weighting for Combining Multi-domain Data for N-gram Language Modeling,
Metzler, (2004) Combining the Language Model and Inference Network Approaches to Retrieval,
Miller, (1999) In Proceedings of the 22nd Annual International ACM SIGIR Conference,
Ogilvie, (2003) In Proceedings of the First Workshop of the INitiative for the Evaluation of XML Retrieval,
Ogilvie, (2004) Hierarchical Language Models for XML Component Retrieval In Pre-Proceedings of the Workshop of the INitiative for the Evaluation of XML Retrieval,
Ponte, (1998) A Language Modeling Approach for Information Retrieval,
Rosenfeld, (2000) Two Decades of Statistical Language Modeling Where Do We Go From Here? In Proceeding of the IEEE,
Si, (2002) A Language Modeling Framework for Resource Selection and Results Merging,
Song, (1999) A General Language Model for Information Retrieval,
Sparck Jones, (2003.) Language Modeling for Information Retrieval. London, Kluwer Academic Publishers
Srinkanth M, (2002) Bi-term Language Models for Document Retrieval,
Hugo, (2003) Bayesian Extension to the Language Model for Ad Hoc Information Retrieval,
John Lafferty, (2001) and Risk Minimization for Information Retrieval,
John Lafferty, (2001) Model-based Feedback in the Language Modeling Approach to Information Retrieval,
John Lafferty, (2002) Two-Stage Language Models for Information Retrieval,
John Lafferty, A Study of Smoothing Methods for Language Models Applied to Information Retrieval ACM Transactions on Information Systems,
- 다운로드 수
- 조회수
- 0KCI 피인용수
- 0WOS 피인용수