- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
뇌파측정기술을 활용한 언어 기반 사운드 요약의 생성 방안 연구
Towards the Generation of Language-based Sound Summaries Using Electroencephalogram Measurements
김용호 (부경대학교)
초록
본 연구는 시청자가 사운드 자료의 주제를 파악하는 과정과 사운드의 특성을 이해하기 위한 인지적 정보처리 모형을 구성하였다. 이후 사건관련유발전위(event related potentials, ERP)의 두뇌의 전후측에 걸쳐서 발현하는 N400, P600 구성요소들을 인지적 정보처리 모형의 언어적 표상에 접목시켜 사운드 요약을 생성하는 방안을 제안하기 위해서 연구 가설들을 수립하였다. 뇌파 실험을 통해서 연구 가설들을 검증한 결과, P600이 사운드 요약의 핵심 구성 요소로 나타났다. 본 연구 결과는 분류 알고리즘 설계에 적용되어 내용 기반 메타데이터 즉, 일반적인 또는 개인화된 미디어 요약(사운드 요약, 비디오 스킴)을 생성하는 데에 활용될 수 있을 것이다.
- keywords
- 인지적 모형, 사건관련유발전위, 전후측 N400, 전후측 P600, 사운드 요약, 비디오 스킴, 인공신경망, 내용 기반 메타데이터, cognitive model, event-related potential response, anterior-posterior N400, anterior-posterior P600, sound summaries, video skims, artificial neural networks, content-based metadata
Abstract
This study constructed a cognitive model of information processing to understand the topic of a sound material and its characteristics. It then proposed methods to generate sound summaries, by incorporating anterior-posterior N400/P600 components of event-related potential (ERP) response, into the language representation of the cognitive model of information processing. For this end, research hypotheses were established and verified them through ERP experiments, finding that P600 is crucial in screening topic-relevant shots from topic-irrelevant shots. The results of this study can be applied to the design of classification algorithm, which can then be used to generate the content-based metadata, such as generic or personalized sound summaries and video skims.
- keywords
- 인지적 모형, 사건관련유발전위, 전후측 N400, 전후측 P600, 사운드 요약, 비디오 스킴, 인공신경망, 내용 기반 메타데이터, cognitive model, event-related potential response, anterior-posterior N400, anterior-posterior P600, sound summaries, video skims, artificial neural networks, content-based metadata
- 다운로드 수
- 조회수
- 0KCI 피인용수
- 0WOS 피인용수