-검정.jpg){kind=logo}
- P-ISSN1225-598X
- E-ISSN2982-6292
시선추적-뇌파 기반의 비디오 요약 생성 방안 연구
Video Summarization Using Eye Tracking and Electroencephalogram (EEG) Data
김용호 (부경대학교 신문방송학과)
초록
본 연구는 시선 및 뇌파 정보를 이용하여 오디오-비주얼(audio-visual, AV) 시맨틱스 기반의 동영상 요약 방법들을 개발하고 평가해 보았다. 이를 위해서 27명의 대학생들을 대상으로 시선추적과 뇌파 실험을 수행하였다. 평가 결과, 뇌파와 동공크기 데이터를 함께 사용한 방법의 평균 재현율(0.73)이 뇌파 또는 동공크기 데이터만을 사용한 방법의 평균 재현율(뇌파: 0.50, 동공크기: 0.68)보다 높게 나타났다. 또한 AV 시맨틱스 기반의 개인화된 동영상 요약의 평균 재현율(0.57)이 AV 시맨틱스 기반의 일반적인 동영상 요약의 평균 재현율(0.69)보다 낮게 나타난 원인들을 분석하였다. 끝으로, AV 시맨틱스 기반 동영상 요약 방법과 텍스트 시맨틱스 기반 동영상 요약 방법 간의 차이 및 특성도 비교분석해 보았다.
- keywords
- EEG, Eye Tracking, Video Summarization, Audio-visual Semantics, Text Semantics, 뇌파, 시선추적, 비디오 요약, 오디오-비주얼 시맨틱스, 텍스트 시맨틱스
Abstract
This study developed and evaluated audio-visual (AV) semantics-based video summarization methods using eye tracking and electroencephalography (EEG) data. For this study, twenty-seven university students participated in eye tracking and EEG experiments. The evaluation results showed that the average recall rate (0.73) of using both EEG and pupil diameter data for the construction of a video summary was higher than that (0.50) of using EEG data or that (0.68) of using pupil diameter data. In addition, this study reported that the reasons why the average recall (0.57) of the AV semantics-based personalized video summaries was lower than that (0.69) of the AV semantics-based generic video summaries. The differences and characteristics between the AV semantics-based video summarization methods and the text semantics-based video summarization methods were compared and analyzed.
- keywords
- EEG, Eye Tracking, Video Summarization, Audio-visual Semantics, Text Semantics, 뇌파, 시선추적, 비디오 요약, 오디오-비주얼 시맨틱스, 텍스트 시맨틱스
- 다운로드 수
- 조회수
- 0KCI 피인용수
- 0WOS 피인용수