바로가기메뉴

본문 바로가기 주메뉴 바로가기

ACOMS+ 및 학술지 리포지터리 설명회

  • 한국과학기술정보연구원(KISTI) 서울분원 대회의실(별관 3층)
  • 2024년 07월 03일(수) 13:30
사전등록 바로가기
 

logo

ISSN : 1226-9654

논문 상세

이전 다음
논문 투고

Vol.20 No.4
Citation Share

입 움직임 시각 단서가 청각 언어 지각에 미치는 영향: 구조 방정식 모델 연구

The influence of visual mouth cue on auditory speech perception: Structural Equation modeling

한국심리학회지: 인지 및 생물 / The Korean Journal of Cognitive and Biological Psychology, (P)1226-9654; (E)2733-466X
2008, v.20 no.4, pp.223-246
https://doi.org/10.22172/cogbio.2008.20.4.002
김희정 (서울대학교 인지과학 협동과정)
이동수 (서울대학교)
강은주 (강원대학교)
김희정, 이동수, & 강은주. (2008). 입 움직임 시각 단서가 청각 언어 지각에 미치는 영향: 구조 방정식 모델 연구. 한국심리학회지: 인지 및 생물, 20(4), 223-246, https://doi.org/10.22172/cogbio.2008.20.4.002
  • 다운로드 수
  • 조회수
PDF 다운로드

초록

본 연구는 시청각 언어 지각 중에 관여하는 우반구의 두뇌 영역들의 신경망을 제안하고, 그 신경망 내의 연결 관계가 청각 문장과 함께 제시되는 화자의 입 움직임 시각적 단서들의 속성에 따라 어떻게 변화하는 지를 탐색한 연구이다. 이 신경망 연구는 정상 청력을 가진 성인(N=12)이 청각 문장의 진위를 판단하는 과제를 수행하는 중에 청각 언어 자극과 함께 제시되는 서로 다른 시각 자극 조건(다문 입 모양, 껌 씹는 입 움직임, 청각 문장 자극과 일치하는 입 움직임)에 따라 다르게 활성화 되는 영역을 관찰한 사전 fMRI 연구 결과를 자료로 하였다. 우반구의 전측 및 후측의 상 측두구, 좌측 Broca에 대응되는 우측 Broca영역, 그리고 우측 V5/MT 영역들과 시각피질 영역이 본 연구의 관심영역으로 선택되어 경로 분석에 사용되었으며, 구조방정식모형(Structural Equation Modeling)을 이용하여 영역들 간의 경로 관계를 분석한 결과 시각 피질에서 V5/MT영역이 시각 조건과 무관하게 늘 유의한 반면, 입 움직임이 있는 두 조건에서는 V5/MT영역에서 후측 상 측두구로의 경로가, 청각문장과 일치한 입 움직임 조건에서는 후측 상 측두구에서 전측 상 측두구로의 경로가 유의한 것으로 나타났다. 특히 V5/MT영역과 Broca영역 사이의 경로가 조건에 따라 역동적 변화를 보였는데, 입 움직임이 없는 조건에 비해 화자의 무의미한 입 움직임이 제시된 조건에서는 V5/MT영역에서 Broca 영역으로의 경로가 부적에서 정적인 연결로 바뀌는 반면, 그 반대 방향(Broca에서 V5/MT)으로의 경로는 정적에서 부적 연결로 변화하였다. 특히 청각문장과 일치하는 입 움직임 조건에서는 위의 경로들의 연결 강도는 더욱 유의하게 증가하였다. 시청각 문장의 교차양상(cross-modal) 처리 시에 활성화되는 우반구 영역들 간의 네트워크간의 이러한 역동적 변화는, 우반구 회로 내의 선택적 억제과정이 존재할 가능성을 의미한다.

keywords
교차양상 처리, 구조방정식 모형 (SEM), 입술 읽기, 언어, fMRI, Cross-modal processing, Structural Equation Model (SEM), lip-reading, speech, fMRI

Abstract

Visual cues emitted from a speaker, such as mouth and lip movements, are critical aspects of sensory information that influence auditory speech perception in face to face conversation. The way in which these complex visual cues are processed remains to be elucidated. Here we apply fMRI to a cross-modal speech perception paradigm in order to determine how functional connectivity between brain areas changes depending on the type of visual cue. Data obtained from a previous fMRI study in which three conditions, closed mouth (CM), twitching mouth (TM), or speaking mouth (SM) were delivered during an auditory sentence perception task. Structural Equation Modeling (SEM) was used to estimate functional strengths of links in a network among the brain regions activated in these three conditions. The chosen brain areas, which were modeled only in the right hemisphere, consisted of visual areas (lingual gyrus and V5/MT), both anterior and posterior superior temporal sulci (aSTS and pSTS), and the area equivalent to left Broca’s area (rBroca’s). Significant differences were found for the functional linkages between V5/MT and rBroca’s area across the three conditions. The path from V5/MT to rBroca became positive both during the TM and SM conditions, whereas that in the CM condition was negative. However, the connection from rBroca to V5/MT became negative both during the TM and SM, whereas that in the CM condition was positive. Additional linguistic information, such as the mouth movements of the SM condition, resulted in increased statistical significance of these linkages relative to the TM condition. The dynamic changes in functional connectivity between V5/MT and Broca’s area in the right hemisphere may subserve the cross-modal processing of auditory speech by inhibiting irrelevant or interfering visual cues from mouth movement.

keywords
교차양상 처리, 구조방정식 모형 (SEM), 입술 읽기, 언어, fMRI, Cross-modal processing, Structural Equation Model (SEM), lip-reading, speech, fMRI

참고문헌

1.

강혜진 ; 이동수 ; 강은주 ; 이정모 ; 나덕렬 ; 나동규, (2005) 연합기억과제의 특성과 해마활성화에 대한 fMRI 연구, 한국심리학회지:실험

2.

Allison, T., (2000) Social perception from visual cues:role of the STS region, TrendsCognSci

3.

Beauchamp,M.S., (2005) See me, hear me, touch me: multisensory intergration in lateral occipital-temporal cortex, Curr Opin Neurobiol

4.

Bonda, E., (1996) Bonda, E, JNeurosci

5.

Buccino, G., (2001) Action observation activates premotor and parietal areas in a somatotopic manner: an fMRI study, EurJNeurosci

6.

Cabeza, R., (1997) Age-related differences in effective neural connectivity during encoding and recall, NeuroReport

7.

Callan, D.E., (2001) Multimodal contribution to speech perception revealed by independent component analysis: a single?sweep EEG case study, BrainResCognBrainRes

8.

Calvert, G.A, (2000) Evidence from functional magnetic resonance imaging of crossmodal binding in the human heteromodal cortex, CurrBiol

9.

Calvert, G.A., (1997) Activation of auditory cortex during silent lipreading, Science

10.

Campbell, R., (1997) Speechreading in the akinetopsic patient, L.M. Brain

11.

Campbell, R., (2001) Cortical substrates for the perception of face actions: an fMRI study of the specificity of activation for seen speech and for meaningless lower face acts (gurning), BrainResCognBrainRes

12.

Freitag, C.M., (2008) Perception of biological motion in autism spectrum disorders, Neuropsychologia

13.

Friston, K.J., (1993) Functional connectivity: the principal?component analysis of large (PET) data sets, J Cereb Blood Flow Metab

14.

Frackowiak, R.S., (2004) Human brain function, Second edition,

15.

Gallese, V., (1996) Action recognition in the premotor cortex, Brain

16.

Grossman, E., (2000) Brain areas involved in perception of biological motion, J Cogn Neurosci

17.

Horwitz, B., (1995) Network analysis of brain cognitive function using metabolic and blood flow data, Behav Brain Res

18.

Howard, R.J, (1996) A direct demonstration of functional specialization within motion?related visual and auditory cortex of the human brain, Curr Biol

19.

Kang, E., (2006) The neural correlates of cross-modal interaction in speech perception during a semantic decision task on sentences:A PET study, Neuroimage

20.

Kang, E., (2002) Visual modulation on speech processing in higher auditory cortices, Society for Neuroscience

21.

Kim, H., (2002) Effects of biological motion on speech processing: an fMRI study, Society for Neuroscience

22.

Kilts, C.D., (2003) Dissociable neural pathways are involved in the recognition of emotion in static and dynamic facial expressions, Neuroimagei

23.

Krause, B.J., (1999) Network analysis in episodic encoding and retrieval of word-pair associates: a PET study, Eur J Neurosci

24.

Krause, J.B., (2000) Imaging and neural modelling in episodic and working memory processes, Neural Netw

25.

Knutson, K.M, (2008) Observing social gestures: an fMRI study, Exp Brain Res

26.

McGurk, H., (1976) Hearing lips and seeing voices, Nature

27.

McIntosh, A.R., (1994a) Structural equation modeling and its application to network analysis in functional brain imaging, Human brain mapping

28.

McIntosh, A.R., (1994b) Network analysis of cortical visual pathways mapped with PET, J Neurosci

29.

Mogatty, F.M., (2006) Systems level modeling of a neuronal network subserving intrinsic alertness, Neuroimage

30.

Nyberg, L., (1996) Network analysis of Positron Emisson Tomography regional cerebral blood flow data: ensemble inhibition during episodic memory retrieval, J Neurosci

31.

Pelphrey, K.A., (2005) Functional anatomy of biological motion perception in posterior temporal cortex: an FMRI study of eye, mouth and hand movements, Cereb Cortex

32.

Peuskens, H., (2005) Specificity of regions processing biological motion, Eur J Neurosci

33.

Protzner, A.B., (2006) Testing effective connectivity changes with structural equation modeling: what does a bad model tell us?, Human brain mapping

34.

Puce, A., (1998) Temporal cortex activation in humans viewing eye and mouth movements, J Neurosci

35.

Rees G, (1999) Inattentional blindness versus inattentional amnesia for fixated but ignored words, Science

36.

Rizzolatti, G., (1996) Premotor cortex and the recognition of motor actions, Brain Res Cogn Brain Res

37.

Sekiyama, K., (2003) Auditory visual speech perception examined by fMRI and PET, Neuro sci Res

38.

Sekuler, R., (1997) Sound alters visual motion perception, Nature

39.

Seminowicz, D.A., (2004) Limbic-frontal circuitry in major depression:a path modeling metanalysis, NeuroImage

40.

Shams,L., (2000) Illusion.What you see is what you hear, Nature

41.

Thompson, J.C, (2007) Common and distinct brain activation to viewing dynamic sequences of face and hand movements, Neuroimage

42.

Wheaton, K.J., (2004) Viewing the motion of human body parts activates different regions of premotor, temporal, and parietal cortex, Neuroimage

43.

Winder, R., (2007) Functional connectivity in fMRI:Amodeling approach for estimation and for relating to local circuits, Neuroimage

한국심리학회지: 인지 및 생물

논문 투고 OA 정책