Transcript 우리글 읽기에 대한 심리학적 이해 - 뇌-마음-행동 연계전공

2012월 4월 18일
뇌-마음-행동
안구 운동 추적을 이용한
언어 연구들
서울대학교 심리학과
고성룡
지난 시간 정리

두 관점


계산주의
연결주의
정보처리패러다임의 두 관점 비교

컴퓨터 비유




Serial processing
Symbolic(sign) operation
Local representation
뇌 비유



Parallel processing
대체로 Sub-symbolic operation
Distributed representation
강의 내용


안구 운동 추적
일반 독자의 글 읽기 과정


안구 운동, 시 지각, 언어 이해
언어 이해



단어 처리
문장 처리
대화 중의 공간 술어 이해
안구 운동의 추적

현재 보는 장면에서 시선


머리의 움직임으로 인한 수평 움직임
눈의 회전
글 읽기 과정

일반적으로 글 읽기는 1) 눈을 움직여 2) 글을
보고 3) 이해하는 복잡한 과정으로 이루어진
기술

안구 운동, 시 지각, 언어 이해
글 읽기에서 안구 운동

자료 시연
글 읽기에서 안구 운동


글 읽기에서 안구 운동은 빠른 점프(도약)와
그 사이에 움직임이 미미한 멈춤(고정)으로
구성 (Javal)
고정(fixation)과 도약(saccade)
우리글 읽기에서 고정 시간의 분포
(고성룡, 윤낙영, 2007)
15
평균: 225ms
(0.23초),
중앙치: 206ms,
표준편차: 99ms
퍼 센 트 (%)
10
5
0
0
100
200
300
400
500
600
고 정 시 간 ( ms )
700
800
900
1000
우리 글 읽기에서 도약 거리의 분
포
15
퍼 센 트 ( %)
평균:4.1 자
10
5
0
0
2.5
5
7.5
10
12.5
15
17.5
도 약 거 리 ( 자)
20
22.5
25
27.5
건너뛰기와 재고정률
50
건너뛰기 및 재고정율 (%)
40
30
20
건너뛰기
재고정
10
0
2
3
4
어 절 길 이(자)
5
6
착지점 위치
50
길이 5
길이 4
길이 3
고 정 비 율 (%)
40
30
20
10
0
1
2
3
착
지
4
점
5
도약 관련 현상

도약 억제(Saccade Suppression)

도약 중에 지각적인 민감도가 낮아져서 시각적인
입력을 받아들이지 못하는 현상
우리글 읽기에서의 안구 운동 정
리

눈은 물 흐르듯 움직이는 것이 아니라 약
1/5-1/4초 정도 글의 한 지점에 머물다가 약
4자 정도 신속하게 뛰어 다음 지점으로 불연
속적으로 이동
글 읽기에서 시 지각

연구자들은 고정에서 추출되는 정보에 관심
일차적인 관심은 시 지각에 영향을 미치는 글
의 영역, 지각 폭

데모

움직이는-창 (McConkie와
Rayner(1975))

정상문장

고양이가 따사로운 햇볕을 몸에 받으며 낮잠을 자고 있다.

움직이는-창

코먐이카 다자도묻 햇볕을 옹메 판므여 닷상믇 사코 밋나.
*
코먐이카 다자도묻 앶펻믇 옹메 받으며 닷상믇 사코 밋나.
*

분당 읽은 어절 수
지각 폭의 비대칭성

정상문장

고양이가 따사로운 햇볕을 몸에 받으며 낮잠을 자고 있다.

움직이는-창

코먐이카 다자도운 햇볕을 몸에 받으며 낮잠을 자고 있다.
*
분당 읽은 어절 수
300
250
어절 수
200
왼쪽 창의 크
기
150
100
50
0
0
1
2
3
4
전
왼쪽 창
체
지각 폭의 크기



한국어 : 오른쪽으로 6-7자, 왼쪽으로 1자(?)
영어 : 오른쪽으로 15자, 왼쪽으로 3-4
중국어: 오른쪽으로 3자, 왼쪽으로 1자
고정간의 통합

중심와 (fovea) 주변에서는 무슨 일이?

주변와(Parafovea) 미리 보기 효과
실험 기법: 경계선 기법



지난번 우승한 선수는 경기에서 솜목 부상을 입었
다.
지난번 우승한 선수는 경기에서 손목 부상을 입었
다.
실험 조건 및 자극

동일 조건


음운 유사 조건


지난번 우승한 선수는 경기에서 *솜목 부상을 입었다.
표기 유사 조건


지난번 우승한 선수는 경기에서 *손목 부상을 입었다.
지난번 우승한 선수는 경기에서 *솓목 부상을 입었다.
무관련 조건

지난번 우승한 선수는 경기에서 *온졷 부상을 입었다.
실험 결과 : 표적 단어의 주시 시
간
조건
주시 시간 (ms)
동일 조건
228
음운 유사 조건
232
표기 유사 조건
258
무관련 조건
270
시 지각 정리


지각 폭은 대략 오른쪽으로 6-7자 왼쪽으로
1(?)자
한 고정에서는 현재 고정하고 있는 단어와 주
변와에 위치한 다음 단어의 어떤 특성을 처리
언어 이해



텍스트 난이도
단어처리
문장처리
텍스트 난이도에 따른 양상

전반적인 양상

텍스트가 어려우면 고정이 길고 도약 거리가 짧음

코퍼스 구축

어려운 글: 박완서의 <그 여자네 집>
쉬운 글 : 박완서의 동화 <마지막 임금님>

고정 시간 및 도약 거리의 평균
고정 시간: 190ms 대 217ms
도약 거리: 4.8자 3.7자
단어 빈도 : 명사 단독 어절


고빈도와 저빈도 단어의 처리
단어 수준의 처리의 측정치


첫 고정 시간, 단일 고정 시간, 주시 시간
자극 문장
새로 임명된 사장은 종업원(1011)/임원진(13) 월급
을 삭감하라고 지시했다.
실험 결과
350
300
고빈도
저빈도
200
150
100
50
간
시
시
정
시
단
일
고
주
고
정
시
간
간
0
첫
시간(ms)
250
첫 고정시간 평균: 220ms 대 236ms
주시 시간 평균 : 247ms 대 280ms
단일 고정 시간 평균: 223ms 대 238ms
단어 빈도 : 조사 포함 명사 어절

자극 문장
새로 임명된 사장은 종업원의(1011)/ 임원진의(13)월급
을 삭감하라고 지시했다.
실험 결과
250
200
고빈도
저빈도
150
100
간
시
시
정
시
단
일
고
주
고
정
시
간
간
50
0
첫
시간(ms)
350
300
첫 고정시간 평균: 215ms 대 240ms
주시 시간 평균 : 256ms 대 316ms
단일 고정 시간 평균: 221ms 대 256ms
코퍼스 자료에서 빈도 효과

대화 중의 언어 처리

대화 중의 공간 술어 (왼쪽/오른쪽) 처리


누구의 왼쪽
시연
Visual World Paradigm


데모
대화 중의 공간 술어 (왼쪽/오른쪽) 처리

누구의 왼쪽
청각 단어 처리
Allopenna 등 (1998)
계속
실험 결과
통사 처리 연구
Tanenhaus 등 (1995)
관점 연구
Keysar 등 (2000)
안구 운동을 이용한 언어 처리 연구
정리

단어의 성질, 문장 구조의 복잡성과 대화의
요인이 눈의 움직임에 영향을 미침
언어 이해 정리

단어의 성질, 문장의 구조의 복잡성 및 대화
의 상황 요인 등이 안구 운동에 영향을 미침