Transcript (EEG)를 이용한 의사소통이 불가능한 중증 장애인의 감정 인식

국립재활원 재활연구소
뇌파(EEG)를 이용한 의사소통이
불가능한 중증 장애인의 감정 인식
재활연구소 운동인지기능연구과
보건연구관 최 현
1. 연구목적 및 필요성
 의사소통이 불가능한 중증 장애인 에게 뇌파 인식을 통해
스트레스, 기쁨, 슬픔, 분노, 평안함, 두려움 등의 복잡한
감정을 표현할 수 있게 함
 중증 장애인의 감정을 모니터 할 수 있게 도와줌으로
장애자 자신의 뿐만 아니라 보호자 가족, caretaker 등
많은 사람들의 삶의 질 향상에 기여
 뇌파를 이용한 두뇌-컴퓨터 인터페이스 (BCI) 를 통해
장애인의 정보 접근성을 향상시킴 다양한 분야에 이용
가능 (휠체어/로봇 제어, 스위치, 컴퓨터 게임 등)
국립재활원 재활연구소
2. 연구목표
 1차년도
 스트레스 또는 감정유발 자극에 따라 발생하는 뇌파를
측정/분석 하여 감정인식에 필요한 최소 채널수와
전극위치 선택
 뇌파로 표현 될 수 있는 감정지표 개발
 2차년도
 의사소통이 불가능한 중증 장애인의 뇌파 검사와 감정
인식
 실시간 감정/스트레스 모니터의 개발
국립재활원 재활연구소
3. 연구방법 및 내용
연구대상자
 각 연령대별 20대-30대 10명, 40-70대 6명씩 총 34명
(남/여 비율 50%)
연구 도구
 Laxtha WEEG-32 및 QEEG-8 뇌파측정 및 분석
시스템 활용
<WEEG-32>
<QEEG-8>
국립재활원 재활연구소
3. 연구방법 및 내용
연구과정
측정소요시간 :
약 3~4시간
국립재활원 재활연구소
3-1. 전극배치법
 10-20 전극 배치법을 기반으로 감정과 관련된 전극 위치
재배치(32채널 이용)
 실시간 감정인식에 필요한 최적의 전극 수와
배치정보를 얻음
국립재활원 재활연구소
3-2. 감정 및 스트레스 자극물제시
 기쁨, 슬픔, 분노, 두려움, 평안의 시청각 자극물 (예, 그림,
영상, 음향, 음악) 제시
 스트레스 유발을 위한 기억력, 산술능력 및 소음 (80dB
이상) 자극제시
국립재활원 재활연구소
3-3. 뇌파 분석
 신호처리방법
 저주파 영역(1-3 Hz) 을 제거하여 안구운동, 눈 깜박임,
다른 신체적 동작으로 인한 노이즈 제거
 Fourier transformation 이용한 데이터의 정량화 및
수치화 절대파워 (absolute power), 및
상대파워(relative power) 계산
 Natural log 를 이용한 파워 값 변형을 통해 왜도
(skewness)를 줄임
국립재활원 재활연구소
3-4. 뇌파분석
 주파수영역의 분리
 델타(0~4Hz)
 세타(4~8Hz)
 알파(8~13Hz)
 베타(13~30Hz)
 감마(30~50Hz)
 각 전극에서의 세기와
전극 간의 coherence를
얻음
국립재활원 재활연구소
3-5. 감정뇌파추출
 뇌파 특징들을 추출하고 해석 알고리즘(translation
algorism)을 이용, 피험자의 감정을 분류
 기쁨/슬픔/흥분/평안의 4가지 감정 상태의 분류
 스트레스 뇌파 추출: baseline, low stress, high stress
국립재활원 재활연구소
4. 감정측정 결과
 감정뇌파측정 연령대별 특성
연령
n
연령(M)
학력(M)
K-MMSE
20
10
25.3
15.2
29.3
30
7
32.4
16.2
29
40
4
42.8
15
27
50
1
56
12
25
60
6
66.7
12.3
26.5
70
6
74.3
14
26.1
합계
34
기쁨
슬픔
평안
공포
15
17
16
17
 감정뇌파 측정대상자 수
대상자 수
국립재활원 재활연구소
결과 6 : 감정뇌파측정 및 분석 프로그램 개발
국립재활원 재활연구소
결과 2. 실시간 EEG embedded system
A. 실시간 2채널 감정인식
embedded EEG system
B. 20초 상대파워 모니터링
 임상결과를 적용한 감정인식 알고리즘 결과를 박막 트랜지스터 액정
디 스 플 레 이 (Thin Film Transistor-Liquid Crystal Display, TFT
LCD)에 막대(bar) 형태로 표시할 수 있는 실시간 EEG embedded
system 제작 중
국립재활원 재활연구소
5. 논의 및 결론
 본 연구의 주요 성과는 실험을 통하여 기쁨, 슬픔, 공포, 평안 그리고
스트레스 반응 등 다양한 감정을 성공적으로 피험자에게 유발 시키고
실시간으로 뇌파를 분석하여 다양한 감정 상태를 구분할 수 있었을 뿐 만
아니라 감정인식 알고리즘을 통하여 이를 수치화 시킨 감정 지표를
산출하였음
 본 연구를 통해서 산출된 감정지표 중 특히 공포는 소수의 파일럿
실험으로 그 정확성을 확인하였고 실시간으로 모니터가 가능한 싱글채널
뇌파 시스템 개발에 성공 - 지속적인 연구를 통하여 다른 감정 들 (평안,
스트레스 등) 도 함께 모니터가 실시간으로 가능한 시스템 개발할 예정임
국립재활원 재활연구소
공포감정의 뇌파분석결과
 휴식상태와 공포상태의 파와 β 파의 상대파워에 대한 Brain-mapping
 휴식상태와 공포상태의 실시간 내장형 시스템 모니터링 결과
공포 (Fear)
휴식 (Resting)
* 공포감정의 지표수식
국립재활원 재활연구소
 감정 모니터 시스템은 유발된 감정을 수식을 이용한 지표로 변환하고
다시 지표를 통해 변환된 수치를 아바타나 그래프를 통해 실시간으로
피험자의 감정변화를 볼 수 있도록 할 수 있음
 표본 집단의 수가 작다는 점을 감안하여 정밀한 감정 지표를 검증하기
위한 추가적인 실험이 요구되나 추가적인 실험과 연구로 현재 산출된
지표를 보완할 수 있고 또한 성별이나 연령대에 에 따라 감정지표가
조정될 수 있음
 감정 모니터가 실시간으로 가능하여 지면 추가적인 실험을 통해서
비장애인과 장애인의 감정의 차이를 밝힐 수 있고 또한 장애 유형이나
장애의 경/중 에 따른 감정 지표도 개발 될 수 있을 것으로 봄
국립재활원 재활연구소
 감정이나 의사의 표현이 어려운 중증 장애인의 감정을 실시간으로
모니터링하여 주의 환경 (기온, 소음 기타 스트레스 요소)이나 환자의
심리상태 (안정, 슬픔, 기쁨, 공포)에 대한 반응을 즉시 파악할 수 있다면
환자 뿐 만 아니라 보호자의 삶에 질 향상에 크게 기여할 수 있을 것으로
기대함
 본 연구의 극복해야 할 기술적인 문제로서 본 연구가 32채널의 뇌파분석
시스템으로 실험을 실시하였으므로 채널 수가 대폭 축소된 시스템을
개발하여야 하며 실용화를 위해서는 더욱 간편하고 이동성이 용이한 감정
모니터 시스템이 요구됨
 미래의 연구 방향으로 개발된 감정 모니터 시스템을 이용해 장애인의
감정에 대한 연구도구로 활용하는 한편 더 나아가 장애인의 의식 상태나
정도 (수면, 의식, 무의식 등) 및 인지활동 등도 실시간으로 모니터할 수
있는 시스템으로까지 확대해 나갈 수 있을 것으로 기대함
국립재활원 재활연구소
(단위 : 천원)
6 연구비 (단위: 천원)
(단위 : 천원)
구 분
배정액
집행액
사용률 (%)
잔 액
인건비
40,089
37,318
93
2,771
국내여비
1,500
1,458
97
42
국외여비
3,500
3,230
92
270
일반수용비
5,700
6,375
112
(-675)
임차료
0
-
0
0
재료비
9,211
11,034
120
(-1,823)
0
0
0
0
60,000
59,415
99
585
공공요금
총 합
국립재활원 재활연구소