Transcript 인지/추론 : 추론 기술

뇌신경정보학연구사업
인지/추론 : 추론 기술
2002년 11월 15일
숭실대학교 컴퓨터학과
김명원
연구목표 및 연구내용

1차년도




2차년도




신경망 기반 개인화 기술 개발
신경망 기반 사용자 모델링 기술 개발
정보사용자의 비형식적 추론 메커니즘 연구
신경망 기반 개인화 기술 개선
신경망 기반 비형식적 추론을 이용한 사용자 모델링 기술 개발
비형식적 추론 : 속성 추론
3차년도



정보추천시스템 개발
모델 검증을 위한 학제적 비교 연구
정보사용자의 적응적 추론의 인지적 모형개발 및 적용
2
추론기술 연구 체계도
사용자 추론의
제약
비형식적 추론
사용자 지식
사용자 목표
사용자 맥락
추론대상의 특성
상황 맥락
사용자 추론 및
의사결정
대상과 속성별
추론기전
Collaboration
Contents
User behavior
신경망 기반
추론
규칙 기반
추론
추론유형 분류 및
차원화
파라메터 추출
논리적 추리
상황적 추리
취소가능 추리
지능화 추론기술
사용자 모델링
정보서비스 응용
정보추천
시스템
인터넷
쇼핑 도우미
개인 비서
시스템
자문
시스템
사용자 프로파일
행동선택
사용자 행위
3
신경망 기반 개인화 기술 개선 (1)

유사도를 이용한 신경망 추천 모델



NNCF-S (Neural Network Collaborative Filtering Using the Similarity)
유사도 측정  최근접 이웃 방법
기존 추천기술(70%), NNCF (82%) , NNCF-S(87%)
NNCF-S
NNCF
B항목의
선호도
B항목의
선호도
특정 사용자
A항목의
선호도
A항목의
선호도
4
신경망 기반 개인화 기술 개선 (2)

다양한 정보를 입력레벨에서 융합

인구통계학적 정보, 항목 내용 정보, 사용자 행동 패턴 등.
UT
U1
U2
IT
Un
항목에 관련된 정보
내용정보를 고려한 사용자 NNCF-S
I1
I2
Im
사용자에 관련된 정보
사용자에 관련된 정보를 고려한 항목 NNCF-S
5
신경망 기반 개인화 기술 개선 (3)
연관규칙
최근접
이웃
방법
NNCF
NNCF-S
사용자
항목
사용자
항목
장르를
고려한
사용자
사용자
항목
장르를
고려한
사용자
Accuracy
67.8
72.0
61.1
81.6
77.5
81.4
85.5
78.4
86.8
Precision
60.3
75.1
75.4
77.4
76.3
78.0
85.7
74.6
87.7
Recall
55.7
58.4
22.6
69.6
73.0
65.7
84.5
75.7
84.2
F-measure
57.9
65.7
34.8
73.3
74.6
71.3
83.7
74.3
84.6
6
신경망 기반 개인화 기술 개선 (4)

신경망을 이용한 결측값(Missing Value) 처리

개인화를 위한 관련 데이터 상대적 부족
f1
f2
fn-1
fn
f1
f2
fn-1
fn
f1
f2
f3
fn-1
fn
N-to-1 결측값 처리 모델
N-to-N 결측값 처리 모델
7
신경망 기반 개인화 기술 개선 (5)

신경망을 이용한 결측값(Missing Value) 처리 평가

결측 값 처리 방법에 따른 분류 인식률

실험 데이터

Iris 데이터 : 속성 4개 / 클래스 3개 / 데이터 150개

훈련데이터 : 100개

테스트데이터 : 50개
표.1 결측 값이 한 개일 경우
결측 값 처리 방법
표.1 결측 값이 두 개일 경우
분류 인식률 (%)
속성1
속성2
속성3
속성4
“0” 값 대치
98
73.6
100
85.6
평균 값 대치
94
100
100
N-to-1 신경망 모델
96.2
100
N-to-N 신경망 모델
98.4
100
결측 값 처리 방법
분류 인식률 (%)
속성1 , 속성2
속성3 , 속성4
“0” 값 대치
100
34
87.6
평균 값 대치
100
74
100
93.6
N-to-1 신경망 모델
100
94
100
92.4
N-to-N 신경망 모델
98
84.8
8
신경망기반 비형식적 추론을
이용한 사용자모델링 기술개발
대화형
에이전트
Web
Mining
Mobile
Agent
(사용자 모델링)
(예측)
(행동생성)
 연구사례
- Bayesian Network를 이용한
문맥 유지
추론 및 학습
- LCS를 이용한 대화형 에이전트
동적결합, 정적 결합, 진화, 다양성
- Bayesian Network를 이용한
로봇의 목적 추론
- Web Mining을 위한 SASOM+DT
모델
BN
Hybrid
NN
9
계층적 베이지안 네트워크를 이용한
대화형 에이전트의 문맥유지
<대화 주제 : 교수님 연락처>



베이지안 네트워크를 통한 사용자
질의 분석
문형정보를 이용한 대화선택
사용자 모델링을 통한 문맥유지 대
화 가능
User : 안녕하세요
keyword
: 안녕
문형 정보
: 평서문 (기타)
BN토픽선택기 : 하위토픽(인사말)
sub keywork : 하세요
BN대답선택기 : 만남 인사말
ChatBot : 네 안녕하세요
User : 연락처를 알고 싶은데요
keyword
: 연락처
문형 정보
: 질문형 (설명)
BN토픽선택기
: 하위토픽(miss), 중간토픽
(연락처)
Active reply
ChatBot : 연구실 연락처에 대해서 알고 싶으신건
가요? 아니면 교수님 연락처?
User : 교수님 연락처를 알고 싶은데요.
last keyword : 연락처
keyword
: 교수님, 연락처
문형 정보
: 질문형 (설명)
BN토픽선택기 : 하위토픽(교수님 연락처)
BN대답선택기 : 교수님 연락처에 대한 질문
ChatBot : 교수님 연락처는 000-0000입니다.
10
LCS를 이용한 대화형 에이전트의 유
연한 대화 생성
[대화]
User : 소프트 컴퓨팅 연구실이
어디인가요? (1101100)
Agent : 저희 연구실은 연세대학교
제 3공학관 5층에 있습니다.
문형분류과정:사
용자의 질의 의도
파악 가능
(1011010)
답변 매칭 과정:
다양한 문장 생성
LCS
User : 소프트 컴퓨팅 연구실이
어디인가요? (1101100)
Agent : 저희 연구실은 연세대학교 제
3공학관 5층 529호입니다.
(1011101)
 기존 대화형 에이전트의 단점
– 미리 구축된 데이터베이스 이용
 이미 정해져 있는 문장 사용
– 대화의 지루함 증가, 친밀감 감소
 Learning Classifier System(LCS)의 환경 적응성을 이용
 다양한 문장의 생성이 가능한 대화형 에이전트를 구현
11
베이지안 네트워크를 이용한
유연한 로봇 행동 생성
S1
B1
S3
G1
B2
S2
G2
: 행동 노드
: 내부 목표
: BN 상태
V5
B4
B5
: 외부 상태
G3
B3
S4
S
B
G
V
V2
V4
V1
행동 네트워크
V3
V6
 행동 네트워크 : 복잡한 행동을 추상적인 모델로 표현
- 한번 결정된 목적은 지속적으로 설정
- 상황의 변화에 약함
 Bayesian Network를 이용하여 현재 목적을 추론
행동 네트워크+BN
12
SASOM+DT 모델을 이용한
웹 데이터의 분류
 Structure Adaptive Self-Organizing Map의
Hybrid 결합
DT
add a new classifier
if have a better quality
- SASOM
: 시각적인 결과 분석 및 SOM에 비해
높은 성능
- DT결합
SASOM1
SASOM2
SASOM3
SASOM4
SASOM5
SASOMi
Initial 5 classifiers
: Mining 결과를 분석 가능
 Streaming Ensemble 방법
- 다양한 분류기 생성
100 data
200 data
500 data
5개의SASOM
6.5%
5.0%
3.5%
10개의SASOM
4.0%
3.5%
2.5%
15개의SASOM
2.6%
1.8%
0.8%
20개의SASOM
3.0%
1.6%
1.0%
<앙상블의 오류율>
1개의 SASOM
100 data
200 data
500 data
4.0%
5.5%
3.8%
<1개의 SASOM의 오류율>
13
비형식적 추론 : 속성추론 (1)

상충되는 전제가 추론에 미치는 영향



확증전제 제시  결론이 참일 가능성 증가.
대안전제 제시  결론이 참일 가능성 감소.
예)




설명 절감 원리 (Sloman, 1994)


전제 : 모피코트는 관세가 부과되어야 한다.(확증1 : S1)
골프채는 관세가 부과되어야 한다.(확증2 : S2)
소형차는 관세가 부과되어야 한다.(대안 : D)
결론 : 다이아몬드는 관세가 부과되어야 한다. (C)
조건 : SC , DC , SSC , SDC , DSC
확증-확증전제(SSC) > 확증-대안전제(SDC) = 대안-확증전제(DSC)
확증 편향 (Wason, 1960)


확증전제가 있으면 대안전제 여부는 영향을 주지 못한다.
확증-확증전제(SSC) = 확증-대안전제(SDC) = 대안-확증전제(DSC)
14
비형식적 추론 : 속성추론(2)
65
60
전제 + 결론
55
50
SC
DC
SSC
SDC
DSC
 전제와 결론의 이유가 다를 때(:DC) 결론의 신뢰도가 낮아짐
 전제가 두개 이상일 때 결론과 같은 이유가 하나만 있으면 (: SDC, DSC)
다른 이유는 별 영향을 미치지 않음.
 확증적 정보의 존재가 이유기반 추론에서 중요함.
15
비형식적 추론 : 속성추론(3)
주관적인 보고 자료 분석
 결론과 같은 이유를 찾으려고 노력
16
비형식적 추론 : 속성추론(4)

인과적으로 위계적인 전제의 영향


공동 결과 : 다른 원인이지만 같은 결과

과일  분비물  집짓기

다리 점액질  잘 붙어 있기  집짓기
위계조건 : 두 원인이 위계적으로 연결

과일  다리 점액질  집짓기
17
비형식적 추론 : 속성추론(5)
범주판단 : 기본원인(과일 먹기)이 더 중요
속성추론 : 근접원인(다리 점액질)이 더 중요
18
결론 및 향후 연구



신경망 기반 개인화 기술 개선

다양한 정보와 유사도를 이용한 신경망 추천 모델

신경망을 이용한 결측 값 처리

신경망과 규칙기반 추론의 통합
신경망기반 비형식적 추론을 이용한 사용자모델링 기술 개발

Bayesian Network를 이용한 문맥유지 및 로봇의 목적 추론

LCS를 이용한 대화형 에이전트

Web Mining을 위한 SASOM+DT 모델
비형식적 추론 : 속성 추론

상충되는 전제가 추론에 미치는 영향

인과적으로 위계적인 전제의 영향
19