뉴로 컴퓨터 개론 제4장 제4장 신경망의 유형 제 4 장 신경망의 유형 차례 4.1 단층 신경망과 다층 신경망 4.2 순방향 신경망과 순환 신경망 4.3 신경망의 학습 제.
Download
Report
Transcript 뉴로 컴퓨터 개론 제4장 제4장 신경망의 유형 제 4 장 신경망의 유형 차례 4.1 단층 신경망과 다층 신경망 4.2 순방향 신경망과 순환 신경망 4.3 신경망의 학습 제.
뉴로 컴퓨터 개론
제4장
1
제4장
신경망의 유형
2
제 4 장 신경망의 유형
차례
4.1 단층 신경망과 다층 신경망
4.2 순방향 신경망과 순환 신경망
4.3 신경망의 학습
3
제 4 장 신경망의 유형
단층 신경망과 다층 신경망
4
단층 신경망과 다층 신경망
신경망의 분류
계층수
단층 신경망
다층 신경망
출력 형태
순방향 신경망
순환 신경망
5
제 4 장 신경망의 유형
단층 신경망과 다층 신경망
단층 신경망 / 다층 신경망
단층 신경망
입력층 X
출력층 Y
다층 신경망
입력층 X
은닉층 Z
출력층 Y
6
제 4 장 신경망의 유형
단층 신경망과 다층 신경망
단층 신경망
입력층
출력층
X
Y
x1
y1
xn
ym
.
.
.
.
.
.
7
제 4 장 신경망의 유형
단층 신경망과 다층 신경망
2가지 유형의 패턴을 분류하는
단층 신경망
입력층
출력층
x1
x2
x3
y1
y2
x4
8
제 4 장 신경망의 유형
단층 신경망과 다층 신경망
다층 신경망
입력층
X
x1
.
.
.
xn
은닉층
Z
z1
..
zp
출력층
Y
y1
.
.
.
ym
9
제 4 장 신경망의 유형
단층 신경망과 다층 신경망
패턴을 3가지 유형으로 분류하는
3계층 신경망 설계
입력층
은닉층
x1
x2
출력층
y1
z1
y2
x63
z2
y3
10
제 4 장 신경망의 유형
단층 신경망과 다층 신경망
신경망의 응용
단층 신경망
선형 분리 가능한 문제
다층 신경망
임의 유형의 분류
11
제 4 장 신경망의 유형
단층 신경망과 다층 신경망
단층 신경망의 응용
12
제 4 장 신경망의 유형
단층 신경망과 다층 신경망
다층 신경망의 응용
13
제 4 장 신경망의 유형
순방향 신경망과 순환 신경망
14
순방향 신경망과 순환 신경망
순방향 구조
입력
신경망
출력
15
제 4 장 신경망의 유형
순방향 신경망과 순환 신경망
순방향 신경망
입력층
출력층
X
Y
x1
y1
xn
ym
.
.
.
.
.
.
16
제 4 장 신경망의 유형
순방향 신경망과 순환 신경망
순방향 신경망의 특징
출력이 입력에만 관련
신속한 출력
17
제 4 장 신경망의 유형
순방향 신경망과 순환 신경망
순환 구조
입력
신경망
출력
18
제 4 장 신경망의 유형
순방향 신경망과 순환 신경망
순환 신경망
입력층
출력층
X
Y
x1
y1
xn
ym
.
.
.
.
.
.
19
제 4 장 신경망의 유형
순방향 신경망과 순환 신경망
순환 신경망의 특징
출력이 입력측에 궤환
최종 출력에 시간 소요
20
제 4 장 신경망의 유형
신경망의 학습
21
신경망의 학습
신경망 학습의 유형
지도 학습
자율 학습
경쟁식 학습
22
제 4 장 신경망의 유형
신경망의 학습
지도 학습
신경망을 학습시키는 데
입력과 목표치의 짝인
학습 패턴쌍 필요
23
제 4 장 신경망의 유형
신경망의 학습
지도 학습 절차
단계 1 신경망 구조 설계
단계 2 연결 강도 초기화
단계 3 학습 패턴을 입력하여 출력 구함
단계 4 출력과 목표치를 비교하여 오차 계산
단계 5 오차를 이용하여 연결 강도 변화량 계산
단계 6 연결 강도 변경
단계 7 단계 3∼6 반복
단계 8 연결 강도가 변하지 않으면 학습 종료
24
제 4 장 신경망의 유형
신경망의 학습
지도 학습
입력
출력
신경망
연결 강도
변경
학습 신호
발생기
목표치
25
제 4 장 신경망의 유형
신경망의 학습
자율 학습
신경망을 학습시키는 데
목표치가 필요 없는
학습
26
제 4 장 신경망의 유형
신경망의 학습
자율 학습 절차
단계 1
신경망 구조 설계
단계 2
연결 강도 초기화
단계 3
학습 패턴을 입력하여 출력 구함
단계 4
출력을 이용하여 연결 강도 변화량 계산
단계 5
연결 강도 변경
단계 6
단계 3∼5 반복
단계 7
연결 강도가 변하지 않으면 학습 종료
27
제 4 장 신경망의 유형
신경망의 학습
자율 학습
입력
출력
신경망
연결 강도
변경
학습 신호
발생기
28
제 4 장 신경망의 유형
신경망의 학습
경쟁식 학습
instar 학습법
outstar 학습법
29
제 4 장 신경망의 유형
신경망의 학습
instar 학습법
입력층
출력층
X
Y
x1
y1
.
.
.
.
xi
yj
.
.
.
.
xn
ym
30
제 4 장 신경망의 유형
신경망의 학습
outstar 학습법
입력층
출력층
X
Y
x1
y1
.
.
.
.
xi
yj
.
.
.
.
xn
ym
31
제 4 장 신경망의 유형
outstar 학습법
입력층 뉴런의 출력 1, 0, 0, 0
x1
신경망의 학습
y1
x2
y2
x3
x4
y3
32
제 4 장 신경망의 유형
신경망의 학습
outstar 학습법에 의한 연결 강도 변경
Winner 입력층의 x1 뉴런
1
x1
0
y1
x2
0
y2
x3
0
x4
y3
33
제 4 장 신경망의 유형
신경망의 학습
경쟁식 학습법에 의한 학습
은닉층 뉴런의 출력 1, 0
입력층
은닉층 출력층
x1
x2
y1
z1
y2
x3
x4
z2
y3
34
제 4 장 신경망의 유형
신경망의 학습
경쟁식 학습법에 의한 연결 강도 변경
Winner 은닉층의 z1 뉴런
입력층
x1
x2
x3
x4
은닉층 출력층
1
y1
z1
0
y2
z2
y3
35
제 4 장 신경망의 유형
신경망의 학습
연결 강도 변경
W X
Wk 1 Wk W
∆W 연결 강도 변화량
α 학습률
X 학습 입력 패턴
학습 신호
36
제 4 장 신경망의 유형
신경망의 학습
연결 강도 변경 매카니즘
입력
x1
.
.
.
xn
w1
출력
y
wn
학습률
연결 강도 변경 학습 신호
목표치
학습 신호
W
x
d
발생기
X
37
제 4 장 신경망의 유형
연결 강도 변화량 W는?
신경망의 학습
학습 패턴 X =[1 0 1]
학습 신호 2
학습률이 1인 경우
학습률이 0.3인 경우
W X
W X
1 2 1 0 1
2 0 2
0.3 2 1 0 1
0.6 0 0.6
38
제 4 장 신경망의 유형
연결 강도 변화량 W는?
학습 패턴 X =[0 0 1]
학습률 1
신경망의 학습
목표치가 0이고, 출력이 0인 경우
목표치가 0이고, 출력이 1인 경우
목표치가 1이고, 출력이 0인 경우
목표치가 1이고, 출력이 1인 경우
39
제 4 장 신경망의 유형
신경망의 학습
목표치가 0이고, 출력이 0인 경우
X = [0 0 1]
학습률 1
d y
0 0
0
W X
1 0 0 0 1
0 0 0
원하는 목표치(0)와 출력(0)이 동일하므로
연결 강도 변경하지 않음
40
제 4 장 신경망의 유형
신경망의 학습
목표치가 0이고, 출력이 1인 경우
X =[0 0 1]
학습률 1
d y
0 1
1
W X
1 (1) 0 0 1
0 0 1
원하는 목표치(0)와 출력(1)이 다르므로
연결 강도 변경
41
제 4 장 신경망의 유형
신경망의 학습
목표치가 1이고, 출력이 0인 경우
X =[0 0 1]
학습률 1
d y
1 0
1
W X
1 1 0 0 1
0 0 1
원하는 목표치(1)와 출력(0)이 다르므로
연결 강도 변경
42
제 4 장 신경망의 유형
신경망의 학습
목표치가 1이고, 출력이 1인 경우
X = [0 0 1]
학습률 1
d y
1 1
0
W X
1 0 0 0 1
0 0 0
원하는 목표치(1)와 출력(1)이 동일하므로
연결 강도 변경하지 않음
43
제 4 장 신경망의 유형
다음 학습 단계에서의 연결 강도는?
신경망의 학습
목표치 1인 학습 패턴 [0 0 1] 입력, 출력 -1
현 단계의 연결 강도 [0.2 0.5 0.3] 학습률 1
W X
d y X
1 1 1 0 0 1
0 0 2
W 0.2 0.5 0.3 0 0 2
0.2 0.5 2.3
44
제 4 장 신경망의 유형