뉴로 컴퓨터 개론 제4장 제4장 신경망의 유형 제 4 장 신경망의 유형 차례 4.1 단층 신경망과 다층 신경망 4.2 순방향 신경망과 순환 신경망 4.3 신경망의 학습 제.

Download Report

Transcript 뉴로 컴퓨터 개론 제4장 제4장 신경망의 유형 제 4 장 신경망의 유형 차례 4.1 단층 신경망과 다층 신경망 4.2 순방향 신경망과 순환 신경망 4.3 신경망의 학습 제.

뉴로 컴퓨터 개론
제4장
1
제4장
신경망의 유형
2
제 4 장 신경망의 유형
차례
4.1 단층 신경망과 다층 신경망
4.2 순방향 신경망과 순환 신경망
4.3 신경망의 학습
3
제 4 장 신경망의 유형
단층 신경망과 다층 신경망
4
단층 신경망과 다층 신경망
신경망의 분류

계층수
단층 신경망
다층 신경망

출력 형태
순방향 신경망
순환 신경망
5
제 4 장 신경망의 유형
단층 신경망과 다층 신경망
단층 신경망 / 다층 신경망

단층 신경망
입력층 X
출력층 Y

다층 신경망
입력층 X
은닉층 Z
출력층 Y
6
제 4 장 신경망의 유형
단층 신경망과 다층 신경망
단층 신경망
입력층
출력층
X
Y
x1
y1
xn
ym
.
.
.
.
.
.
7
제 4 장 신경망의 유형
단층 신경망과 다층 신경망
2가지 유형의 패턴을 분류하는
단층 신경망
입력층
출력층
x1
x2
x3
y1
y2
x4
8
제 4 장 신경망의 유형
단층 신경망과 다층 신경망
다층 신경망
입력층
X
x1
.
.
.
xn
은닉층
Z
z1
..
zp
출력층
Y
y1
.
.
.
ym
9
제 4 장 신경망의 유형
단층 신경망과 다층 신경망
패턴을 3가지 유형으로 분류하는
3계층 신경망 설계
입력층
은닉층
x1
x2
출력층
y1
z1
y2

x63
z2
y3
10
제 4 장 신경망의 유형
단층 신경망과 다층 신경망
신경망의 응용

단층 신경망
선형 분리 가능한 문제

다층 신경망
임의 유형의 분류
11
제 4 장 신경망의 유형
단층 신경망과 다층 신경망
단층 신경망의 응용
12
제 4 장 신경망의 유형
단층 신경망과 다층 신경망
다층 신경망의 응용
13
제 4 장 신경망의 유형
순방향 신경망과 순환 신경망
14
순방향 신경망과 순환 신경망
순방향 구조
입력
신경망
출력
15
제 4 장 신경망의 유형
순방향 신경망과 순환 신경망
순방향 신경망
입력층
출력층
X
Y
x1
y1
xn
ym
.
.
.
.
.
.
16
제 4 장 신경망의 유형
순방향 신경망과 순환 신경망
순방향 신경망의 특징
출력이 입력에만 관련
신속한 출력
17
제 4 장 신경망의 유형
순방향 신경망과 순환 신경망
순환 구조
입력
신경망
출력
18
제 4 장 신경망의 유형
순방향 신경망과 순환 신경망
순환 신경망
입력층
출력층
X
Y
x1
y1
xn
ym
.
.
.
.
.
.
19
제 4 장 신경망의 유형
순방향 신경망과 순환 신경망
순환 신경망의 특징
출력이 입력측에 궤환
최종 출력에 시간 소요
20
제 4 장 신경망의 유형
신경망의 학습
21
신경망의 학습
신경망 학습의 유형

지도 학습

자율 학습

경쟁식 학습
22
제 4 장 신경망의 유형
신경망의 학습
지도 학습
신경망을 학습시키는 데
입력과 목표치의 짝인
학습 패턴쌍 필요
23
제 4 장 신경망의 유형
신경망의 학습
지도 학습 절차
단계 1 신경망 구조 설계
단계 2 연결 강도 초기화
단계 3 학습 패턴을 입력하여 출력 구함
단계 4 출력과 목표치를 비교하여 오차 계산
단계 5 오차를 이용하여 연결 강도 변화량 계산
단계 6 연결 강도 변경
단계 7 단계 3∼6 반복
단계 8 연결 강도가 변하지 않으면 학습 종료
24
제 4 장 신경망의 유형
신경망의 학습
지도 학습
입력
출력
신경망
연결 강도
변경
학습 신호
발생기
목표치
25
제 4 장 신경망의 유형
신경망의 학습
자율 학습
신경망을 학습시키는 데
목표치가 필요 없는
학습
26
제 4 장 신경망의 유형
신경망의 학습
자율 학습 절차
단계 1
신경망 구조 설계
단계 2
연결 강도 초기화
단계 3
학습 패턴을 입력하여 출력 구함
단계 4
출력을 이용하여 연결 강도 변화량 계산
단계 5
연결 강도 변경
단계 6
단계 3∼5 반복
단계 7
연결 강도가 변하지 않으면 학습 종료
27
제 4 장 신경망의 유형
신경망의 학습
자율 학습
입력
출력
신경망
연결 강도
변경
학습 신호
발생기
28
제 4 장 신경망의 유형
신경망의 학습
경쟁식 학습
 instar 학습법
 outstar 학습법
29
제 4 장 신경망의 유형
신경망의 학습
instar 학습법
입력층
출력층
X
Y
x1
y1
.
.
.
.
xi
yj
.
.
.
.
xn
ym
30
제 4 장 신경망의 유형
신경망의 학습
outstar 학습법
입력층
출력층
X
Y
x1
y1
.
.
.
.
xi
yj
.
.
.
.
xn
ym
31
제 4 장 신경망의 유형
outstar 학습법
입력층 뉴런의 출력 1, 0, 0, 0
x1
신경망의 학습
y1
x2
y2
x3
x4
y3
32
제 4 장 신경망의 유형
신경망의 학습
outstar 학습법에 의한 연결 강도 변경
Winner 입력층의 x1 뉴런
1
x1
0
y1
x2
0
y2
x3
0
x4
y3
33
제 4 장 신경망의 유형
신경망의 학습
경쟁식 학습법에 의한 학습
은닉층 뉴런의 출력 1, 0
입력층
은닉층 출력층
x1
x2
y1
z1
y2
x3
x4
z2
y3
34
제 4 장 신경망의 유형
신경망의 학습
경쟁식 학습법에 의한 연결 강도 변경
Winner 은닉층의 z1 뉴런
입력층
x1
x2
x3
x4
은닉층 출력층
1
y1
z1
0
y2
z2
y3
35
제 4 장 신경망의 유형
신경망의 학습
연결 강도 변경
W  X
Wk 1  Wk  W
∆W 연결 강도 변화량
α 학습률
X 학습 입력 패턴
 학습 신호
36
제 4 장 신경망의 유형
신경망의 학습
연결 강도 변경 매카니즘
입력
x1
.
.
.
xn
w1
출력
y
wn
학습률

연결 강도 변경 학습 신호
목표치

학습 신호
W
x
d
발생기
X
37
제 4 장 신경망의 유형
연결 강도 변화량 W는?
신경망의 학습
학습 패턴 X =[1 0 1]
학습 신호 2
학습률이 1인 경우
학습률이 0.3인 경우
W  X
W  X
 1 2   1 0 1 
 2 0 2
 0.3  2   1 0 1 
  0.6 0 0.6

38
제 4 장 신경망의 유형
연결 강도 변화량 W는?
학습 패턴 X =[0 0 1]
학습률 1
신경망의 학습
 목표치가 0이고, 출력이 0인 경우
 목표치가 0이고, 출력이 1인 경우
 목표치가 1이고, 출력이 0인 경우
 목표치가 1이고, 출력이 1인 경우
39
제 4 장 신경망의 유형
신경망의 학습
목표치가 0이고, 출력이 0인 경우
X = [0 0 1]
학습률 1
  d  y
 0  0
 0
W  X
 1 0   0 0 1 
 0 0 0 
원하는 목표치(0)와 출력(0)이 동일하므로
연결 강도 변경하지 않음
40
제 4 장 신경망의 유형
신경망의 학습
목표치가 0이고, 출력이 1인 경우
X =[0 0 1]
학습률 1
  d  y
 0  1
 1
W  X
 1 (1)   0 0 1 
  0 0 1 
원하는 목표치(0)와 출력(1)이 다르므로
연결 강도 변경
41
제 4 장 신경망의 유형
신경망의 학습
목표치가 1이고, 출력이 0인 경우
X =[0 0 1]
학습률 1
  d  y
 1  0
 1
W  X
 1 1  0 0 1 
 0 0 1
원하는 목표치(1)와 출력(0)이 다르므로
연결 강도 변경
42
제 4 장 신경망의 유형
신경망의 학습
목표치가 1이고, 출력이 1인 경우
X = [0 0 1]
학습률 1
  d  y
 1 1
 0
W  X
 1 0   0 0 1 
 0 0 0 
원하는 목표치(1)와 출력(1)이 동일하므로
연결 강도 변경하지 않음
43
제 4 장 신경망의 유형
다음 학습 단계에서의 연결 강도는?
신경망의 학습
목표치 1인 학습 패턴 [0 0 1] 입력, 출력 -1
현 단계의 연결 강도 [0.2 0.5 0.3] 학습률 1
W  X
  d  y  X
 1  1   1 0 0 1
 0 0 2
W  0.2 0.5 0.3  0 0 2
 0.2 0.5 2.3
44
제 4 장 신경망의 유형