뉴로 컴퓨터 개론 제7장 제7장 퍼셉트론 제 7 장 퍼셉트론 차례 7.1 Rosenblatt의 퍼셉트론 7.2 퍼셉트론의 구조 7.3 퍼셉트론 학습 알고리즘 7.4 다중 출력 퍼셉트론제 7 장.
Download ReportTranscript 뉴로 컴퓨터 개론 제7장 제7장 퍼셉트론 제 7 장 퍼셉트론 차례 7.1 Rosenblatt의 퍼셉트론 7.2 퍼셉트론의 구조 7.3 퍼셉트론 학습 알고리즘 7.4 다중 출력 퍼셉트론제 7 장.
뉴로 컴퓨터 개론 제7장 1 제7장 퍼셉트론 2 제 7 장 퍼셉트론 차례 7.1 Rosenblatt의 퍼셉트론 7.2 퍼셉트론의 구조 7.3 퍼셉트론 학습 알고리즘 7.4 다중 출력 퍼셉트론 3 제 7 장 퍼셉트론 Rosenblatt의 퍼셉트론 4 Rosenblatt의 퍼셉트론 Rosenblatt 퍼셉트론의 구조 .. 외부 입력 연합층 반응층 출력 .. 수용층 5 제 7 장 퍼셉트론 퍼셉트론의 구조 6 퍼셉트론의 구조 퍼셉트론 Rosenblatt 퍼셉트론의 수용층과 연합층 통합 단층 신경망 구조 양극성 계단함수를 활성화 함수로 사용 패턴 인식 분야에 응용 7 제 7 장 퍼셉트론 퍼셉트론의 구조 퍼셉트론의 구조 입력 x1 xn 1 w1 wn b 출력 y 8 제 7 장 퍼셉트론 퍼셉트론의 구조 퍼셉트론의 활성화 함수 f (NET ) 1 0 T NET -1 1 : NET T f ( NET ) 0 : NET T 1 : NET T 9 제 7 장 퍼셉트론 퍼셉트론의 구조 퍼셉트론의 출력 입력 x1 xn 1 w1 wn b 출력 y NET XW T y f ( NET ) 1 : NET T 0 : NET T 1 : NET T 10 제 7 장 퍼셉트론 퍼셉트론의 구조 임계치 0일 때 퍼셉트론의 출력은? x1 x2 x3 0.1 0.2 0.2 -0.1 y 바이어스 1 NET XW T 0.1 0.2 1 1 1 1 0.2 0 0.1 y f ( NET ) f ( 0) 0 11 제 7 장 퍼셉트론 퍼셉트론 학습 알고리즘 12 퍼셉트론 학습 알고리즘 퍼셉트론 학습 절차 단계 1 연결 강도 초기화 및 학습 패턴쌍 선정 단계 2 학습률 결정 단계 3 학습 패턴쌍 입력 단계 4 가중합과 출력 구함 단계 5 출력과 목표치가 다르면 연결 강도 변경 단계 6 연결 강도 갱신 단계 7 단계 3~6 반복 연결 강도가 변하지 않으면 학습 종료 13 제 7 장 퍼셉트론 퍼셉트론 학습 알고리즘 연결 강도 갱신 연결 강도 변화량 W = ( d – y )X 다음 학습 단계의 연결 강도 Wk+1 = Wk + W 14 제 7 장 퍼셉트론 퍼셉트론 학습 알고리즘 퍼셉트론의 학습 알고리즘(1) Step 1 : Initialize weights and counter w 0 or small random value p number of training pattern pairs k1 Step 2 : Set learning rate Step 3 : For each training pattern pair (X, d) do Step 4-6 until k = p Step 4 : Compute output 1 : NET T y 0 : NET T 1 : NET T 15 제 7 장 퍼셉트론 퍼셉트론 학습 알고리즘 퍼셉트론의 학습 알고리즘(2) Step 5 : Compare output and desired output If y = d, k k+1 and goto Step 3 Step 6 : Update weights W W + (d - y)X Increase counter and goto Step 3 k k+1 Step 7 : Test stop condition If no weights were changed in Step 3-6, stop else, k 1 and goto Step 3 16 제 7 장 퍼셉트론 퍼셉트론 학습 알고리즘 패턴 분류를 위한 퍼셉트론 x2 입력 패턴 x1 x2 A 1 1 1 B 1 1 1 C 1 1 1 D 1 1 1 목표치 d 1 1 1 1 B D 1 클러스터 2 1 -1 A x1 C -1 클러스터 1 판단 경계선 17 제 7 장 퍼셉트론 퍼셉트론 학습 알고리즘 퍼셉트론 설계 초기 연결 강도 W1= [0.2 0.1 –0.1] 학습률 α＝1 임계치 T＝0 입력 초기 연결 강도 x1 0.2 x2 0.1 -0.1 출력 y 1 18 제 7 장 퍼셉트론 퍼셉트론 학습 알고리즘 패스 1 퍼셉트론 학습(1) 학습 입력 패턴 A 1 1 1 목표치 -1 0.2 NET X (W1 )T 1 1 1 0.1 0.4 0.1 y 1 출력과 목표치가 동일하므로 연결 강도 변경하지 않음 W2 W1 0.2 0.1 0.1 19 제 7 장 퍼셉트론 퍼셉트론 학습 알고리즘 퍼셉트론 학습(2) 학습 입력 패턴 B 1 1 1 목표치 1 NET X (W2 )T 0.2 y 1 출력과 목표치가 다르므로 연결 강도 변경 20 제 7 장 퍼셉트론 퍼셉트론 학습 알고리즘 퍼셉트론 학습(3) 학습 입력 패턴 B 1 1 1 목표치 1 연결 강도 갱신 W d y X 1 1 1 1 1 1 2 2 2 W3 W2 W 0.2 0.1 0.1 2 2 2 1.8 2.1 1.9 제 7 장 퍼셉트론 21 퍼셉트론 학습 알고리즘 퍼셉트론 학습(4) 학습 입력 패턴 C 1 1 1 NET X (W3 ) 목표치 1 T 2 y 1 출력과 목표치가 다르므로 연결 강도 변경 22 제 7 장 퍼셉트론 퍼셉트론 학습 알고리즘 퍼셉트론 학습(5) 학습 입력 패턴 C 1 1 1 목표치 1 연결 강도 갱신 W d y X 1 1 1 1 1 1 2 2 2 W4 W3 W 1.8 2.1 1.9 2 2 2 0.2 0.1 3.9 제 7 장 퍼셉트론 23 퍼셉트론 학습 알고리즘 퍼셉트론 학습(6) 학습 입력 패턴 D 1 1 1 목표치 1 NET X (W4 )T 4.2 y 1 출력과 목표치가 동일하므로 연결 강도 변경하지 않음 W5 W4 0.2 0.1 3.9 24 제 7 장 퍼셉트론 퍼셉트론 학습 알고리즘 패스 2 퍼셉트론 학습(7) 학습 패턴쌍을 반복 학습한 결과 연결 강도가 변하지 않으므로 학습 종료 최종 연결 강도 W = [2.2 2.1 1.9 ] 25 제 7 장 퍼셉트론 퍼셉트론 학습 알고리즘 퍼셉트론 학습(8) 최종 연결 강도 W = [2.2 2.1 1.9 ] 입력 최종 연결 강도 x1 2.2 출력 x2 2.1 y 1.9 1 26 제 7 장 퍼셉트론 퍼셉트론 학습 알고리즘 퍼셉트론 검증(1) x2 x1 x2 d A 1 1 1 1 B 1 1 1 1 C 1 1 1 1 D 1 1 1 1 B D x1 A C 2.2x1 + 2.1x2 + 1.9=0 27 제 7 장 퍼셉트론 퍼셉트론 학습 알고리즘 퍼셉트론 검증(2) x1 x2 d A 1 1 1 1 B 1 1 1 1 C 1 1 1 1 D 1 1 1 1 입력 최종 연결 강도 x1 2.2 출력 x2 2.1 y 1.9 1 28 제 7 장 퍼셉트론 다중 출력 퍼셉트론 29 다중 출력 퍼셉트론 다중 출력 퍼셉트론의 구조 입력 출력 . . xn w1n wmn y1 .. x1 yi win .. w11 wi1 wm1 ym 30 제 7 장 퍼셉트론 다중 출력 퍼셉트론 출력층 첫 번째 뉴런의 출력 입력 xn y1 .. w11 wi1 wm1 w1n win wmn NET1 x1w11 xn w1n yi .. . . x1 출력 ym w11 x1 xn w1n y1 f ( NET1 ) 1 : NET1 T 0 : NET1 T 1 : NET T 1 31 제 7 장 퍼셉트론 다중 출력 퍼셉트론 출력층 m번째 뉴런의 출력 입력 xn y1 .. w11 wi1 wm1 w1n win wmn yi .. . . x1 출력 ym NETm x1wm1 xn wmn wm1 x1 xn wmn ym f ( NETm ) 1 : NETm T 0 : NETm T 1 : NET T m 32 제 7 장 퍼셉트론 다중 출력 퍼셉트론 문자 인식 다중 출력 퍼셉트론 입력 x1 x9 바이어스 1 . . . 출력 y1 (ㄱ) y2 (ㄴ) y3 (ㄷ) 33 제 7 장 퍼셉트론 다중 출력 퍼셉트론 영문자 인식 다중 출력 퍼셉트론 ㄴ 입력 출력 x1 . y1 (A) y2 (B) . . x63 바이어스 1 y3 (C) 34 제 7 장 퍼셉트론 다중 출력 퍼셉트론 숫자 인식 다중 출력 퍼셉트론 입력 ㄴ ㄴ ㄴ 출력 y1 (2) x1 x2 x63 바이어스 1 y2 (5) y3 (7) y4 (0) 35 제 7 장 퍼셉트론