Transcript 신경망 개념과 응용
신경망 개념과 응용 Neural Network : Concepts and Applications 혜천대학 인터넷과 남석우 ([email protected]) 1 차례 인공지능의 개요 ----------------------------------- AI 응용분야 ----------------------------------- 생물학적 신경망 ----------------------------------- 신경망의 역사 ----------------------------------- 신경망(Neural Network) ------------------------ 신경망 학습방법 ------------------------------------ 신경망 구현 ------------------------------------ 신경망 응용 분야 ------------------------------------ 결론 ------------------------------------- 신경망개념과응용 혜천대학 남석우 2 3 9 20 27 30 36 49 51 56 Neural Network : Concepts and Applications 인공지능 개요 [1/6] 인공지능의 정의 인간의 지능 : 문제 해결, 학습, 사고, 언어 고등동물 전유물 컴퓨터로의 실현 인공지능 다양한 정의 지능 시스템 확인 인간의 정신 기능계산 모델을 이용하여 연구(Charniak) 컴퓨터가 지능을 가질 수 있도록 하는 방법 연구(Winston) 환경 적응, 추론, 사실들의 관계, 의미 이해, 진실 파악 과거의 경험으로부터 자신(시스템)의 성능 향상 학습 사람의 지적 행동을 컴퓨터가 모방할 수 있도록 하는 과학 분야 신경망개념과응용 혜천대학 남석우 3 Neural Network : Concepts and Applications 인공지능 개요 [2/6] 인공지능의 범주 사람처럼 행동하는 시스템 Turing Test 로봇 공학 사람처럼 생각하는 시스템 GPS(General Problem Solver): Newell, Simon Cognitive Science: 컴퓨터 모델, 인간 심리 비교 이성적으로 생각하는 시스템 추론 논리, Syllogism 이성적으로 행동하는 시스템 에이젼트: 목표를 성취하기 위해 행동, 추론을 포함 뜨거운 물체에서 손을 갑자기 떼는 것(생각이 아니라 행동) 신경망개념과응용 혜천대학 남석우 4 Neural Network : Concepts and Applications 인공지능 개요 [3/6] 인공지능을 위한 지식 컴퓨터가 인공지능을 가질려면 사람이 문제 해결에 필요한 지식(Knowledge)을 주어야 함 인공지능의 다양한 기법: 공통적으로 지식 사용 지식의 특징 일반성: 상황별 중요 성질 - 공통적 사람이 이해할 수 있어야 함 오류처리 용이 완전성 보장 불가 문제 범위 축소: 지식량 줄임 신경망개념과응용 혜천대학 남석우 5 Neural Network : Concepts and Applications 인공지능 개요 [4/6] 인공지능의 역사 논리 연산 Turing Test Boole: Weizenbaum: Eliza 개발 - 환자와 대화(심리 치료) McCarthy: 인공지능 용어 탄생(1956 학술대회) Levy와의 체스게임: Levy Challenge(1968-1978) Deep-Though, Deep-Blue와 인간의 경기 쇠퇴 80년대 전문가 시스템으로 부활 90년대 퍼지 및 신경망 분야 활발 90년대 후반 이후 지능형 에이전트(Intelligent Agent) 등 에이젼 트 연구가 관심 70년대 신경망개념과응용 혜천대학 남석우 6 Neural Network : Concepts and Applications 인공지능 개요 [5/6] 인공지능 시스템의 기능적 구성 입력시스템 내부시스템 출력시스템 탐색에 의한 문제 해결 언어 대화 불확실한 지식의 처리 및 추론 학습 시각 행위 작용 계획 신경망개념과응용 혜천대학 남석우 조작 7 Neural Network : Concepts and Applications 인공지능 개요 [6/6] 인공지능 컴퓨터를 이용하여 인간 두뇌의 지적인 능력을 수행하고자 하는 분야 인공지능 기법 하향식(Top-Down) 접근방법 - 기호 기반의 논리학 접근 상향식(Bottom-Up) 방법 - 신경망, 유전자 접근법, 비기호적 접근 인공 지능의 접근 방법 기호 기반의 인공지능 기술: 기호 논리학 기반(귀납법, 연역법, 추론) 비기호적인 인공지능 기술: 예 신경망 이론, 유전자 기법 신경망 알고리즘(Neural Network Algorithm) 두뇌의 신경 세포의 정보 인지 메커니즘을 모방 신경세포(Neuron) 간의 상호 연결된 신경선의 연결 강도가 정보의 인지 능력을 나타냄 연결 강도는 학습 효과에 의해 동적으로 변화 신경망개념과응용 혜천대학 남석우 8 Neural Network : Concepts and Applications 인공지능 응용 분야 지능형 에이전트 주어진 일을 자동적으로 수행하는 S/W 로봇 이동성, 학습능력, 계획능력, 협조능력, 통신능력 응용분야 검색, 프로그램간의 인터페이스, 상거래 상품 추천 Data Mining Expert(전문가) System 예 MYCIN, 기계 고장 진단, 의료 진단 자연어 처리 시스템 지능형 로봇, Cyber 애완 동식물 지능형 게임 컴퓨터 체스, 바둑 기계 학습(Machine Learning) 결과에 대한 feedback 기능을 컴퓨터가 가짐 최근의 인공 지능 연구 유전자 알고리즘, 진화 알고리즘 경험론적 연구 방법 행동 기반 인공 지능 신경망개념과응용 혜천대학 남석우 9 Neural Network : Concepts and Applications AI 응용분야 : 전문가시스템 (Expert System) 전문가 시스템 특정 분야에서 인간 전문가와 같 은 수준의 지능과 경험을 가진 컴 퓨터 시스템 전문가가 가지고 있는 지식들을 정리하여 시스템에 입력시켜 지식 베이스로 축적 사용자가 질문을 하면 추론기구가 지식베이스를 활용하여 추론 그 결과를 사용자에게 전해주는 과정 신경망개념과응용 혜천대학 남석우 10 Neural Network : Concepts and Applications AI 응용분야 : 전문가시스템의 예 덴드럴(Dendral) 최초의 전문가 시스템 1965년에 파이겐바움(Feigenbaum)이 개발한 이라는 시스템 이는 분자의 구조를 추정하는 시스템 마이신(Mycin) 프로스펙터(Prospector) 의학진단용 전문가시스템 광물탐사 허세이(Hersay) 음성이해의 가능성을 보여주기 위해 개발 신경망개념과응용 혜천대학 남석우 11 Neural Network : Concepts and Applications AI 응용분야 :지식베이스 시스템 (Knowledge-base System)[1/2] 지식베이스 시스템 (Knowledge-base System) 인공지능을 구현하기 위한 방법론 지식을 표현하고, 표현된 지식을 저장하고 관리하기 위한 기능 지식 시스템 구성자가 입력시키는 지식인 일반적인 지식 경험적인 지식으로서 경험을 통해서만 얻을 수 있는 특정 전문분야 에 한정된 지식 지식베이스 추론엔진과 더불어 지식베이스 시스템에서 가장 핵심적인 역할 신경망개념과응용 혜천대학 남석우 12 Neural Network : Concepts and Applications AI 응용분야 :지식베이스 시스템 (Knowledge-base System) [2/2] 주어진 문제들에 대하여 지식베이스에 근거하여 추론엔 진을 통하여 정확한 추론 사용자와는 사용자 인터페이스를 통하여, 전문가와는 지 식획득 기구를 통하여 외부적으로 연결 인공지능 프로그램을 전체집합 지식베이스 시스템은 그것의 부분집합 특정한 부분집합이 바로 전문가시스템 신경망개념과응용 혜천대학 남석우 13 Neural Network : Concepts and Applications AI 응용분야 : 퍼지이론 (Fuzzy Theory) 퍼지이론 (Fuzzy Theory) 애매함을 효과적으로 표현하고 실생활에 적용하고자 하는 방법론 효과적인 적용을 통하여 보다 정교한 지능적인 시스템의 구현이 가능해 질 것으로 예상 퍼지이론의 적용 퍼지에 관한 체계적인 이론은 1965년 로피 자데(Lotfi Zadeh) 교수에 의 해 처음으로 정립 1980년 초반에 던(Dunn)의 퍼지분할(Fuzzy Partition) 이론을 통하여 패턴 분류에 유용한 모델이 입증 1984년 미국의 사우스 캐롤라이나 대학 전산학과의 제임스 베즈엑 (James Bezdek)에 의한 퍼지-c-means 알고리즘으로 체계화 일본으로 들어가 실생활에 쓰이는 가전제품 등에 응용하기 위한 연구 우리나라에도 1980년대 말부터 이를 활용하기 위한 연구가 진행되 퍼지이론에 관한 연구 분야 퍼지제어, 퍼지 데이터베이스, 퍼지 신경망, 퍼지 전문가시스템, 퍼지 패턴인 식, 퍼지 영상인식 , 퍼지추론 등 관련 분야 신경망개념과응용 혜천대학 남석우 14 Neural Network : Concepts and Applications AI 응용분야 : 자연어 처리 (Natural Language Processing) 자연어 처리 (Natural Language Processing) 인공지능 연구의 초기단계에서부터 주요 관심의 대상 자연어 처리의 심화와 응용은 자연어의 이해와 기계번역 자연어 이해 지능적인 인터페이스나 문헌의 요약 또는 상황의 이해에 관한 분야 기계번역 컴퓨터를 통하여 서로 다른 언어들을 번역하는 것 효과적인 자연어 처리를 위해서는 해당언어에 대한 정확한 문장 의 분석, 즉 구문적인 분석과 의미적인 해석 능력이 필요 효과적인 자연어 처리는 인간과 컴퓨터 사이의 원활한 인터페이 스를 위해서는 필수적 신경망개념과응용 혜천대학 남석우 15 Neural Network : Concepts and Applications AI 응용분야 : 패턴인식 (Pattern Recognition)[1/2] 패턴인식 (Pattern Recognition) 초반에 처음으로 사용 원래는 문자의 인식, 일기예보, 음성인식 등의 형태를 검출하는 의미 패턴인식의 보다 의욕적인 목표 1960년대 생물학적 감각기능과 유사한 인공적인 인지(perception)를 구현 하는 것 패턴공간(Pattern Space)에서 클래스 멤버쉽 공간(Class Membership Space)으로의 매핑과정 외부로부터 획득된 데이터로부터 중요한 특징들을 추출 가장 가까운 표준 패턴(template)을 골라 분류 최종적인 결정출력 신경망개념과응용 혜천대학 남석우 16 Neural Network : Concepts and Applications AI 응용분야 : 패턴인식 (Pattern Recognition)[2/2] 시간적, 공간적 데이터에 대한 패턴인식의 신경망적인 접근에 있 어서 가장 중요한 이슈 어떻게 인식할 수 있느냐는 점 패턴의 시간적인 정보를 어떻게 저장 움직이는 물체에 대한 실시간 처리 응용 분야 문자인식과 영상인식에 관한 연구가 진행 신경망개념과응용 혜천대학 남석우 17 Neural Network : Concepts and Applications AI 응용분야 :데이터마이닝 기법 (Data Mining)[1/2] 대량의 데이터로부터 쉽게 드러나지 않는 유용한 정보들 을 추출하는 과정 정보는 묵시적이고 잘 알려져 있지 않지만 잠재적으로 활 용가치가 있는 정보 기업이 보유하고 있는 일일 거래자료, 고객자료, 상품자료, 마케 팅 활동의 피드백 자료와 기타 외부자료를 포함하여 사용 가능한 데이터를 기반으로 숨겨진 지식, 기대하지 못했던 패턴, 새로운 법칙과 관계를 발견하고 이를 실제 경영의 의사결정 등을 위한 정 보로 활용 정보를 찾아내는 방법 어떤 특정 기법과 그 기술 자체만을 의미하는 것이 아니고 비즈니스 문제를 이해하고 이러한 문제를 해결하기 위하여 정보 기술을 적용하는 포괄적인 과정 유용한 정보의 추출을 위한 방법론 신경망개념과응용 혜천대학 남석우 18 Neural Network : Concepts and Applications AI 응용분야 :데이터마이닝 기법 (Data Mining)[1/2] 데이터마이닝을 효율적으로 수행하기 위하여 시계열분석 등 각종 통계기법 데이터베이스 기술 산업공학, 신경망, 인공지능, 전문가시스템, 퍼지논리, 패턴인식, 기계적 학습(Machine Learning), 불확실성 추론(Reasonging with Incertainty), 정보검색에 이르기까지 각종 정보기술과 기법 들을 사용 경영전략, 마케팅 기법 등의 최신 경영기법들의 이용도 필요 데이터 마이닝을 통하여 거대한 데이터베이스에 숨어있 는 전략적인 정보를 발견 주요 비즈니스 프로세스 개선의 가장 원초적인 단계에서 사용 신경망개념과응용 혜천대학 남석우 19 Neural Network : Concepts and Applications 생물학적 신경망 [1/6] 뇌의 구조 수많은 뉴런(신경세포)들이 시냅스(synapse)를 통해 망의 구조를 이루면서 여러 가지 기능 수행 신경망개념과응용 혜천대학 남석우 20 Neural Network : Concepts and Applications 생물학적 신경망 [2/6] 뉴런의 구조 세포체(soma) 신경세포의 중앙에 위치 정보의 수용, 연산처리, 출력의 전송 수상돌기(dendrite) 나뭇가지처럼 넓게 퍼져 있는 두껍고 짧은 다수의 돌기 다른 뉴런과 연결되어 입력신호 받음 축색(돌기)(axon) : 한 개의 가느다란 섬유 세포체에 붙어 있으며 전기적으로 활성화 되고, 뉴런에 의해 발생되 는 펄스를 다른 뉴런들에 전달 축색의 끝부분은 가느다란 가지로 나누어져 있고 다른 뉴런의 수상 돌기와 시냅스(synapse)를 통해 연결 신경망개념과응용 혜천대학 남석우 21 Neural Network : Concepts and Applications 생물학적 신경망 [3/6] 뉴런간의 정보교환 시냅스를 통해 이루어짐 사람의 대뇌피질에는 약 1000억(1011)개의 뉴런 각 뉴런은 약 1천개의 수상돌기 가짐 100조(1014)개의 시냅스 뉴런의 주요기능 활동 전위의 전기펄스 생성과 전송 신경망개념과응용 혜천대학 남석우 22 Neural Network : Concepts and Applications 생물학적 신경망 [4/6] 뉴런의 모델링 입 력 수 상 돌 기 세포체 시 냅 스 축색 출 력 수상돌기 축색돌기 세포체 출 력 입 력 신경망개념과응용 혜천대학 남석우 23 Neural Network : Concepts and Applications 생물학적 신경망 [5/6] 시냅스 : 뉴런에서 뉴런으로 신호를 전달하는 부분 정보전달은 축색 위를 전파해 간 활동 전위가 시냅스에 도착함으로서 시작 전기 펄스에 의해 자극된 시냅스는 화 학물질을 방출 시냅스 전 뉴런(신호를 전하는 뉴런)의 활동전위 펄스가 시냅스 후 뉴런(신호 를 받아들이는 뉴런)의 전위변화를 일 으킴 으로서 정보전달 흥분성 시냅스 : 시냅스 전 뉴런의 펄스 에 의해 시냅스 후 뉴런의 전위를 올림 억제성 시냅스 : 시냅스 전 뉴런의 펄스 에 의해 시냅스 후 뉴런의 전위를 내림 신경망개념과응용 혜천대학 남석우 24 Neural Network : Concepts and Applications 생물학적 신경망 [6/6] 생물학적 신경망의 특성 병렬 분산처리 방식, 분산저장 연상기억(Associative memory) 능력 CAM(Content Addressable Memory)(내용주소 기억장치) 고장극복(fault-tolerant) 학습능력 자기조직화(self-organizing) – 주어진 입력에 대해 자신의 내부 구조를 스스로 조직해 나감으로써 학 습해 나가는 능력 – 주어진 입력 패턴에 대하여 정확한 해답을 미리 주지 않아도 자기 스스 로 학습할 수 있는 능력 신경망개념과응용 혜천대학 남석우 25 Neural Network : Concepts and Applications 인간의 뇌와 컴퓨터 process-ing element element size 1014 synapses 10-6m 30 W 100 Hz 108 transistors 10-6m 30 W (CPU) 109 신경망개념과응용 energy use processing speed style of computation fault tolerant learns intelligent, conscious distributed yes yes usually serial, centralized no a little not (yet) parallel, 혜천대학 남석우 Hz 26 Neural Network : Concepts and Applications 신경망의 역사 [1/3] 1940년 ~ 1960년 : 뇌를 모방한 컴퓨터 연구의 1차 융성기 MaCulloch & Pitts(1943) : 형식 뉴런 Hebb(1949) : 학습규칙 최초의 신경망 모델, 단순한 임계논리 실현 두 뉴런간의 연결강도를 조정하는 최초의 학습규칙 정보에 관한 새로운 학문 체계 Shannon의 정보이론, Wiener의 Cybernetics(인공두뇌학) Rosenblatt(1957) : Perceptron(학습하는 인공두뇌) 뉴런간의 결합에 학습능력을 부여한 패턴인식장치 연구 델타규칙(delta rule) Widrow(1963) : Adaline(Adaptive Linear Neur`on) 신경망의 초기모델 Aizerman(1964) : Potential 1960년대 후반 : computer hardware 기술 발달 뇌의 계산 원리 거의 알지 못함 기호처리 인공지능 Minsky & Papert(1969) : Perceptrons Perceptron 모델의 한계점 지적 논리기호처리를 위주로 하는 인공지능 주장 20년간 신경망 연구의 침체기 야기 신경망개념과응용 혜천대학 남석우 27 Neural Network : Concepts and Applications 신경망의 역사 [2/3] Nakano(1972) : 연상기억(Associative Memory) 모델 제안 Malsburg(1973) : 외계신호를 자기조직적으로 만들어내는 신경회 로 모델 제안 Kohonen(1975) : Kohonen network 자기조직화를 통한 경쟁학습(Competitive Learning) 자기조직화 형상지도(Self-organizing Feature Maps) Fukushima(1975) : Cognitron 패턴인식 모델로서 경쟁학습을 하는 다층의 신경망 모델 Neocognitron(1982) - Cognitron의 발전된 모델 숫자나 문자인식에 많이 사용 Grossberg & Carpenter(1976) : ART(Adaptive Resonance Theory Model) ART-1 : 경쟁학습 모델, 2진수 입력패턴 처리 ART-2 : ART-1의 개량형, analog형의 입력도 처리 신경망개념과응용 혜천대학 남석우 28 Neural Network : Concepts and Applications 신경망의 역사 [3/3] Amari(1978) : 신경망의 수학적 이론 연구 기호처리 인공지능 연구의 문제점 발견 1980년대 : 신경망의 부흥기 Hopfield(1982): 70년대의 연상기억 모델에 물리학적 해석 부여 신경망 해석에 에너지 최소화 개념 도입 Hopfield & Tank(1982) : Hopfield network 상호 결합형 신경망 모델, 물리학적인 spin모델에서 착안 연상기억, 최적화 문제에 많이 이용 Kirkpatrick(1983) : Simulated annealing(확률적인 개념 도입) 고체를 높은 온도에서 녹인 후 서서히 식히면서 에너지의 상태를 최소화 시키는 방법을 신경망에 적용. 조합 최적화 문제등에 응용 Hinton & Sejnowski(1984) : Boltzman machine Hopfield network의 동작규칙을 확률적 동작규칙으로 확장 Rumelhart & McClelland(1986) : generalized delta rule PDP group에서 역전파(Backpropagation)모델 제시 다층 퍼셉트론 학습에 사용 신경망개념과응용 혜천대학 남석우 29 Neural Network : Concepts and Applications 인공 신경망 [1/5] 뉴런 모델(다입력, 1출력) (MaCulloch & Pitts)(1943) 형식 뉴런 PE(Processing Element) unit, cell, node라고도 함 X1 X2 . . W1 W 2 Wn Xn 신경망개념과응용 f Y = f(X) X = WiXi f : 응답함수 혜천대학 남석우 30 Neural Network : Concepts and Applications 인공 신경망 [2/5] Y = f(X) : Y는 그 시점에서의 PE의 상태 Y = 1 뉴런이 흥분한 상태, Y = 0 뉴런이 억제된 상태 Wi : i번째 입력의 시냅스 결합의 강도(weight, strength) 흥분성 결합의 경우 양의 값(흥분성 시냅스) 억제성 결합의 경우 음의 값(억제성 시냅스) * 학습에 의해 값이 변함 응답함수의 예 (1) 계단함수(step function) f(X) = 1 X 0 0 X<0 (2) 임계함수 (3) 시그모이드(sigmoid) 함수 f(X) = 1/(1+exp(-X)) 신경망개념과응용 혜천대학 남석우 31 Neural Network : Concepts and Applications <비선형 전이함수의 종류> (1) 계단함수 { y 1 ( x 0) y 1 ( x 0) (2) 임계함수 { 불연속 신경망개념과응용 혜천대학 남석우 (3)시그모이드함수 y 1 ( x 1) y x (1 x 1) y 1 ( x 1) 2 y 1 x 1 e ( x ) 연속이나 한 개의 함수값으로 표현 불가능 연속이며 모든 점에서 미분가능 32 Neural Network : Concepts and Applications 인공 신경망 [3/5] 형식뉴런의 동작 Y(t+1) = f [ Wi Xi(t) - ] t = 0, 1, 2, f : 계단함수 뉴런끼리의 상호작용 협동작용 한 뉴런이 흥분하면 그것과 연결된 다른 뉴런도 흥분시키도 록 하는 상호작용 억제작용 한 뉴런이 흥분하면 그것과 연결된 다른 뉴런은 흥분하지 않도록 하는 억제작용 신경망개념과응용 혜천대학 남석우 33 Neural Network : Concepts and Applications 인공 신경망 [4/5] Hebb의 학습규칙 심리학자 Hebb(1949) : 뇌의 학습모델 제안 “Hebb의 시냅스”라고 알려진 시냅스의 연결강도 조정을 위한 생리학적 학습규칙 기술 X1 X2 w1 w2 . . 출력 wn Xn 출력결과를 feedback시켜 뉴 런이 흥분했을 때 입력들의 weight 크게 하고 결합강화, 같은 pattern의 신호가 입력 으로 들어왔을 때 흥분하기 쉬워짐 Hebb의 학습모델 신경망개념과응용 혜천대학 남석우 34 Neural Network : Concepts and Applications 인공 신경망 [5/5] 학습절차 초기치에 대한 지식이 없으면 랜덤하게 결정 학습 데이터를 입력하여 주어 진 평가기준을 써서 평가 평가결과에 따라 weight 조정 반복 적용, 최적치로 접근 시작 초기 w 결정 입력데이터 평가 입력데이터 평가기준 W 조정 신경망개념과응용 혜천대학 남석우 35 Neural Network : Concepts and Applications 신경망 학습 방법 [1/9] 교사학습(지도학습, 감독학습 : supervised learning) 예) Hopfield network Perceptron(delta rule) multilayer perceptron(error backpropagation 비교평가 입력 신경망개념과응용 혜천대학 남석우 신경망 출력 36 Neural Network : Concepts and Applications 신경망 학습 방법 [2/9] 무교사학습(비지도학습 : unsupervised learning) 예) 경쟁학습(competitive learning) Kohonen Cognitron(Fukusima) ART(Grossberg) 자기평가 신경망 출력 입력 신경망개념과응용 혜천대학 남석우 37 Neural Network : Concepts and Applications 신경망 학습 방법 : 단층퍼셉트론 모델[3/9] 단층 퍼셉트론 심리학자 Rosenblatt(1957)이 pattern을 분류하기 위해 제안한 신경망 모델 학습에 의해 인식하는 능력을 향상시킬 수 있는 장치 외부에서 두 가지 신호가 주어졌을 때 그것을 식별 Perceptron의 특징 본질적인 특징에 대한 지식 필요 없음 “무엇을 식별하는가”가 미리 결정되어 있지 않음 pattern의 신경망개념과응용 혜천대학 남석우 38 Neural Network : Concepts and Applications 신경망 학습 방법 : 단층퍼셉트론 모델 [4/9] 퍼셉트론 동작원리 S층 PE에 입력 신호 들어옴. S층 PE는 들어온 신호를 A층 PE로 넘 기는 역할 A층 PE는 R층 PE와 연결 A층과 R층 PE에는 비선형 응답함수인 계단함수 사용 A층 PE와 R층 PE간의 weight는 학습에 의해 바뀜 퍼셉트론의 유용성 구조적인 단순함 퍼셉트론의 한계점 선형분리 가능한 패턴만 분리할 수 있 음 이동, 확대, 회전된 패턴의 유사성은 식 별할 수 없음 신경망개념과응용 혜천대학 남석우 39 . . . . .. S층 R층 출력 A층 S층(센서층, 감각층) A층(결합층, 연합층) R층(반응층, 응답층) Neural Network : Concepts and Applications 신경망 학습 방법 : 단층퍼셉트론 모델 [5/9] Ai : A층 PE i로 부터의 출력 Wi : A층 PE i와 R층 PE의 weight : R층 PE의 임계치 f : R층 PE에서 사용하는 함수 R층 PE의 출력 R = f( WiAi - ) < Perceptron 학습 > R층 PE의 출력 R과 교사신호 T를 써서 weight를 바꾸는 과정 Wi(t+1) = Wi(t) + C · (T-R) · Ai : Delta rule C : 학습률(상수) (0.0 C 1.0) Wi(t) : 시간 t의 입력 i로 부터의 weight, Wi(t+1) : 학습 후의 무게 T = 1 if pattern X, T = 0 if pattern Y 신경망개념과응용 혜천대학 남석우 40 Neural Network : Concepts and Applications 신경망 학습 방법 : 단층퍼셉트론 모델 학습[6/9] A 시작 모든 학습패턴 종료? no yes 임계치 , 무게 Wi의 초기화 학습횟수 갱신 학습패턴 입력 A층 PE의 출력 계산 no 학습횟수 종료? R층 PE의 출력 계산 yes 종료 교사신호를 써서 무게 변경 학습 패턴 갱신 A 신경망개념과응용 혜천대학 남석우 41 Neural Network : Concepts and Applications 신경망 학습 방법 : 단층퍼셉트론 모델 [7/9] Minsky & Papert(1969) 의 Perceptrons OR(XOR), Parity 학습등이 불가능함을 지적 20년간 신경망 연구의 침체기를 야기 Exclusive 퍼셉트론 학습에서의 비현실적인 점 rule에서 반응이 정확할 때 어떤 학습도 일어나지 않음 ‘positive 학습’ (학습 중에 실수를 했을 때보다도 정확하게 맞았 을 때 학습효과가 많다는 것) 면에서 보면 비현실적 Delta 퍼셉트론의 의의 다층 Perceptron 모델(Backpropagation model)의 기반이 되 어 문자인식등 여러 분야에 응용 신경망개념과응용 혜천대학 남석우 42 Neural Network : Concepts and Applications 신경망 학습 방법 : 다층퍼셉트론 모델 [8/9] 입력층과 출력층 사이에 하나 이상의 중간층(은닉층 : hidden layer)이 존재하는 신경망 일반화 델타 룰(Generalized delta rule), 역전파법 (Backpropagation rule)에 의해 학습 Backpropagation 학습 알고리즘은 기울기를 따라가는 방법 문제점 지역 최소값(local minima)에 빠질 염려가 있다. 전방향(feedforward) 방식 학습이 수렴할 때까지 많은 시간 걸림 추가학습시 전체적인 재학습 필요 학습의 완료시점을 예측할 수 없다. 신경망개념과응용 혜천대학 남석우 43 Neural Network : Concepts and Applications 신경망 학습 방법 : 다층퍼셉트론 모델 학습 [9/9] 시작 A 무게와 임계치의 초기화 입력층과 중간층 사이의 무게 수정 중간층 PE의 임계치 수정 학습 패턴 입력 학습 패턴 갱신 중간층 PE출력 계산 no 학습패턴 종료? 출력층 PE 출력 계산 yes 학습 반복 횟수 갱신 출력층 PE 오차 계산 no 학습 반복 종료 횟수? 중간층과 출력층 사이의 무게 수정 출력층 PE의 임계치 수정 yes 종료 A 신경망개념과응용 혜천대학 남석우 44 Neural Network : Concepts and Applications 신경망 모델 Hopfield model 상호결합형 각 PE는 다른 모든 PE들과 직접적인 연결 경로를 가짐, 정보의 흐름이 쌍방향 미국 캘리포니아 공과대학 물리학자 John Hopfield 가 제안 물리학의 에너지 개념을 신경망에 도입 연상기억이나 최적화문제, 음성인식, 영상처리, 패턴분류, 기억 내용 병렬검색 등에 사용 연상기억(assocoative memory) 일정한 범용패턴들을 연결강도로 저장 미지의 입력패턴이 주어질 때 가장 유사한 패턴 찾아냄 영상이나 신호패턴들의 일부 또는 단서들로부터 전체적인 표현을 추출 신경망개념과응용 혜천대학 남석우 45 Neural Network : Concepts and Applications 대표적인 신경망 모델 비교 신경망모델 주응용분야 장점/비고 단 점 Hopfield/Kohonen 최적화문제 대규모구현 학습기능 없음, w고정 Perceptron 인쇄체문자인식 최초의 신경망 변화민감, XOR해결 못함 Multilayer Perceptron 패턴인식 Feed -forward형 복잡한 패턴 인식 불가 Input driven MLP 문자, 음성인식 최소 에너지 상태 도달 학습시간이 김 Undirected FT model 문자인식에서 전처리 병렬형 전자회로 설계 학습기능 없음 Selt-Organizing Map 기하학정 영역 mapping 성능이 좋음 광범위한 학습 복잡한 패턴인식 뉴런과의 연결이 많음 Boltzmann Machine Neocognitron 신경망개념과응용 패턴인식 학습용이, MLP개선 방대한 학습 데이터 사용 문자인식 혜천대학 남석우 46 Neural Network : Concepts and Applications 인공 신경망의 특징 인공신경망의 특징 신경망구조는 정보를 분산된 형태로 코드화, 신경망은 예제를 통해 학습, 분류 작업에서 필요한 특징들을 발견,병렬 분산처리 신경망, fuzzy, AI(기호주의) 와의 관계 neural fuzzy AI Numeric ------------------- Symbolic Adaptive ------------------- Declarative Black Box ------------------- Transparent Data Oriented ------------------- Knowledge Oriented CPU intensive ------------------- People intensive 신경망개념과응용 혜천대학 남석우 47 Neural Network : Concepts and Applications 신경망컴퓨터와 디지털 컴퓨터 비교 신경망 컴퓨터 (Connectionism) 디지털 컴퓨터 (Symbolism) 처리데이터 디지털, 아날로그 디지털 처리 방식 병렬처리 직렬(순차)처리 기본 소자 뉴런 논리소자 실행 근거 학습 프로그램 정보 저장 뉴런간의 연결강도 기억장치 정보 검색 내용에 의함 주소지정 응용 분야 연상, 추론, 인식 복잡한 계산 신경망개념과응용 혜천대학 남석우 48 Neural Network : Concepts and Applications 신경망의 구현 [1/2] 소프트웨어만으로 구현 기존 컴퓨터 사용, simulator software 개발 분산, 병렬처리의 장점 살리지 못함 처리속도는 사용되는 컴퓨터 속도에 의존 한 개의 전용 processor 이용 신경망의 연산 수행하기 위해 기존 컴퓨터 외에 한 개의 전용 coprocessor 이용 복수의 전용 coprocessor 이용 여러 고속 연산기를 탑재한 추가 보드(add-on-board) 이용 신경망개념과응용 혜천대학 남석우 49 Neural Network : Concepts and Applications 신경망의 구현 [2/2] 뉴런과 같은 수의 processor 사용 수십 개의 뉴런을 한 chip에 집적, 분산 병렬 처리 가능 Coprocessor 신경망의 학습 및 수행에 해당하는 계산 담당 기존 computer 신경망 컴퓨터의 조작 및 입출력 담당 독립된 신경망 컴퓨터 독립적으로 작동하는 신경망 컴퓨터 기존 컴퓨터 : 기호처리 신경망 컴퓨터 : 비기호처리 신경망개념과응용 혜천대학 남석우 50 Neural Network : Concepts and Applications 신경망의 응용분야 [1/2] 고도 병렬 분산처리를 요하는 복잡한 시스템에 관련되는 분야 기존의 폰 노이만 컴퓨터가 잘 하지 못하는 분야 현재의 신경망 컴퓨터 규모 상당히 작음 학습방법은 주로 역전파법 신경망개념과응용 혜천대학 남석우 51 Neural Network : Concepts and Applications 신경망의 응용분야 [2/2] 사람의 정보처리에 관련된 분야 화상처리 : 문자인식, 패턴인식, 화상압축, 얼굴인식, 지문인식 음성처리 : 음성인식, 음성합성 자연언어처리 : 자연언어 해석, 기계번역, 키워드 추출 운동제어 : 로봇제어 사회시스템, 산업시스템에 관련된 분야 전문가시스템 : 진단시스템, 시장예측 최적화 : 경로선택 제어 : process 제어, 적응제어시스템, 공장제어 기타 분야 지구과학 : 기상예측, 지진예측, 자원탐지 오락 : 게임 신호처리 : 잡음제어, 부호화 신경망개념과응용 혜천대학 남석우 52 Neural Network : Concepts and Applications 신경망 응용 예 : 체스 [1/3] 1997년 게리 카스파로프(33)와 딥 블루의 명승부. 카스파로프는 러시아 출신으로 22살에 최연소 세계 챔피언에 올라 1500년 체스 역사상 최 고의 선수 딥 블루는 미국 IBM사가 개발한 슈퍼컴퓨터 초당 2억가지의 수를 읽는 능력 보유 대당 가격은 20억원, 신장 193cm, 체중 1400 Kg, 나이는 4세 딥블루의 계산능력은 512개의 체스전용칩의 보조를 받는 32개의 마이크로프로세서에서 얻어지며, 행마의 계산속도는 1초당 2 억회로서 최대 74수까지 미리 계산 전적은 6전 1승3무2패로 카스파로프의 패배 34세,그의 연산능력은 500만개의 뇌신경세포에서 얻어지며, 1초에 2가지의 행마를 검토할 수 있고 보통 10수 앞을 내다볼 수 있다 96년 2월에 미국 필라델피아에서 열린 인간과 컴퓨터의 체스대결 인간은 3승2무1패로 승리 인간과 기계의 첫 머리싸움에서 딥 블루가 승리함에 따라 온 세계가 경악 2002년 블라디미르 크람니크(27)와 딥 프리츠의 승부 러시아 출신인 크람니크는 2000년에 15년동안 세계 챔피언으로 군림한 카스파로프로부터 타이틀을 빼앗은 유망주 독일 회사가 개발한 딥 프리츠는 초당 400만 개의 수를 읽는 노트북 컴퓨터용의 체스 프로 그램 크람니크는 스승의 패배를 설욕하지 못함 전적은 2승4무2패로 무승부 2003년 초에 개최된 카스파로프와 딥 쥬니어의 경기 이스라엘에서 개발된 딥 주니어 딥 블루보다 100배 가량 수를 읽는 속도 느림 딥주니어는 프로세서가 8개로 1초에 300만수 읽기 카스파로프는 명예 회복에 실패했다. 전적은 1승4무1패로 무승부 신경망개념과응용 혜천대학 남석우 53 Neural Network : Concepts and Applications 신경망 응용 예 : 필기체 문자 인식 [2/3] ZIP code recognition (Le Cun, 1989): 99% accuracy 우편번호(필기체) 인식 신경망개념과응용 혜천대학 남석우 54 Neural Network : Concepts and Applications 신경망 응용 예 : 자동차 번호판 인식 [3/3] 동영상에서 차량 번호판 이 있는 프레임 찾기 프레임에서 번호판영역 추출 번호판영역 개선 개별문자 분류 번호인식 신경망 이용 개별문자를 신경망의 입력 해당 문자 출력 프레임처리부 동영상 프레임 획득 차량진입 프레임 찾기 배경프레임 획득 시작시간 끝시간 번호판 프레임 찾기 동영상 내용저장부 진출차량 프레임 찾기 번호판인식부 번호판영역 추출 차량번호 차량 동영상 번호판영역 영상개선 사용자 질의부 개별문자분류 차량번호 동영상 번호인식 신경망개념과응용 혜천대학 남석우 55 Neural Network : Concepts and Applications 결론 신경망은 다음에 의해 구성 신경세포 (neuron) 또는 처리소자 (processing element) 연결강도 (connection weight) 학습규칙 (learning rule) 또는 훈련 알고리즘 (training algorithm) 사람처럼 보고 듣고 말하고 생각하는 컴퓨터를 개발하려 면 사람의 뇌를 본떠야 함에도 우리가 아직 뇌의 신비를 완전히 이해하지 못하고 있기 때문 패턴인식, 음성인식, 음성합성, 자동번역, 최적화, 적응 제어, 수치 예측 등 많은 분야에 응용 신경망개념과응용 혜천대학 남석우 56 Neural Network : Concepts and Applications