Transcript 제 2 공동과제 : 감각운동 학습 및 제어모델 연구

감각운동 학습 및 제어모델 연구
연구책임자 : 최종호 (서울대학교)
연구원 : 최진영 (서울대학교)
이종호 (인하대학교)
연구내용
감각 운동 학습 및
제어모델 연구
인공 모델링
• 감각정보 특징 추출 및
목표물 감지방법 연구
• 상황정보 학습모델 연구
• 동작궤적의 생성방법 연구
구현
• 두발로봇 제작
• 두발로봇 시뮬레이터 제작
• 고속 신경망 칩 설계
제 2 공동과제: 감각운동 학습 및 제어모델 연구
연구내용
감각 운동 학습 및
제어모델 연구
인공 모델링
• 감각정보 특징 추출 및
목표물 감지방법 연구
• 상황정보 학습모델 연구
• 동작궤적의 생성방법 연구
구현
• 두발로봇 제작
• 두발로봇 시뮬레이터 제작
• 고속 신경망 칩 설계
제 2 공동과제: 감각운동 학습 및 제어모델 연구
연구 내용


연구목표
 분류 문제를 위한 특징 추출 방법 제시 및 얼굴 인식에의 적용
기존연구
 기존의 ICA 알고리즘에 Supervised learning을 이용하여 높은 분류
성능을 가진 ICA-FX 알고리즘 제안


연구의 확장
ICA-FX를 Multi-class에 적용
제 2 공동과제: 감각운동 학습 및 제어모델 연구
Multi-Class Problem

Structure
 Augmented weight
matrix W =
제 2 공동과제: 감각운동 학습 및 제어모델 연구

Mixing and Unmixing in ICA-FX
Mixing
s
A
c
b
.
Unmixing
+ x
f +
W
u
v
W
제 2 공동과제: 감각운동 학습 및 제어모델 연구
Experimental Results
Training Image
f3
d2
d1
Person 1
Person 2
d3
f2
d1 < min (d2,d3)  good features
New Image
f1
제 2 공동과제: 감각운동 학습 및 제어모델 연구
 Facial identity recognition

Yale data (165 images, 15
persons)

AT&T data (400 images, 40
persons)
제 2 공동과제: 감각운동 학습 및 제어모델 연구
 Facial expression recognition

JAFFE data (213 images, 7 expressions)
제 2 공동과제: 감각운동 학습 및 제어모델 연구
Conclusion

The structure and the learning rule of ICA-FX is
almost identical to standard ICA.
 Easy to implement.


Good performance in the face recognition
experiments.
Future work
 Class information에 따라 sample별로 학습하는 weighted
ICA-FX 구현
제 2 공동과제: 감각운동 학습 및 제어모델 연구
연구내용
감각 운동 학습 및
제어모델 연구
인공 모델링
• 감각정보 특징 추출 및
목표물 감지방법 연구
• 상황정보 학습모델 연구
• 동작궤적의 생성방법 연구
구현
• 두발로봇 제작
• 두발로봇 시뮬레이터 제작
• 고속 신경망 칩 설계
제 2 공동과제: 감각운동 학습 및 제어모델 연구
연구배경 및 목표
기존연구의 문제점
기존연구
• 기존의 학습 방법은
주어진 개별적인 상황을
학습하는 데에 적합함
• 이전 학습에서 얻어지는
정보(경험)를 활용하지
않음
Experienced case
(Learned case) :
New case 1 :
New case 2 :
• 다수의 상황을 학습하는 경우에
비효율적
• 공통된 상황을 반복해서 학습
• 많은 수의 자료와 학습시간이
필요
연구목표
• 다수의 상황을 학습하는 경우에
효율적인 학습방법 개발
• 이전 학습에서 얻어지는 정보를
재활용함
• 이전에 얻어진 정보를 분해,
재결합하여 새로운 정보를 학습
하는 데에 이용
제 2 공동과제: 감각운동 학습 및 제어모델 연구
연구결과 및 향후 연구내용
연구결과
• 학습 알고리듬을 부분적으로 개발
• 간단한 경우에 대해 실험
• Grid world에서의 Hunter-Prey task를 학습
• 낮은 자유도를 가진 단순한 이족로봇의
Stand-up motion 학습 실험
: 다수의 넘어진(fall-down) 상태가 존재
: 개별적인 경우 각각에 대해 일어서는 방법을
학습하기 곤란
• 적은 수의 경우에 대해 학습하고, 학습된 경험을 재사용하여
다양하게 변형된 task를 빠르게 학습
향후 연구계획
• 부분적으로 개발된 학습 알고리듬을 통합
• 궤적생성 알고리듬 연구와의 결합 시도
제 2 공동과제: 감각운동 학습 및 제어모델 연구
연구내용
감각 운동 학습 및
제어모델 연구
인공 모델링
• 감각정보 특징 추출 및
목표물 감지방법 연구
• 상황정보 학습모델 연구
• 동작궤적의 생성방법 연구
구현
• 두발로봇 제작
• 두발로봇 시뮬레이터 제작
• 고속 신경망 칩 설계
제 2 공동과제: 감각운동 학습 및 제어모델 연구
Guidance algorithm을 이용한
Robot Arm Trajectory Design(1/4)

Introduction
 At present, most industrial robots pick up objects from
fixtures or palletized conveyors. It is anticipated that, in
the future, a number of such works will have to be
accomplished without a priori know-ledge of the parts’
exact locations and their velocities.
-> A On-Line techniques for intercepting a moving
object via an autonomous robotic manipulator is
necessary!!
제 2 공동과제: 감각운동 학습 및 제어모델 연구
Guidance algorithm을 이용한
Robot Arm Trajectory Design(2/4)


Robotic interception of moving objects is defined as
“Approaching a moving object and matching its location and
velocity
in the shortest possible time.”
Applicable approaches
1. Prediction-based techniques : Slow-maneuvering objects
(ex) Prediction, Planning, and Execution (PPE) Systems
2. Navigation Guidance laws : Fast-maneuvering objects
(ex) Tracking-based, Proportional Navigation Guidance
(PNG)
제 2 공동과제: 감각운동 학습 및 제어모델 연구
Guidance algorithm을 이용한
Robot Arm Trajectory Design(3/4)

Fast-maneuvering objects를 상정한 Trajectory Design(cont’d)
 Vision system으로부터 얻은 Target의 position & velocity 정
보와 Sensor로부터 얻은 Robot의 position & velocity 정보를
이용하여 Robot Arm의 Trajectory를 설계.
제 2 공동과제: 감각운동 학습 및 제어모델 연구
Guidance algorithm을 이용한
Robot Arm Trajectory Design(4/4)

Fast-maneuvering objects를 상정한 Trajectory Design(cont’d)
 Navigation Part
-> Guidance Law 적용 : PNG + Tracking-based.
d
d

  sin(    )
dt
dt
(  : 시선 각(Line of Sight),
 : 진행 방향 )
제 2 공동과제: 감각운동 학습 및 제어모델 연구
연구내용
감각 운동 학습 및
제어모델 연구
인공 모델링
• 감각정보 특징 추출 및
목표물 감지방법 연구
• 시공간적 상황정보 학습모델 연구
• 동작궤적의 생성방법 연구
구현
• 두발로봇 제작
• 두발로봇 시뮬레이터 제작
• 고속 신경망 칩 설계
제 2 공동과제: 감각운동 학습 및 제어모델 연구
연구 내용

연구목표
 두발로봇을 제작하고 감각-운동 제어모델을 적용하여 보행을 구현
한다.

기존연구
 상체가 없는 두발 로봇을 제작하여 static walking을 구현하였다.


연구의 확장
상체를 만들고 센서를 이용하여 ZMP를 측정하여 보행을 보정
한다.
제 2 공동과제: 감각운동 학습 및 제어모델 연구
System 구성

Robot
 구성 : Trunk를 가지는 7 자유
도 ( height : 50cm )
 구동 actuator : DC-micro
motor(minimotor 2224)를 이
용
 모터 제어 : PC-based
control
 소프트웨어 : PICARD
 인터페이스 : PCL727(DA),
PCL833(Counter),
PCL815(AD)를 이용
 보행 방법 : 정적, 동적 보행
제 2 공동과제: 감각운동 학습 및 제어모델 연구
소프트웨어개발

구성
 PICARD
제 2 공동과제: 감각운동 학습 및 제어모델 연구
Experiment

Slow walking
 17.1steps/min.
 51.4 cm/min.
제 2 공동과제: 감각운동 학습 및 제어모델 연구
0
1
120
239
358
477
596
715
834
953
1072
1191
1310
1429
1548
1667
1786
1905
2024
2143
2262
2381
2500
2619
2738
2857
2976
3095

ZMP의 변화
Stable Region
0.06
0.04
0.02
COM
ZMP
ZMP(real)
-0.02
-0.04
-0.06
제 2 공동과제: 감각운동 학습 및 제어모델 연구

Walking
 25 steps/min.
 1.5 m/min.
제 2 공동과제: 감각운동 학습 및 제어모델 연구
Conclusion



Trunk의 움직임으로 향상된 보행
센서로부터 보행의 안정성 측정
Future work
 보행 속도 향상
 안정성이 높은 보행 구현
제 2 공동과제: 감각운동 학습 및 제어모델 연구
연구내용
감각 운동 학습 및
제어모델 연구
인공 모델링
• 감각정보 특징 추출 및
목표물 감지방법 연구
• 시공간적 상황정보 학습모델 연구
• 동작궤적의 생성방법 연구
구현
• 두발로봇 제작
• 두발로봇 시뮬레이터 제작
• 고속 신경망 칩 설계
제 2 공동과제: 감각운동 학습 및 제어모델 연구
자유낙하모델을 이용한 두발 로봇 시뮬
레이터

Model
 자유낙하 모델
 중력 가속도의 가속도로 밑으로 떨어지고 있는 상태에서 몸통
이 지면과 충돌하고 있는 상태로 설정,
 동역학의 출발점이 양 발끝이 아닌 몸통의 중심점으로 설정
 새로운 관절을 추가할 경우 간단하게 계산 가능
• 발-몸통-팔로 이어지는 계산 과정이 발-몸통, 팔-몸통의 순서로 단
순화 되므로, 새로운 링크-몸통의 모듈 추가로 단순화 가능
 목 3 팔 12, 다리 12, 허리 3, 몸통 3 자유도
제 2 공동과제: 감각운동 학습 및 제어모델 연구
자유낙하모델을 이용한 두발 로봇 시뮬
레이터

콘택트 모델
 A Collision Model for Rigid and Deformable Bodies
 발 밑면의 일정한 두께만큼을 고무패드로 보고 이것의 네 개의
모서리를 spring and damper로 모델링
제 2 공동과제: 감각운동 학습 및 제어모델 연구
자유낙하모델을 이용한 두발 로봇 시뮬
레이터

콘택트 모델(cont’)
 중력 가속도로 떨어지
던 물체가 약간의 찌그
러짐 후 원형으로 돌아
가는 모습을 보임
제 2 공동과제: 감각운동 학습 및 제어모델 연구

Result and furture work





높은 자유도의 로봇 모델링
추가 확장 시 용이함
자유로운 동작의 표현 가능, 동작에 표현한 힘/토크 계산
로봇 궤적 생성에 관한 연구 필요
궤적 학습에 관한 연구 필요
제 2 공동과제: 감각운동 학습 및 제어모델 연구
연구체계
감각 운동 학습 및
제어모델 연구
인공 모델링
• 감각정보 특징 추출 및
목표물 감지방법 연구
• 시공간적 상황정보 학습모델 연구
• 동작궤적의 생성방법 연구
구현
• 두발로봇 제작
• 두발로봇 시뮬레이터 제작
• 고속 신경망 칩 설계
제 2 공동과제: 감각운동 학습 및 제어모델 연구
순서

대용량 신경망칩(ERNA) 설계
 주요특징 및 의의
 Processing Element
 ERNA Structure : MLP
 ERNA Structure : Hopfield
 시뮬레이션
 신경망 학습
 감각운동모델연구(Application)
 Sensory Motor Fusion System
 A Motorless Six Legged Walking Robot
제 2 공동과제: 감각운동 학습 및 제어모델 연구
주요특징 및 의의


ERNA
 (Expandable & Reconfigurable Neural network Architecture)
주요특징
- 범용성 : 재구성 기능을 이용한 범용성 확보
- 확장성 : 제안된 기본 유닛을 이용하여 칩의 크기 및 칩의 외부 내부
에 제한을 받지 않고 확장 가능
- Neuron Parallelism, Pipeline 구조를 통한 고속 연산 가능

의의
- 범용성을 가진 신경회로망을 확보함으로써 다양한 연구 분야에서
활용 가능
- 진화 신경망의 구성이 가능하므로 진화 문제에 적용 가능
- 대용량 신경회로망의 구성 가능
제 2 공동과제: 감각운동 학습 및 제어모델 연구
Processing Element
<ERNA 의 기본적인 두가지 UNIT인 SPE와 LPE>
SPE
• SPE
입력된 데이터와 메모리에 저장되어 있는
RAM
ACC
256*18 bit
weight를 곱한 다음 accumulator에 누적
• LPE
LPE
누적된 데이터를 SPE로부터 입력받은후
BUS
CTRL
ACT
FTN
256*18 bit
activation function LUT를 통해서 그 값을
출력
제 2 공동과제: 감각운동 학습 및 제어모델 연구
ERNA Structure : MLP
LPE
…..
…..
SPE
SPE
SPE
SPE
SPE
SPE
SPE
SPE
LPE
<Hidden layer를 가진 MLP의 구조> <SPE와 LPE의 ladder bus구조를 이용한 MLP의 구현>
제 2 공동과제: 감각운동 학습 및 제어모델 연구
ERNA Structure : Hopfield
input
x1
y1
x2
y2
x3
y3
x4
y4
SPE
SPE
SPE
SPE
LPE
<Feedback구조를 가진 Hopfield 신경망의 구조>
<SPE와 LPE의 ladder bus구조를 이용한
Hopfield 신경망의 구현>
제 2 공동과제: 감각운동 학습 및 제어모델 연구
시뮬레이션

Feed Forward 신경망 구조 확장 검증을 위한 시뮬레이션 실시
 5*6 single layer network
 기본 모듈(SPE*6+LPE) 1unit을 이용한 신경망 구성
 6*8 의 single layer network
 기본 모듈 2unit 으로 신경망 layer구성
 5*8*6 의 multi layer network
 기본 모듈 2unit을 하나의 hidden layer를 구성하고 또 하나를 추가하여
MLP의 output layer를 구현
 256*32*5 MLP 구성을 통한 알파벳 인식 실험
 16*16 픽셀의 인쇄체 문자 인식 application 적용(모듈 7unit 사용)
 300*5 single layer network 의 대용량 입력 가능성 확인
 SPE 두개로 하나의 뉴런을 구현함으로써 SPE확장을 통해 허용 가능한
입력 개수의 확장 검증
 현재 400*35*26 MLP 구성을 통한 알파벳 인식 실험 진행 중
 SPE 두개를 이용하여 하나의 뉴런을 구성하고 다수의 기본 모듈의 확
장으로 hidden 및 output layer 를 구성하여 ERNA의 범용성 및 확장성
을 검증
제 2 공동과제: 감각운동 학습 및 제어모델 연구
신경망 학습


학습 모듈 개발 단계
 현재 PC에서 pre_trained된 weight 사용
 Computer based Learning (보드의 PC 인터페이스 활용)
 Single Chip에 의한 Learning 모델 개발
학습 모듈
 목표치에 대한 오차를 출력하는 기능을 ERNA에 추가
 활성화 함수의 미분값을 저장
 오차와 활성화 함수의 미분값을 이용하여 MCU를 이용해서 학습 예정
제 2 공동과제: 감각운동 학습 및 제어모델 연구
감각운동모델연구(Application)-1

Sensory Motor Fusion System
Host PC
Equalizing
50
Vision Board
2
48
…
MR-C2000
MR-C2000
2
CCD
camera
Microphone
M0 M1 M2 M3 M4 M5
소리와 영상입력을 조합하여 로봇의 모터각도를 제어
하는 모델로써 PC로 처리되는 부분은 추후 ERNA가
처리할 것임.
제 2 공동과제: 감각운동 학습 및 제어모델 연구
감각운동모델연구(Application)-2

A Motorless Six Legged Walking Robot
 운동모델에 대해 단순히 모터 이외에도 다양한 actuator를 고려하는 의미
에서 접근함.
 SMA(shape memory alloy)의 원리를 이용하여 서보모터를 사용하지 않고
구동하는 6족 로봇을 구현하였다. SMA는 robotstore사의 Muscle wire제품
을 사용하였다. 추후 다른 종류의 모델을 추구할 것임.
 [Muscle Wire Properties]
 Wire Diameter(㎛) : 100
 Min.Bend Radius(mm) : 5
 Wire Cross-sectional Area(㎛2) : 17,700
 Contraction Speed(sec) : 0.5
 Relaxation Speed (sec) : 2.5
제 2 공동과제: 감각운동 학습 및 제어모델 연구