Transcript Capstone_m13_Final.

Autonomous Flight Control of DRONE
Using Vision Recognition
영상인식기반을 통한 DRONE의 자율 비행 제어
발표자 : 200973109 최민현
팀장 : 2009730119
2008730036
2009730136
2011732014
-1-
정
길
이
김
원
원
수
정
호
일
민
훈
1. 설계 목표 2. 개념 설계도 3. 결과보고 4. 일정 계획 분석 5. 시연동영상
목 차
1.
2.
3.
4.
5.
설계
개념
결과
일정
시연
목표
설계도
보고
계획 분석
동영상
-2-
1. 설계 목표 2. 개념 설계도 3. 결과보고 4. 일정 계획 분석 5. 시연동영상
• 최종목표 : 영상 인식 기반을 통한 DRONE의 자율 비행 제어
• 목표 수행 메커니즘
 쿼드 콥터가 이륙하여, 쿼드 콥터에 부착된 카메라를 통하여 임
의의 이미지를 획득한다.
 획득한 이미지를 WiFI 무선통신을 통하여 쿼드 콥터에서 컴퓨터
로 전송한다.
 쿼드 콥터로 부터 전송 받은 이미지를 컴퓨터에서 영상 처리하여
목표 지점을 찾는다.
 목표 지점을 찾지 못하면 목표 지점을 찾을 때 까지 비행하여 목
표 지점을 찾는다.
 목표 지점을 찾으면, 영상 처리를 통하여 현재 쿼드 콥터의 위치
를 기준으로 목표 지점까지의 방향과 거리를 찾는다.
 목표 지점의 위치 정보를 컴퓨터에서 명령으로 처리하여 쿼드 콥
터에 전송한다.
 쿼드 콥터가 명령을 수행한다.
-3-
1. 설계 목표 2. 개념 설계도 3. 결과보고 4. 일정 계획 분석 5. 시연동영상
개념설계도
쿼드콥터
컴퓨터
비행
제어
가속도 센서
자이로 센서
RF
통신
명령
Cortex-M3
센서
정보
RF
Module
USB
RF
Module
센서정보
명령
스위칭
신호
카메라
WiFi
통신
이미지
WiFi
Module
-4-
이미지
처리
WiFi
Module
데
이
터
센서
정보
경로
설정
1. 설계 목표 2. 개념 설계도 3. 결과보고 4. 일정 계획 분석 5. 시연동영상
확장 핀 제어
카메라 스위칭 제어(LED제어) :
영상처리에 필요한 카메라를 ON/OFF하기 위한 스위칭 제어(40Hz)
쿼드콥터
가속도 센
서
자이로 센
서
Cortex-M3
센서
정보
비
행
제
어
RF
Module
스위칭
신호
카메라
WiFi
Module
-5-
1. 설계 목표 2. 개념 설계도 3. 결과보고 4. 일정 계획 분석 5. 시연동영상
모터 3단 속도 제어
모터 속도 제어:
쿼드콥터의 이착륙, 정지비행, 자율을 가능하게 하기 위해 모터 속도제어
가 필요.
쿼드콥터
가속도 센
서
자이로 센
서
Cortex-M3
센서
정보
RF
비
행
제
어
Module
스위칭
신호
카메라
WiFi
Module
-6-
1. 설계 목표 2. 개념 설계도 3. 결과보고 4. 일정 계획 분석 5. 시연동영상
안정된 이착륙
쿼드콥터의 안정된 이착륙:
사용자의 이착륙 명령에 쿼드콥터가 안정된 이착륙을 가능하도록 모
터제어
쿼드콥터
가속도 센서
자이로 센서
Cortex-M3
센서
정보
컴퓨터
비
행
제
어
RF
통신
명령
RF
Module
센서정보
-7-
USB
RF
Module
1. 설계 목표 2. 개념 설계도 3. 결과보고 4. 일정 계획 분석 5. 시연동영상
변경된 영상처리 진행 상황
1. 목표 지점을 노란색으로 한다.
2. 그 목표 지점의 노란색을 인식하는 것을 목표로 한다.
목표 색을 노란색으로 설정
-8-
1. 설계 목표 2. 개념 설계도 3. 결과보고 4. 일정 계획 분석 5. 시연동영상
변경된 영상처리 진행 상황
3. 이 때 인식은 픽셀 분석을 통하여 한다.
-Bitmap 의 Getpixel(), Setpixel() 메서드를 이용하여 픽셀분석을 하
고 목표지점의 노란색을 인식한다.
-9-
1. 설계 목표 2. 개념 설계도 3. 결과보고 4. 일정 계획 분석 5. 시연동영상
변경된 영상처리 진행 상황
4. 이미지 bitmap 픽셀들의 특정 색을 검출한다.
-지정된 한 pixel의 색 정보를 Getpixel(int X, int Y) 메서드를 이용하여 도출
하고, Color pixelColor 변수에 저장
- 10 -
1. 설계 목표 2. 개념 설계도 3. 결과보고 4. 일정 계획 분석 5. 시연동영상
변경된 영상처리 진행 상황
5. 특정 색의 픽셀들의 위치를 도출한다.
-원하는 색을 변수에 저장하고 이전에 변수에 저장했던 색을 검색
하고 위치를 이미지 내에서 도출.
- 11 -
1. 설계 목표 2. 개념 설계도 3. 결과보고 4. 일정 계획 분석 5. 시연동영상
변경된 영상처리 진행 상황
6. 목표 지점의 색은 그대로 유지한다.
7. 목표 지점 이외의 색은 검정색으로 변환한다.
-위의 이벤트 핸들러로 원하는 목표지점의 노란색을 도출해내고 노란색
은 그대로 유지하며, 목표지점 이외의 색은 검정색으로 변환한다.
- 12 -
1. 설계 목표 2. 개념 설계도 3. 결과보고 4. 일정 계획 분석 5. 시연동영상
변경된 영상처리 진행 상황
8. 목표 지점 이외의 장소에서 인식된 노란색은 주변 픽셀을 분석하여
검정색으로 변환한다.
-오른쪽의 이미지는 목표하는 노란색을 그대로 유지하며 목표지점 이외의
색은 검정색으로 변환한 결과이다.
- 13 -
1. 설계 목표 2. 개념 설계도 3. 결과보고 4. 일정 계획 분석 5. 시연동영상
변경된 영상처리 진행 방향
9. 노란색은 한 가지의 노란색만 존재하지 않으므로 다양한 노란색을
인식할 수 있도록 범위를 설정한다.
10. 위의 3번에서 8번까지의 과정을 반복하여 목표지점의 노란색을
남기고 나머지 부분은 검정색으로 변환한다.
11. 목표 지점의 영상 이미지를 픽셀 분석하여 이미지 내에서 목표
지점이 어느 위치에 있는지 실선으로 된 사각형으로 표현
12. 이미지 내의 목표지점의 위치를 나타내는 사각형의 좌표를
이용하여 변의 길이, 중심점 에서의 각도를 계산하는 함수를 만든다.
13. 위 함수를 이용하여 쿼드콥터의 이동에 필요한 목표지점의
위치정보를 수치로 변환하여 쿼드콥터의 제어부에 전달한다.
- 14 -
1. 설계 목표 2. 개념 설계도 3. 결과보고 4. 일정 계획 분석 5. 시연동영상
초기 캡스톤 일정 계획
세부항목
정원호
담당자
[ 쿼드콥터 ]
2월
3월
길원일
최민현
4월
김정훈
5월
이수민
6월
1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4
∎ 목표설정 및 자료조사
전원
∎ 개발환경 구축
전원
∎ 개념설계
전원
∎ 상세설계
⦁ 영상 처리
김정훈
⦁ 비행 경로 시스템 구축
이수민
⦁ 비행체 제어
정원호
∎ 관련 이론 공부
⦁ 이착륙
길원일
⦁ 정지 비행
정원호
⦁ 영상 처리
김정훈
⦁ 프로그래밍
최민현
⦁ 자율 비행
이수민
∎ 제작
⦁ 부품 구매
전원
⦁ 부품 테스트 ( 센서 및 모터 )
길원일
⦁ 부품 조립
정원호
★
⦁ 정지 비행 및 이착륙
정원호
★
⦁ 자율 비행 ( 단위 동작 및 복합 동작 )
이수민
★
★
⦁ 영상 처리
김정훈
★
★
∎ 시연 및 평가 (대회준비)
전원
★ =테스트기간
★
[4월4주차: 부품테스트] [5월2주차: 1차 비행시험] [5월4주차: 2차 비행시험]
- 15 -
1. 설계 목표 2. 개념 설계도 3. 결과보고 4. 일정 계획 분석 5. 시연동영상
변경된 일정 계획(KWIX)
세부항목
담당자
[ 쿼드콥터 ]
2월
정원호
3월
4월
길원일
5월
최민현
6월
7월
김정훈
8월
이수민
9월
10월
1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4
∎ 목표설정 및 자료조사
∎ 개발환경 구축
∎ 개념설계
전원
전원
전원
∎ 상세설계
⦁ 영상 처리
김정훈
⦁ 비행 경로 시스템 구축
⦁ 비행체 제어
∎ 제작
이수민
정원호
⦁ 부품 구매
⦁ 부품 테스트 ( 센서 및 모터 )
⦁ 부품 조립
전원
길원일
정원호
⦁ 정지 비행 및 이착륙
⦁ 자율 비행 ( 단위 동작 및 복합 동작 )
⦁ 영상 처리
정원호
이수민
김정훈
∎ 시연 및 평가 (대회준비)
∎ 보완 및 개선
∎ 논문 및 최종 보고서
전원
전원
⦁ 논문 자료조사 및 작성
⦁ 최종 보고서 작성
⦁ 발표 자료준비
김정훈
길원일
최민현
∎ UCC 제작
정원호
○
○
○
○○
○○
자율 비행, 영상처리, 대회 참가, 논문 및 최종보고서 등 KWIX 일정 추가
- 16 -
1. 설계 목표 2. 개념 설계도 3. 결과보고 4. 일정 계획 분석 5. 시연동영상
• 일정 변경 이유 :
기존의 캡스톤 일정은 KWIX일정을 단축한 것으로 7월 대회 참가를
위하여 KWIX 일정을 단축시켜 완성 하고자 했으나 진행 상에 어려
움이 있어 기존의 KWIX 일정으로 변경하여 진행 중.
(1) 쿼드콥터의 전체적인 크기가 작아 작은 변수에도 비행을 하기 어
렵기 때문에 모터제어에 어려움이 따름.
(2) 쿼드콥터의 오픈 소스 분석 후 활용하는데 어려움이 있었으며,
파이썬, 이클립스 등 생소한 프로그램환경구축에서부터 활용하는 것
까지 많은 시간을 소요함.
(3) 목표지점을 인식하는 영상처리를 완성해야 되는데 목표의 각도,
크기가 변경 됨에 따라 잘못된 목표지점 인식하는 오류.
- 17 -
1. 설계 목표 2. 개념 설계도 3. 결과보고 4. 향후 일정 계획 5. 시연동영상
모터 3단 제어(단일 동작)
- 18 -
1. 설계 목표 2. 개념 설계도 3. 결과보고 4. 향후 일정 계획 5. 시연동영상
모터 3단 제어(복합 동작)
- 19 -
1. 설계 목표 2. 개념 설계도 3. 결과보고 4. 향후 일정 계획 5. 시연동영상
이착륙 모터 제어
- 20 -
Q&A
Thank you!
- 21 -