Transcript Visual Navigation for Mobile Robots: a Survey

เรียบเรียงโดย
น.ต.วัชรพงษ์ เข็มเพ็ชร
รองหัวหน้ าแผนกจัดดาเนินงาน
กองซ่อมบริภัณฑ์ กรมช่างอากาศ
GPS
ตาแหน่ง
IMU
ทิศทาง
RADAR
สิ่งกีดขวาง
Flight Controller
เร็ว+สูง
Pt-St
Feedback Control
UAV
Dynamics
ข้ อจากัดของการใช้ INS + GPS + Radar
 มีขนาดใหญ่ นา้ หนักมาก ไม่สามารถใช้ กบ
ั UAV ขนาดเล็กได้
 จะใช้ พลังงานไฟฟ้ ามาก
 GPS ไม่สามารถใช้ งานได้ เมื่ออยู่ภายในอาคาร หรือพื้นที่อบ
ั
สัญญาณ
ข้ อดีของ Visual Based Navigation
 Passive Sensor(camera)
 นา้ หนักเบา
 ให้ ข้อมูลที่สามารถนาไปประยุกต์ใช้ งานอื่นๆได้
 สามารถไปได้ ทุกที่
Map-based Navigation Systems : เริ่มต้ นจาก
การให้ หุ่นยนต์ศกึ ษาเส้ นทางและสถานที่สาคัญโดยข้ อมูลที่ได้ จาก
ถูกนามาสร้ างภาพ 2D จากนั้นผู้ใช้ จึงกาหนดเป้ าหมายที่จะไป
 Map-building Navigation Systems : วิธกี าร
เดียวกับวิธกี ารข้ างต้ นแต่ข้อมูลที่ได้ มาสร้ างเป็ นภาพ 3D
 Mapless Navigation Systems :
วิธกี ารนี้
ไม่จาเป็ นต้ องศึกษาเส้ นทางก่อนเพียงแต่ใช้ เทคนิคทางคณิตศาสตร์
และ 3D ในการคานวณหาภาพถัดไป ส่วนใหญ่ใช้ วิธี Optical
Flow-Based ในการคานวณภาพ

Vision Module
Control Module


Optical Flow Computation ทาหน้ าที่ในการแปลงภาพ 2 มิติ
มาสร้ างให้ เป็ นภาพ 3 มิติท่สี มั พันธ์กบั สภาวะจริง
Optical Flow Interpretation ทาหน้ าที่ในการนาภาพที่ได้ จาก
ขั้นตอนแรกไปปรับปรุงใช้ งานจากการหมุนของภาพที่ได้ เทียบกับอัตราเร็ว
เชิงมุม(Angular Rate)ของภาพก่อนหน้ า และการปรับขอบของภาพให้
เข้ ากัน
•Geometrical Transformation
•Geometrical Transformation
•Optical Flow
Differential
GPS Antenna
WiFi Antenna
X-3D-BL
Microcontroller
Vision System
Navigation Sensor
OF-based Velocity as accurate as GPS data
(วีดีโอ)
OF-based Position Height and Horizontal
more accurate than GPS
ในการทดสอบนี้ได้ ทาการทดสอบในงานแสดงนานาชาติ Tokyo Big Sight (วีดีโอ)
Autonomous Flight
Auto Flight มีความ stable มากกว่า Manual Flight







Object Tracking
Automatic Vertical Take-off and Landing(VTOL)
อุปกรณ์สบื ค้ นในโรงงานไฟฟ้ านิวเคลียร์
การจับรถถัง หรือยานพาหนะ
University of Technology of Compiegne, France
Chiba University, Japan
Massachusetts Institute of Technology, USA
?









vision-based precise auto-landing:
http://www.youtube.com/watch?v=rbmsivw5luk
optic flow based autonomous indoor flight:
http://www.youtube.com/watch?v=Zt2WisDjUY0
Visual Servoing of a Miniature Rotorcraft UAV for Moving Ground Target
Tracking: http://www.youtube.com/watch?v=-IpbOd-UuG4
velocity trajectory tracking using optic flow:
http://www.youtube.com/watch?v=Zp12GjZzjt4
moving target tracking: http://www.youtube.com/watch?v=6obHavVvJyk
vision-based hovering: http://www.youtube.com/watch?v=9I8BXtbrDQM
Fully autonomous flight of a rotorcraft MAV using optic flow:
http://www.youtube.com/watch?v=6U0IhPlYXKw
spiral trajectory tracking by an autonomous quadrotor micro air vehicle:
http://www.youtube.com/watch?v=r4eOUDA3JJo
waypoint navigation of a small rotorcraft micro air vehicle:
http://www.youtube.com/watch?v=Lo9qJz69uuQ








Farid Kendoul, Isabelle Fantoni, Kenzo Nonami."Optic Flow-Based Vision
System for Autonomous 3D Localization and Control of Small Aerial
Vehicles".University of Technology of Compiegne, 60200 Compigne, France.
Terry Cornall, Greg Egan.”Optical Flow methods applied to unmanned air
vehicles”.Monash University, Clayton 3800 Victoria, Australia.
Francisco Jes´us Bonin Font. “An Inverse-Perspective-based Approach to
Monocular Mobile Robot Navigation”. Universitat de les Illes Balears, 2012
Francisco Bonin-Font, Alberto Ortiz and Gabriel Oliver. “Visual Navigation
for Mobile Robots: a Survey”. Department of Mathematics and Computer
Science, University of the Balearic Islands,Palma de Mallorca, Spain.
Jiangjian Xiao, Changjiang Yang, Feng Han, and Hui Cheng."Vehicle and
Person Tracking in UAV Videos".Sarnoff Corporation.
Randolf Menzel, Karl GeiGer, Lars Chittka, JasDan Joerges, Jan Kunze and Uli
Muller.”The Knowlwdge Base of Bee Navigation”. Berlin, Germany.
Dacke, M. and Srinivasan, M. V. (2007). Honeybee navigation: distance
estimation in the third dimension. J. Exp. Biol. 210, 845-853.
“FastAppearance Based Mapping”.www.robots.ox.ac.uk
/~mobile/wikisite/pmwiki/pmwiki.php?n=Main.FABMAP
ภาพที่เกิดจาก integrate displacement
สาหรับ position feedback
ภาพจากกล้ องวีดีโอเมื่อทดสอบ
Position Control
Poor image quality and textureless environment



1St KF ปรับปรุงคุณภาพ และความเข้ มแสงของภาพ เพื่อสร้ างภาพ 3 มิติ
2Nd KF ปรับปรุงการหมุนของภาพ
3Rd KF ปรับปรุงการเปลี่ยนแปลงของภาพจาก ความเร็วของภาพที่
เปลี่ยนไป

Sum of Absolute Difference(SAD)

Nominal Displacement

Shape of Path Transformation

Observed Brightness

State Vector of X by brownian process


Optical flow คือ vector field ซึ่งแสดงถึงทิศทางและขนาดของ
การเปลี่ยนแปลงความเข้ ม(intensity)จากภาพหนึ่งกับภาพอื่นๆ เพื่อ
เทียบเคียงกันถึงแม้ จะมีมุมของภาพ หรือแสงที่ต่างกัน
brightness constant constraint(BCC) and
smoothness constraint
(u,v) = optical flow vector
(Ix,Iy)=image intensity gradient
It=temporal change
Rotation
Image coordinate of P
Translation velocity
Object
Optical Patterns
Fig.3 Motion Z axis
Distinct max magnitude of divergence
Divergence and curl plot
hotter colors=greater magnitude
Fig.4 pitching motion
Fig.5 Rotational
Field an Curl
Curl=max at
rotation axis
Fig.6 Combine
rotation and
translation

Ground Control Station





GPS and INS = Position and Velocity
AHRS = Attitude
Vision-based


Display Flight
Send Navigation Command take-off, landing,
hovering
คานวณหา ความเร็ว, ความสูง และตาแหน่ง จากภาพ เทียบกับ IMU
ความเร็ว, ความสูง, ตาแหน่ง ที่คานวณได้ จาก Vision-based และจาก
GPS/INS จะถูกนามาเปรียบเทียบกันที่ Ground Control
Station เพื่อทดสอบความแม่นยา



ความสามารถการ hovering flight และ velocity
trajectory tracking(forward, backward,
sideward) เพื่อทดสอบการ sfm algorithm (ความเร็ว สูง)
Take off->hover->trajectory
ผลการทดสอบ ความเร็ว การนาทางโดย vision และ gps ตรงกัน


ทดสอบความสามารถของ trajectory(position,height,
velocity, orientation)
Take off->hovering->auto landing

ได้ ทาการแสดงในงาน Tokyo big sight international
exhibition