Subtle Waves Template - دانشگاه صنعتی امیرکبیر
Download
Report
Transcript Subtle Waves Template - دانشگاه صنعتی امیرکبیر
دانشگاه صنعتی امیرکبیر
دانشکده مهندسی پزشکی
کنترل پیش بین مبتنی بر مدل توزیع شده و کاربرد ان
در ارایش بندی سیستم های چندعاملی
استاد:
جناب اقای دک تر توحیدخواه
ارائه دهنده:
عادله محمدی
اذرماه1389
فهرست مطالب
سیستم های چندعاملی
کنترل توزیع شده
ارایش بندی
حل مساله ارایش بندی با کنترل پیش بین مبتنی بر مدل توزیع
شده
عامل
Agent
يک وجود كه محيط را از طريق سنسورها درك كرده و به صورت خودمختار بر روي ان
عمل ميكند.
3
عامل در قالب يك سيستم فيدبكي
4
خودمختاري
Autonomy
عامل بدون دخالت مستقيم انسان يا هر وجود ديگر ،در تصميمگيري و عمل خود داراي
استقالل است.
5
عامل ها خودمختارند :
احساس محیط خود و سایر عامل ها
رد و بدل اطالعات با سایر عامل ها
محاسبه و اجرای اعمال کنترلی الزم
برای رسیدن به سهم خود در تابع هدف
6
سیستم های چندعاملی
Multi-agent Systems
وقتي تعدادي عامل با درک مفهوم خودمختاري در کنار هم قرار گرفته تا در
كنار اهداف فردي ،هدف جمعي عمدتا واالتري در همان راستا را دنبال
كنند ،عنوان سيستم هاي چندعاملي تجلي پيدا ميکند
تحقق هدفی در سطح سیستم
7
مفاهيم مربوط به سيستم هاي چندعاملي
تعداد عاملها
• اطالعات مشترك
• تمايالت گروهي
• همكاري و هماهنگي
8
خواص گروهي
عاملها
تعامالت
بين عاملها
همکاری
Cooperation
توافق عامل ها برای
(1داشتن هدفی مشترک با سایر عامل ها ،که این هدف معموال به صورت
افالین مشخص می شود.
(2به اشتراک گذاشتن اطالعات به صورت انالین برای تحقق هدف مشترک
9
Distribution
ویژگی ذاتی سیستم های چندعاملی :
توزیع شدگی
یعنی هر عامل توسط انتقال اطالعات محلی با سایر عامل ها باید ”مختارانه“
عمل کند.
10
کنترل توزیع شده
طبیعت ابعاد وسیع سیستم ها
• کاربردهای ابعاد وسیع
• سیستم های قدرت
• سیستم های توزیع اب
• سیستم ترافیک
• سیستم های تولید
• سیستم های اقتصادی
11
DMPC vs. CMPC
دینامیک کل
سیستم
دینامیک تک تک
عامل ها
حل
یک
مسئله
بهینه سازی
حل
چند
مسئله
بهینه سازی
ورودی کنترلی کل
12
ورودی های کنترلی محلی
کنترل بهینه غیرمتمرکز
Optimal Decentralized Control
• Optimal control problem
subject to
decentralized information structure constraints
• هر فیدبک محلی فقط به حالت های محلی که اطالعات انها کامل است دسترسی دارد
13
Optimal Decentralized Controllers
• حالت های هر زیرسیستم و همسایه های ان با اندازه گیری یا انتقال
اطالعات در دسترس است
• با اهداف هماهنگ بین عامل ها همخوانی دارد
• محاسبات موازی و توزیع شده
14
MPCتوزیع شده
هر عامل :متغیرها ،تابع هزینه و قیود محلی
مسائل بهینه سازی محلی کوچک تر از مساله بهینه سازی متمرکز
درجه ای از هماهنگی بین عامل ها نیاز است
تامین اطالعات مورد نیاز
15
ارایش بندی در سیستم های چندعاملی
• ايجاد تعاملي مناسب بين تعدادي از عاملها در يک فضاي مشخص
• یکی از مسائل مهم در سیستم های چندعاملی مسئله همكاري و هماهنگي بين
تعدادي از عاملهاست كه قرار است به الگوي خاصي دست يابند.
• هر گاه اين تعامل در يك فضا نمود پيدا كند ،انگاه عنوان ارايشبندي
( )Formationتعبير مناسبي براي ان است.
16
ارايشبندي در طبيعت
ارايشبندي در طبيعت نيز قابل مشاهده است که میتوان به حركت پرندگان در
اسمان و پخش شدن گونهها در محيط اشاره کرد.
17
ارايشبندي در طبيعت
18
انواع هدف در ارایش بندی
اهدف
ارايشبندي
ارايشبندي
ثابت
رهبر
19
ارايشبندي متحرك
رهبر مجازی
هماهنگی محلی
ارايشبندي ثابت
رسيدن به ارايش مناسب به عنوان صورت مسئله مطرح ميشود.
در ابتدا عاملها در محيط پراكنده هستند و بايد ضمن تعامل با محيط ،در حضور سایر
عاملها به سمت ارايشي كه بر اساس خواستههاي مسئله تعيين ميشود ،همگرا شوند.
20
ارايشبندي متحرك
هدف اصلي حفظ يا تغيير مناسب ارايش حين تغييرات محيط
و در حضور ساير عاملها است
21
انواع ارايشبندي متحرك
.1يك عامل به عنوان رهبر در محيط مدنظر قرار گرفته و ساير عاملها در تعامل با
ان ،تصميم مناسب را اتخاذ ميكنند.
.2رهبر مجازي بوده كه بر اساس هدف و شرايط محيط ،ساير عاملها به صورت
مجازی خود را با ان تنظيم ميكنند.
.3عاملها به صورت محلي خود را با عاملهاي همسايه هماهنگ کرده و سعي ميكنند
ضمن حفظ ارايش ،به تغييرات محيط پاسخ دهند.
22
ارايشبندي فضاي ي /منطقی
ارايشبندي فضاي ي
صرفا تعامالت مختصاتي هدف اصلي تعريف ميشود كه تعامالت با ساير عاملها نيز
محدود به همين فرض است.
مثال
ارایش عاملها در سه گوشه يك مثلث متساوياالضالع
هدف :حفظ فاصله مساوی بين همه عاملها
23
ارايشبندي منطقي
ميتوان تعمیم ارايشبندي فضاي ي دانست كه عالوه بر مختصات فضای ی
پارامترهای دیگری نیز در تعیین تصميمگيري دخیل هستند.
مثال
شبكه پدافند موشكي
پارامترهاي ي مثل فاصله امن از يكديگر ،ميزان همپوشاني ،ميزان اختفاء و
فاصله از مراكز حساس نيز مورد توجه است.
24
موانع هوشمند /غيرهوشمند
حركت عاملها در محيط تحت تاثير محيط محدود ميشود .يكي از اين
محدوديتها وجود موانع است.
موانع استاتيك
در پارامترهاي هدف تاثيرگذار نيستند.
اين موانع غير هوشمند بوده و تعامل با انها اسان است.
25
در مقابل ممكن است موانعي وجود داشته باشند كه ابعاد هدف را تغيير
داده و بعضا در صورت بروز رقابت بين عاملها ،ممكن است كال صورت
مسئله را تغيير دهند(.لزوم تطبيق و يادگيري)
26
کاربردها
•
•
•
•
•
•
•
•
27
شبكه سنسورهاي بيسيم در محيطهاي تداخلي
انجام عمليات جستجو (امداد و نجات ،مينيابي)
كنترل حركت ماهواره در مدار زمين
روابط بينالمللی
امنيت شبكههاي اينترنتي
مديريت بحران و منابع
سپر دفاع موشكي
محيط نبرد
واژههاي معادل يا همارز
• هر يك جنبههای خاصي را دقيقتر بررسي ميكنند
ائ تالف
28
حرکت
گله ای
كنترل
پوشش
اجماع
ائ تالف
Coalition
• عاملها الزاما اهداف يكساني را دنبال نميكنند ،ولي ممكن است در ادامه
انجام وظايف محوله در مقاطع زماني خاصي به يكديگر نياز داشته باشند.
• ” ائ تالف در حالت كلي هدفدار و موقت بوده كه بر اساس يك هدف میانی
شكل گرفته و زماني به پايان ميرسد كه هدف از بين رفته باشد يا ادامه ان با
اهداف اوليه در تضاد باشد يا اينكه ادامه حضور در ائ تالف سودي براي عامل
نداشته باشد“ .
29
حرکت گله ای Flocking behavior
• يكي از انواع رفتارهاي اجتماعي
• گروه بزرگي از عاملها با يك هدف يكسان با هم در تعاملاند .در اين رفتار
•
•
•
•
30
همه عاملها در يك فاصله مشخص با سرعت يكسان حركت كرده و از
برخورد با موانع و يكديگر خودداري ميكنند.
كاربردها:
پايش محيط با استفاده از گروه بزرگي از سنسورهاي متحرك
تحويل موازي بار به مقصد
انجام عمليات امداد و نجات
كنترل پوشش Coverage Control
• هدف :ايجاد همپوشاني مناسب در انجام يك وظيفه همگاني است
• مشابه ارايشبندي ثابت
• تفاوت :هدف پوشش محيط است و تاكيدي بر روي ارايش وجود ندارد
31
اجماع Consensus
رسيدن همه عاملها به يك حالت واحد و يكسان و ايجاد هماهنگي بين
انها
32
RHC حل مساله ارایش بندی با
Why RHC?
- Generality: generic state & control cons.
- Reconfigurability: redefine functions & cons. To
reflect changes
Why not RHC?
- Computational demand
- Theoretical Conservation: proofs of stability
33
RHCتوزیع شده
راه حل غیر متمرکز مزایای زیر را دارد:
• خودمختاری زیرسیستم ها حفظ می شود.
• scalable
خودمختاری عامل ها حفظ می شود و نتیجه قابل گسترش به تعداد زیادی عامل
است.
مشکل RHCتوزیع شده :در تئوری فقط یک راه حل متمرکز ،پایداری
مجانبی را تضمین می کند.
34
حل مساله ارایش بندی با RHC
• تابع هدف مناسبی تعریف می شود و یک مساله کنترل بهینه برای تحقق
هدف نهای ی یعنی ارایش بندی و هماهنگی ربات ها در قالب کنترل پیش بین
مبتنی بر مدل حل می شود.
• هدف این است که با استفاده از روش افق پیش بین گروهی از عامل ها را به
سوی هدف مشترکی هدایت کرده و پایدار کنیم.
•35
قیود در سیستم های چندعاملی
عامل ها هر یک دینامیک دارند .قیود ممکن است برای هر یک از عامل ها
به طور فردی وجود داشته باشد مثال ورودی کنترلی محدود برای هر عامل.
دسته دیگری از قیود وجود دارند که مربوط به ذات سیستم هستند .مثال قید
نانهولونومیک
بسته به هدفی که تعریف شده به وجود می ایند و عامل ها را با هم کوپل می
کنند مثال قیود جلوگیری از تصادم.
36
معرفی سیستم و شرایط مساله
} i {1,..., N a
برای هر عامل
حالت ها و کنترل
2n
zi (t ) (qi (t ), qi (t ))
n
ui (t )
دینامیک هر یک به صورت زیر است
qi (t ) ui (t ), i 1,..., Na
دینامیک خطی و همسان برای عامل ها
37
معرفی سیستم و شرایط مساله
هر عامل تحت قیود ورودی و حالت زیر قرار دارد
ui (t ) U, zi (t ) Z , t 0
هدف کنترلی این است که تمامی عامل ها به طور مجانبی و با همکاری یکدیگر
به
N
c
c
c
a
Na ) Z
z ( z 1 ,..., z
که یک نقطه تعادل معادله دینامیک سیستم است برسند
38
RHCمتمرکز
• همکاری عامل ها با مینیمم کردن تابع هزینه زیر تحقق می یابد
2
q u
2
2
L( z, u) (i , j )E qi q j dij q qd
2
0
, ,
2
39
وزن های ثابت و مثبت
q qdهزینه Tracking
qd (q q 2 q 3 ) / 3
c
c
c
1
q (q1 q2 q3 ) / 3
RHCمتمرکز
می توان تابع هزینه جمعی را به صورت معادل زیر 2نیز بنویسیم
2
c
L( z , u ) z z u
Q
در این مرحله الزم است فرضیاتی در نظر گرفته شوند.
مثال اینکه تمام حالت ها قابل اندازه گیری هستند.
زمان انجام محاسبات در برابر پیشروی دینامیک حلقه بسته قابل صرفنظر کردن
است.
40
centralized open-loop optimal
control problem
t T
J * ( z (t ), T ) min
u ()
L( z ( ), u ( ))d G( z (t T )),
t
subject to
q ( s ) u ( s), u ( s) U , z ( s) Z
Na
Na
, s [t , t T ],
z (t T ; z (t )) ( ),
whereG ( z ) z z
( ) : {z
2 nN a
c 2
P
, P PT 0and
: G ( z ) , 0}
41
RHCمتمرکز
مسئله کنترل بهینه مورد نظر را در زمان
t0 مقدار دهی اولیه می کنیم
دوره زمانی به روز شدن افق غلطکی
سیستم حلقه بسته
( ), t0
*
cent
q ( ) u
قانون کنترل افق پیش بین متمرکز به صورت زیر است
( ; z (t )), [t , t ], 0 T
42
( ) u
*
cent
*
cent
u
RHCتوزیع شده
هر دو عاملی که با هم همکاری می کنند همسایه نامیده می شوند.
Gگراف تعامل بین عامل هاست
برای هر عامل i
43
Decoupled integrated Cost
44
RHCتوزیع شده
• هر عامل با دردست داشتن حالت کنونی خود و همسایه هایش مساله
کنترل بهینه حلقه باز خود را حل می کند.
• قبل از هر اپدیت ،هر عامل ، iکنترل مفروض برای هر کدام از همسایه
های خود را دریافت می کند.
45
توزیع شدهRHC
46
توزیع شدهRHC
47
Local compatibility constraint
• این قید تضمین می کند که هیچ عاملی در مساله بهینه سازی از انچه که همسایه هایش از
. خیلی فراتر نمی رود،ان انتظار دارند
• Degree of consistency between what a
vehicle plans to do and what neighbors
believe that vehicle will plan to do
.• متناظر با توان دوم پریود اپدیت است
48
Controller
49
پایداری
• هدف رساندن حالت ها به مبدا
• Optimal Cost Function as Lyapunov function
• Terminal Constraints
Terminal inequality constraint
Terminal cost function
50
Dual-Mode RHC
• Robustness to model uncertainty in the
presence of generic state constraints by
making the constraints more conservative.
51
Centralized
52
Distributed
53
مقایسه روش ها
•
•
•
•
54
برتری محاسبات توزیع شده نسبت به محاسبات موازی:
در روش توزیع شده در هنگام حل مساله بهینه سازی هیچ انتقال اطالعاتی بین عامل ها
نیاز نیست
در بهینه سازی موازی در حین تکرار مساله بهینه سازی ،مسائل با هم در ارتباطند.
هزینه ارتباطی پایینتر
مراجع
1. Distributed Receding Horizon Control of Multi-agent Systems,
William B. Dunbar, California Institute of Technology Pasadena,
California, 2004
2. Receding Horizon Control of Multi-Vehicle Formations: A
Distributed Implementation, William B. Dunbar, Richard M. Murray,
Control and Dynamical Systems 107-81, California Institute of
Technology, Pasadena, CA 91125, 2004 IEEE CONFERENCE ON
DECISION AND CONTROL
3. Distributed Model Predictive Control By Eduardo Camponogara,
Dong Jia, Bruce H. Krogh, and Sarosh Talukdar, Department of
Electrical and Computer Engineering, Carnegie Mellon University,
Pittsburgh, PA 15213, U.S.A, IEEE Control Systems Magazine
، دانشگاه صنعتي اميركبير، ارايشبندي عاملها با استفاده از يادگيري تقويتي در محيطهاي رقابتي با كاربرد در بازيجنگ.4
، دك تر محمدباقر منهاج، دك تر احمدافشار، علي اکرمي زاده، رساله دک تراي مهندسي برق گرايش كنترل،دانشكده مهندسي برق
.1389
55
با تشکر از توجه شما
56
57