Transcript Subtle Waves Template - دانشگاه صنعتی امیرکبیر

‫دانشگاه صنعتی امیرکبیر‬
‫دانشکده مهندسی پزشکی‬
‫کنترل پیش بین مبتنی بر مدل توزیع شده و کاربرد ان‬
‫در ارایش بندی سیستم های چندعاملی‬
‫استاد‪:‬‬
‫جناب اقای دک تر توحیدخواه‬
‫ارائه دهنده‪:‬‬
‫عادله محمدی‬
‫اذرماه‪1389‬‬
‫فهرست مطالب‬
‫سیستم های چندعاملی‬
‫کنترل توزیع شده‬
‫ارایش بندی‬
‫حل مساله ارایش بندی با کنترل پیش بین مبتنی بر مدل توزیع‬
‫شده‬
‫عامل‬
‫‪Agent‬‬
‫يک وجود كه محيط را از طريق سنسورها درك كرده و به صورت خودمختار بر روي ان‬
‫عمل ميكند‪.‬‬
‫‪3‬‬
‫عامل در قالب يك سيستم فيدبكي‬
‫‪4‬‬
‫خودمختاري‬
‫‪Autonomy‬‬
‫عامل بدون دخالت مستقيم انسان يا هر وجود ديگر‪ ،‬در تصميمگيري و عمل خود داراي‬
‫استقالل است‪.‬‬
‫‪5‬‬
‫عامل ها خودمختارند ‪:‬‬
‫‪ ‬احساس محیط خود و سایر عامل ها‬
‫‪ ‬رد و بدل اطالعات با سایر عامل ها‬
‫‪ ‬محاسبه و اجرای اعمال کنترلی الزم‬
‫برای رسیدن به سهم خود در تابع هدف‬
‫‪6‬‬
‫سیستم های چندعاملی‬
‫‪Multi-agent Systems‬‬
‫وقتي تعدادي عامل با درک مفهوم خودمختاري در کنار هم قرار گرفته تا در‬
‫كنار اهداف فردي‪ ،‬هدف جمعي عمدتا واالتري در همان راستا را دنبال‬
‫كنند‪ ،‬عنوان سيستم هاي چندعاملي تجلي پيدا ميکند‬
‫‪‬تحقق هدفی در سطح سیستم‬
‫‪7‬‬
‫مفاهيم مربوط به سيستم هاي چندعاملي‬
‫تعداد عاملها‬
‫• اطالعات مشترك‬
‫• تمايالت گروهي‬
‫• همكاري و هماهنگي‬
‫‪8‬‬
‫خواص گروهي‬
‫عاملها‬
‫تعامالت‬
‫بين عاملها‬
‫همکاری‬
‫‪Cooperation‬‬
‫توافق عامل ها برای‬
‫‪ (1‬داشتن هدفی مشترک با سایر عامل ها‪ ،‬که این هدف معموال به صورت‬
‫افالین مشخص می شود‪.‬‬
‫‪ (2‬به اشتراک گذاشتن اطالعات به صورت انالین برای تحقق هدف مشترک‬
‫‪9‬‬
‫‪Distribution‬‬
‫ویژگی ذاتی سیستم های چندعاملی ‪:‬‬
‫توزیع شدگی‬
‫یعنی هر عامل توسط انتقال اطالعات محلی با سایر عامل ها باید ”مختارانه“‬
‫عمل کند‪.‬‬
‫‪10‬‬
‫کنترل توزیع شده‬
‫طبیعت ابعاد وسیع سیستم ها‬
‫• کاربردهای ابعاد وسیع‬
‫• سیستم های قدرت‬
‫• سیستم های توزیع اب‬
‫• سیستم ترافیک‬
‫• سیستم های تولید‬
‫• سیستم های اقتصادی‬
‫‪11‬‬
‫‪DMPC vs. CMPC‬‬
‫دینامیک کل‬
‫سیستم‬
‫دینامیک تک تک‬
‫عامل ها‬
‫حل‬
‫یک‬
‫مسئله‬
‫بهینه سازی‬
‫حل‬
‫چند‬
‫مسئله‬
‫بهینه سازی‬
‫ورودی کنترلی کل‬
‫‪12‬‬
‫ورودی های کنترلی محلی‬
‫کنترل بهینه غیرمتمرکز‬
Optimal Decentralized Control
• Optimal control problem
subject to
decentralized information structure constraints
‫• هر فیدبک محلی فقط به حالت های محلی که اطالعات انها کامل است دسترسی دارد‬
13
‫‪Optimal Decentralized Controllers‬‬
‫• حالت های هر زیرسیستم و همسایه های ان با اندازه گیری یا انتقال‬
‫اطالعات در دسترس است‬
‫• با اهداف هماهنگ بین عامل ها همخوانی دارد‬
‫• محاسبات موازی و توزیع شده‬
‫‪14‬‬
‫‪ MPC‬توزیع شده‬
‫‪ ‬هر عامل ‪ :‬متغیرها‪ ،‬تابع هزینه و قیود محلی‬
‫‪ ‬مسائل بهینه سازی محلی کوچک تر از مساله بهینه سازی متمرکز‬
‫‪ ‬درجه ای از هماهنگی بین عامل ها نیاز است‬
‫‪ ‬تامین اطالعات مورد نیاز‬
‫‪15‬‬
‫ارایش بندی در سیستم های چندعاملی‬
‫• ايجاد تعاملي مناسب بين تعدادي از عاملها در يک فضاي مشخص‬
‫• یکی از مسائل مهم در سیستم های چندعاملی مسئله همكاري و هماهنگي بين‬
‫تعدادي از عاملهاست كه قرار است به الگوي خاصي دست يابند‪.‬‬
‫• هر گاه اين تعامل در يك فضا نمود پيدا كند‪ ،‬انگاه عنوان ارايشبندي‬
‫( ‪ )Formation‬تعبير مناسبي براي ان است‪.‬‬
‫‪16‬‬
‫ارايشبندي در طبيعت‬
‫ارايشبندي در طبيعت نيز قابل مشاهده است که میتوان به حركت پرندگان در‬
‫اسمان و پخش شدن گونهها در محيط اشاره کرد‪.‬‬
‫‪17‬‬
‫ارايشبندي در طبيعت‬
‫‪18‬‬
‫انواع هدف در ارایش بندی‬
‫اهدف‬
‫ارايشبندي‬
‫ارايشبندي‬
‫ثابت‬
‫رهبر‬
‫‪19‬‬
‫ارايشبندي متحرك‬
‫رهبر مجازی‬
‫هماهنگی محلی‬
‫ارايشبندي ثابت‬
‫رسيدن به ارايش مناسب به عنوان صورت مسئله مطرح ميشود‪.‬‬
‫در ابتدا عاملها در محيط پراكنده هستند و بايد ضمن تعامل با محيط‪ ،‬در حضور سایر‬
‫عاملها به سمت ارايشي كه بر اساس خواستههاي مسئله تعيين ميشود‪ ،‬همگرا شوند‪.‬‬
‫‪20‬‬
‫ارايشبندي متحرك‬
‫هدف اصلي حفظ يا تغيير مناسب ارايش حين تغييرات محيط‬
‫و در حضور ساير عاملها است‬
‫‪21‬‬
‫انواع ارايشبندي متحرك‬
‫‪ .1‬يك عامل به عنوان رهبر در محيط مدنظر قرار گرفته و ساير عاملها در تعامل با‬
‫ان‪ ،‬تصميم مناسب را اتخاذ ميكنند‪.‬‬
‫‪ .2‬رهبر مجازي بوده كه بر اساس هدف و شرايط محيط‪ ،‬ساير عاملها به صورت‬
‫مجازی خود را با ان تنظيم ميكنند‪.‬‬
‫‪ .3‬عاملها به صورت محلي خود را با عاملهاي همسايه هماهنگ کرده و سعي ميكنند‬
‫ضمن حفظ ارايش‪ ،‬به تغييرات محيط پاسخ دهند‪.‬‬
‫‪22‬‬
‫ارايشبندي فضاي ي‪ /‬منطقی‬
‫ارايشبندي فضاي ي‬
‫صرفا تعامالت مختصاتي هدف اصلي تعريف ميشود كه تعامالت با ساير عاملها نيز‬
‫محدود به همين فرض است‪.‬‬
‫مثال‬
‫ارایش عاملها در سه گوشه يك مثلث متساوياالضالع‬
‫هدف‪ :‬حفظ فاصله مساوی بين همه عاملها‬
‫‪23‬‬
‫ارايشبندي منطقي‬
‫ميتوان تعمیم ارايشبندي فضاي ي دانست كه عالوه بر مختصات فضای ی‬
‫پارامترهای دیگری نیز در تعیین تصميمگيري دخیل هستند‪.‬‬
‫مثال‬
‫شبكه پدافند موشكي‬
‫پارامترهاي ي مثل فاصله امن از يكديگر‪ ،‬ميزان همپوشاني‪ ،‬ميزان اختفاء و‬
‫فاصله از مراكز حساس نيز مورد توجه است‪.‬‬
‫‪24‬‬
‫موانع هوشمند‪ /‬غيرهوشمند‬
‫‪ ‬حركت عاملها در محيط تحت تاثير محيط محدود ميشود‪ .‬يكي از اين‬
‫محدوديتها وجود موانع است‪.‬‬
‫‪ ‬موانع استاتيك‬
‫در پارامترهاي هدف تاثيرگذار نيستند‪.‬‬
‫اين موانع غير هوشمند بوده و تعامل با انها اسان است‪.‬‬
‫‪25‬‬
‫‪ ‬در مقابل ممكن است موانعي وجود داشته باشند كه ابعاد هدف را تغيير‬
‫داده و بعضا در صورت بروز رقابت بين عاملها‪ ،‬ممكن است كال صورت‬
‫مسئله را تغيير دهند‪(.‬لزوم تطبيق و يادگيري)‬
‫‪26‬‬
‫کاربردها‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫‪27‬‬
‫شبكه سنسورهاي بيسيم در محيطهاي تداخلي‬
‫انجام عمليات جستجو (امداد و نجات‪ ،‬مينيابي)‬
‫كنترل حركت ماهواره در مدار زمين‬
‫روابط بينالمللی‬
‫امنيت شبكههاي اينترنتي‬
‫مديريت بحران و منابع‬
‫سپر دفاع موشكي‬
‫محيط نبرد‬
‫واژههاي معادل يا همارز‬
‫• هر يك جنبههای خاصي را دقيقتر بررسي ميكنند‬
‫ائ تالف‬
‫‪28‬‬
‫حرکت‬
‫گله ای‬
‫كنترل‬
‫پوشش‬
‫اجماع‬
‫ائ تالف‬
‫‪Coalition‬‬
‫• عاملها الزاما اهداف يكساني را دنبال نميكنند‪ ،‬ولي ممكن است در ادامه‬
‫انجام وظايف محوله در مقاطع زماني خاصي به يكديگر نياز داشته باشند‪.‬‬
‫• ” ائ تالف در حالت كلي هدفدار و موقت بوده كه بر اساس يك هدف میانی‬
‫شكل گرفته و زماني به پايان ميرسد كه هدف از بين رفته باشد يا ادامه ان با‬
‫اهداف اوليه در تضاد باشد يا اينكه ادامه حضور در ائ تالف سودي براي عامل‬
‫نداشته باشد“ ‪.‬‬
‫‪29‬‬
‫حرکت گله ای ‪Flocking behavior‬‬
‫• يكي از انواع رفتارهاي اجتماعي‬
‫• گروه بزرگي از عاملها با يك هدف يكسان با هم در تعاملاند‪ .‬در اين رفتار‬
‫•‬
‫•‬
‫•‬
‫•‬
‫‪30‬‬
‫همه عاملها در يك فاصله مشخص با سرعت يكسان حركت كرده و از‬
‫برخورد با موانع و يكديگر خودداري ميكنند‪.‬‬
‫كاربردها‪:‬‬
‫پايش محيط با استفاده از گروه بزرگي از سنسورهاي متحرك‬
‫تحويل موازي بار به مقصد‬
‫انجام عمليات امداد و نجات‬
‫كنترل پوشش ‪Coverage Control‬‬
‫• هدف‪ :‬ايجاد همپوشاني مناسب در انجام يك وظيفه همگاني است‬
‫• مشابه ارايشبندي ثابت‬
‫• تفاوت ‪ :‬هدف پوشش محيط است و تاكيدي بر روي ارايش وجود ندارد‬
‫‪31‬‬
‫اجماع ‪Consensus‬‬
‫رسيدن همه عاملها به يك حالت واحد و يكسان و ايجاد هماهنگي بين‬
‫انها‬
‫‪32‬‬
RHC ‫حل مساله ارایش بندی با‬
Why RHC?
- Generality: generic state & control cons.
- Reconfigurability: redefine functions & cons. To
reflect changes
Why not RHC?
- Computational demand
- Theoretical Conservation: proofs of stability
33
‫‪ RHC‬توزیع شده‬
‫راه حل غیر متمرکز مزایای زیر را دارد‪:‬‬
‫• خودمختاری زیرسیستم ها حفظ می شود‪.‬‬
‫‪• scalable‬‬
‫خودمختاری عامل ها حفظ می شود و نتیجه قابل گسترش به تعداد زیادی عامل‬
‫است‪.‬‬
‫مشکل ‪ RHC‬توزیع شده‪ :‬در تئوری فقط یک راه حل متمرکز‪ ،‬پایداری‬
‫مجانبی را تضمین می کند‪.‬‬
‫‪34‬‬
‫حل مساله ارایش بندی با ‪RHC‬‬
‫• تابع هدف مناسبی تعریف می شود و یک مساله کنترل بهینه برای تحقق‬
‫هدف نهای ی یعنی ارایش بندی و هماهنگی ربات ها در قالب کنترل پیش بین‬
‫مبتنی بر مدل حل می شود‪.‬‬
‫• هدف این است که با استفاده از روش افق پیش بین گروهی از عامل ها را به‬
‫سوی هدف مشترکی هدایت کرده و پایدار کنیم‪.‬‬
‫‪•35‬‬
‫قیود در سیستم های چندعاملی‬
‫‪ ‬عامل ها هر یک دینامیک دارند‪ .‬قیود ممکن است برای هر یک از عامل ها‬
‫به طور فردی وجود داشته باشد مثال ورودی کنترلی محدود برای هر عامل‪.‬‬
‫‪ ‬دسته دیگری از قیود وجود دارند که مربوط به ذات سیستم هستند‪ .‬مثال قید‬
‫نانهولونومیک‬
‫‪ ‬بسته به هدفی که تعریف شده به وجود می ایند و عامل ها را با هم کوپل می‬
‫کنند مثال قیود جلوگیری از تصادم‪.‬‬
‫‪36‬‬
‫معرفی سیستم و شرایط مساله‬
‫} ‪i {1,..., N a‬‬
‫برای هر عامل‬
‫حالت ها و کنترل‬
‫‪2n‬‬
‫‪zi (t )  (qi (t ), qi (t )) ‬‬
‫‪n‬‬
‫‪ui (t ) ‬‬
‫دینامیک هر یک به صورت زیر است‬
‫‪qi (t )  ui (t ), i  1,..., Na‬‬
‫دینامیک خطی و همسان برای عامل ها‬
‫‪37‬‬
‫معرفی سیستم و شرایط مساله‬
‫هر عامل تحت قیود ورودی و حالت زیر قرار دارد‬
‫‪ui (t )  U, zi (t )  Z , t  0‬‬
‫هدف کنترلی این است که تمامی عامل ها به طور مجانبی و با همکاری یکدیگر‬
‫به‬
‫‪N‬‬
‫‪c‬‬
‫‪c‬‬
‫‪c‬‬
‫‪a‬‬
‫‪Na ) Z‬‬
‫‪z  ( z 1 ,..., z‬‬
‫که یک نقطه تعادل معادله دینامیک سیستم است برسند‬
‫‪38‬‬
‫‪ RHC‬متمرکز‬
‫• همکاری عامل ها با مینیمم کردن تابع هزینه زیر تحقق می یابد‬
‫‪2‬‬
‫‪ q   u‬‬
‫‪2‬‬
‫‪2‬‬
‫‪L( z, u)  (i , j )E  qi  q j  dij   q  qd‬‬
‫‪2‬‬
‫‪0‬‬
‫‪ , , ‬‬
‫‪2‬‬
‫‪39‬‬
‫وزن های ثابت و مثبت‬
‫‪  q  qd‬هزینه ‪Tracking‬‬
‫‪qd  (q  q 2  q 3 ) / 3‬‬
‫‪c‬‬
‫‪c‬‬
‫‪c‬‬
‫‪1‬‬
‫‪q  (q1  q2  q3 ) / 3‬‬
‫‪ RHC‬متمرکز‬
‫می توان تابع هزینه جمعی را به صورت معادل زیر ‪2‬نیز بنویسیم‬
‫‪2‬‬
‫‪c‬‬
‫‪L( z , u )  z  z   u‬‬
‫‪Q‬‬
‫در این مرحله الزم است فرضیاتی در نظر گرفته شوند‪.‬‬
‫مثال اینکه تمام حالت ها قابل اندازه گیری هستند‪.‬‬
‫زمان انجام محاسبات در برابر پیشروی دینامیک حلقه بسته قابل صرفنظر کردن‬
‫است‪.‬‬
‫‪40‬‬
centralized open-loop optimal
control problem
t T
J * ( z (t ), T )  min
u ()
 L( z ( ), u ( ))d  G( z (t  T )),
t
subject to
q ( s )  u ( s), u ( s)  U , z ( s)  Z
Na
Na
, s  [t , t  T ],
z (t  T ; z (t ))  ( ),
whereG ( z )  z  z
( ) : {z 
2 nN a
c 2
P
, P  PT  0and
: G ( z )   ,   0}
41
‫‪ RHC‬متمرکز‬
‫مسئله کنترل بهینه مورد نظر را در زمان‬
‫‪ t0 ‬مقدار دهی اولیه می کنیم‬
‫‪ ‬دوره زمانی به روز شدن افق غلطکی‬
‫سیستم حلقه بسته‬
‫‪( ),  t0‬‬
‫*‬
‫‪cent‬‬
‫‪q ( )  u‬‬
‫قانون کنترل افق پیش بین متمرکز به صورت زیر است‬
‫‪( ; z (t )),  [t , t   ], 0    T‬‬
‫‪42‬‬
‫‪( )  u‬‬
‫*‬
‫‪cent‬‬
‫*‬
‫‪cent‬‬
‫‪u‬‬
‫‪ RHC‬توزیع شده‬
‫هر دو عاملی که با هم همکاری می کنند همسایه نامیده می شوند‪.‬‬
‫‪ G‬گراف تعامل بین عامل هاست‬
‫برای هر عامل ‪i‬‬
‫‪43‬‬
Decoupled integrated Cost
44
‫‪ RHC‬توزیع شده‬
‫• هر عامل با دردست داشتن حالت کنونی خود و همسایه هایش مساله‬
‫کنترل بهینه حلقه باز خود را حل می کند‪.‬‬
‫• قبل از هر اپدیت‪ ،‬هر عامل ‪ ، i‬کنترل مفروض برای هر کدام از همسایه‬
‫های خود را دریافت می کند‪.‬‬
‫‪45‬‬
‫توزیع شده‪RHC‬‬
‫‪46‬‬
‫توزیع شده‪RHC‬‬
‫‪47‬‬
Local compatibility constraint
‫• این قید تضمین می کند که هیچ عاملی در مساله بهینه سازی از انچه که همسایه هایش از‬
.‫ خیلی فراتر نمی رود‬،‫ان انتظار دارند‬
• Degree of consistency between what a
vehicle plans to do and what neighbors
believe that vehicle will plan to do
.‫• متناظر با توان دوم پریود اپدیت است‬
48
Controller
49
‫پایداری‬
‫• هدف رساندن حالت ها به مبدا‬
• Optimal Cost Function as Lyapunov function
• Terminal Constraints
Terminal inequality constraint
Terminal cost function
50
Dual-Mode RHC
• Robustness to model uncertainty in the
presence of generic state constraints by
making the constraints more conservative.
51
Centralized
52
Distributed
53
‫مقایسه روش ها‬
‫•‬
‫•‬
‫•‬
‫•‬
‫‪54‬‬
‫برتری محاسبات توزیع شده نسبت به محاسبات موازی‪:‬‬
‫در روش توزیع شده در هنگام حل مساله بهینه سازی هیچ انتقال اطالعاتی بین عامل ها‬
‫نیاز نیست‬
‫در بهینه سازی موازی در حین تکرار مساله بهینه سازی‪ ،‬مسائل با هم در ارتباطند‪.‬‬
‫هزینه ارتباطی پایینتر‬
‫مراجع‬
1. Distributed Receding Horizon Control of Multi-agent Systems,
William B. Dunbar, California Institute of Technology Pasadena,
California, 2004
2. Receding Horizon Control of Multi-Vehicle Formations: A
Distributed Implementation, William B. Dunbar, Richard M. Murray,
Control and Dynamical Systems 107-81, California Institute of
Technology, Pasadena, CA 91125, 2004 IEEE CONFERENCE ON
DECISION AND CONTROL
3. Distributed Model Predictive Control By Eduardo Camponogara,
Dong Jia, Bruce H. Krogh, and Sarosh Talukdar, Department of
Electrical and Computer Engineering, Carnegie Mellon University,
Pittsburgh, PA 15213, U.S.A, IEEE Control Systems Magazine
،‫ دانشگاه صنعتي اميركبير‬،‫ ارايشبندي عاملها با استفاده از يادگيري تقويتي در محيطهاي رقابتي با كاربرد در بازيجنگ‬.4
،‫ دك تر محمدباقر منهاج‬،‫ دك تر احمدافشار‬،‫ علي اکرمي زاده‬،‫ رساله دک تراي مهندسي برق گرايش كنترل‬،‫دانشكده مهندسي برق‬
.1389
55
‫با تشکر از توجه شما‬
‫‪56‬‬
57