Transcript آزمایشات و بررسی نتایج

‫انتخاب ویژگی‬
‫به کمک الگوریتم چکههای آب هوشمند (‪(IWD‬‬
‫ارائه دهنده ‪ :‬نادیه آرمین‬
‫فهرست مطالب‬
‫‪ ‬مقدمه‬
‫‪ ‬انتخاب ویژگی و الگوریتم های موجود‬
‫‪ ‬چکه های آب هوشمند ‪IWD‬‬
‫‪ ‬چکه های آب هوشمند باینری‪BIWD‬‬
‫‪ ‬ضرایب آشوب‬
‫‪ ‬آزمایشات و بررس ی نتایج‬
‫‪ ‬جمعبندی و کارهای آینده‬
‫‪ ‬مراجع‬
‫‪2‬‬
‫مقدمه‬
‫‪3‬‬
‫‪ ‬مسأله انتخاب ويژگي ناش ي از زيادي نويز و ويژگي هاي نامربوط و یا‬
‫اضافي در مجموعه داده ها است‪.‬‬
‫‪ ‬روش هاي کالسيک داراي مشکل زمان اجرا هستند‪ ،‬به همین دلیل در‬
‫پيدا کردن راه حل هاي بهينه ناموفق هستند‪.‬‬
‫‪ ‬بيشتر کاربردهاي انتخاب ويژگي خواستار محاسباتي ممکن با هدف به‬
‫دست آوردن راه حل هاي بهينه يا نيمه بهينه هستند‪.‬‬
‫‪ ‬الگوریتم های هوش گروهی برای تولید راه حل های نزدیک به بهینه‬
‫استفاده می شود‪.‬‬
‫‪ ‬به این ترتیب استفاده از الگوریتمهای ابتكاري در حل مسائل بهينه‬
‫سازي امري ضروري و اجتناب ناپذير است‪.‬‬
‫انتخاب ویژگی‬
‫‪ ‬انتخاب ويژگي ‪:‬‬
‫پيدا کردن کوچک ترين زيرمجموعه از ويژگي هاي ورودي با بيشترين خاصيت‬
‫پيش گويانه یا بيشترين اطالعات جدا كننده از كل مجموعه داده ها است‪.‬‬
‫‪ ‬مسأله انتخاب ویژگی داراي پيچيدگي زماني نمايي است‪.‬‬
‫‪ ‬یک پیش پردازش مهم برای تمام دسته بندها است‪.‬‬
‫‪ ‬کاربرد انتخاب ویژگی ‪:‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪4‬‬
‫یادگیری ماشین‬
‫داده کاوی‬
‫شناسائی آماری الگو‬
‫بینایی ماشین‬
‫پردازش سیگنال و ‪...‬‬
‫انتخاب ویژگی و الگوریتم های موجود‬
‫‪ ‬الگوریتم های کالسیک و پایه (‪ SFS‬و ‪ PTA‬و ‪)SFFS‬‬
‫‪ ‬الگوریتم های تکاملی (‪ SGA‬و ‪)HGA‬‬
‫‪ ‬الگوریتم های هوش گروهی ‪:‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪5‬‬
‫الهام گرفته از نمونه هاي طبيعي رفتار گروهي‪ ،‬که در نتيجه تعامل محلي بین تعدادي از‬
‫واحدها‪ ،‬نوعي از هوش را در سطح سراسري ایجاد می کند‪.‬‬
‫بهینه سازی گروهی ذرات (‪BPSO ← )PSO‬‬
‫کلونی مورچه ها (‪TACO ← )ACO‬‬
‫چکه های آب هوشمند (‪BIWD ← )IWD‬‬
‫چکه های آب هوشمند (‪)IWD‬‬
‫‪ IWD ‬یک الگوریتم هوش گروهی نوظهور است‪ ،‬که در سال ‪ 2007‬بیان شد‪.‬‬
‫‪ ‬الهام گرفته‪ :‬رود اغلب بهترین مسیر ممکن از مبدا به مقصد را طی می کند‪.‬‬
‫‪ ‬ویژگی های هر چکه آب هوشمند ‪:‬‬
‫‪‬‬
‫میزان خاکی که حمل می کند‪Soil(IWD) .‬‬
‫‪‬‬
‫مقدار سرعتی که با آن حرکت می کند‪Velocity(IWD) .‬‬
‫‪ ‬ویژگی مسیر ‪:‬‬
‫‪‬‬
‫‪6‬‬
‫میزان خاک موجود در مسیر‪.‬‬
‫چکه های آب هوشمند (‪)IWD‬‬
‫‪t=t+1‬‬
‫یافتن بهترین جواب‬
‫این مرحله‬
‫بروز رسانی لیست گره‬
‫های مالقات شده‬
‫بروز رسانی خاک بهترین‬
‫مسیر این مرحله‬
‫انتخاب مسیر بعدی با‬
‫احتمال )‪(PiIWD‬‬
‫بروز رسانی بهترین مسیر‬
‫کل‬
‫بروز رسانی‬
‫سرعت چکه‬
‫‪t< tMAX‬‬
‫محاسبه خاک جمع آوری‬
‫شده توسط چکه‬
‫یافتن بهترین جواب‬
‫‪7‬‬
‫‪i=i+1‬‬
‫بروز رسانی خاک مسیر و خاکی که‬
‫چکه حمل می کند‪.‬‬
‫‪i< NIWD‬‬
‫شروع‬
‫مقداردهی به‬
‫پارامترهای ایستا‬
‫مقداردهی به‬
‫پارامترهای پویا‬
‫پخش ‪ IWD‬ها در‬
‫محیط‬
‫چکه های آب هوشمند باینری(‪)BIWD‬‬
‫‪ ‬گراف ‪ IWD‬برای انتخاب ویژگی‪:‬‬
‫‪a‬‬
‫‪e‬‬
‫‪d‬‬
‫‪c‬‬
‫‪b‬‬
‫‪a‬‬
‫‪0‬‬
‫‪0‬‬
‫‪0‬‬
‫‪0‬‬
‫‪0‬‬
‫‪1‬‬
‫‪1‬‬
‫‪1‬‬
‫‪1‬‬
‫‪1‬‬
‫‪b‬‬
‫‪ ‬تابع ارزیابی ‪:‬‬
‫طول زیرمجموعه ویژگی انتخابی‬
‫دقت دسته بندی کننده ( )‪)K-nearest neighbor (K-NN‬‬
‫‪8‬‬
‫)‪leave-one-out cross-validation (LOOCV‬‬
‫‪e‬‬
‫‪c‬‬
‫‪d‬‬
‫چکه های آب هوشمند باینری(‪)BIWD‬‬
‫تعریف ‪ HUD‬الگوریتم پیشنهادی برای انتخاب ویژگی‬
‫‪ ‬مدل رگرسیون الجستیک‬
‫‪ ‬فاصله ماهاالنوبیس‬
‫‪ ‬ضریب همبستگی‬
‫‪9‬‬
‫‪ ‬دقت دسته بند )‪(1-NN‬‬
‫چکه های آب هوشمند باینری(‪)BIWD‬‬
‫پیشنهادات برای بهبود الگوریتم‪:‬‬
‫‪.1‬‬
‫‪.2‬‬
‫‪.3‬‬
‫‪10‬‬
‫مقداردهی تصادفی ‪ InitSoil‬و ‪ InitVelocity‬در مرحله اول‬
‫تغییر پویا مقادیر ‪ InitSoil‬و ‪ InitVelocity‬با استفاده از مقادیر بهترین راه‬
‫حل کل (بهترین عمومی)‬
‫کران دار کردن مقدار ‪ ∆soil‬که برای به هنگام سازی خاک حمل شده توسط‬
‫چکه و به هنگام سازی خاک مسیر استفاده می شود‪.‬‬
‫ضرایب آشوب‬
‫‪ ‬نمایش ضرایب نگاشت لجستیک‬
‫))‪w(t+1) = 4.0 * w(t) * (1- w(t‬‬
‫‪1.2‬‬
‫‪1‬‬
‫‪0.6‬‬
‫‪0.4‬‬
‫‪0.2‬‬
‫‪0‬‬
‫‪90‬‬
‫‪11‬‬
‫‪80‬‬
‫‪70‬‬
‫‪60‬‬
‫‪50‬‬
‫مراحل‬
‫‪40‬‬
‫‪30‬‬
‫‪20‬‬
‫‪10‬‬
‫‪0‬‬
‫مقادیر ضرایب آشوب‬
‫‪0.8‬‬
‫ضرایب آشوب‬
‫‪ ‬نمایش ضرایب نگاشت ‪tent‬‬
‫)‪if (w(t) < 0.7‬‬
‫‪else‬‬
‫‪w(t+1) = w(t) / 0.7‬‬
‫))‪w(t+1) = 10 / 3 * w(t) * (1 - w(t‬‬
‫‪1.2‬‬
‫‪1‬‬
‫‪0.6‬‬
‫‪0.4‬‬
‫‪0.2‬‬
‫‪0‬‬
‫‪90‬‬
‫‪12‬‬
‫‪80‬‬
‫‪70‬‬
‫‪60‬‬
‫‪50‬‬
‫مراحل‬
‫‪40‬‬
‫‪30‬‬
‫‪20‬‬
‫‪10‬‬
‫‪0‬‬
‫مقادیر ضرایب آشوب‬
‫‪0.8‬‬
‫آزمایشات و بررس ی نتایج‬
‫خصوصیات مجموعه دادههای بکار رفته برای ارزیابی الگوریتم‬
‫‪13‬‬
‫تعداد ویژگیها‬
‫تعداد کالس ها‬
‫تعداد نمونهها‬
‫‪9‬‬
‫‪۱۳‬‬
‫‪۱۸‬‬
‫‪۱۹‬‬
‫‪۳۴‬‬
‫‪۶۰‬‬
‫‪7‬‬
‫‪۳‬‬
‫‪۴‬‬
‫‪۷‬‬
‫‪۲‬‬
‫‪۲‬‬
‫‪214‬‬
‫‪۱۷۸‬‬
‫‪۸۴۶‬‬
‫‪2310‬‬
‫‪۳۵۱‬‬
‫‪۲۰۸‬‬
‫مجموعه ی داده ها‬
‫‪Glass‬‬
‫‪Wine‬‬
‫‪Vehicle‬‬
‫‪Segmentation‬‬
‫‪Ionosphere‬‬
‫‪Sonar‬‬
‫آزمایشات و بررس ی نتایج‬
‫مقایسه نتایج الگوریتم ‪ BIWD‬با الگوریتمهای کالسیک‬
‫‪BIWD-FS‬‬
‫دقت دسته‬
‫بند‬
‫تعداد ویژگیهای‬
‫انتخابی‬
‫‪SFFS‬‬
‫‪PTA‬‬
‫‪SFS‬‬
‫تعداد ویژگیهای‬
‫انتخابی‬
‫‪95.51‬‬
‫‪73.87‬‬
‫‪97.44‬‬
‫‪94.87‬‬
‫‪93.26‬‬
‫‪5‬‬
‫‪8‬‬
‫‪7‬‬
‫‪9‬‬
‫‪25‬‬
‫‪۹۵٫۵۱‬‬
‫‪۷۳٫۵۲‬‬
‫‪۹۲٫۹۵‬‬
‫‪۹۳٫۴۵‬‬
‫‪۹۳٫۷۵‬‬
‫‪۹۵٫۵۱‬‬
‫‪۷۰٫۰۹‬‬
‫‪۹۲٫۹۵‬‬
‫‪۹۳٫۴۵‬‬
‫‪۹۰٫۸۷‬‬
‫‪۹۵٫۵۱‬‬
‫‪۶۹٫۱۵‬‬
‫‪۹۲٫۹۵‬‬
‫‪۹۳٫۴۵‬‬
‫‪۸۹٫۹‬‬
‫‪۸‬‬
‫‪۱۲‬‬
‫‪۱۰‬‬
‫‪۷‬‬
‫‪۲۴‬‬
‫‪14‬‬
‫مجموعه ی داده ها‬
‫‪Wine‬‬
‫‪Vehicle‬‬
‫‪Segmentation‬‬
‫‪Ionosphere‬‬
‫‪Sonar‬‬
‫آزمایشات و بررس ی نتایج‬
‫مقایسه نتایج الگوریتم ‪ BIWD‬با الگوریتمهای تکاملی‬
‫‪BIWD-FS‬‬
‫دقت‬
‫دسته بند‬
‫‪۹۵٫۵1‬‬
‫‪۷۳٫۸۷‬‬
‫‪۹۷٫۴۴‬‬
‫‪۹۴٫۸۷‬‬
‫‪۹۳٫۲۶‬‬
‫‪15‬‬
‫تعداد ویژگیهای‬
‫انتخابی‬
‫‪۵‬‬
‫‪۸‬‬
‫‪۷‬‬
‫‪۹‬‬
‫‪۲۵‬‬
‫‪HGA‬‬
‫‪SGA‬‬
‫تعداد ویژگیهای‬
‫انتخابی‬
‫‪۹۵٫۵۱‬‬
‫‪۷۳٫۵۲‬‬
‫‪۹۲٫۹۵‬‬
‫‪۹۵٫۵۶‬‬
‫‪۹۶٫۳۴‬‬
‫‪۹۵٫۵۱‬‬
‫‪۷۲٫۹۷‬‬
‫‪۹۲٫۹۵‬‬
‫‪۹۴٫۷‬‬
‫‪۹۵٫۴۹‬‬
‫‪۸‬‬
‫‪۱۲‬‬
‫‪۱۰‬‬
‫‪۷‬‬
‫‪۲۴‬‬
‫مجموعه ی داده ها‬
‫‪Wine‬‬
‫‪Vehicle‬‬
‫‪Segmentation‬‬
‫‪Ionosphere‬‬
‫‪Sonar‬‬
‫آزمایشات و بررس ی نتایج‬
‫‪ ‬مقایسه نتایج الگوریتم ‪ BIWD‬با ‪ BPSO‬با استفاده از ضرایب نگاشت‬
‫‪Tent‬‬
‫‪BIWD‬‬
‫تعداد ویژگی های‬
‫انتخابی‬
‫‪۵‬‬
‫‪۷۱٫۴۹‬‬
‫‪۹۵٫۵1‬‬
‫‪۵‬‬
‫‪۹۴٫۳۸‬‬
‫‪۴‬‬
‫‪۷۳٫۸8‬‬
‫‪۸‬‬
‫‪۷۱٫۸۶‬‬
‫‪۹‬‬
‫‪۹۷٫۴0‬‬
‫‪۶‬‬
‫‪۹۷٫۰۵‬‬
‫‪۱۱‬‬
‫‪۹۴٫۸۷‬‬
‫‪۹‬‬
‫‪۹۱٫۷۳‬‬
‫‪۸‬‬
‫‪۹2.31‬‬
‫‪۲۵‬‬
‫‪۸۹٫۴۲‬‬
‫‪۲۳‬‬
‫دقت دسته بند‬
‫‪۷۲٫۴3‬‬
‫‪16‬‬
‫‪BPSO‬‬
‫دقت دسته بند‬
‫تعداد ویژگی های‬
‫انتخابی‬
‫‪۶‬‬
‫مجموعه ی داده ها‬
‫‪Glass‬‬
‫‪Wine‬‬
‫‪Vehicle‬‬
‫‪Segmentation‬‬
‫‪Ionosphere‬‬
‫‪Sonar‬‬
‫آزمایشات و بررس ی نتایج‬
‫‪ ‬مقایسه نتایج الگوریتم ‪ BIWD‬با ‪ BPSO‬با استفاده از ضرایب نگاشت‬
‫لجستیک‬
‫‪BIWD‬‬
‫تعداد ویژگی های‬
‫انتخابی‬
‫‪۵‬‬
‫‪۷۱٫۴۹‬‬
‫‪۹۵٫۵‬‬
‫‪۵‬‬
‫‪۹۴٫۳۸‬‬
‫‪۴‬‬
‫‪۷۳٫۸۷‬‬
‫‪۸‬‬
‫‪۷۱٫۸۶‬‬
‫‪۹‬‬
‫‪۹۷٫۴۴‬‬
‫‪۷‬‬
‫‪۹۷٫۱۴‬‬
‫‪۶‬‬
‫‪۹۴٫۰۱‬‬
‫‪۱۲‬‬
‫‪۹۱٫۴۵‬‬
‫‪۱۵‬‬
‫‪۹۳٫۲۷‬‬
‫‪۲۸‬‬
‫‪۹۱٫۳۴‬‬
‫‪۳۲‬‬
‫دقت دسته بند‬
‫‪۷۲٫۴۲‬‬
‫‪17‬‬
‫‪BPSO‬‬
‫دقت دسته بند‬
‫تعداد ویژگی های‬
‫انتخابی‬
‫‪۵‬‬
‫مجموعه ی داده ها‬
‫‪Glass‬‬
‫‪Wine‬‬
‫‪Vehicle‬‬
‫‪Segmentation‬‬
‫‪Ionosphere‬‬
‫‪Sonar‬‬
‫جمع بندی و کارهای آینده‬
‫‪18‬‬
‫‪ ‬الگوریتم ‪ BIWD‬به علت قابلیت موازی سازی و میزان مرتبه زمانی‬
‫پایین تر از روشهای کالسیک کاراتر است‪.‬‬
‫‪ ‬بر اساس مقایسه این روش با الگوریتم ‪ BPSO‬مشاهده شد‪ ،‬نتایج‬
‫بدست آمده از این روش در اکثر مجموعه داده ها بهتر بوده چه به لحاظ‬
‫دقت دسته بند و چه به لحاظ تعداد کمتر ویژگی انتخابی‪.‬‬
‫‪ ‬ضرایب آشوب استفاده شده تعادل خوبی بین جستجو استخراجی و‬
‫اکتشافی ایجاد کرده است‬
‫‪ ‬ضرایب آشوبی از افتادن در دام همگرایی زودرس جلوگیری کرده و نتایج را‬
‫بهتر می کنند‪.‬‬
‫‪ ‬در آزمایشات مشخص شد استفاده از نگاشت لجستیک آشوبی نتایج‬
‫بهتری را نسبت به نگاشت ‪ Tent‬در این الگوریتم ایجاد میکند‪.‬‬
‫جمع بندی و کارهای آینده‬
‫‪19‬‬
‫‪ ‬ارائه الگوریتمی ترکیبی بر مبنا الگوریتم باینری چکههای آب‬
‫هوشمند و الگوریتم ژنتیک برای مسئله انتخاب ویژگی (مثل ایجاد‬
‫جهش) تالش ی جدید در این راستا خواهد بود‪.‬‬
‫‪ ‬همچنین میتوان ترکیب روشهای فیلتری دیگر را نیز با این روش‬
‫امتحان کرد‪.‬‬
‫‪ ‬پیاده سازی موازی الگوریتم و بررس ی آن روی شبکه و همچنین‬
‫بررس ی این الگوریتم روی مجموعه دادهها با تعداد ویژگی بسیار‬
‫باال (مانند دادههای بیان ژن) از دیگر کارهایی است که میتوان‬
‫انجام داد‪.‬‬
20