آزمایشات و بررسی نتایج
Download
Report
Transcript آزمایشات و بررسی نتایج
انتخاب ویژگی
به کمک الگوریتم چکههای آب هوشمند ((IWD
ارائه دهنده :نادیه آرمین
فهرست مطالب
مقدمه
انتخاب ویژگی و الگوریتم های موجود
چکه های آب هوشمند IWD
چکه های آب هوشمند باینریBIWD
ضرایب آشوب
آزمایشات و بررس ی نتایج
جمعبندی و کارهای آینده
مراجع
2
مقدمه
3
مسأله انتخاب ويژگي ناش ي از زيادي نويز و ويژگي هاي نامربوط و یا
اضافي در مجموعه داده ها است.
روش هاي کالسيک داراي مشکل زمان اجرا هستند ،به همین دلیل در
پيدا کردن راه حل هاي بهينه ناموفق هستند.
بيشتر کاربردهاي انتخاب ويژگي خواستار محاسباتي ممکن با هدف به
دست آوردن راه حل هاي بهينه يا نيمه بهينه هستند.
الگوریتم های هوش گروهی برای تولید راه حل های نزدیک به بهینه
استفاده می شود.
به این ترتیب استفاده از الگوریتمهای ابتكاري در حل مسائل بهينه
سازي امري ضروري و اجتناب ناپذير است.
انتخاب ویژگی
انتخاب ويژگي :
پيدا کردن کوچک ترين زيرمجموعه از ويژگي هاي ورودي با بيشترين خاصيت
پيش گويانه یا بيشترين اطالعات جدا كننده از كل مجموعه داده ها است.
مسأله انتخاب ویژگی داراي پيچيدگي زماني نمايي است.
یک پیش پردازش مهم برای تمام دسته بندها است.
کاربرد انتخاب ویژگی :
4
یادگیری ماشین
داده کاوی
شناسائی آماری الگو
بینایی ماشین
پردازش سیگنال و ...
انتخاب ویژگی و الگوریتم های موجود
الگوریتم های کالسیک و پایه ( SFSو PTAو )SFFS
الگوریتم های تکاملی ( SGAو )HGA
الگوریتم های هوش گروهی :
5
الهام گرفته از نمونه هاي طبيعي رفتار گروهي ،که در نتيجه تعامل محلي بین تعدادي از
واحدها ،نوعي از هوش را در سطح سراسري ایجاد می کند.
بهینه سازی گروهی ذرات (BPSO ← )PSO
کلونی مورچه ها (TACO ← )ACO
چکه های آب هوشمند (BIWD ← )IWD
چکه های آب هوشمند ()IWD
IWD یک الگوریتم هوش گروهی نوظهور است ،که در سال 2007بیان شد.
الهام گرفته :رود اغلب بهترین مسیر ممکن از مبدا به مقصد را طی می کند.
ویژگی های هر چکه آب هوشمند :
میزان خاکی که حمل می کندSoil(IWD) .
مقدار سرعتی که با آن حرکت می کندVelocity(IWD) .
ویژگی مسیر :
6
میزان خاک موجود در مسیر.
چکه های آب هوشمند ()IWD
t=t+1
یافتن بهترین جواب
این مرحله
بروز رسانی لیست گره
های مالقات شده
بروز رسانی خاک بهترین
مسیر این مرحله
انتخاب مسیر بعدی با
احتمال )(PiIWD
بروز رسانی بهترین مسیر
کل
بروز رسانی
سرعت چکه
t< tMAX
محاسبه خاک جمع آوری
شده توسط چکه
یافتن بهترین جواب
7
i=i+1
بروز رسانی خاک مسیر و خاکی که
چکه حمل می کند.
i< NIWD
شروع
مقداردهی به
پارامترهای ایستا
مقداردهی به
پارامترهای پویا
پخش IWDها در
محیط
چکه های آب هوشمند باینری()BIWD
گراف IWDبرای انتخاب ویژگی:
a
e
d
c
b
a
0
0
0
0
0
1
1
1
1
1
b
تابع ارزیابی :
طول زیرمجموعه ویژگی انتخابی
دقت دسته بندی کننده ( ))K-nearest neighbor (K-NN
8
)leave-one-out cross-validation (LOOCV
e
c
d
چکه های آب هوشمند باینری()BIWD
تعریف HUDالگوریتم پیشنهادی برای انتخاب ویژگی
مدل رگرسیون الجستیک
فاصله ماهاالنوبیس
ضریب همبستگی
9
دقت دسته بند )(1-NN
چکه های آب هوشمند باینری()BIWD
پیشنهادات برای بهبود الگوریتم:
.1
.2
.3
10
مقداردهی تصادفی InitSoilو InitVelocityدر مرحله اول
تغییر پویا مقادیر InitSoilو InitVelocityبا استفاده از مقادیر بهترین راه
حل کل (بهترین عمومی)
کران دار کردن مقدار ∆soilکه برای به هنگام سازی خاک حمل شده توسط
چکه و به هنگام سازی خاک مسیر استفاده می شود.
ضرایب آشوب
نمایش ضرایب نگاشت لجستیک
))w(t+1) = 4.0 * w(t) * (1- w(t
1.2
1
0.6
0.4
0.2
0
90
11
80
70
60
50
مراحل
40
30
20
10
0
مقادیر ضرایب آشوب
0.8
ضرایب آشوب
نمایش ضرایب نگاشت tent
)if (w(t) < 0.7
else
w(t+1) = w(t) / 0.7
))w(t+1) = 10 / 3 * w(t) * (1 - w(t
1.2
1
0.6
0.4
0.2
0
90
12
80
70
60
50
مراحل
40
30
20
10
0
مقادیر ضرایب آشوب
0.8
آزمایشات و بررس ی نتایج
خصوصیات مجموعه دادههای بکار رفته برای ارزیابی الگوریتم
13
تعداد ویژگیها
تعداد کالس ها
تعداد نمونهها
9
۱۳
۱۸
۱۹
۳۴
۶۰
7
۳
۴
۷
۲
۲
214
۱۷۸
۸۴۶
2310
۳۵۱
۲۰۸
مجموعه ی داده ها
Glass
Wine
Vehicle
Segmentation
Ionosphere
Sonar
آزمایشات و بررس ی نتایج
مقایسه نتایج الگوریتم BIWDبا الگوریتمهای کالسیک
BIWD-FS
دقت دسته
بند
تعداد ویژگیهای
انتخابی
SFFS
PTA
SFS
تعداد ویژگیهای
انتخابی
95.51
73.87
97.44
94.87
93.26
5
8
7
9
25
۹۵٫۵۱
۷۳٫۵۲
۹۲٫۹۵
۹۳٫۴۵
۹۳٫۷۵
۹۵٫۵۱
۷۰٫۰۹
۹۲٫۹۵
۹۳٫۴۵
۹۰٫۸۷
۹۵٫۵۱
۶۹٫۱۵
۹۲٫۹۵
۹۳٫۴۵
۸۹٫۹
۸
۱۲
۱۰
۷
۲۴
14
مجموعه ی داده ها
Wine
Vehicle
Segmentation
Ionosphere
Sonar
آزمایشات و بررس ی نتایج
مقایسه نتایج الگوریتم BIWDبا الگوریتمهای تکاملی
BIWD-FS
دقت
دسته بند
۹۵٫۵1
۷۳٫۸۷
۹۷٫۴۴
۹۴٫۸۷
۹۳٫۲۶
15
تعداد ویژگیهای
انتخابی
۵
۸
۷
۹
۲۵
HGA
SGA
تعداد ویژگیهای
انتخابی
۹۵٫۵۱
۷۳٫۵۲
۹۲٫۹۵
۹۵٫۵۶
۹۶٫۳۴
۹۵٫۵۱
۷۲٫۹۷
۹۲٫۹۵
۹۴٫۷
۹۵٫۴۹
۸
۱۲
۱۰
۷
۲۴
مجموعه ی داده ها
Wine
Vehicle
Segmentation
Ionosphere
Sonar
آزمایشات و بررس ی نتایج
مقایسه نتایج الگوریتم BIWDبا BPSOبا استفاده از ضرایب نگاشت
Tent
BIWD
تعداد ویژگی های
انتخابی
۵
۷۱٫۴۹
۹۵٫۵1
۵
۹۴٫۳۸
۴
۷۳٫۸8
۸
۷۱٫۸۶
۹
۹۷٫۴0
۶
۹۷٫۰۵
۱۱
۹۴٫۸۷
۹
۹۱٫۷۳
۸
۹2.31
۲۵
۸۹٫۴۲
۲۳
دقت دسته بند
۷۲٫۴3
16
BPSO
دقت دسته بند
تعداد ویژگی های
انتخابی
۶
مجموعه ی داده ها
Glass
Wine
Vehicle
Segmentation
Ionosphere
Sonar
آزمایشات و بررس ی نتایج
مقایسه نتایج الگوریتم BIWDبا BPSOبا استفاده از ضرایب نگاشت
لجستیک
BIWD
تعداد ویژگی های
انتخابی
۵
۷۱٫۴۹
۹۵٫۵
۵
۹۴٫۳۸
۴
۷۳٫۸۷
۸
۷۱٫۸۶
۹
۹۷٫۴۴
۷
۹۷٫۱۴
۶
۹۴٫۰۱
۱۲
۹۱٫۴۵
۱۵
۹۳٫۲۷
۲۸
۹۱٫۳۴
۳۲
دقت دسته بند
۷۲٫۴۲
17
BPSO
دقت دسته بند
تعداد ویژگی های
انتخابی
۵
مجموعه ی داده ها
Glass
Wine
Vehicle
Segmentation
Ionosphere
Sonar
جمع بندی و کارهای آینده
18
الگوریتم BIWDبه علت قابلیت موازی سازی و میزان مرتبه زمانی
پایین تر از روشهای کالسیک کاراتر است.
بر اساس مقایسه این روش با الگوریتم BPSOمشاهده شد ،نتایج
بدست آمده از این روش در اکثر مجموعه داده ها بهتر بوده چه به لحاظ
دقت دسته بند و چه به لحاظ تعداد کمتر ویژگی انتخابی.
ضرایب آشوب استفاده شده تعادل خوبی بین جستجو استخراجی و
اکتشافی ایجاد کرده است
ضرایب آشوبی از افتادن در دام همگرایی زودرس جلوگیری کرده و نتایج را
بهتر می کنند.
در آزمایشات مشخص شد استفاده از نگاشت لجستیک آشوبی نتایج
بهتری را نسبت به نگاشت Tentدر این الگوریتم ایجاد میکند.
جمع بندی و کارهای آینده
19
ارائه الگوریتمی ترکیبی بر مبنا الگوریتم باینری چکههای آب
هوشمند و الگوریتم ژنتیک برای مسئله انتخاب ویژگی (مثل ایجاد
جهش) تالش ی جدید در این راستا خواهد بود.
همچنین میتوان ترکیب روشهای فیلتری دیگر را نیز با این روش
امتحان کرد.
پیاده سازی موازی الگوریتم و بررس ی آن روی شبکه و همچنین
بررس ی این الگوریتم روی مجموعه دادهها با تعداد ویژگی بسیار
باال (مانند دادههای بیان ژن) از دیگر کارهایی است که میتوان
انجام داد.
20