Transcript 1. مقدمه
40 /2 گزینش ویژگی با استفاده از شبکه عصبی مقدمه شبکه عصبی استفاده شده تکنیکهای انتخاب ویژگی روش پیشنهادی آزمایشات تجربی 40 /3 گزینش ویژگی با استفاده از شبکه عصبی 40 /4 مساله تشخیص الگو به طور سنتی به مراحل استخراج ویژگی و طبقه بندی تقسیم می شود. استخراج ویژگی قصد پیدا کردن یک نگاشت را دارد که ابعاد الگوهایی که باید طبقه بندی شود را کاهش دهد. با جمع آوری ویژگی های مرتبط و حذف ویژگیهای غیر مرتبط هزینه جمع آوری داده های بعدی ،ممکن است کاهش یابد. گزینش ویژگی با استفاده از شبکه عصبی 40 /5 با رشد تعداد ویژگی های استفاده شده تعداد مثالهای آموزشی نیاز به رشد نمایی دارند در بسیاری از کاربردهای عملی نیاز به کاهش ابعاد داده داریم( Dimensionality .)Reduction تحلیل مولفه اصلی ( )PCAو تحلیل تفکیک کننده خطی دو تکنیک عمومی استخراج ویژگی هستند. این تکنیک ها سعی دارند ابعاد داده را با ایجاد ویژگی های جدیدی که ترکیب خطی از ویژگی های اولیه هستند را کاهش دهند. به طور کلی انتخاب ویژگی یک مساله سخت است. گزینش ویژگی با استفاده از شبکه عصبی «روش های انتخاب ویژگی» در حالت کلی فقط یک جستجوی جامع می تواند یک راه حل بهینه را تضمین کند. تکنیکتقسیم و تعداد کمی -1 غلبهویژگی برپایه تئوری مجموعه فازی انتخاب است .-انتخاب ترتیبی پیش رونده و عقب گرد پیشنهاد شده 2 شناور رونده ثابتپیش ترتیبی عصبیانتخاب شبکه های -3 ابزار قوی در سطح اند که کرده خودشان متنوعی از کاربردهای تشخیص الگو هستند(.اگر تعداد ویژگیها کم -4انتخاب ویژگی بر پایه تئوری مجموعه باشد) فازی شبکه های عصبی توانایی ترکیب فرایندهای یادگیری ,استخراج ویژگی ,انتخاب ویژگی و طبقه بندی را در طول یادگیری دارند 40 /6 گزینش ویژگی با استفاده از شبکه عصبی 40 /7 انتخاب ویژگی با شبکه های عصبی می تواند به یک حالت خاص از هرس معماری تصور شود. فرایند انتخاب ویژگی معموال مبتنی بر انتخاب برجسته ( )Saliencyاست که منجر به حذف ویژگیهای غیرمرتبط می شود. از آنجا که بیشتر فرایندها ،برجستگی ویژگی ها را در طول فرایند یادگیری محاسبه می کنند این ویژگیها شدیدا وابسته به الگوریتم های یادگیری به کاربرده شده دارند. گزینش ویژگی با استفاده از شبکه عصبی 40 /8 سیگنال خروجی نرون jام در الیه خروجی ( Lام) : خروجی در الیه : q سطح فعال سازی نرون : گزینش ویژگی با استفاده از شبکه عصبی معیار معرفی شده در این مقاله با 5معیار دیگر مقایسه شده است. این 5معیار عبارتند از: انتخاب ویژگی شبکه عصبی (: ) NNFSبر اساس حذف وزنهای الیه ورودی معیار برجستگی ویژگی وزن-مبنا(تکنیکی بر اساس نسبت سیگنال به نویز ())SNR معیار برجستگی ویژگی بر اساس حساسیت خروجی شبکه عصبی آنتروپی فازی تحلیل تفکیک کننده (معیاری که در روش ارائه شده در این مقاله نیز استفاده شده است). در ادامه هر کدام را بیشتر توضیح می دهیم 40 /9 گزینش ویژگی با استفاده از شبکه عصبی 40 /10 باید ویژگیهای مرتبط نسبت به ویژگیهای غیر مرتبط یا بالاستفاده تفاوت وزنی زیادی داشته باشند انتخاب ویژگی بر مبنای واکنش خطای طبقه بندی مجموعه داده ارزیابی – بینابینی ()Cross-Validationبه حذف ویژگی های تکی انجام می گیرد عبارت دوم از ) R1(wدقیقا بخش تنزل وزن است ،فقط وزنهای ورودی به الیه مخفی را در نظر می گیرد.وزنهای متصل به ویژگیهای بی اهمیت باید در طول یادگیری به سمت مقدار نزدیک صفر میل کنند. اولین بخش از تابع )R1(wمی تواند به عنوان معیاری از شمارش کل وزنهای غیر صفر در شبکه باشد. گزینش ویژگی با استفاده از شبکه عصبی 40 /11 یک الگوریتم تنزل وزن ساده سعی در به دست آوردن وزنهای کوچکتر دارد. وزنهای کوچکتر منجر به ورودی کوچکتر به نرون ها و اشتقاقهای سیگموید بزرگتر می شود بنابرابن خروجی به افزایش ورودی حساس است. در حالتی که همه ویژگیها حضور دارند ما تفاوت زیادی بین دقت طبقه بندی به دست آمده برای مجموعه های آموزشی و تست مشاهده می کنیم. کمتر شدن دقت برای مجموعه تست به دست آمده به این نکته تاکید دارد که حساسیت خروجی به تغییرات ورودی باال است. به منظور طبقه بندی ما نیاز به کم بودن حساسیت خروجی نسبت به تغییرات ورودی داریم. از این رو به جای محدودیت وزنهای الیه ورودی از محدودیت اشتقاقهای تابعهای انتقال نرونها استفاده کنیم .با این محدودیت اشتقاقها می توانیم نرونونها را مجبور کنیم که با ناحیه های اشباع کار کنند. بنابراین حساسیت کم خروجی نسبت به ورودی با مقادیر نسبتا بزرگ وزنها حاصل می شود. گزینش ویژگی با استفاده از شبکه عصبی 40 /12 معیارهای برجستگی ویژگی در انتخاب ویژگی بر مبنای شبکه عصبی مبتنی بر وزن یا حساسیت خروجی شبکه عصبی وزنهای متصل به ویژگیهای مهم مقادیر قدر مطلق بزرگ ،در حالی که وزن های متصل به ویژگی های بی اهمیت مقادیر خیلی کوچک و احتماال نزدیک صفر را به دست آوردند. SNRمبتنی برمقایسه وزن(برجستگی)ویژگی کاندیدا و ویژگی نویز SNRدر پاسخ به محدودیتهای زیر ایجاد شده است: گزینش ویژگی با استفاده از شبکه عصبی 40 /13 یک معیار برجستگی به تنهایی نمی تواند تعداد ویژگی های کاندید مورد استفاده را نشان دهد تعداد ویژگیهایی که باید انتخاب شوند نشان داد که در هنگام حذف یک ویژگی کاهش قابل مالحظه ی در دقت طبقه بندی مجموعه داده تست مواجه می شود. گزینش ویژگی با استفاده از شبکه عصبی ابتدا پرسپترون چندالیه یک مجموعه داده را یاد می گیرد اندیس کیفیت ویژگی ( )FQIqبرای هر ویژگی qمحاسبه می شود سپس ویژگی های برحسب این اندیس رتبه بندی می شوند برای هر نقطه داده آموزش ی ،Xiیک Xiqتعریف می شود. (با صفر کردن ویژگی qام) ANN 40 /14 گزینش ویژگی با استفاده از شبکه عصبی اگر ویژگی qیک ویژگی بی اهمیت باشد بردارهای خروجی oiو ) oi(qنباید تفاوت زیادی داشته باشند. تعریف اندیس کیفیت ویژگی ( )FAQqبه صورت زیر : اگر اندیس کیفیت بزرگتر نشان دهنده اهمیت بیشتر ویژگی است. 40 /15 گزینش ویژگی با استفاده از شبکه عصبی 40 /16 اگر Aیک مجموعه فازی تعریف شده براساس موضوع بحث باشد که در آن ) μA(xiعضویت از xiبه Aرا نشان می دهد. آنتروپی از مجموعه فازی Aبه صورت زیر تعریف میشود استاندارد S-functionرا میتوان برای مدل کردن μمیتوان استفاده کرد. گزینش ویژگی با استفاده از شبکه عصبی کالس Cjبه عنوان یک مجموعه فازی مطرح میشود و آنتروپی Hqjاز کالس برای ویژگی qام را میتوان محاسبه کرد. اگر به ادغام کالس های Cjو Ckبپردازیم در صورت افزایش مقدار Hqjkبرای کالستر های ادغام شده ،قدرت تفکیک qامین ویژگی کاهش می یابد. برای یک ویژگی خوب برای بیشتر نقاط داده μ(xq) ≈ 0 or 1 40 /17 خواهد بود. . اندیس سراسری ارزیابی ویژگی(: ) OFEI گزینش ویژگی با استفاده از شبکه عصبی 40 /18 که در آن Qتعداد کالسهاست .فرض شد که مقدارپایین تر از OFEIنشان دهنده ویژگی بهتر است. گزینش ویژگی با استفاده از شبکه عصبی 40 /19 تابع معیار برای رتبه بندی ویژگی pj:احتمال رخداد کالس jام است. از بسط قانون خطای معادله 1 گزینش ویژگی با استفاده از شبکه عصبی حساسیت خروجی وابسته به میزان وزن و مشتق تابع انتقال نودهای الیه مخفی و نودهای الیه خروجی است. 40 /20 گزینش ویژگی با استفاده از شبکه عصبی 40 /21 برای پایین آوردن حساسیت ،برای مشتق محدودیت قرار می دهیم، تابع خطای آنتروپی-عرضی را کمینه کرده و شبکه عصبی را با آن آموزش می دهیم : گزینش ویژگی با استفاده از شبکه عصبی 40 /22 (1 تولید وزن اولیه تصادفی برای هریک از یال ها.برای هر کدام از Lشبکه عصبی مراحل 8-2تکرار میشودj = 1, … , L . (2 مجموعه داده ای موجود را به صورت تصادفی به سه قسمت تقسیم میکنیم آموزشی Cross-validation آزمایشی (3 آموزش شبکه عصبی با استفاده از کمینه کردن فرمول 15و تغییر وزن ها تاجائی که کمترین خطای Cross-validationحاصل شود. (4 محاسبه دقت طبقه بندی ATj (5 ویژگی ای که کمترین کاهش دقت طبقه بندی در هنگام حذف آن در مجموعه داده testبدست می آید را مشخص کنید . گزینش ویژگی با استفاده از شبکه عصبی (6 ویژگی بدست آمده در مرحله 5را حذف کنید. (7 اگر M>1برو به مرحله :M( 3تعداد ویژگی های فعلی). (8 رتبهبندی ویژگیهای بدست آمده و دقت طبقه بندی ATjکه با حضور تمام ویژگی ها حاصل شده است را ثبت می کنیم. (9 رتبهبندی ویژگی ها و دقت 𝐴Tرا با میانگین گیری از نتایج L اجرا محاسبه می کنیم. (10 40 /23 حذف ویژگی که برحسب رتبه بندی به دست آمده دارای کم ترین برجستگی باشد و سپس فقط مرحله 3را اجرا کن(یعنی شبکه را با ویژگی های موجود آموزش بده) گزینش ویژگی با استفاده از شبکه عصبی 40 /24 (11 محاسبه دقت طبقه بندی ( testهمان کار مرحله )4و اختالف دقت ( )∆Aرا نسبت به 𝐴Tمحاسبه کن. (12 اگر ∆A<∆A0باشد برو به مرحله ∆A0(10پارامتری قابل تنظیم است) (13 تمام ویژگی های باقیمانده و آخرین ویژگی حذف شده را نگه دار. (14 آموزش مجدد شبکه با مجموعه جدید از ویژگیها. گزینش ویژگی با استفاده از شبکه عصبی 40 /25 در تمام آزمایشات ،ما آزمایش را 30بار و با مقادیر مختلف وزن اولیه و تقسیمبندی مختلف مجموعه داده ها اجرا کردیم. چهار پارامتر برای تنظیم وجود دارد : α1 .1ثابت : α2 .2ثابت : L .3به عنوان تعداد شبکهها .4 : ∆A0پارامتر مقدار کاهش قابل قبول در دقت طبه بندی در هنگام حذف یک ویژگی پخش شایعه در شبکه های اجتماعی 40 /26 دادههای یادگیری cross-validation ،و آزمایشی ( Dl, Dv, )Dt مجموعه دادهای از طریق راهحل زیر نرمال میشود: محاسبه می شود میانگین Xو واریانس δ2مجموعه سپس از طریق xn=(x-X)/δداده های Dt ،Dv ،Dlنرمال می شوند. گزینش ویژگی با استفاده از شبکه عصبی 40 /27 گزینش ویژگی با استفاده از شبکه عصبی هدف داده ها()435 نوع رای تقسیم بندی تشخیص وابستگی سیاسی هر عضو 267دموکرات 167جمهوری خواه موافق مخالف ممتنع 197نمونه آزمایشی 21نمونه cross- vali. 217نمونه آزمایشی مشکل تشخیص دیابت هدف داده ها()768 ویژگی( 8مورد) تقسیم بندی تشخیص درست دیابت 500مورد دیابت دارند 268مورد دیابت ندارند سن ،سابقه دیابت خانواده ،فشار خون،غلظت گلوکز... 345نمونه آموزشی 39نمونه cross- vali. 384نمونه آزمایشی 40 /28 مسئله سوابق رایگیری کنگره ایاالت متحده مشکل تشخیص سرطان هدف داده ها()699 ویژگی( 9مورد) تقسیم بندی تشخیص درست سرطان 458مورد خوش خیم 241مورد بدخیم ،clump thickness uniformity of cell bare nuclei ،size 315نمونه آموزشی 35نمونه cross- vali. گزینش ویژگی با استفاده از شبکه عصبی 40 /29 برای مجموعه دادهای مصنوعی wave-formما توانائی تکنیکهای مختلف را آزمایش کردیم تا ویژگیهای نویز را از میان ویژگیهای دیگر که توسط نویز فاسد شدند مشخص کند. گزینش ویژگی با استفاده از شبکه عصبی 40 /30 گزینش ویژگی با استفاده از شبکه عصبی 40 /31 مسئله سوابق رایگیری کنگرره ایراالت متحرده هرم یرک کرار آسران از نظرر انتخرراب ویژگرری اسررت برره ایررن خرراطر کرره یکرری از ویژگری ها(ویژگی )4تقریبا قدرت تمایزی معادل برا تمرام ویژگری هرا را داراست. گزینش ویژگی با استفاده از شبکه عصبی 40 /32 نتایج رتبه بندی ویژگی که از تکنیک FQIبدست آمده خیلی به مقدار دهی اولیه شبکه و جزء بندی مجموعه داده به مجموعه های ) (Trainingو ) (Crossvalidationو ) (Testبستگی دارد گزینش ویژگی با استفاده از شبکه عصبی 40 /33 با توجه به جدول 4متد معرفی شده در این مقاله به بیشترین میزان صحت دسته بندی روی مجموعه داده دست یافته است. برای بدست آوردن نتایج دسته بندی تکنیک های OFEIو FQI از 2ویژگی به عنوان نتایج حاصل از متد خود استفاده شد. گزینش ویژگی با استفاده از شبکه عصبی 40 /34 و اما مساله University of Wisconsin breast cancer در تمام 30با اجرای انجام شده ،تکنیک ما نتیجه گرفت که 2 ویژگی باید برای حل مساله انتخاب شود. گزینش ویژگی با استفاده از شبکه عصبی 40 /35 تکنیک FQIو OFEIو SNRیک زیر مجموعه از 2ویژگی ها را یکی انتخاب می کنند که آن هم 6و 1است. تکنیک معرفی شده در این مقاله و روش DAیک انتخاب مشابه شامل 6و 3را زمانی که یک زیر مجموعه از 2ویژگی نیاز باشد انتخاب می کند. گزینش ویژگی با استفاده از شبکه عصبی نتایج انتخاب ویژگی که از تکنیک FQIحاصل شده به شدت بستگی به انتخاب تصادفی مقدار اولیه شبکه و مجموعه آموزشی دارد. نتایج بدست آمده مشخص می کند که زیر مجموعه ویژگی 6و3 و همینطور 6و 1تقریبا دارای قدرت تفکیک برابری دارند 40 /36 چند روش یک زیر مجموعه از ویژگی های را انتخاب کردند. گزینش ویژگی با استفاده از شبکه عصبی آزمایش را 30مرتبه زمانی که نرخ دسته بندی صحیح روی قسمت داده Testمحاسبه می شود: 40 /37 جزء بندی های تصادفی مجموعه داده به قسمت های Trainingو Testاجرا می کنیم. نزدیک ترین همسایه ها از قسمت Trainingداده ها انتخاب می شوند. گزینش ویژگی با استفاده از شبکه عصبی 40 /38 گزینش ویژگی با استفاده از شبکه عصبی 40 /39 پارامترهای α1و α2را می توان با الگوریتم ژنتیک تعیین کنیم -ابتدا ویژگیهایی کره دارای کمتررین اهمیرت هسرتند را برا الگروریتم هررای موجررود حررذف سررپس بررا الگرروریتم پیشررنهادی ایررن الگرروریتم ویژگیهای برجسته را تعیین می دهیم گزینش ویژگی با استفاده از شبکه عصبی 40 /40