qui. (pdf)

Transcript qui. (pdf)

Algoritmi di classificazione e Reti neurali (6 cfu)
website: http://www.dis.uniroma1.it/
or/gestionale/svm/
Programma a.a. 2013-14 aggiornato January15, 2014
1. Cenni riguardanti la teoria statistica dell’apprendimento (paragrafo 1 di [SVM] e
lucidi della lezione 1 e lezione 2);
2. Il neurone formale, addestramento del Perceptron (paragrafo 2 di [RN])
3. Reti multistrato: architettura, proprietà di approssimazione, il problema di addestramento, Backpropagation e momentum, calcolo del gradiente in BP, convergenza
del metodo del gradiente con passo costante (BP batch). Paragrafo 3 di [RN] (fino
a 3.5) e [RN-BP] (oppure proposizione 6.3 di [LIBRO-NV]).
4. Metodi on-line. Paragrafi 3.12-3.13 di [RN] e paragrafo 12.5 di [LIBRO-NV].
5. Reti Neurali di funzione di base radiale, RBF regolarizzate, RBF generalizzate.
Algoritmi di decomposizione, decomposizione in 2 blocchi (con dimostrazione), decomposizione in pi`
u blocchi. Paragrafo 4 di [RN] e [RN-RBF]
6. SVM lineari (paragrafo 2 di [SVM]: omettere la dimostrazione del Lemma 1 e del
Lemma 2; paragrafo ”Distanza punto-iperpiano” di appendice A di [SVM]; lucidi
della lezione 3. )
7. Condizioni di ottimo per il problema primale e Teoria della dualità: dualità debole
per programmazione non lineare convessa; dualità forte per problemi quadratici
convessi (paragrafo 3 di [SVM], appunti integrativi [AI-1][AI-2])
8. Il problema duale per SVM lineari: il caso linearmente separabile e il caso non
linearmente separabile (paragrafi 3.1 e 3.2 di [SVM])
9. SVM non lineari: definizione di Kernel, alcuni esempi di Kernel, caratterizzazione di
kernel (paragrafo 4 di [SVM]: omettere la Proposizione 6; appunti integrativi [AI-3]
omettere la dim. della proposizione 1);
10. SVM per problemi di regressione (paragrafo 5 di [SVM]);
11. Le condizioni di KKT per il problema duale (paragrafo 6 di [SVM]: equivalenza delle
formule (60) e (66) in [SVM])
12. Direzioni ammissibili e di discesa per il problema duale delle SVM (paragrafo 6 di
[SVM])
13. Metodi di decomposizione per le SVM (paragrafo 6.2 di [SVM] e appunti integrativi
[AI-4])
(a) algoritmi di tipo SMO e in particolare algoritmo MVP (Most Violating Pair)
o
e algoritmo del secondo ordine SVM2 ;
(b) Algoritmo SVMlight ;
(c) Algoritmo con regola di selezione ciclica (SENZA dimostrazione di convergenza);
(d) Algoritmo ibrido per uso della cache.
14. Cenni su tecniche di caching e shrinking in algoritmi di decomposizione (appunti
integrativi [AI-4]);
15. Classificatori ν-Support Vector (ν-SVM) (appunti integrativi [AI-5]).
16. SVM per problemi multi classe (appunti integrativi [AI-6])
17.
18. Algoritmo K-Means per Problemi di Clustering
19. Clustering
Il materiale didattico a cui si fa riferimento è disponibile sul sito.
[RN] Metodi di Ottimizzazione per Reti Neurali (a cura di Proff. Luigi Grippo e Marco
Sciandrone), non fanno parte degli argomenti dell’esame le sezioni 3.6 (eccetto il
Teorema 5), 3.7, 3.8, 3.9, 3.10, 3.11.
[RN-BP] Appunti integrativi. Convergenza del metodo di back-propagation batch.
[libro-NV] Metodi di ottimizzazione non vincolata - Grippo, Sciandrone, Springer 2011
[RN-RBF] appunti Convergenza Algoritmi di Decomposizione (a cura di Prog. Luigi
Grippo)
[SVM] dispense ”Support Vector Machines” a cura del prof. M. Sciandrone (vedi anche
l’Errata Corrige);
[AI-Slide] lucidi delle lezioni a cura della Prof.ssa Palagi
[AI-SVM] appunti integrativi su singoli argomenti (come specificato nel programma) a
cura della Prof.ssa Palagi
[AI-1] Appunti Integrativi sulle condizioni di ottimo del problema primale SVM;
[AI-2] Appunti Integrativi sulla dualità;
[AI-3] Appunti Integrativi sui kernel
[AI-4] Appunti Integrativi sui algoritmi di decomposizione
[AI-5] Appunti Integrativi sui ν-SVM.
[AI-5] Appunti Integrativi su SVM multi classe.
[CLUSTER1] Algoritmo K-Means per Problemi di Clustering (a cura Prof. Lucidi)
[CLUSTER2] Lezioni di Clustering (a cura Dr. Silvia Canale)