Les SVM : Séparateurs à Vastes Marges (Support Vector Machines) Antoine Cornuéjols IIE & CNRS - Université de Paris-Sud, Orsay [email protected] Cours - SVM. http://www.lri.fr/~antoine.
Download ReportTranscript Les SVM : Séparateurs à Vastes Marges (Support Vector Machines) Antoine Cornuéjols IIE & CNRS - Université de Paris-Sud, Orsay [email protected] Cours - SVM. http://www.lri.fr/~antoine.
Les SVM : Séparateurs à Vastes Marges (Support Vector Machines) Antoine Cornuéjols IIE & CNRS - Université de Paris-Sud, Orsay [email protected] Cours - SVM. http://www.lri.fr/~antoine Hyperplans séparateurs Tâche de classification Cas de la séparation linéaire Les SVMs • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription - On cherche h sous forme d’une fonction linéaire : h(x) = w.x + b - La surface de séparation est donc l’hyperplan : • Illustration w. x b 0 • Mise en œuvre Applications Bilan - Elle est valide si i ui h(xi ) 0 w.x b 1 - L’hyperplan est dit sous forme canonique lorsque min i ou encore Les SVMs (A. Cornuéjols) i ui (w.xi b) 1 2 (01-04) Hyperplan de plus vaste marge Hyperplan valide Les SVMs • Séparateurs M arge maximale linéaires • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre Applications Bilan Hyperplan optimal Les SVMs (A. Cornuéjols) 3 (01-04) Optimisation de la marge Les SVMs • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre Applications Bilan Les SVMs (A. Cornuéjols) 4 (01-04) Optimisation de la marge Les SVMs w. x w 0 d(x) w La distance d’un point à l’hyperplan est : L’hyperplan optimal est celui pour lequel la distance aux points les • Séparateurs linéaires plus proches (marge) est maximale. Cette distance vaut • Le pb d’optimisation 2 w • Espace de redescription • Illustration Maximiser la marge revient donc à minimiser ||w|| sous contraintes: • Mise en œuvre Applications Bilan 1 2 min w 2 i u (w. x w ) 1 i i 0 Les SVMs (A. Cornuéjols) 5 (01-04) SVMs : un problème d’optimisation quadratique EXPRESSION PRIMAIRE Les SVMs • Séparateurs linéaires • Le pb Il faut donc déterminer w et w0 minimisant : d’optimisation 1 (w ) w 2 • Espace de redescription • Illustration • Mise en œuvre 2 (afin de maximiser le pouvoir de généralisation) Applications Bilan sous les contraintes (hyperplan séparateur) : ui (w . xi ) w0 1 , Les SVMs (A. Cornuéjols) 6 i 1,..., n (01-04) Résolution de la forme primaire du problème d : dimension de l’espace d’entrée Les SVMs • Séparateurs linéaires Il faut régler d + 1 paramètres • Le pb d’optimisation • Espace de Possible quand d est assez petit redescription avec des méthodes d'optimisation quadratique • Illustration • Mise en œuvre Applications Bilan Impossible quand d est grand (> qqs 103) Les SVMs (A. Cornuéjols) 7 (01-04) Transformation du problème d’optimisation Méthode des multiplicateurs de Lagrange L(w, w 0 , ) i 0 i Les SVMs • Séparateurs linéaires • Le pb d’optimisation 1 2 w 2 EXPRESSION DUALE redescription • Mise en œuvre i {(xi .w w 0 )u i 1} i 1 • Espace de • Illustration l Problème dual Applications Bilan l 1 max i 2 i 1 i i 0 l u 0 i i i 1 l l i j ui u j (xi . x j ) i 1 j 1 Les SVMs (A. Cornuéjols) 8 (01-04) Propriétés de la forme duale La conversion est possible car les fonctions de coût et les contraintes sont strictement convexes (Th. de Kuhn-Tucker) Les SVMs • Séparateurs linéaires • Le pb d’optimisation La complexité du problème d'optimisation est • Espace de redescription m (taille de l'échantillon d'apprentissage) et non d ( taille de l'espace d'entrée X ) • Illustration • Mise en œuvre Applications Bilan Possible d'obtenir des solutions pour des problèmes impliquant ≈ 105 exemples Les SVMs (A. Cornuéjols) 9 (01-04) Solution du problème d’optimisation Les SVMs • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre Applications D(x) (w* .x w*0 ) m * * w i ui xi i 1 m * * w u 0 s i ui (xi .xs ) i1 * : estimé (xS,uS) étant n'importe quel point de support Bilan Propriété1 : seuls les i correspondant aux points les plus proches sont non-nuls. On parle de points de support (exemples critiques). Propriété 2 : seuls interviennent les produits scalaires entre les observations x dans le problème d’optimisation. Les SVMs (A. Cornuéjols) 10 (01-04) Problèmes non linéairement séparables dans X La majorité des problèmes !!! Les SVMs • Séparateurs linéaires Idée : • Le pb d’optimisation • Espace de Si on projette dans un espace de redescription de très grande redescription dimension ?? • Illustration • Mise en œuvre Applications Presque toujours le problème devient linéairement séparable Bilan Mais : Fléau de la dimensionalité dVC explose !!? Les SVMs (A. Cornuéjols) 11 (01-04) SVM et redescription Espace des représentations internes Espace d'entrées X Les SVMs • Séparateurs linéaires • Le pb d’optimisation Espace de sortie • Espace de redescription • Illustration • Mise en œuvre Applications x Bilan F h Séparation linéaire Redescription non linéaire Les SVMs (A. Cornuéjols) y 12 (01-04) Petite digression … … La reconnaissance de chiffres manuscrits par réseaux de neurones (ATT Bell labs, 1993) Les SVMs • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre Applications Bilan Les SVMs (A. Cornuéjols) 13 (01-04) La redescription des entrées : illustration Les SVMs • Séparateurs linéaires Soit un espace d’entrée à 2 dimensions Tout vecteur x = (x1, x2) peut être redécrit à l’aide de polynômes d’ordre 6 Nouvel espace de descripteurs à 16 dimensions (fonctions de base): • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre g1 (x 1 , x 2 ) 1 g2 ( x1 , x 2 ) x 1 g3 (x1 , x 2 ) x2 g4 (x 1 , x 2 ) x12 g5 ( x1 , x 2 ) x 22 g6 (x1 , x 2 ) x13 g7 (x 1 , x 2 ) x 32 g8 ( x1 , x 2 ) x 1 x2 g9 (x1 , x 2 ) x12 x 2 g10 (x 1 , x 2 ) x1 x 2 2 g11 ( x1 , x 2 ) x 1 x 2 g12 (x1 , x 2 ) x1 x 2 g13 (x 1 , x 2 ) x1 x2 g14 ( x1 , x 2 ) x 1 x 2 g15 (x1 , x 2 ) x1 x 2 Applications Bilan 3 2 3 2 3 3 2 2 g16 (x 1 , x 2 ) x13 x23 Les SVMs (A. Cornuéjols) 14 (01-04) Le nouveau problème d’optimisation Les SVMs • Séparateurs Soit F : X -> F(X), on peut remplacer partout x par F(x) Si F est bien choisie, K(x, x’) = F(x).F(x’) peut être facile à calculer et le problème devient : linéaires • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre Applications Bilan l 1 i max 2 i 1 i 0 i C l u 0 i i i 1 l l i j ui u j K (xi , x j ) i 1 j 1 Les SVMs (A. Cornuéjols) 15 (01-04) Solution du nouveau problème d’optimisation La fonction de décision devient : Les SVMs • Séparateurs D(x) linéaires • Le pb d’optimisation w j 1 • Espace de redescription n : nb de fcts de base (peut être très grand) n j g j (x) • Illustration • Mise en œuvre Applications Bilan Soit dans la forme duale : D(x) mS u K(x ,x) i i i w0 mS : nb de points de support i1 Les SVMs (A. Cornuéjols) 16 (01-04) Schéma de fonctionnement des SVMs sign( i ui K(xi,x) + w0) Les SVMs • Séparateurs linéaires 1 • Le pb d’optimisation • Espace de redescription • Illustration K 2 K Sortie : sign( i ui K(xi,x) + w0) 3 K 4 K Comparaison : K(xi, x) • Mise en œuvre Applications Bilan Échantillon x1, x2, x3, ... Vecteur d'entrée x Les SVMs (A. Cornuéjols) 17 (01-04) Les conditions de Mercer Si on prend une fonction K symétrique, il existe une fonction F tq: m K(x, x' ) F( x). F(x' ) Les SVMs • Séparateurs linéaires gi (x ). gi (x' ) i1 • Le pb d’optimisation • Espace de redescription • Illustration ssi, pour toute fonction f telle que : l’on a : • Mise en œuvre Applications Bilan K(x, x' ) f(x) 2 dx est finie f(x) f (x' ) dx dx' 0 Si cette condition est vérifiée, on peut appliquer les SVMs MAIS cela ne dit pas comment construire F Les SVMs (A. Cornuéjols) 18 (01-04) Fonctions noyau usuelles (1/2) Polynomiale : Les polynomes de degré q ont pour fonction noyau associée : K(x, x' ) (x. x' 1) q Les SVMs • Séparateurs linéaires • Le pb d’optimisation RBF : n x xi 2 h(x) sign i exp 2 i 1 • Espace de Les fcts à base radiale : redescription • Illustration • Mise en œuvre ont pour fct noyau associée : Applications K(x, x' ) e Bilan Sigmoïde : x x' 2 2 2 n h(x) sign i t anhv(x.xi ) a b i 1 Les réseaux de neurones à fcts d'activation : ont pour fct noyau associée : K(x, x' ) tanh(ax. x' b) Les SVMs (A. Cornuéjols) 19 (01-04) Fonctions noyau usuelles (2/2) Construction à partir de fonctions noyau de base (Propriétés de clôture) Les SVMs • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription • Illustration K(x,z) = K1(x,z) + K2(x,z) K(x,z) = a K1(x,z) K(x,z) = K1(x,z) . K2(x,z) … • Mise en œuvre Applications Construction de fonctions noyau dédiées Bilan Splines Bm Expansion de Fourrier Ondelettes ... Les SVMs (A. Cornuéjols) 20 (01-04) Les fonctions noyau … encodent : Une mesure de similarité sur les données La forme fonctionnelle des fonctions de décision Le type de régularisation réalisée Les SVMs • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre Applications Bilan Le type de covariance dans l’espace des entrées (ex : les fcts gaussiennes favorisent les solutions régulières) (ex : fcts noyau invariantes par rotation) Sorte de distribution de probabilité a priori sur l’espace des hypothèses Les SVMs (A. Cornuéjols) 21 (01-04) Illustration : le cas du XOR x2 Les SVMs 1 • Séparateurs Index i x u 1 (1,1) 1 2 (1,-1) -1 3 (-1,-1) 1 4 (-1,1) -1 linéaires • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre 1 -1 x1 Applications Bilan -1 Les SVMs (A. Cornuéjols) 22 (01-04) Illustration : le cas du XOR Fonction noyau polynomiale de d° 2 : Les SVMs K(x,x') = [1 + (xT . x')]2 • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription soit : K(x,xi ) = 1 + x12xi12 + 2 x1x2xi1xi2 + x22xi22 + 2x1xi1 + 2x2xi2 • Illustration • Mise en œuvre Applications Bilan correspondant à la projection F : [1, x12, √2 x1x2, x22, √2 x1, √2 x2 ] T Les SVMs (A. Cornuéjols) 23 (01-04) Illustration : le cas du XOR l l 1 i max 2 i 1 i 1 i 0 i C l u 0 i i i 1 Les SVMs • Séparateurs linéaires • Le pb d’optimisation l i j ui u j K (xi , x j ) j 1 • Espace de redescription • Illustration • Mise en œuvre Applications Bilan Ici : Q 1 2 3 4 1 2 (91 21 2 213 21 4 2 922 22 3 22 4 932 23 4 9 24 ) Les SVMs (A. Cornuéjols) 24 (01-04) Illustration : le cas du XOR L'optimisation de Q() en fonction des multiplicateurs de Lagrange conduit au système d'équations : Les SVMs 9 1 2 3 4 1 9 2 3 4 1 2 93 4 1 2 3 9 4 • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre 1 1 1 1 Applications Bilan La valeur optimale des multiplicateurs de Lagrange est : * 1 Les SVMs (A. Cornuéjols) * 2 * 3 25 * 4 1 8 (01-04) Illustration : le cas du XOR Les SVMs Les 4 exemples sont donc des exemples critiques ("support vectors") La valeur optimale de Q() est : Et : • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription • Illustration * Q ( ) 14 • Mise en œuvre Applications Bilan Les SVMs (A. Cornuéjols) 1 * w 2 soit : 1 4 w 26 * 1 2 (01-04) Illustration : le cas du XOR Les 4 exemples sont donc des exemples critiques ("support vectors") ( i , i ≠ 0) Les SVMs • Séparateurs linéaires • Le pb d’optimisation La fonction de décision s’écrit : • Espace de redescription • Illustration • Mise en œuvre Applications Bilan Les SVMs (A. Cornuéjols) 27 (01-04) Illustration : le cas du XOR En revenant dans l’espace d’origine : Le vecteur poids optimal est : Les SVMs • Séparateurs w linéaires • Le pb d’optimisation • Espace de soit : redescription • Illustration • Mise en œuvre Applications Bilan w * * 1 F(x1 ) F(x2 ) F(x3 ) F(x4 ) 8 1 1 1 2 1 8 2 2 Les SVMs (A. Cornuéjols) 1 1 2 1 2 2 28 1 1 2 1 2 2 1 0 1 0 2 1 2 1 0 2 0 2 0 (01-04) Illustration : le cas du XOR Les SVMs L'hyperplan optimal correspond à : • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre Applications Bilan 1 *T w .F(x) 0, 0, , 0, 0, 0 2 Les SVMs (A. Cornuéjols) 29 2x1 x 2 x1 x2 0 2 x2 2x1 2x2 1 x12 (01-04) Illustration : le cas du XOR Les SVMs • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre Applications Bilan Séparatrice dans l'espace d'entrée Séparatrice dans l'espace F(X) (espace à 6 dimensions) D(x) = -x1x2 2 x1x 2 0 Les SVMs (A. Cornuéjols) 30 (01-04) Cas du problème non séparable : marges douces On introduit des variables “ressort” qui pénalisent l’erreur commise : l 1 2 min w C i 2 i 1 i u (w. x w ) 1 i i 0 i Les SVMs • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre Applications Le problème dual a la même forme à l’exception d’une constante C l l 1 i max 2 i 1 i 1 i 0 i C l u 0 i i i 1 Bilan l i j ui u j (xi . x j ) j 1 Les SVMs (A. Cornuéjols) 31 (01-04) La mise en pratique Il faut choisir : Les SVMs Le type de fonction noyau K • Séparateurs linéaires Sa forme Ses paramètres • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre La valeur de la constante C Applications Bilan La sélection rigoureuse de ces paramètres exige une estimation de la dimension de Vapnik-Chervonenkis et l’application de la borne de généralisation Dans le cas séparable, il est possible de déterminer ces paramètres Dans le cas non séparable, il faut tester avec des méthodes empiriques pour faire le meilleur choix Les SVMs (A. Cornuéjols) 32 (01-04) Exemple : exemple + • : exemple Les SVMs Dans cercle : points de support • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription Fct noyau polynomiale de degré 3 QuickTime™ and a GIF decompressor are needed to see this picture. • Illustration • Mise en œuvre Applications Bilan Démo : http://svm.research.bell-labs.com/ http://svm.dcs.rhbnc.ac.uk/pagesnew/G Pat.shtml Les SVMs (A. Cornuéjols) 33 (01-04) Effet des paramètres de contrôle Apprentissage de deux classes Les SVMs • Séparateurs exemples tirés uniformément sur l'échiquier SVM à fonctions noyau gaussienne linéaires • Le pb d’optimisation K(x, x' ) e • Espace de redescription x x' 2 2 2 • Illustration • Mise en œuvre Applications Bilan Ici deux valeurs de En haut : petite valeur En bas : grande valeur Les gros points sont des exemples critiques Plus en haut qu'en bas Dans les deux cas : Remp = 0 Les SVMs (A. Cornuéjols) 34 (01-04) Les données d'apprentissage Les SVMs • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre Applications Bilan Les SVMs (A. Cornuéjols) 35 (01-04) Paramètres de contrôle : les fonctions noyau Les SVMs • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre Applications Bilan http://svm.dcs.rhbnc.ac.uk/pagesnew/GPat.shtml 47 exemples (22 +, 25 -) Exemples critiques : 4 + et 3 - Ici fonction polynomiale de degré 5 et C = 10000 Les SVMs (A. Cornuéjols) 36 (01-04) Paramètres de contrôle : les fonctions noyau Les SVMs • Séparateurs linéaires • Le pb d’optimisation 47 exemples (22 +, 25 -) (5-, 4+) (5-, 4+) Ici fonction polynomiale de degré 2, 5, 8 et C = 10000 • Espace de redescription (3-, 4+) Exemples critiques : 4 + et 3 - • Illustration • Mise en œuvre Applications Bilan (10-, 11+) (8-, 6+) (4-, 5+) Ici fonction Gaussienne de = 2, 5, 10, 20 et C = 10000 Les SVMs (A. Cornuéjols) 37 (01-04) Ajout de quelques points ... Les SVMs • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre Applications Bilan http://svm.dcs.rhbnc.ac.uk/pagesnew/GPat.shtml 47 + 8 exemples (30 +, 25 -) Exemples critiques : 5 + et 8 - Ici fonction polynomiale de degré 5 et C = 10000 Les SVMs (A. Cornuéjols) 38 (01-04) Domaines d’application des SVMs Traitement d’images Les SVMs Reconnaissance de caractères manuscrits Reconnaissance de scènes naturelles Reconnaissance de visages • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre Entrées : image bidimensionnelle en couleur ou en niveaux de gris Sortie : Applications Bilan Les SVMs (A. Cornuéjols) classe (chiffre / personne) 39 (01-04) Domaines d’application des SVMs Images : 256 * 256 (100 niveaux de gris) Codées en : 16 * 16 (niveaux de gris) + mêmes par 4 opérateurs différentiels à une dimension (|,-,/,\) = 1280 pixels (5 * 16 * 16) Les SVMs • Séparateurs linéaires 25 objets pris sous 25, 89 ou 100 points de vue (ens. d’apprentissage) • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre Applications Bilan QuickTime™ et un décompresseur TIFF (non compressé) sont requis pour visionner cette image. [Thèse B. Schölkopf, 1997] Les SVMs (A. Cornuéjols) 40 (01-04) Domaines d’application des SVMs Résultats avec noyaux polynomiaux QuickTi me™ et un décompresseur TIFF (non compressé) sont requi s pour visi onner cette i mage. Les SVMs • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre Applications QuickT i me™ et un décompresseur T IFF (non compressé) sont requis pour visionner cette image. Bilan Les SVMs (A. Cornuéjols) 41 (01-04) Application : images couleurs Base d’images Corel Stock Photo Collection Les SVMs • Séparateurs linéaires Codage • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre Applications 200 catégories 100 images / catégorie Pixel = vecteur dans espace à trois dimensions (RGB) Image = histogramme (fraction des pixels d’une couleur donnée) Invariant / nombreuses opérations Bilan Noyau : (fonction c2) Les SVMs (A. Cornuéjols) 42 (01-04) Domaines d’application des SVMs Catégorisation de textes Les SVMs • Séparateurs linéaires Classification d’e-mails Classification de pages web • Le pb d’optimisation • Espace de redescription Entrées : document (texte ou html) • Illustration • Mise en œuvre Approche « sac de mots » Document = vecteur de mots (lemmatisés pondérés par tf-idf) Applications Bilan Sortie : Noyau : Les SVMs (A. Cornuéjols) catégorie (thème, spam/non-spam) Produit scalaire des vecteurs C= (marge dure) 43 (01-04) Domaines d’application des SVMs Diagnostic médical Les SVMs Évaluation du risque de cancer Détection d’arythmie cardiaque • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription Évaluation du risque d’accidents cardio-vasculaires à moins de 6 ans • Illustration • Mise en œuvre Applications Entrées : état du patient (sexe, age, bilan sanguin, …) Sortie : Bilan Les SVMs (A. Cornuéjols) Classe : à risque ou non Probabilité d’accident à échéance donnée 44 (01-04) Domaines d’application des SVMs Les SVMs Dans les deux cas : • Séparateurs linéaires • Le pb d’optimisation Pas d’information de structure Seulement des informations globales • Espace de redescription • Illustration • Mise en œuvre Applications Bilan Les SVMs (A. Cornuéjols) 45 (01-04) Domaines d’application des SVMs Étude de séquences en bio-informatique Les SVMs • Séparateurs linéaires • Le pb d’optimisation Biologie structurale prédictive (prédiction de structure secondaire du génome) Identification de régions codantes de l’ADN génomique Phylogénie … • Espace de redescription • Illustration • Mise en œuvre Applications Entrées : Sortie : Structure secondaire Intron / exon Ancêtre Bilan chaînes d’acides aminées Noyau relationnel : Les SVMs (A. Cornuéjols) Modèle génératif (chaînes de Markov : insertion, délétion, remplacement, …) 46 (01-04) Implémentation des SVMs Les SVMs • Séparateurs linéaires Minimisation de fonctions différentiables convexes à plusieurs variables Pas d’optima locaux Mais : • Le pb d’optimisation • Espace de Problèmes de stockage de la matrice noyau (si milliers d’exemples) Long dans ce cas redescription • Illustration • Mise en œuvre D’où mise au point de méthodes spécifiques Applications Bilan Gradient sophistiqué Méthodes itératives, optimisation par morceaux Plusieurs packages publics disponibles Les SVMs (A. Cornuéjols) SVMTorch SVMLight SMO … 47 (01-04) Extensions Les SVMs Classification multi-classes Régression Détection de « nouveautés » Analyse en composantes principales par noyaux • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre Applications Bilan Les SVMs (A. Cornuéjols) 48 (01-04) SVM et régression Fonction de perte : Régression linéaire : Soit à minimiser : Généralisation : Les SVMs • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre Applications Bilan x x x x x x x Les SVMs (A. Cornuéjols) x x 0 x x 49 (01-04) SVM et apprentissage non supervisé Détection de « nouveautés » Les SVMs • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre Applications Bilan On cherche à séparer au maximum le nuage de points de l’origine Les SVMs (A. Cornuéjols) w /||w|| 50 /||w|| (01-04) Pourquoi ça marche ? La marge est liée à la capacité en généralisation Normalement, la classe des hyperplans de Rd est de dH = d + 1 Mais la classe des hyperplans de marge Les SVMs • Séparateurs linéaires • Le pb d’optimisation est bornée par : • Espace de 1 w tq. w 2 c dH ≤ Min (R2 c, d) + 1 redescription • Illustration où R est le rayon de la plus petite sphère englobant l'échantillon • Mise en œuvre d'apprentissage S Applications Bilan Peut être beaucoup plus petit que la dimension d de l'espace d'entrée X Les SVMs (A. Cornuéjols) 51 (01-04) Bilan SVMs très utilisés Méthode générale Facile d’emploi Les SVMs • Séparateurs linéaires • Le pb d’optimisation Résultats en général équivalents et souvent meilleurs Stimulent tout un ensemble de travaux sur des méthodes à base de noyaux (kernel-based methods) Limites • Espace de redescription • Illustration • Mise en œuvre Applications Bilan Problèmes i.i.d. (données indépendantes et identiquement distribuées) Les SVMs (A. Cornuéjols) 52 (01-04) Sources documentaires Les SVMs Ouvrages / articles Cornuéjols & Miclet (02) : Apprentisage artificiel. Concepts et algorithmes. Eyrolles, 2002. Cristianini & Shawe-Taylor (00) : Support Vector Machines and other kernel-based learning methods. Cambridge University Press, 2000. Herbrich (02) : Learning kernel classifiers. MIT Press, 2002. Schölkopf, Burges & Smola (eds) (98) : Advances in Kernel Methods : Support Vector Learning. MIT Press, 1998. Schölkopf & Smola (02) : Learning with kernels. MIT Press, 2002. Smola, Bartlett, Schölkopf & Schuurmans (00) : Advances in large margin classifiers. MIT Press, 2000. Vapnik (95) : The nature of statistical learning. Springer-Verlag, 1995. • Séparateurs linéaires • Le pb d’optimisation • Espace de redescription • Illustration • Mise en œuvre Applications Bilan Sites web http://www.kernel-machines.org/ (point d’entrée) http://www.support-vector.net (point d’entrée) Les SVMs (A. Cornuéjols) 53 (01-04)