Transcript SVMs - AgroParisTech

SVMs (Séparateurs à Vastes Marges)
et
Méthodes à noyaux
Laurent Orseau
AgroParisTech
[email protected]
à partir des transparents d'Antoine Cornuéjols
Cours SVM
Plan
Induction
1-
Induction
Les SVMs
• Principe
2-
Les SVMs
• Problème associé
Méthodes à noyaux
• Fonctions noyau
3-
Les méthodes à noyau
. Illustration
. Marge douce
Mise en œuvre
4-
• Validation
Mise en œuvre
• Construction de
noyaux
5-
Applications
Applications
Bilan
6-
Bilan
Cours SVM (L. Orseau)
2/86
Apprentissage inductif supervisé
Induction
Les SVMs
• Principe
À partir de l’échantillon d’apprentissage S = {(xi, ui)}1,m
on cherche à identifier une loi de dépendance sous-jacente
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration

. Marge douce
(fonction cible) tq :
Mise en œuvre
• Validation
• Construction de
Par exemple une fonction h aussi proche possible de f

noyaux
ui = f(xi)
Ou bien de la distribution de probabilités P(xi, ui)
Applications
Bilan
afin de prédire l’avenir
Cours SVM (L. Orseau)
3/86
Apprentissage inductif supervisé
Induction
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
Échantillon
d’apprentissage
• Construction de
noyaux
Applications
Bilan

Identification :
h « proche de » f

Prédiction
h « bonne règle de décision »
Cours SVM (L. Orseau)
:
4/86
Hyperplans séparateurs

Tâche de classification
Induction
Les SVMs

Cas de la séparation linéaire
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
- On cherche h sous forme d’une fonction linéaire : h(x) = w.x + b
- La surface de séparation est donc l’hyperplan :
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
- Elle est valide si
w. x  b  0
noyaux
Applications
Bilan
- L’hyperplan est dit sous forme canonique lorsque
ou encore
i ui h(xi )  0
min w.x  b  1
i
i ui (w.xi  b)  1
Cours SVM (L. Orseau)
5/86
Discrimination linéaire : le Perceptron
Induction
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan
Cours SVM (L. Orseau)
6/86
Hyperplan de plus vaste marge
Hyperplan
valide
Induction
Les SVMs
• Principe
• Problème associé
M arge
maximale
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan
Hyperplan
optimal
Cours SVM (L. Orseau)
7/86
Optimisation de la marge
Induction
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan
Cours SVM (L. Orseau)
8/86
Optimisation de la marge

La distance d’un point à l’hyperplan est :
Induction
Les SVMs
• Principe

• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce

w. x  w 0
d(x) 
w
L’hyperplan optimal est celui pour lequel la distance aux points les plus
2
proches (marge) est maximale. Cette distance vaut
w
Maximiser la marge revient donc à minimiser ||w|| sous contraintes:
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan
Cours SVM (L. Orseau)
1
2

 min w
2

i u (w. x  w )  1

i
i
0
9/86
SVMs : un problème d’optimisation quadratique
EXPRESSION
PRIMAIRE
Induction
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux

Il faut donc déterminer w et w0 minimisant :
• Fonctions noyau
1
(w ) 
w
2
. Illustration
. Marge douce
Mise en œuvre
• Validation
2
(afin de maximiser le pouvoir de généralisation)
• Construction de
noyaux
Applications
Bilan

sous les contraintes (hyperplan séparateur) :
ui (w . xi )  w0   1 ,
Cours SVM (L. Orseau)
10/86
i  1,..., n
Résolution de la forme primaire du problème
d : dimension de l’espace d’entrée
Induction
Les SVMs
• Principe
• Problème associé
Il faut régler d + 1 paramètres
Méthodes à noyaux
• Fonctions noyau
. Illustration

. Marge douce
Possible quand d est assez petit
avec des méthodes d'optimisation quadratique
Mise en œuvre
• Validation
• Construction de

noyaux
Impossible quand d est grand (> qqs 103)
Applications
Bilan
Cours SVM (L. Orseau)
11/86
Transformation du problème d’optimisation

Induction
Méthode des multiplicateurs de Lagrange

 L(w, w 0 ,  ) 

 i   0

i
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
1
2
w
2
   i {(xi .w  w 0 )u i  1}
i 1
EXPRESSION
DUALE
. Illustration
. Marge douce

l
Problème dual
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan
l

1
max



i

2


i 1

 i  i  0
 l
  u  0
i i


i 1

l
l
   i  j ui u j (xi . x j )
i 1 j 1

Cours SVM (L. Orseau)
12/86
Propriétés de la forme duale
Induction

Les SVMs
La conversion est possible car les fonctions de coût et les contraintes sont
strictement convexes (Th. de Kuhn-Tucker)
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau

La complexité du problème d'optimisation est
. Illustration
. Marge douce
Mise en œuvre

 m
(taille de l'échantillon d'apprentissage)

et non  d
( taille de l'espace d'entrée X )
• Validation
• Construction de
noyaux
Applications
 Possible d'obtenir des solutions pour des problèmes
impliquant ≈ 105 exemples
Bilan
Cours SVM (L. Orseau)
13/86
Solution du problème d’optimisation
Induction
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan

D(x)  (w* .x  w*0 )
m
 *
*
w




i ui xi
i 1

m
*
*
w

u


 0
s 
i ui (xi .xs )

i1
* : estimé
(xS,uS) étant
n'importe quel
point de support
Propriété1 : seuls les i correspondant aux points les plus proches sont non-nuls.
On parle de points de support (exemples critiques).
Propriété 2 : seuls interviennent les produits scalaires entre les observations x
dans le problème d’optimisation.
Cours SVM (L. Orseau)
14/86
Pourquoi ça marche ?
La marge est liée à la capacité en généralisation
Induction

Normalement, la classe des hyperplans de Rd est de dH = d + 1

Mais la classe des hyperplans de marge
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
est bornée par :
• Fonctions noyau
dH ≤ Min (R2 c, d) + 1
1
w
tq. w
2
 c
. Illustration
. Marge douce
où R est le rayon de la plus petite sphère englobant l'échantillon
Mise en œuvre
d'apprentissage S
• Validation
• Construction de
noyaux
Applications
Bilan

Peut être beaucoup plus petit que la dimension d de l'espace
d'entrée X
Cours SVM (L. Orseau)
15/86
Les fonctions noyau

(kernel functions)
Fonction k telle que :
Induction
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
Espace de redescription
muni d’un produit interne
où :
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan
Cours SVM (L. Orseau)
16/86
Les fonctions noyau : exemple
Induction
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
est une fonction noyau
Applications
Bilan

Rq (non unicité de l’espace F défini par F) :
(le même noyau calcule le produit interne dans cet espace aussi)
Cours SVM (L. Orseau)
17/86
Les méthodes à noyau

Induction
Modularité

Les SVMs
• Principe
• Problème associé
Découplage entre

Les algorithmes (linéaires)

La description des données
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan
Cours SVM (L. Orseau)
18/86
Petite digression …
… La reconnaissance de chiffres manuscrits par réseaux de neurones (ATT
Bell labs, 1993)
Induction
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan
Cours SVM (L. Orseau)
19/86
Leçons (provisoires)
Induction
Les SVMs
L’emploi de fonctions noyau permet :
• Principe
• Problème associé

Méthodes à noyaux
D’utiliser les algorithmes de recherche de régularités linéaires
pour la recherche de régularités non linéaires
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre

D’employer ces algorithmes même sur des données non
vectorielles (du moment que l’on sait trouver une fonction
• Validation
• Construction de
noyaux
noyau adéquate)
Applications
Bilan

De redécrire implicitement les données dans des espaces de
grande dimension sans en avoir le coût computationnel
Cours SVM (L. Orseau)
20/86
Les méthodes à noyaux
Induction
Tout passe par les produits internes dans F !!!
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan
Philosophie de représentation des données
radicalement différente
Cours SVM (L. Orseau)
21/86
Conséquences d’une représentation par noyau
Induction
Les SVMs

Des informations sont perdues
• Principe
• Problème associé

Orientation (invariance de la matrice K par rotation)

Alignement des données avec les axes (idem)
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan
Cours SVM (L. Orseau)
22/86
Les fonctions noyau : définition
Induction

Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
Fonction noyau

Symétrique :

Positive définie :
positive définie
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications

Théorème de Mercer
Bilan

Cours SVM (L. Orseau)
Toute fonction positive définie peut être exprimée comme
un produit interne dans un espace de description
23/86
Fonctions noyau pour des vecteurs

Noyaux polynomiaux
Induction
Tous les produits d’exactement
d variables
Les SVMs
• Principe
• Problème associé
Tous les produits d’au plus
d variables
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre

Noyaux gaussiens
• Validation
Sorte de décomposition
en série de Fourrier
• Construction de
noyaux
Applications
Bilan

Noyaux sigmoïdes
Pas définie positive.
Mais fonction de décision
proche des réseaux connexionnistes
Cours SVM (L. Orseau)
24/86
Morale
Induction
Les SVMs
• Principe

Les données s’expriment à travers la matrice noyau
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de

La matrice noyau contrôle la régularisation du
risque
noyaux
Applications
Bilan
Cours SVM (L. Orseau)
25/86
Solution du problème d’optimisation dual
Induction
Les SVMs

Dans la forme duale :
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
mS : nb de points
de support
Bilan
Cours SVM (L. Orseau)
26/86
Schéma de fonctionnement des SVMs
sign( i ui K(xi,x) + w0)
Induction
Les SVMs
• Principe

• Problème associé
Méthodes à noyaux
1
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
K
2
K

Sortie :
sign( i ui K(xi,x) + w0)
3
K
4
K
Comparaison : K(xi, x)
• Validation
• Construction de
noyaux
Échantillon x1, x2, x3, ...
Applications
Bilan
Vecteur d'entrée x
Cours SVM (L. Orseau)
27/86
Illustration

Induction
Les SVMs
Soient 5 points sur la droite :
{(x1=1, u1 =1), (x2=2, u2= 1), (x3= 4, u3= -1), (x4= 5, u4 = -1),
(x5= 6, u5= 1)}
• Principe
• Problème associé
1
Méthodes à noyaux
• Fonctions noyau
. Illustration

. Marge douce
Mise en œuvre
• Validation
2
4

k(xi, xj) = (xi xj + 1)2

C = 100
noyaux
Bilan

6
Utilisation d’un noyau polynomial de degré 2
• Construction de
Applications
5
Recherche de i par :
Cours SVM (L. Orseau)
28/86
Illustration
Induction

Utilisation d’un programme de résolution de problème quadratique
Les SVMs
• Principe

1=0, 2=2.5, 3=0, 4=7.333, 5=4.833

Les points de supports sont : { x2=2, x4= 5, x5= 6}
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration

La fonction de décision est :
. Marge douce
Mise en œuvre

h(x) = (2.5)(1)(2x+1)2 + 7.333(1)(5x+1)2 + 4.833(1)(6x+1)2+b
= 0.6667 x2 - 5.333 x + b

Avec b obtenue par h(2)=1 ou par h(5)=-1 ou par h(6)=1, puisque x2,
x4 et x5 sont sur la droite ui(wTF(x)+b)=1
ce qui donne b=9
• Validation
• Construction de
noyaux
Applications
Bilan

D’où :
h(x) = 0.6667 x2 - 5.333 x + 9
Cours SVM (L. Orseau)
29/86
Illustration
Valeur de la fonction discriminante
Induction
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
classe 1
classe 1
classe 2
• Construction de
noyaux
Applications
1
Bilan
2
4
5
6
{x=2, x=5, x=6} sont points supports
Cours SVM (L. Orseau)
30/86
Séparation linéaire dans l'espace des features
Induction
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan
Cours SVM (L. Orseau)
31/86
Illustration : le cas du XOR
Induction
x2
Les SVMs
• Principe
1
• Problème associé
Index i
x
u
1
(1,1)
1
2
(1,-1)
-1
3
(-1,-1)
1
4
(-1,1)
-1
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
1
-1
x1
• Construction de
noyaux
Applications
-1
Bilan
Cours SVM (L. Orseau)
32/86
Illustration : le cas du XOR
Induction
Fonction noyau polynomiale de d° 2 :
Les SVMs
• Principe
K(x,x') = [1 + (xT . x')]2
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
soit : K(x,xi ) = 1 + x12xi12 + 2 x1x2xi1xi2 + x22xi22 + 2x1xi1 + 2x2xi2
. Marge douce
Mise en œuvre
• Validation
• Construction de
correspondant à la projection F :
noyaux
Applications
Bilan
Cours SVM (L. Orseau)
[1, x12, √2 x1x2, x22, √2 x1, √2 x2 ] T
33/86
Illustration : le cas du XOR
l
l

1
i 
 max

2

i 1
i 1

 i 0   i  C
 l
  u  0
i i

i 1
Induction

Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
l
   i  j ui u j K (xi , x j )
j 1

. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Ici :
Applications
Bilan
Q   1  2  3   4
1
2

(91  21 2  213  21 4
2
 922  22 3  22 4  932  23 4  9 24 )
Cours SVM (L. Orseau)
34/86
Illustration : le cas du XOR

Induction
Les SVMs
L'optimisation de Q() en fonction des multiplicateurs de Lagrange
conduit au système d'équations :
• Principe
 9 1   2  3   4
 1  9 2  3   4

1  2  93   4

 1   2   3  9 4
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
 1
 1
 1
 1
• Construction de
noyaux
Applications

La valeur optimale des multiplicateurs de Lagrange est :
Bilan

*
1
Cours SVM (L. Orseau)
 
*
2
 
*
3
35/86
 
*
4
1

8
Illustration : le cas du XOR
Induction
Les SVMs
• Principe

Les 4 exemples sont donc des exemples critiques ("support vectors")

La valeur optimale de Q() est :

Et :
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
*
Q ( )  14
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan
Cours SVM (L. Orseau)
1 *
w
2
soit :
1

4
w
36/86
*

1
2
Illustration : le cas du XOR

Induction
Les SVMs
Les 4 exemples sont donc des exemples critiques ("support vectors")
( i , i ≠ 0)
• Principe
• Problème associé
Méthodes à noyaux

La fonction de décision s’écrit :
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan
Cours SVM (L. Orseau)
37/86
Illustration : le cas du XOR
En revenant dans l’espace d’origine :
Induction
Les SVMs
Le vecteur poids optimal est :
• Principe
• Problème associé
w
Méthodes à noyaux
• Fonctions noyau
. Illustration
soit :
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
w
*
Bilan
Cours SVM (L. Orseau)
*

1
F(x1 )  F(x2 )  F(x3 )  F(x4 )

8
  1 
  1 
1   2 
 

1 
8
 
 2 
 

  2 
 1 
 1 
 2 
 1  

 2 


 2 
38/86
 1 
 1 
 2 
 1  

2 


 2 
 1 
 0 
 1 
 0 
 2 
1 2 
 1    0 
 

2
0 
 


 2 
 0 
Illustration : le cas du XOR
Induction
Les SVMs
• Principe
L'hyperplan optimal correspond à :
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan




1
*T

w .F(x)  0, 0,
, 0, 0, 0 


2



Cours SVM (L. Orseau)
39/86
1
x12


2x1 x 2 
  x1 x2  0
2

x2
2x1 

2x2 
Illustration : le cas du XOR
Induction
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan
Séparatrice dans l'espace F(X)
(espace à 6 dimensions)
Séparatrice dans l'espace d'entrée
D(x) = -x1x2
Cours SVM (L. Orseau)
2 x1x 2  0
40/86
Cas du problème non séparable : marges douces

On introduit des variables “ressort” qui pénalisent l’erreur commise :
Induction
l

1
2
 min w  C   i

2
i 1
i u (w. x  w )  1  

i
i
0
i
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de

Le problème dual a la même forme à l’exception d’une constante C
noyaux
Applications
Bilan
Cours SVM (L. Orseau)
41/86
La mise en pratique

Il faut choisir :
Induction
Les SVMs

Le type de fonction noyau k
• Principe
• Problème associé
Méthodes à noyaux

Sa forme

Ses paramètres
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre

• Validation
La valeur de la constante C
• Construction de
noyaux
Applications
Bilan

La sélection de ces paramètres requiert l’utilisation de méthodes
empiriques pour faire le meilleur choix (validation croisée)
Cours SVM (L. Orseau)
42/86
Exemple
: exemple +
Induction
Les SVMs
• Principe
• : exemple Dans cercle : points de support
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Fct noyau polynomiale de degré 3
QuickTime™ and a
GIF decompressor
are needed to see this picture.
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan
Démo :
http://svm.research.bell-labs.com/
http://svm.dcs.rhbnc.ac.uk/pagesnew/G
Pat.shtml
Cours SVM (L. Orseau)
43/86
Les données d'apprentissage
Induction
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan
Cours SVM (L. Orseau)
44/86
Effet des paramètres de contrôle

Apprentissage de deux classes

Induction
Les SVMs
• Principe

• Problème associé
exemples tirés uniformément sur
l'échiquier
SVM à fonctions noyau gaussienne
Méthodes à noyaux
• Fonctions noyau
K(x, x' )  e
. Illustration
. Marge douce
Mise en œuvre

• Validation
• Construction de
Bilan


En haut : petite valeur

En bas : grande valeur
2
Les gros points sont des exemples
critiques


2s
2
Ici deux valeurs de s
noyaux
Applications

x x'
Plus en haut qu'en bas
Dans les deux cas : Remp = 0
Cours SVM (L. Orseau)
45/86
Paramètres de contrôle : les fonctions noyau
Induction
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan

http://svm.dcs.rhbnc.ac.uk/pagesnew/GPat.shtml

47 exemples (22 +, 25 -)

Exemples critiques : 4 + et 3 -

Ici fonction polynomiale de degré 5 et C = 10000
Cours SVM (L. Orseau)
46/86
Paramètres de contrôle : les fonctions noyau
Induction
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
(5-, 4+)
• Fonctions noyau


47 exemples (22 +, 25 -)
. Illustration
. Marge douce
Exemples critiques : 4 + et 3 -
(3-, 4+)
(5-, 4+)
Ici fonction polynomiale de degré 2, 5, 8 et C = 10000
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan
(10-, 11+)
(8-, 6+)
(4-, 5+)
Ici fonction Gaussienne de s = 2, 5, 10 et C = 10000
Cours SVM (L. Orseau)
47/86
Ajout de quelques points ...
Induction
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan

http://svm.dcs.rhbnc.ac.uk/pagesnew/GPat.shtml

47 + 8 exemples (30 +, 25 -)

Exemples critiques : 5 + et 8 -

Ici fonction polynomiale de degré 5 et C = 10000
Cours SVM (L. Orseau)
48/86
Estimation de la performance

Empiriquement : par validation croisée

Heuristiquement (mais théoriquement fondé)
Induction
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux

Nombre de points de supports
• Fonctions noyau

. Illustration
Moins il y en a, mieux c’est
. Marge douce
Mise en œuvre

Caractéristiques de la matrice noyau
• Validation
• Construction de

Si pas de structure dans K, aucune régularité ne peut-être trouvée

E.g.
noyaux
Applications
Bilan

Si les termes hors diagonale sont très petits : sur-adaptation

Si matrice uniforme : sous-apprentissage : tous les points sont
attribués à la même classe
Cours SVM (L. Orseau)
49/86
Construction de fonctions noyau
Induction

Les SVMs
Construction à partir de fonctions noyau de base
(Propriétés de clôture)
• Principe
• Problème associé

Méthodes à noyaux

• Fonctions noyau
. Illustration

. Marge douce

Mise en œuvre
• Validation
• Construction de

noyaux
Applications
Bilan
Cours SVM (L. Orseau)
K(x,z) = K1(x,z) + K2(x,z)
K(x,z) = a K1(x,z)
K(x,z) = K1(x,z) . K2(x,z)
…
Construction de fonctions noyau dédiées

Splines Bm

Expansion de Fourrier

Ondelettes

...
50/86
Construction de noyaux
Induction

Noyau invariant par translation

Noyau défini sur des ensembles
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan
Cours SVM (L. Orseau)
51/86
Stratégies de construction
Induction
Les SVMs

• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
Noyau vu comme un moyen de coder de l’information a priori

Invariance: synonymie, longueur de document, …

Traitements linguistiques: normalisation des mots, semantique,
stopwords, weighting scheme, …
. Illustration
. Marge douce
Mise en œuvre
• Validation

• Construction de
Noyaux de convolution :
le texte est une structure de données récursivement définie.
noyaux
Pb : construire un noyau global à partir de noyaux locaux ?
Applications
Bilan

Noyaux à partir de modèles génératifs :
la “topologie” du problème est traduite en une fonction noyau
Cours SVM (L. Orseau)
52/86
Applications
Induction

Catégorisation de textes

Reconnaissance de
caractères manuscrits

Détection de visages

Diagnostic de cancer du
sein

Classification de
protéines

Prévision de
consommation électrique

Recherche de vidéos par
du texte
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Trained SVM classifiers
for pedestrian and face
object detection
(Papageorgiou, Oren,
Osuna and Poggio,
1998)
Applications
Bilan
Cours SVM (L. Orseau)
53/86
Implémentation des SVMs

Induction
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
Minimisation de fonctions différentiables convexes à plusieurs
variables

Pas d’optima locaux

Mais :
• Fonctions noyau

. Illustration

Problèmes de stockage de la matrice noyau (si milliers d’exemples)
Long dans ce cas
. Marge douce
Mise en œuvre
• Validation

• Construction de
D’où mise au point de méthodes spécifiques

noyaux

Applications
Bilan

Plusieurs packages publics disponibles




Cours SVM (L. Orseau)
Gradient sophistiqué
Méthodes itératives, optimisation par morceaux
SVMTorch
SVMLight
SMO
…
54/86
Bilan : état des recherches

Induction
Deux tâches évidentes

Les SVMs
Conception de noyaux

• Principe
• Problème associé

Commence à être bien étudié
Encore des recherches pour certains types de données
Méthodes à noyaux
• Fonctions noyau

. Illustration
Noyautiser les algorithmes classiques (« kernelization »)

. Marge douce

Mise en œuvre
• Validation

• Construction de

noyaux
Applications

Bilan



SVM
Kernel Régression
Kernel PCA
Clustering (K-means, …)
Estimation de densité, détection de nouveauté
Tri (ranking)
…
Recherche sur la sélection automatique des modèles
(choix des paramètres)
Cours SVM (L. Orseau)
55/86
Extensions
Induction
Les SVMs

Classification multi-classes

Régression

Détection de « nouveautés »

Analyse en composantes principales par noyaux
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan
Cours SVM (L. Orseau)
56/86
SVM et régression

Fonction de perte :

Régression linéaire :

Soit à minimiser :

Généralisation :
Induction
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux

Applications
Bilan
x

x
x
x
x
x
Cours SVM (L. Orseau)
x
x
x
0


x
x
 
57/86
SVM et apprentissage non supervisé

Détection de « nouveautés »
Induction
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan
On cherche à séparer au
maximum le nuage de points de
l’origine
Cours SVM (L. Orseau)
w /||w||
58/86
/||w||
Bilan
Induction

Les méthodes à noyau sont :
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau

Une bonne idée

Destinées à durer
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de

Offrent une boîte à outils
noyaux
Applications

Très versatile

Avec de bons fondements théoriques
Bilan

Cours SVM (L. Orseau)
E.g. garanties de performance
59/86
Bilan
Nouvelle philosophie de représentation
Induction
Les SVMs

• Principe
Toute l’information sur les données passe par le filtre de la matrice
noyau
• Problème associé
Méthodes à noyaux
• Fonctions noyau

De l’information est perdue

Permet des manipulations particulières
. Illustration
. Marge douce
Mise en œuvre

• Validation
E.g. ajout d’une constante sur la diagonale  marge souple ou
terme de régularisation
• Construction de
noyaux

Applications
Bilan


Incorporation de connaissances a priori
Matrice noyau : interface entre les modules de traitement
La qualité de l’apprentissage peut être estimée à partir des
caractéristiques de la matrice noyau
Cours SVM (L. Orseau)
60/86
Sources documentaires

Induction
Ouvrages / articles

Cornuéjols & Miclet (10) : Apprentisage artificiel. Concepts et algorithmes. Eyrolles,
2010.

Herbrich (02) : Learning kernel classifiers. MIT Press, 2002.

Schölkopf, Burges & Smola (eds) (98) : Advances in Kernel Methods : Support Vector
Learning. MIT Press, 1998.

Schölkopf & Smola (02) : Learning with kernels. MIT Press, 2002.

Shawe-Taylor & Cristianini(04) : Kernel methods for pattern analysis. Cambridge
University Press, 2004.

Smola, Bartlett, Schölkopf & Schuurmans (00) : Advances in large margin classifiers. MIT
Press, 2000.

Vapnik (95) : The nature of statistical learning. Springer-Verlag, 1995.
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan

Sites web

http://www.kernel-machines.org/
(point d’entrée)

http://www.support-vector.net
(point d’entrée)
Cours SVM (L. Orseau)
61/86
Les fonctions noyau
Induction
Les SVMs

Efficacité computationnelle :
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan
Cours SVM (L. Orseau)
62/86
Justification impliquant la fonction noyau

Norme du vecteur de poids

Espace d’hypothèses de norme bornée

Fonction de perte (hinge loss)

Alors :
Induction
Les SVMs
• Principe
• Problème associé
Méthodes à noyaux
• Fonctions noyau
. Illustration
. Marge douce
Mise en œuvre
• Validation
• Construction de
noyaux
Applications
Bilan
Complexité de
Rademacher de
Avec prob ≥ 1-d
Cours SVM (L. Orseau)
63/86