Transcript Презентация с семинара

Машины опорных векторов
Сильвестров А.С.
План




Линейно-разделимая выборка
Произвольные данные
Ядровой переход
Классификация на несколько классов
Линейно разделимая выборка
Линейно разделимая выборка
Линейно разделимая выборка
Линейно разделимая выборка
Гиперплоскость
 1 x1  ...   n x n  b  0
  ( 1 ,..,  n )
Линейный классификатор
 xb 0
T
 xk  b  0
T
 1,
T k
h (ω x  b )  
  1,
  ( 1 ,.. n )
 xk  b  0
T
ω x b0
T
k
ω x b0
T
k
Линейно разделимая выборка
   min  i

i  1 .. m
 max  ( w , b )
 w ,b
   длина d
 xb 0
T
d4
d1
d2
  ( 1 ,.. n )
d5
d3
d6
Линейно разделимая выборка
   min { 1 ,  2 ,  3 }
 xb 0
T
   min { 4 ,  5 ,  6 }
d4
  
d1
d2
  ( 1 ,.. n )
d5
d3
d6
Линейно разделимая выборка
 x  b  1
T
 xb 0
T
 x  b  1
T
x
x
  ( 1 ,.. n )
Линейно разделимая выборка
 xb 0
T
d
x pr

x

 Т x   b  1
 Т
 x pr  b  0

 d   ( x   x pr )



 
,d



Линейно разделимая выборка
  Т ( x   x pr )  1

Т


( x   x pr )
 


 xb 0
T
d
x pr

x

Линейно разделимая выборка
 xb 0
T
зазор 
d
x pr

x

1

Линейно разделимая выборка
Итак, величина зазора :
Задача максимизации:


2




1

 max
 ,b
 x i  b  1, если y i  1
T
 x i  b   1, если y i   1
T
i  1 ... m  обучающее
множество
Линейно разделимая выборка
2

 max
 ,b
1
 x i  b  1, если y i  1
T

 x i  b   1, если y i   1
T
i  1 ... m  обучающее
множество

2
 min
 ,b
2
y i ( x i  b )  1
T
Выпуклая задача оптимизации
1

2
 min
 ,b
2
y i ( x i  b )  1
T
i  1,.., m

Все функции выпуклые.
min

1
 Q  c 
2
A  b
E  d
T
T
Выпуклая задача оптимизации
1

2
 min
 ,b
2
y i ( x i  b )  1, j  1,...., m
T

Решение:
m
 xb 
T

i
yi xi , x  b ,
i 1
 i  0 , для y i ( x i  b )  1
T
 i  0 , для y i ( x i  b )  1
T
Выпуклая задача оптимизации
m
 xb 
T

i
yi xi , x  b ,
i 1
 i  0 , для y i ( x i  b )  1
T
 i  0 , для y i ( x i  b )  1
T
План


Линейно-разделимая выборка
Произвольные данные


Ядровой переход
Классификация на несколько классов
Произвольные данные
Произвольные данные
 0
0  1
 1
Произвольные данные
1
 1

2
2
0  1
m
 С   i  min
1
 , b ,
y n ( x n  b )  1   n
T
 1
 1
 1
n  0
Произвольные данные
m
 xb 
T

i
yi xi , x
b
i 1
 i  0,
y i ( x i  b )  1
 i  0,
y i ((  ) x i  b )  1,
 i  0,
y i ((  ) x i  b )  1   i ,
T
T
T
*
i  0
*
Произвольные данные
 1
0  1
m
 xb
T

i
yi xi , x
b
i 1
 1
 i  0 , y i ( x i  b )  1
T
 i  0 , y i ((  ) x i  b )  1,
T
 i  0 , y i ((  ) x i  b )  1  
 1
T
 1
*
i
План



Линейно-разделимая выборка
Произвольные данные
Ядровой переход

Классификация на несколько классов
Ядровой переход
Ядровой переход
Ядровой переход
:R 
 R , m  n
n
m
 x1 


x1 x 2 

 x1 
 ( )   x 2 
2
x


 2
 x1 
 x 
 2 
2
Ядровой переход
m
 xb 
T

i
yi xi , x
i 1
x , z   ( x ),  ( z )
b
Ядровой переход
m
 xb 
T

b
yi xi , x
i
i 1
x , z   ( x ),  ( z )  K ( x , z )
 ( x ),  ( z ) : R  R
m
m

 R
K ( x, z ) : R  R 
 R
n
m n
n
Ядровой переход
Теорема Мерсера :
функция K : R  R  R  ядро
n
n

 K ( x , z )  K ( z , x )  симметричн а



 K ( x1 , x1 ) K ( x1 , x 2 ) ... 



K

K
(
x
,
x
)
...
...
0

2
1




...
...
... 

 ( x1 ,..., x n )

Примеры ядер
K ( x, z )  ( x z   )
T
K ( x, z )  ( x z   )
T
K ( x , z )  exp(
k
xz
2
2
2
)
Ядровой переход
K ( x, z )  ( x z )
T
2
Т
K ( x, z )   ( x)  ( z )
Ядровой переход
K ( x, z )  ( x z )
T
2
n
K ( x, z ) 
n
 ( x , z ) ( x , z )
i
i
1
x  ( x1 ,..., x k )  k  мерный признак
z  ( x1 ,..., x k )  k  мерный признак
i
1
i
Ядровой переход
K ( x, z )  ( x z )
T
2
n
K ( x, z ) 
n
n
n
n
n
 ( x , z ) ( x , z )    ( x , x )  ( z , z
i
1
i
i
i
1
x  ( x1 ,..., x k )  k  мерный признак
z  ( x1 ,..., x k )  k  мерный признак
i
1
1
j
i
1
1
j
)
Ядровой переход
K ( x, z )  ( x z )
T
2
K ( x, z ) 
2

1
1
2
2
( xi , x j )
1
2

1
 x1 x1 
 z1 z1 




x1 x 2
z1 z 2




 (x) 
,  (z) 
 x 2 x1 
 z 2 z1 




 x2 x2 
 z2 z2 
x  ( x1 , x 2 )
z  ( z1 , z 2 )
( zi , z j )   ( x ) ( z )
T
План




Линейно-разделимая выборка
Произвольные данные
Ядровой переход
Классификация на несколько классов
Multiclass SVM

каждый против каждого:
Multiclass SVM

Один против всех :
Вопросы?