Transcript Document
Теоретические основы
обучаемых алгоритмов
быстрых преобразований
А.Ю. Дорогов
ОАО «Информационные
телекоммуникационные технологии»
(«Интелтех»),
Санкт-Петербург, E-mail:
[email protected]
TVCS'2011
1
Быстрые перестраиваемые
преобразования
H H 0H1H 1
Z O( pN log p N )
N p0 p1 p 1
TVCS'2011
2
Структурная модель БПФ
x(0)
x(2)
x(3)
x(4)
x(5)
x2(n)
x(6)
x(7)
ω
0
x(1)
x1(n)
y(0)
0
0
1
1
ω
2
ω1
3
2
2
ω3
3
ω
ω
y(4)
X00
y(2)
1
ω0
2
ω0
y(6)
X01
y(1)
y(5)
ω0
ω2
(2,2)
(2,2)
0
0
0
(2,2)
(2,2)
(2,2)
1
1
1
(2,2)
(2,2)
(2,2)
2
2
2
(2,2)
(2,2)
(2,2)
3
3
3
0
0
ω2
0
(2,2)
X02
y(3)
3
ω0
y(7)
X03
Y20
Y21
Y22
Y23
• Лингвистическая модель
i i 2i 3 i0 i 2 p 3 p 4 p0 i 3 p 4 p 5 p0 i1 p0 i0
j j1 j2 j 1 j1g2 g3 g 1 j2 g3 g4 g 1 j 1g 2 j 1
i
j1 j 2 j i 2i 3 i0
TVCS'2011
3
Параметрическая модель
Слой 1
x1 v0u1u2
un1 y0 v0u1u2
y1 v0v1u2u3
un1 x1 v0u1u2
1 Ni 2
Wi11
1
1 i
N 2
1
un1
un1 w1i1 u1 ,v1
u1
Слой λ
y v0v1
v u 1u 2
un1 x v0v1
v u u 1u 2
un1 wi u ,v
u
i v0v1
v 1u 1u 2
TVCS'2011
un1
4
Проблемные вопросы
• Что общего имеют различные
быстрые преобразования и чем они
отличаются?
• Как построить граф
преобразования не зная вида
функций?
TVCS'2011
5
Системные инварианты быстрых
преобразований
• Лингвистическая модель многослойного
графа
i
j J
I
0
0
i I j J i I
j J
1
1
1
1
Системный инвариант
I0 I ,
I I 1 ,
I 1 ,
TVCS'2011
J J 1 ,
J 1 J ,
J 0 .
6
• Системный инвариант не связан ни с
размерностью сети, ни с ее топологией,
ни со структурными характеристиками
вершин – это правило является
инвариантом морфологического уровня,
который в аксиоматической форме
раскрывает внутреннею сущность
быстрых алгоритмов.
TVCS'2011
7
Топологическая реализация
Рецепторное поле
U
i
u
u3 u2 v 0 u1 u3 v1v 0 u2
u3 u2 u1u0
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Аксоновое поле
V i
v
v 2 v1v 0 u3 v 3 v 2 v1v 0
u3 u 2 v 0 u1 u3 v1v 0 u 2 v 2 v1v 0 u3
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
TVCS'2011
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
8
Топология Кули-Тьюки
U t u 1u 2 u 1u v 1v 2 v1v0 ,
V t 1 u 1u 2 u 1v v 1v 2 v1v0 .
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
V0
V1
V2
V3
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
TVCS'2011
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
9
Топология Гуда
U t
u u 1 u 2 u 1v 0 v1 v 1 ,
V t 1 u 1 u 2 u 1v 0 v1 v 1v .
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
V0
V1
V2
V3
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
TVCS'2011
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
10
Иерархия уровней стратифицированной
модели алгоритма быстрого
преобразования
Морфологический
Структурный
Топологический
Параметрический
TVCS'2011
11
Варианты обучения
перестраиваемых преобразований
• Настройка под заданное
преобразование (БПФ, Уолш, Хаар,…)
• Адаптация к эталонной функции
• Квазиоптимальные ортогональные
преобразования (Карунена-Лоэва)
• Функциональный преобразователь X→Y
TVCS'2011
12
Мультипликативное представление
элементов матрицы быстрого
y xH
преобразования
h U ,V
y V x U
U x U x U
y 1 V 1
x0
0
1
1
1
1
1
1
2
2
x U x U
x 2 U 2 x1 U 1
1
1
0
0
yi v xi u wi u , v
u
y V y v w u ,v .
x U
x U x u
x 1 U 1
i
i
i
h U ,V wi 11 u 1 ,v 1 wi 22 u 2 ,v 2
TVCS'2011
w1i1 u1 ,v1 wi00 u0 ,v0 .
13
Мультипликативное форма
элементов матрицы быстрого
перестраиваемого преобразования
h U ,V wi 11 u 1 , v 1 wi 22 u 2 , v 2 wi11 u1 , v1 wi00 u0 , v0
U u0u1
u 2u 1 u0 p n 1 u1 p n 2
V v 1v 2
wi u , v
u 2 p u 1
v1v0 v 1 p 1 v 2 p 2
v1 p v0
- коэффициенты матрицы базовой операции в слое λ
TVCS'2011
14
Аналитическая
форма регулярных фракталов
u 0, u1u2
un
ui 0,1, 2
f(u)
u 0, u1u2
1
ui 0,3
u
1
u
1
u
un 1un
1 для u 0,1 ,
u 0 для u 1, 2 ,
1 для u 2,3 .
U
f u u1 u2 u3 un
TVCS'2011
15
Дискретная аппроксимация
фракталов (предфракталы)
Ui 0,1, 2,
, Ni 1 , i 0,1, 2,
1
f u i0 u0 i1 u1 i 1 u 1
1 для u 0,
u 0 для u 1,
1 для u 2.
TVCS'2011
16
Ковер Серпинского
u 0, u1u2
un
,
v 0, v1v2
vn
,
ui 0,1, 2 ,
vi 0,1, 2.
Фрактал
f u, v u1 , v1 u2 , v2 u3 , v3
un , vn
Аппроксимация фрактала
1 1 1
ui , vi 1 0 1
1 1 1
f u, v u0 , v0 u1 , v1 u2 , v2 u 1 , v 1
TVCS'2011
17
Аппроксимация фрактала в
классе быстрых преобразований
wi u , v u , v
1 1 1
1
1 0 1
1
1
1 1 1
1
1
1
1 1 1
1
1 0 1
1
1
1 0 1
1 1 1
1
0
1
0
1
1 0 1 0 0 0 1 0 1
1
1
1
TVCS'2011
1 1 1 0 0 0 1 1 1
1 1 1 1 1 1 1 1 1
1
1
1 1 1 1 1 1 1 1 1
1 1 1 0 0 0 1 1 1
1
1
1
1 0 1 1 0 1 1 0 1
1
1
1 1 1
1
0
1 1 1
1 1 1 1 1 1 1 1 1
1 0 1 1 0 1 1 0 1
1
1 1 1 1 1 1 1 1 1
18
Фрактал
«Салфетка Серпинского»
D 1.5849
TVCS'2011
19
Аппроксимация «Салфетки Серпинского»
в классе быстрых преобразований
1 1
1
1 0
1
1
1 1
1
1 0
1 1
1
1
1
0
1
0
1
1
1
1 0
1 1 1 1 1 1 1 1
1
1
1 0
1 1
1
1
1
1
1
1
1
0
1
0
1
1
0
1
0
1
1 1
1 1
1
1
1
1 1 1 1
1
0
1
1
1
1 1
0
1
ui , vi 11 10
TVCS'2011
20
Выводы
• Быстрые преобразования это объекты с
фрактальной структурой и топологией.
• Системный инвариант быстрого
преобразования это аналитическое
выражение принципа самоподобия на
конечном числе шагов.
TVCS'2011
21
Фрактальная фильтрация
дискретных сигналов
f u f u 1, u 2 ,, u0
u u 1u 2 u0 u 1 p 2 p 3
16
N p0 p1
p0 u 2 p 3 p 4
Фрактальная фильтрация на масштабном уровне 0
p 1
p0 u1 p0 u0
Фрактальная фильтрация на масштабном уровне 4
16
14
14
12
12
10
10
8
8
6
6
Выходная функция фильтра
4
Выходная функция фильтра
4
Входная функция
2
2
Входная функция
0
0
2
4
6
8
10
12
14
a)
f out u 1u 2
um 1um 1
16
0
0
2
1
u0
pm
TVCS'2011
4
f
6
8
10
12
14
16
b)
inp
u 1u 2
u0
um
22
Обучение быстрых преобразований
f u f 0 un1un2 u0 i n1 un1 i n2 un2 i 0 u0
f u u u
i m um m 1 2 m
f m1 u 1u 2 um1
f0(u)
wimm um , vm i m um
f1(u)
fk-1(u)= 1 uk1
f2(u)
Fu0
Fu1
i 0 u0
i 1 u1
i
Fu 2
i 2 uk 2
v2
0
0
0
0
1
1
1
1
0
0
0
0
1
1
1
1
0
0
0
0
1
1
1
1
v1
0
0
1
1
0
0
1
1
0
0
1
1
0
0
1
1
0
0
1
1
0
0
1
1
v0
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
u2
u1
u0
0
0
0
1
1
0
0
0
1
1
0
1
1
0
1
1
0
1
0
1
0
1
1
1
0
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
TVCS'2011
23
Быстрое ортогональное преобразование
приспособленной к линейно
изменяющейся функции W Wi
0.5
0
-0.5
0.5
1
0
-0.5
0.2
01
-0.2
-0.4
-0.6
-0.8
0.5 1
0
-0.5
0.8
0.6 1
0.4
0.2
0
0.5 1
0
-0.5
0.5 1
0
-0.5
0.8 1
0.6
0.4
0.2
0
-0.2
1
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
TVCS'2011
24
Быстрое ортогональное преобразование
приспособленной к линейно
1 0
изменяющейся функции W 0 1
0.5
0
-0.5
0.5 1
0
-0.5
-1
01
-0.5
-1
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
01
-0.5
-1
0.8
0.6 1
0.4
0.2
0
11
0.5
0
-0.5
11
0.5
0
1
0.5 1
0
-0.5
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
1
2
3
4
5
6
7
8
9
TVCS'2011
25
Двумерная структурная модель
быстрого преобразования
TVCS'2011
26
Приложения перестраиваемых
преобразований
• Реализация классических быстрых
алгоритмов с заданными свойствами
• Построение приспособленных быстрых
преобразований
• Построение быстрых нейронных сетей
• Реализация фрактальных структур
TVCS'2011
27
Спасибо за внимание!
TVCS'2011
28
Быстрые нейронные сети
Базовая операция
Однослойный персептрон
x0
y0
x0
f
y0
x1
y1
x1
f
y1
f
yg-1
x2
x2
xp-1
yg-1
xp-1
Xoff
y v f xu wu, v
u
yv xu wu, v
u
TVCS'2011
29