Transcript makarenko

ЭЛЕМЕНТЫ ДЕТЕРМИНИРОВАННОГО
ХАОСА
III Пулковская молодежная астрономическая конференция - 2010
ТРИ ПЕРИОДА В ТЕОРИИ ДС
Исаак Ньютон (4.01.1643 - 31.03. 1727)
Дано дифференциальное уравнение. Решить его.
Жюль Анри́ Пуанкаре́ (29.04.1854 -17.07. 1912)
Дано дифференциальное уравнение.
Описать свойства его решений, не решая
его, а используя свойства правой части.
Александр Александрович Андронов 11.04.1901-31.10.1952
Не дано никакого дифференциального уравнения.
Описать свойства его решений.
Дискретная динамическая система
орбита :
T :M  M
T  T T
n
n 1

T x  x0 , Tx  x1 , T x  xn
0
n
M
n
T x
x
Tx
2
T x
R
n
Бильярд –дискретная
динамическая
система и вычислительное
устройство!
Задача Пуассона
Симеон Дени Пуассон
(1781 – 1840)
Один человек имеет в
бочонке 12 пинт вина (1
пинта ≈ 0,568 л) и хочет
подарить
четыре
пинты
приятелю. Но у него нет
сосуда в 4 пинты, однако
имеются
два
пустых
сосуда объемом 8 пинт и 5
пинт. Как с их помощью
отлить ровно 6 пинт вина?
Nicolo Tartaglia
(1500-1557) гг.
Бильярдное решение задачи нашел Тарталья на 200 лет раньше!
1
3
2
3
4
2
1
0
1
2
3
4
5
5
► Бильярды с кусочно-гладкой границей
∂Q
Q
∂Q
Два механизма возникновения хаоса
Рассеяние
Дефокусирование
Q
Q
∂Q+
Примеры: газ Лоренца,
бильярд Синая
∂QПримеры: стадион,
эллипс
Динамика полностью определяется свойствами границы
Примеры
а) Рассеивающие бильярды (бильярды Синая)
Тор
Бильярд в квадрате
Если скорости облаков, с которыми сталкивается частица, распределены
случайно, то можно сказать, что число облаков, движущихся в одном
направлении, равно числу облаков, движущихся в обратном
направлении. Поэтому частица будет чаще сталкиваться с теми из них,
которые движутся ей навстречу. Отсюда следует, что частица чаще будет
приобретать энергию, чем отдавать ее.
В типичной ситуации вероятность
встречных столкновений
больше, чем сопутствующих, так что частицы в среднем
будут ускоряться
Абстрактная динамическая система
 X , B,  , T 
X  топологическое пространство (многообразие M )
B    алгебра (замкнутые орбиты)
  мера (инвариантная+эргодическая)
T : X  X  группа преобразований (динамика)
Каскад
Поток
x  n  1  T  x( n ) 
dx dt  F  x  t   , F : M  TM
x (t )   t  x(0) 
Гомеоморфизмы и диффеоморфизмы
f : X  Y  гомеоморфизм, если f , f 1  взаимно
однозначные 1-1 непрерывные функции
Диффеоморфизм – гладкий гомеоморфизм
Карта
многообразия
Прогноз как уточнение начальных условий
( x )
xn 1  2 xn  mod1
1
xn  2 x0
n
Сдвиг Бернулли
x0  (0,101001...)
2
x1  (1,01001...)
0

1/2
1
x
Сдвиг
Бернулли
m - размерность,
N – длина временного ряда
log2 N
T

m  max
Показатель Ляпунова
f
xn
x1
x0
d0
y0
dn
y1
yn
xn1  f  xn 
x0
x0  
f  x0 
f  x0   
 e N   x   f N  x0     f N  x0 
1
  x0   lim lim ln
N   0 N
0
f N  x0     f N  x0 


N
df
x0 

1
1 N 1
 lim ln
 lim  ln f   xi 
N  N
N  N
dx0
i 0
Динамические системы
и все такое....
 X , B,  , T 
Атанасиус Кирхер (1601-1680)
x
A V
U
Неподвижная точка
x0  T  x0 
р- цикл
T p  x0   x0
Аттрактор – инвариантное
притягивающее
множество точек
n
T
  x0 , n  
Он состоит из неподвижных точек и периодических орбит
Аттрактор Лоренца
x  a x  y
y  bx  y  xz
z  xy  cz
a  10
b  28
c8
3
Множество Кантора
0
1
1/3
2/3
1/9 2/9
7/9 8/9
xn   n1( n 3 ), n 0,2
Georg Ferdinand Ludwig
Philipp Cantor,(1845-1918).
2
n
n
3
1
1
1 1
2
n

1
ln   2   2    ... 2  
3 3
 3
 3
13
limn ln 
1
1 2 3
Дьявольская лестница
0
1
Непрерывная
монотонно
возрастающая
функция почти всюду
горизонтальна!
Iterated function systems
S :X  X
сжатие,
если для
0  r 1
d  S  x  , S  y    rd  x, y 
John Hutchinson


Michael Barnsley
X ,d
В полном метрическом пространстве
существует единственная неподвижная точка
a : S a  a
x, S  x  , S 2  x  , S 3  x  ,....  a
Итеративная система функций
Оператор Хатчинсона:
W  A 
S1, r1; S2 , r2 ;...; S N , rN 
N
i 1
Si  A 
Пространство компактов  H,h 
h(A, B)=inf  : A  B and B  A 
Метрика Хаусдорфа:
 H , h 
полное метрическое
пространство
W  A 
N
i 1
Si  A сжатие в ( H , h)
Неподвижная «точка»
A  W  A  S1  A   S2  A   ..  S N  A 
фрактал или аттрактор
Фрактал Серпинского
Вацлав СЕРПИНСКИЙ (1882-1969)
 x   0.5 0  x   0 
w1    
 


 y   0 0.5  y   0.5 
 x   0.5 0  x   0.25 
w2    




y
0
0.5
y
0
  
  

 x   0.5 0  x   0.25 
w3    




y
0
0.5
y
0
  
  

Чарлз БЕББИДЖ
(1791-1872)г.
Я отдаю себе отчет, что мои утверждения могут
рассматриваться как нечто сверхутопическое и
что они вызовут в памяти философов Лапуты...
Служа науке, он терпел лишенья.
Был рок его тревожен и суров,
Он злой судьбою избран был мишенью
Скорей ударов, нежели даров...
Августа Ада Лавлейс
(10.12.1815-27.11.1852)
Никто не знает, какие ужасающие энергии и
сила лежат еще неиспользованными в моем
маленьком гибком существе ...
Клянусь дьяволом, что не пройдет и 10 лет,
как я высосу некоторое количество жизненной
крови из загадок Вселенной, причем так, как это
не смогли бы сделать обычные смертные губы и умы.
«Я хочу вставить в одно из моих примечаний кое-что о числах
Бернулли в качестве примера того, как неявная функция может
быть вычислена машиной без того, чтобы предварительно быть
разрешенной с помощью головы и рук человека. Пришлите мне
необходимые данные и формулы».
ТЕЗИС ЧЕРЧА - ТЬЮРИНГА
Муравей Лэнгтона
Алонзо Черч
(1903-1995)
Алан Тьюринг
(1912-1954)
любая интуитивно вычислимая функция является частично
вычислимой, или, что тоже самое, может быть вычислена
некоторой машиной Тьюринга.
НЕЛИНЕЙНЫЙ ПРОГНОЗ
(Farmer J.D., Sidorovich J.J. Predicting chaotic time series
Phys. Rev. Lett. 1987. Vol. 59. – P. 845-848.)
Ни Ангелы Божии, ни демоны не
знают таким образом будущего,
однако предсказывают
Св. Иоанн Дамаскин. Точное изложение
православной веры.
МЕТОД АНАЛОГОВ ЛОРЕНЦА
 k ,  -процедура
“Что было, то и будет; и что делалось, то и будет
делаться, и нет ничего нового под солнцем.”
(1 Еккл. 8,15)
Временной ряд
xi  x0 , x1 , x2 ,....., xN ,...
,
x N – последнее значение
• Выберем все xn с n  .N из истории, такие, что
xn  xN   , xn1  xN 1   ,..., xnk  xN k  
Э.Лоренц
Если таких n нет или их мало, то уменьшаем k
или увеличиваем 
• Прогноз xN 1 или xN l – это объединение
 -окрестностей элементов xn1 или xnl
Плохо, если область, где мы предсказываем xN 1 или xN l недопустимо большая
Локальный прогноз
1. Для каждой точки zi0 находим
k ее ближайших соседей
2. Аппроксимируем 
полиномом степени n в
 -окрестности zi0
Коэффициенты полинома
находят из локальной ошибки:

k
i 1
Pn  z     min.
0
i
2
Достоинство: не надо «склеивать» аппроксимации в разных
точках
Недостатки:
Число коэффициентов в R mрастет как mn .Поэтому n  2
Далекие соседи разрушают динамику окрестности
Эмбедология
- реконструкция модели из временных рядов
Задача Платона:
Дано: наблюдения hn   h0 , h1 ,
1. Какова должна быть динамическая система
i
t
чтобы
h
f
X
,
B
,

,
f
,
  x0    hi , i  0,1,2,?


2. Как получить копию Attr f t в R n ?
Кредо идеального экспериментатора
(В.С.Афраймович, А.М.Рейман Нелинейные волны, 1989)
• Математический образ процесса в
аттрактор
• Для T : X  X
dist T t x,T t y

конечномерный
X
t

Ce
dist  x, y 

• Единственная мера  средняя частота пребывания
траектории x, Tx, T 2 x, в боксе
•   эргодична: для любой
для почти всех
f  L1  X 
1 k 1
i
f T x    f  x d 

k i 0
k 
xпри
• x0  типичная точка для меры

h T i  x0    ai , i  0,1,
липшиц-непрерывна: h  x   h  y   C x  y
• Наблюдаемая
A
A
F : R2  R2
X space
F
F
F
Y1
Y1
(a) – вложение
(b) – погружение
Y space
a 
Y2
b
Y2
F : R3  R2
F
(a)
F
F
(b)
(c)
(a)– вложение и
погружение
(b) – вложение,
но не погружение
(c) – погружение
dim X  d .Найти
Y
dimY такое, что F : X  вложение.
Догма о трансверсальности
Два подмножества размерности
d1
и
d2
, вложенные в
Rm
• либо не пересекаются, либо пересекаются.
•Пересечение типично (трансверсально), если
d1  d2  m  0
•Типичные самопересечения отсутствуют, если m  2d
R3 : 1  1  3  0
R2 : 1  1  2  0
1 2  3  0
2 2 3 1
Алгоритм Такенса
(Takens F. Lecture Notes in Math., 1981, v.898, p.366)
Отображение
запаздывающих координат
h 0  ( h0 , h1 ,..., hn1 )
F f ,h : M  R
h1  ( h1 , h2 ,..., hn )
hk  ( hk , hk 1 ,..., hk n1 ) 
 ( h( xk ), h( xk 1 ),..., h( xk n1 )) 
 ( h( xk ), h( f ( xk )),..., h( f
n 1
( xk )))
n
Примеры
реконструкций
Температурный ряд
Санкт-Петербурга
1775 – 1997 г.г.
Типичность
Свойство называется типичным для f в X, если оно
выполняется почти в каждой точке X и ее окрестности
Если оно не выполняется в какой либо точке для f, то оно
справедливо для
f  f
Свойство типично, если оно выполняется на пересечении
открытых и всюду плотных множеств
НЕЛИНЕЙНЫЙ AR-ПРОГНОЗ
Динамика в M
f n : M  M : yk 1  f  yk 
Динамика в R
 : R  R : z k 1  ( z k )
m
m

zi  xi , xi 1 ,..., xi  m1
m

1
1
( z k )  F f F ( z k )  F f F ( F ( yk )) 
 F f ( yk )  F ( yk 1 )  z k 1
Предиктор – только одна скалярная компонента:
xi m    zi 
Теорема Колмогорова. Точное представление
Пусть
f  x, y   xyи
g   exp  , h   log 
f  x, y   xy  exp  log  x   log  y    g  h  x   h  y  
Любую непрерывную функцию

f  C  I nможно
представить в виде:
f  x1 , x2 ,
 n

, xn    g   l p hq  x p  ,
q 1
 p 1

2 n 1
где g универсальная непрерывная функция
l p , p  1, n рациональные числа
hq , q  1,2n  1 непрерывные неубывающие функции на
I
Приближенное нейросетевое представление
m
Класс нейросетевых функций
F  w, x    ci  x  w  i 
  нелинейная (пороговая) функция
x0
w0
x1
w1
xn

i 1
 ( )
=(xw)
wn
Однослойная нейронная сеть



F  w, x      wn   u j x j  
 j

 n
Многослойная нейронная сеть
f ( x1 ,



, xn )    n wn i vi ...   j u j X j  ...

Ассоциативная память
По рзелульаттам илссеовадний одонго анлигйсокго
унвиертисета, не иеемт занчнеия, в кокам пряокде
сапожолены бкувы в солве. Галвоне, чотбы преавя и
пслоендяя бквуы блыи на мсете. Осатьлыне бкувы
мгоут селдовтаь в плоонм бсепордяке, все-рвано ткест
чтаитсея без побрелм. Пичрионй эгото ялвятеся то,
что мы не чиатем кдаужю бкуву по отдльенотси, а все
солво цликеом.
ВЫБОР МОДЕЛИ
All theorems are true. All models are wrong.
And all data are inaccurate. What are we to do?
Leonard A Smith
1. Принцип Оккама (1285-1349)
“Pluralitas non est ponenda sine necessitate”
“Не следует умножать сущности без необходимости”
2. Принцип Rissanen’а:
“Наилучшая модель имеет минимальную длину описания”
АЛГОРИТМИЧЕСКАЯ СЛОЖНОСТЬ СИГНАЛА
Длина минимальной программы для вычисления X  n 
с помощью машины Тьюринга U
: K  X   min p : U p  X
X  n   101101101....
G.J.Chaitin
X  n   110100011101....
А.Н.Колмогоров
(1903-1987)
Ray Solomonoff
Выбор Модели по Байесу
H i  - модели; E - данные
P0  H i  - априорная вероятность модели H i
P  Hi  
P  E H i  P0  H i 
 P  E H j  P0  H j 
ML-принцип:
Т.Байес (1702-1761гг.)
P  Hi   max   log  P  H i    min
M.Li, P.Vitanyi, J.Comput.Sys. 44. 1992. P.343
X   xi   x1 , x2 ,... - Бинарные тексты всех предсказанных эффектов
p  x  - перечислимая функция p0  x  - идеальная полумера
Тогда теория для которой K ( p  x )  min
лучшая по Байесу!
ПРИНЦИП МИНИМАЛЬНОЙ ДЛИНЫ
ОПИСАНИЯ (‘MDL’)
М – модель, D – данные
Хорошая модель:
L  M   L  D M   min
Jorma Rissanen
Ничто так не ускользает от изображения в слове и в то же
время ничто так настоятельно не требует передачи на суд
людей, как некоторые вещи, существование которых
недоказуемо, да и маловероятно….
(Альберт II, Трактат о кристалл. духах. кн. 1, гл. 28)
БЛАГОДАРЮ
ЗА
ВНИМАНИЕ!
St. Albertus Magnus
(1193 – 1280)