Transcript Методы непараметрической обработки информации
МЕТОДЫ НЕПАРАМЕТРИЧЕСКОЙ ОБРАБОТКИ ИНФОРМАЦИИ
Оценивание функционалов
Необходимо по выборке
x
1 ,…,
x
n функционала случайной величины X найти оценку (
x
,
f
(
x
), )
f
(
x
)
dx
Рассмотрим некоторые примеры функционалов:
m
– математическое ожидание.
2 (
x
m
) 2
f
(
x
)
dx
M
{(
X
m
) 2 } – дисперсия.
H
(
X
) (log
f
(
x
))
f
(
x
)
dx
– приведенная энтропия.
Оценивание функционалов
Схема построения оценки Ф n следующая. Вначале строится оценка для плотности вероятности
f n (x)
, а затем она подставляется в функционал. Основным свойством оценки Ф n (
x 1
,…,
x n
) является ее состоятельность. Оценка Ф n функционала Ф называется состоятельной, если:
n
n
lim
P
{|
n
| } 0 Требование состоятельности определяет практическую пригодность оценок, ибо в противоположном случае (при несостоятельности оценок) увеличение объема исходной выборки не будет приближать оценку к "истинной" величине. По этой причине свойство состоятельности должно проверяться в первую очередь. Оценка Ф n параметра Ф называется несмещенной, если
M
{
n
} Она является асимптотически несмещенной, если
M
{
n
}
n
Простейшие оценки функции и плотности распределения вероятности
По упорядоченной независимой выборке
x
1 ,…,
x
n оценку
F n (x)
для функции распределения: случайной величины X построим
x
}
F n
(
x
)
m
÷èñëî èñõîäîâ,
n
áëàãîïðèÿò îáùåå ñòâóþùèõ ÷èñëî îïûòîâ ñîáûòèþ {
X
x
} 1
n i n
1 1 (
x
x i
) где 1(z) – единичная функция: 1
z
1 , 0 ,
z
0 ,
z
0 .
1
1
n
1
n
1
n
0 1
n
x
1 1
n
1
n
1
n
x
2
x
3
x
4
x
n
2
x
n
1
x
n
x
Простейшие оценки функции и плотности распределения вероятности
Так как плотность распределения
f(x)
связана с функцией распределения
F(x)
линейный оператор дифференцирования : через
f
(
x
)
dF
(
x
)
dx
Можно получить оценку для плотности распределения :
f n
(
x
)
dF n
(
x
)
dx
1
n i n
1
d dx
1 (
x
x i
) 1
n i n
1 (
x
x i
) Здесь δ(x-xi) – дельта-функция Дирака. Она имеет "игольчатый" ("гребенчатый") вид: уходит до ∞ в точке xi , а при остальных значениях аргумента x равна нулю и обладает свойствами: 1 )
x i x i
(
x
x i
)
dx
1 площадь под дельта функцией единичная. 2 )
x i x i
(
x
) (
x
x i
)
dx
(
x i
) селектирующее свойство дельта-функции позволяет легко выполнять интегрирование. Интеграл оказывается равным подынтегральному выражению, стоящему перед дельта функцией, в особой точке.
Простейшие оценки функции и плотности распределения вероятности
Первое свойство показывает, что, несмотря на экзотическое поведение дельта функции, площадь под ней единичная. Второе селектирующее свойство дельта-функции позволяет легко выполнять интегрирование. Интеграл оказывается равным подынтегральному выражению, стоящему перед дельта-функцией, в особой точке.
x
1
x
2
x
3
x
4
x n
2
x n
1
x n x
Оценка плотности распределения является несмещенной, но несостоятельной. В явном виде её использовать нельзя. Ею удобно пользоваться при вычислении оценок моментов (математического ожидания, дисперсии и др.) для случайной величины или для аналитической функции случайной величины. Получаемые оценки являются состоятельными и часто несмещенными.
Простейшие оценки функции и плотности распределения вероятности
Многомерный случай:
F n
(
x
)
F n
(
x
1 , ,
x p
) 1
n i n
1
j p
1 1 (
x j
x ji
)
f n
(
x
)
f n
(
x
1 , ,
x p
) 1
n i n
1
j p
1 (
x j
x ji
)
Кратные измерения
. При кратных измерениях значение
x 1
раз,…,
x m
–
k m
раз, при этом
k 1
+…+
k m
=
n
. повторяется
k 1
раз,
x 2
–
k 2 F n
(
x
)
i m
1
k i n
1 (
x
x i
)
f n
(
x
)
i m
1
k i n
(
x
x i
) 1
k m
2
k m n n
1
k m n
0
k
1
n x
1
k
2
n k
3
n x
2
x
3
x m
2
x m
1
x m x
Полиграммы
Повысим степень гладкости оценки функции плотности. Для этого надо повысить соответственно степень гладкости для оценки функции распределения
F n (x) f
.
n (x)
по сравнению с простейшей оценкой Если
F n (x)
будет состоять из отрезков прямых, то
f n ( x )
будет состоять из прямоугольников. Такая кусочно-постоянная оценка называется полиграммой первого порядка.
x
1
F n
(
x
) 1
x
2
x
3
n
1 1
x n
1
x n x f n
(
x
)
x
1
n
1 1
x
2
x
3
n x n
1 1 1
x n x
Она строится на выборочных интервалах, ограниченных выборочными значениями упорядоченной выборки
x 1 ,…,x n
. Площадь каждого прямоугольника равна
1/(n-1) f n
(
x
)
n
1 1
n i
1 1
x i
1 1
x i I
0
x i x
1
x i x i
I
0 (
z
) 1 0 , ,
z z
[ 0 ; [ 0 ; 1 ), 1 ).
Полиграммы
Для улучшения сглаживающих свойств оценки плотности построены полиграммы более высоких порядков:
a x
1
n
1 1
x
1
n
1 2
x
3
n
1 1
x
4 1
n
1
x
5
n
1 1
x
6
n
1 1
x
7
x б x
1
n
2 1
x
2
x
3
n
2 1
x
4
x
5
x
6
n
2 1
x
7
x в x
1
n
3 1
x
2
x
3
x
4
x
5
n
3 1
x
6
x
7
x
Метод "К ближайших соседей"
Считаем, что для одномерной случайной величины X имеется n независимых наблюдений
x 1 ,…,x n
. Зафиксируем некоторое целое положительное число
k n
: 1 ≤
k n n
. Для каждой выбранной точки x существует интервал длительностью
2p(k n ,n,x)
который охватывает
k n
интервала, а
k n-1
точка – внутрь интервала. Оценкой плотности распределения вероятности
f n (x)
служит частота
(k n -1)/
n попадания в интервал
2p
, приведенная к единичной величине интервала: ≤ ближайших к x точек выборки. Одна точка попадает на границу
f n
(
x
) Многомерный случай:
n
2
k
(
n k n
, 1
n
,
k
n
1
x
) ( 4 ,
n
,
x
) ( 4 ,
n
,
x
)
x i
2
x i
1
x i
( 5 ,
n
,
x
)
x x i
1 ( 5 ,
n
,
x
)
x i
2
x i
x
2
V
2
x i
1
x i x x i
1
x i
2
R
8
x i
3
x i
3
x
1
Оценка Розенблатта – Парзена
Плотность распределения вероятности связана с функцией распределения через оператор дифференцирования:
dx
) 2
h
) ( ) 1
n i n
1 1 (
x i
) ( ) 1
n i n
1 1 (
x i
)
f n
(
x
) 1
n i n
1 1 (
x
h
x i
) 1
n i n
1 1 (
x
h
x i
) 2
h
1
n i n
1 1 1 (
x h
h
x i
) 1 (
x
h
x i
) 2 1 (
i
) 1 ( 2
i
)
I
x
h x i
I
(
z
) 0 .
5 , 0 , | 1
z
| |
z
1 , | .
( ) 1
n i n
1 1
h I
x
h x i
Оценка Розенблатта – Парзена
Степень гладкости оценки плотности зависит от степени гладкости ядра. Заменим в оценке
f
n (
x
) прямоугольное ядро
I(z)
на произвольное
K(z)
и получим:
f n
(
x
) 1
n i n
1 1
K h h x i
Здесь
h
– коэффициент размытости ядра. Примеры треугольного, параболического и кубического ядер приведены ниже:
K
(
z
) 1 | 0 ,
z
|, | 1
z
| |
z
1 , |;
K
(
z
) 0 .
75 0 , ( 1
z
2 ), | 1
z
| |
z
1 , |;
K
(
z
) ( 1 0 , 2 |
z
|)( 1 |
z
|) 2 , | 1
z
| |
z
1 , | .
1 1
s
1 1 0 ( ) 1
s
1 0 1 1 1
s
1 0 1 1
z z z
Оценка Розенблатта – Парзена
Многомерный случай:
f n
(
x
1 , ,
x m
) 1
n i n
1 1
h x
1
K x
1
x
1
i h x
1 1
h x m K x m
x mi h x m
1
n i m n
1 1
j
1
h x j K x j
x ji h x j
Оценка условной плотности вероятности
Рассматриваем объект, имеющий случайный вход (либо несколько входов) X и выход Y. Связь между случайными величинами характеризуют условные характеристики, например, условная плотность распределения вероятности
f(x|y)
.
f x
( | ) 1
n i n
1 1
h x K
1
n i n
1 1
h x
i h x
1
h y K
K
h x j
i h y
i n
1
K N
x h x x i
1
h y K y h y y i K N
x h x x i
K
x h x x i
j n
1
K
x h x x j
Оценка регрессии
Регрессией называют первый начальный условный момент
M
{
Y
|
x
}
y f
(
y
|
x
)
dy
(
x
) Это некоторая усредненная количественная зависимость между выходом и входом объекта. Регрессия (4.7.1) удовлетворяет квадратичному критерию
I
y
* 2 min
y
* Получим оценку регрессии:
M
{
Y
|
x
}
n
(
x
)
i n
1
K N x h x i
y
(
y
y i
)
dy
i n
1
K N x h x i y i
i n
1
i
(
x
)
y i K N
h x i
K
h x i j n
1
K h x j
i
(
x
)
Оценка регрессии
Подбор оптимального параметра коэффициента размытости для оценки регрессии. Перейдем от размерного параметра с к безразмерному β.
c
1
n
1 / 5
i
(
x
)
K N
x
x i
j n
1
K K
x
x
x i x
j
При β=0 ядро
K(·)
не зависит от
x
.
i
(
x
)
K N
x
x i
n
j
1
K K
x
x
x i x
j
3 / 4
n
j
1 3 / 4 1
n
,
i
1 ,
n
Оценка регрессии равна среднему арифметическому выборочных значений выхода объекта для любых
x
.
n
(
x
) 1
n i n
1
y i y
4
y
3
y
5 ,
y y y
2 6
n
(
x
)
x
1
x
2
x
3
x
4
x
5
x
6
x
Оценка регрессии
Возьмем теперь другое крайнее состояние для β: β=1. Оценка регрессии проходит через экспериментальные точки и состоит из кусков линий, соединяющих точки выборки.
n
(
x
)
y
4
y
3
y y
5
y y
2 6
x
1
x
2
x
3
x
4
x
5
x
6
x
Оптимальный параметр β лежит в интервале [0; 1].
y
4
y y
3
y
5
y y
2 6
n
(
x
)
x
1
x
2
x
3
x
4
x
5
x
6
x
Оценка регрессии
Рекуррентный расчет оценки регрессии. Для каждого фиксированного использования рекуррентной схемы расчета получаем алгоритм адаптивного сглаживания:
x
на основе
n
(
x
)
B n
/
D n B n
B n
1
l m
1 1
h x l
(
n
)
K x l x l n h x l
(
n
)
y n D n
D n
1
l m
1
h x l
1 (
n
)
K x l
x l n h x l
(
n
)
h x l
(
n
)
c x l n
q
,
q
1 /(
m
4 ),
n
1 , 2 , ,
B
0
D
0 0
Оценка регрессии
Инверсная модель. Для объекта с одним входом X и одним выходом Y основной инверсной характеристикой является регрессия
M
{
X
|
y
}
xf
(
x
|
y
)
dx f
(
x
|
y
)
i n
1
K N h y y i
(
x
x i
),
K N y h y y i
K y h y y i j n
1
K y h y y j
и получаем оценку инверсной регрессии:
M
{
X
|
y
}
i n
1
K N y h y y i x i
Робастные оценки регрессии
В реальной ситуации исходные экспериментальные данные
x i , y i
могут содержать аномальные измерения, называемые выбросами. Даже наличие малого процента выбросов приводит к сильному искажению оценок. Поставим задачу построения оценки регрессии, которая была бы более устойчивая (малочувствительная, робастная (в переводе с английского "крепкая") к выбросам по отношению к ранее построенной оценке
n
(
x
)
i n
1
K N x h x i y i
Кроме математического ожидания случайной величины Y есть другая характеристика среднего положения – медиана. Медиана – это среднее по вероятности значение. Состоятельная оценка медианы представляет собой среднее по номеру значение в
упорядоченной
выборке. 2
y
3
y
1
y
2
y
3
y
4
y
5
Робастные оценки регрессии
Запишем критериальную форму получения оценки:
I
2
i n
1 |
y i
m
2 | min
m
2
I
1 2
i n
( 1
y i
2 ) |
y i
1 0 2 | min 1 2
dI
1 2 1 2 2
i n
1 (
y i
1 2 ) |
y i
1 0 2 | 0 1 2
i n
1 |
y i
0 2 | 1
j n
1 |
y j
0 2 | 1
y i l
2 1
i n
1 |
y i
l
2 | 1 |
m
2
l
1
m
2
l
|
j n
1 |
y j
l
2 | 1
y i
,
l
0 , 1 , 2 ,
Робастные оценки регрессии
Модульный критерий не является единственным для получения робастных оценок. Более общий критерий имеет вид :
i n
1 (
i
)
K
(
i h
) min Некоторые виды функций
F(v)
:
a
0
a
v
F
(
v
)
v
a
2 2 2 , 2 , |
v
|
a
;
a
|
v
|
F
(
v
) |
v
| 0
v
a
0
a
v
F
(
v
) |
v
|,
a
, |
v
|
a
;
a
|
v
|
a
0
a
v
F
(
v
)
v a
2 |
v
2 , |
a
2 2 , |
v
|
a
;
a
|
v
|
F
(
v
) |
v
|
p
, 1
p
2
v
0
Адаптивное управление при априорной неопределенности
Адаптацией природа наделила все живое. Она представляет собой приспособление к различным изменениям. Эти изменения происходят как внутри живого организма, так и во внешней среде. Свойством адаптации человек наделил и созданные им устройства. Управление в этих устройствах осуществляется таким образом, чтобы как можно быстрее и лучше нейтрализовать влияние непредвиденных изменений или приспособиться к ним. ИУ 1
u
Объект
y
Управляющее устройство
y
* ИУ
y
2