Transcript Identyfikacja - metoda najmniejszych kwadratów
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
Identyfikacja - metoda najmniejszych kwadratów
Typowa forma zadania estymacji parametrów Dany jest system dynamiczny, dla którego proponowany jest model matematyczny oparty na doświadczeniu proponującego i który: ▪ zgodny jest ze wszystkimi znanymi prawami rządzącymi zachowaniem się systemu, ▪ pozwala wykorzystać dostępne w systemie pomiary dla porównania zachowania się modelu i systemu ▪ jego struktura spełnia wymagania pozwalające uzyskać pożądaną dokładność ale zawiera szereg niezbyt dobrze znanych parametrów Należy określić „najlepsze” estymaty wszystkich nieznanych dobrze parametrów tak, aby model matematyczny zapewniał „optymalną estymatę” zachowania systemu Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 1
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Każda metoda rozwiązująca zadanie o podanej strukturze – realizacja procesu estymacji Zadania estymacji: bardzo łatwe ...... nierozwiązywalne
Podstawa wielu procesów estymacji – metoda najmniejszych kwadratów
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 2
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów W procesie estymacji z każdą włączoną w ten proces zmienną/wielkością związane są trzy wartości:
x
- wartość prawdziwa (rzeczywista) zmiennej
x~ x
- wartość mierzona zmiennej - wartość estymowana zmiennej
x
Co można powiedzieć o tych wartościach?
- wartość praktycznie nieznana
x~
- wartość uzyskiwana z czujnika lub z innego pomiaru, nigdy nierówna wartości prawdziwej, obarczona błędem pomiaru
x
- wartość zmiennej uzyskiwana jako wynik procesu estymacji W zadaniu estymacji zmienne x – parametry modelu Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 3
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Dwa błędy: 1. Błąd pomiaru (measurement error)
x~
x
e~
błąd pomiaru wartość mierzona wartość prawdziwa 2. Błąd resztkowy (residual error)
x~
x
e
błąd resztkowy – residuum)
e
wartość mierzona wartość estymowana
x
x
Co można powiedzieć o tych błędach:
e~ e
- wartość praktycznie nigdy nieznana; mechanizm generujący ten błąd zwykle jest aproksymowany przez pewien znany proces (np.
szum gaussowski o zerowej wartości średniej i znanej wariancji σ 2 ; - wartość znana w momencie wyznaczenia wartości estymowanej Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 4
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
Przykład 1 (aproksymacja szeregu czasowego):
Rysunek – wyniki pomiaru pewnego procesu w czasie System bez zewnętrznego wejścia – szereg czasowy Szereg czasowy y(t)
Czas (miesiące)
Możliwa interpretacja – historia notowań na giełdzie pewnej firmy w okresie 6 miesięcy Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 5
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Zadanie – zbudować model y(t) do predykcji perspektyw firmy Dane: Pomiary
y
(np. notowań zamknięcia giełdy), oznaczone dane dla przedziału 6 miesięcy
y~
Wymagania: Wartość bezwzględna błędów resztkowych (residuów) |μ| nie większa niż 0.0075: Odchylenie standardowe błędów resztkowych (residuów) σ nie większa od 0.125
Średnia z próby:
1 m i m
1
y~
Wariancja z próby: m – liczba próbek, liczba pomiarów
2
1 m
1 i m
1
Kazimierz Duzinkiewicz, dr hab. inż.
t i
y t i
2
Katedra Inżynierii Systemów Sterowania 6
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Proponowane modele:
Model 1 : y 1
Model 2 : y 2
c 1 t d 1
t
c 2 sin 2
c 3 d 2 t 2 cos
d 3 t 3 t
- czas [miesiące – m]
c 1 d 1 , c , d 2 2 , c , d 3 3
- stałe współczynniki – parametry Modelu 1 - stałe współczynniki – parametry Modelu 2 Ocena: Jak dobrze każdy z proponowanych modeli z „optymalnymi” wartościami współczynników c i oraz d i dokonuje predykcji pomiarów?
W statystyce: proces „wpasowywania” krzywej takiej jak np. Model 1 lub Model 2 w posiadane pomiary - regresja Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 7
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Załóżmy, że znamy
metodę najmniejszych kwadratów
zastosowaliśmy algorytm tej metody do wyznaczenia „optymalnych” wartości współczynników c i Modelu 1 oraz d i Modelu 2 i „Optymalne” wartości współczynników c i Modelu 1
1 ,
2 ,
3 0 .
9967 , 0 .
9556 , 2 .
0030
T
„Optymalne” wartości współczynników d i
d
1 , d
2 , d
3
T
0 .
6721 ,
Modelu 2
0 .
1303 , 2 .
0210
T
Modele z współczynników
Model Model 1 2 : : y 1
y 2
„optymalnymi”
0 .
9967 0 .
6721 t
t
0 .
2 9556
wartościami
sin 0 .
1303 t 2
2 .
0030 cos 2 .
0210 t 3
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 8
Modelowanie i podstawy identyfikacji 2014/2015 Porównanie modeli:
Model 1
Identyfikacja – metoda najmniejszych kwadratów
Model
y 1
1
: 0 .
9967 t
0 .
9556 sin
2 .
0030 cos
Model 2 Czas (miesiące)
Model
y 2 2 :
0 .
6721
t
2
0 .
1303 t 2
2 .
0210 t 3
Kazimierz Duzinkiewicz, dr hab. inż.
Czas (miesiące)
Katedra Inżynierii Systemów Sterowania 9
Modelowanie i podstawy identyfikacji 2014/2015 Porównanie modeli:
Model 1
Identyfikacja – metoda najmniejszych kwadratów
Model
y 1
1
: 0 .
9967 t
0 .
9556 sin
2 .
0030 cos
Model 2 Czas (miesiące)
Model
y 2 2 :
0 .
6721
t
2
0 .
1303 t 2
2 .
0210 t 3
Kazimierz Duzinkiewicz, dr hab. inż.
Czas (miesiące)
Katedra Inżynierii Systemów Sterowania 10
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Porównanie modeli: Średnia z próby błędów resztkowych (residuów):
Model 1 :
1 Model 2 :
2
1
10
5
1
10
5
Odchylenie standardowe z próby błędów resztkowych (residuów):
Model 1 Model 2 : :
1
2
0 .
0921
1 .
3685
Konkluzja: Nie mając podstaw przypuszczać istnienia systematycznych błędów w pomiarach stwierdzamy, że Model 1 może być używany do dokładnej oceny zachowania y(t) Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 11
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Jaka będzie jakość predykcji y(t) poza przedziałem 0-6m?:
Pomiary Najlepsze dopasowanie Przedział interpolacji Przedział ekstrapolacji
Kazimierz Duzinkiewicz, dr hab. inż.
Czas (miesiące)
Katedra Inżynierii Systemów Sterowania 12
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Kuchnia naszego zadania: Pomiary generowane zgodnie z równaniem
~ 1
1
t
1
sin
2
cos
4
10
5
e t
~ 1
Symulacja błędu pomiaru: generator szumu gaussowskiego o zerowej wartości średniej i odchyleniu standardowym σ = 0.1
Propozycja strukturalnie poprawnego modelu:
Model 3 : y 3
x 1 t
x 2 sin
x 3 cos
x 4 e t
„Optymalne” wartości współczynników x i
1 , 2 , 3 ,
4
T
0 .
9958 , 0 .
9979 ,
Modelu 3
2 .
0117 ,
4 .
232
10
5 T
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 13
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Model strukturalnie poprawny – różnice wartości prawdziwych i wartości estymowanych parametrów Prawdziwe wartości współczynników x i Modelu 3
x 1 , x 2 , x 3 , x 4
T
1 .
0 , 1 .
0 , 2 .
0 ,
4 .
0
10
5
T
Estymowane „optymalnie” wartości współczynników x i Modelu 3 (dane z okresu 0-6m)
1 , 2 , 3 ,
4
T
0 .
9958 , 0 .
9979 , 2 .
0117 ,
4 .
232
10
5 T
Jedyna przyczyna – błędy pomiarów Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 14
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Jaka będzie jakość predykcji y(t) z wykorzystaniem strukturalnie poprawnego modelu z wartościami parametrów estymowanymi w oparciu o dane z okresu 0-6m?
Pomiary Najlepsze dopasowanie Przedział interpolacji Przedział ekstrapolacji
Kazimierz Duzinkiewicz, dr hab. inż.
Czas (miesiące)
Katedra Inżynierii Systemów Sterowania 15
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Wnioski z Przykładu 1 ogromne znaczenie w praktyce estymacji poprawnego strukturalnie modelu matematycznego systemu zaproponowanie strukturalnie poprawnego modelu jest zadaniem trudnym dla nie – specjalisty z dziedziny aplikacji pominięte elementy modelu oraz błędy estymacji parametrów modelu mogą prowadzić do błędnych wyników uzyskiwanych z modelu, szczególnie poza obszarami objętymi pomiarami Teoria estymacji może być rozwijana bez zwracania uwagi na konkretne systemy dynamiczne, ale udane zastosowania teorii estymacji prawie zawsze oparte są na łącznym zrozumieniu teorii estymacji i zasad rządzących zachowaniem się rozważanego systemu Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 16
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
Metoda najmniejszych kwadratów - jednokrotna estymacja liniowa – (linear batch estimation)
Dane: Pomiary
y~ 1 , t 1 ; y~ 2 , t 2 ;
; y~ j , t j ;
; y~ m , t m
(1) Proponowany model: Liniowy względem parametrów
h 1 y
i n
1 x i h i ,
, h i
,
, h n
- określony zbiór niezależnych
funkcji bazowych
(2) (3) Parametry nieznane Założenie: Kazimierz Duzinkiewicz, dr hab. inż.
x i ; i
1 , n m
n
Katedra Inżynierii Systemów Sterowania 17
Modelowanie i podstawy identyfikacji 2014/2015 Poszukiwanie: Estymaty
x i ; i
1 , n
Identyfikacja – metoda najmniejszych kwadratów nieznanych parametrów
x i ; i
1 , n
Kryterium jakości doboru wartości estymowanych parametrów – jak dobrze proponowany model dokonuje predykcji pomiarów Argument kryterium – błędy resztkowe (residua)
j
y~ j
j , j
1 , m
Liczba błędów resztkowych – liczba pomiarów Pamiętać należy też: błąd pomiędzy wartością prawdziwą a wartością estymowaną – powody: - błąd pomiaru - niepoprawny wybór wartości parametrów x i , i=1, ..., n - niepoprawna struktura modelu – błąd modelowania Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 18
Modelowanie i podstawy identyfikacji 2014/2015 Zależności: Identyfikacja – metoda najmniejszych kwadratów
y j j
t
j
y
j
i n
1 x i h i t
j
~ j , i n
1
x i h i
, j j j
1 , m
1 , m
gdzie
e~ j , j
1 , m
- model pomiaru (4) (5) - błędy pomiaru: zakładamy na razie, że ich mechanizm nie jest znany i może mieć charakter przypadkowy lub deterministyczny Przyjmujemy
y~ j
j
j
i n
1
i h i t
j
j , j
1 , m
(6) gdzie
j
y~ j
j , j
1 , m
- błędy resztkowe Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 19
Modelowanie i podstawy identyfikacji 2014/2015 Zależności w zwartej postaci
H
x
Identyfikacja – metoda najmniejszych kwadratów (4a)
x
x 1 , x 2 ,
, x i ,
, x n
T
1 ,
2 ,
,
i ,
,
n
T
y~ 1 , y~ 2 ,
, y~ j ,
, y~ m T
1 , 2 ,
, j ,
, m T
e~ 1 , e~ 2 ,
, e~ j ,
, e~ m T
- wektor prawdziwych wartości parametrów - wektor estymowanych wartości parametrów - wektor wartości mierzonych y - wektor wartości estymowanych y - wektor błędów pomiarów Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 20
Modelowanie i podstawy identyfikacji 2014/2015 Zależności w zwartej postaci –c.d.: Identyfikacja – metoda najmniejszych kwadratów
H
x
e
(6a)
y~ 1 , y~ 2 ,
, y~ j ,
, y~ m T
- wektor wartości mierzonych y
1 ,
1 ,
2 ,
,
i
2 ,
, j ,
,
n
T ,
,
m T
- wektor estymowanych wartości parametrów - wektor błędów resztkowych (residuów)
H
h h ..........
h ..........
h 1 1 1 1
h 2 h 2 h 2 h 2
..........
t ..........
j ..........
...
h i ..........
h i t j ...
...
...
h n h n
..........
h n ..........
...
.....
h n t j .....
T
Macierz obserwacji
Równania (4a) oraz (6a) – równania obserwacji Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 21
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Przykład 2: rozpuszczalność azotanu sodu w zależności od temperatury Funkcje bazowe: Pomiar j Temperatura u j Rozpuszczalność y j
h 0
1 , h 1
u
1 0 66,7 Wektor wartości mierzonych y: 2 3 4 10 4 5 15 21 6 7 8 9 29 36 51 68 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 22
Modelowanie i podstawy identyfikacji 2014/2015
H 1
1 1 1 1 1 1 1 1
Wektor błędów pomiaru:
e~ 1
e~ 2 e~ e~ 4 e~ e~ 6 e~ e~ 8 3 5 7 e~ 9 0 4 10 15 21 29 36 51
68
Równania obserwacji: Wektor błędów resztkowych:
1 e e
2 3 e 4 e e
e
7 5 6 e
8 e
9
Identyfikacja – metoda najmniejszych kwadratów
H
b
66 .
7
71 76 80 85 92 99 .
.
.
.
.
.
0 3 6 7 9 4 113 .
6
125 .
1 66 .
7
71 76 80 85 92 99 .
.
.
.
.
.
0 3 6 7 9 4 113 .
6
125 .
1
1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 H
b
0 4 10 15 21 29 36 51
b 0 b 1 68
e~ 1
e~ 2 e~ 3 e~ 4 e~ 5 e~ 6 e~ 7 e~ 8 e~ 9
1 0 4 10 15 21 29 36 51
68
b
b 1 0
7 e e
8 9 e e
1 2 e 3 e
4 e e
5 6
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 23
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
Metoda najmniejszych kwadratów – przypadek liniowy
Metoda najmniejszych kwadratów Gauss’a proponuje jako optymalny wybór dla wartości nieznanych parametrów, wartość
x
x
1
,
x
2
,
,
x
i
,
,
x
n
T
który minimalizuje sumę kwadratów błędów resztkowych (residuów)
J
1
e
T
e
2
z (6a)
H
x
e
H J
2 1
H
H
1 2
T
2 T H
T H T H
x
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 24
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
J
Przykład 2: c.d.
1 2
H
b
T
H
b
2 ~ T
66 .
7 71 .
0 76 .
3 80 .
6 T 85 .
7
2 92 .
9 T H
b
b
T H T 99 .
4 113 .
6 H
b
125 .
1
66 .
7 71 .
0 76 .
3 80 .
6 85 .
7 92 .
9 99 .
4 113 .
6
76218 .
17 125 .
1
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 25
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
2 T H
b
2
66 .
7
2
811 .
3 71 .
0 76 .
3 80 .
6 85 .
7 92 .
9 99 .
4 113 .
6 125 .
1
1 1 1 1 1 1 1 1 1 24628 .
6
b
b 1 0
2
811 .
3
b 0
24628 .
6
b 1
1622 .
6
b 0
49257 .
2
b 1 0 4 10 15 21 29 36 51 68
b
b 1 0
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 26
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
b
T H T H
b
b 0
b 1
0 1 1 4 1 10 1 15 1 21
b 0
9
b 0 2
b 1
234 9 234
b 0
b 1
234 10144 234 b
0
b 1 b
b 1 0
9
b 0
10144
b 1 2 234 b
1 1 29 1 36 1 51 1 1 68
1 1 1 1 1 1 1 0 4 10 15 21 29 36 51
234
b 0 1
10144
b 1
68
b
b 1 0 b
b 1 0 J
76218 .
17
1622 .
6
b 0
49257 .
2
b 1
9
b 0 2
234
b
0 b 1
234
b 0
b 1
10144
b 1 2
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 27
Modelowanie i podstawy identyfikacji 2014/2015 Co możemy powiedzieć o
J
: Identyfikacja – metoda najmniejszych kwadratów
J
1 2
H
H
1 2
1. Możemy napisać -
J
J : R n
R T
2 T H
T H T H
x
- J jest funkcjonałem Metoda najmniejszych kwadratów zadanie minimalizacji funkcjonału bez ograniczeń; zadanie minimalizacji bez ograniczeń Dla danego w oparciu o równania obserwacji funkcjonału J(x) poszukujemy wartości x * dającej minimalną wartość tego funkcjonału Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 28
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów 2. Metoda najmniejszych kwadratów kwadratowej Funkcja celu ma postać formy
J
1 2
H
H
1 2
T
2 T H
T H T H
x
Forma kwadratowa
F (
x
)
1
x
T
Ax
d
T
x
c 2
gdzie: A - macierz symetryczna Kazimierz Duzinkiewicz, dr hab. inż.
A
H
T
H
d
T
~ T H c
1 2
Katedra Inżynierii Systemów Sterowania 29
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Przypomnienie z rachunku różniczkowego ?
Warunki konieczne i wystarczające, jakie musi spełnić punkt x, aby można było go uznać za dający minimalną wartość funkcjonału wyprowadzane są w oparciu o jego rozwinięcie Taylor’a w otoczeniu punktu x
Przypomnienie z rachunku różniczkowego oraz podanie wybranych faktów z teorii optymalizacji - Dodatek A
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 30
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
Warunki konieczne i wystarczające minimum metody najmniejszych kwadratów
J
1 2
H
H
2 1
T
2 T H
T H T H
x
Warunek konieczny pierwszego rzędu:
J
x
H T H
H T
0
(1)
Warunek konieczny drugiego rzędu:
x
T
2 J
T
x
x
T H T H
0
dla dowolnych
Δ H T H
dodatnio półokreślona (2) Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 31
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
Warunek wystarczający drugiego rzędu:
H T H
dodatnio określona (3)
Fakty:
Macierz H T H jest zawsze dodatnio półokreślona (jako macierz symetryczna) Macierz H T H jest dodatnio określona, jeżeli macierz H ma najwyższy rząd równy n Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 32
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Obliczanie wartości estymowanych nieznanych parametrów – układ równań normalnych wynikający z warunku koniecznego pierwszego rzędu
Układ równań normalnych
H T H
H T
(4) Jeżeli macierz H T H jest nieosobliwa - posiada macierz odwrotną - otrzymujemy jawne rozwiązanie optymalnej estymaty
H T H
1 H T
(5) 33 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
Fakty:
Jawne rozwiązanie optymalnej estymaty wymaga nieosobliwości macierzy H T H macierz H x i T H jest nieosobliwa jeżeli rząd macierzy H wynosi n, czyli liczba liniowo niezależnych równań obserwacji jest większa lub co najmniej równa liczbie poszukiwanych estymat Stąd warunek: zbiór funkcji bazowych powinien być liniowo niezależny Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 34
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Przykład 3: Prawdziwe wartości parametrów
x
T
Proponowane zestawy funkcji bazowych
H 1 H 2
sin t
sin t 2 cos t
2 sin t
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 35
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Przykład 4: rozpuszczalność azotanu sodu w zależności od temperatury Rozwiązanie normalnego układu równań
b
0 b 1
0 67 .
51 .
6706
67 .
51
0 .
6706 u
y Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 36
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Przykład 5: (estymacja parametrów prostego układu dynamicznego) System
x
ax
bu
Dyskretna reprezentacja systemu z przedziałem dyskretyzacji Δt
x
k
1
A
D
x
B
D
u
gdzie:
A D
e a
t B D
0
t
be at dt
b a
e a
t
1
Zadanie: określić wartości stałych A D pomiarów dyskretnych
y~ k
oraz
u k
oraz B D Kazimierz Duzinkiewicz, dr hab. inż.
wykorzystując zbiór Katedra Inżynierii Systemów Sterowania 37
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Jak została zaproponowana reprezentacja dyskretna systemu – powtórzenie dla tego przykładu z SD Poszukujemy odpowiedzi systemu na dowolne wymuszenie w przedziale czasu [t 0 , t) – patrz wykłady z Podstaw automatyki
x
a
x
b
u x
0
y 0
u(t) Obiekt x(t) Dla dowolnego wejścia u(t) określonego w przedziale [t 0 ,t] odpowiedź systemu
x
e a
t
t
0
x
0 0
t
t e a
bu d
e a
t
t
0
x
0
e at t
0
t e
a
bu d
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 38
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Przyjmując przedział dyskretyzacji T s możemy policzyć
x
s
x
k e a
kT s
t
0
x
0
e akT s
1
T s
e a
k
1
T s
t
0
x
0
kT s
0
t e
a
bu d
e a
k
1
T s
k t
0 1
T s
e a
bu
Przemnażamy pierwszą zależność przez
e aT s d
i odejmujemy od drugiej
e aT s x
k x
s
1
T s
e a
k
1
T s
t
0
x
0
e aT s x
s
e a
k e a
k
1
T s
1
T s
k kT s
1
t
0
T s
e e a
a
bu bu kT s d
d
Ostatnia zależność po uporządkowaniu
k x
k
1
T s
e aT s x
s
1
T s kT s
e a
k
1
T s
bu
Kazimierz Duzinkiewicz, dr hab. inż.
d
Katedra Inżynierii Systemów Sterowania 39
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Zmieniamy zmienną całkowania
k
1
T s
Otrzymujemy
t x
k
1
T s
e aT s x
s
T s
0
e at bu
Przyjmując stałość wejścia w przedziale próbkowania
dt x
k
1
T s
e aT s x
s
0
T s e at b dt
u
s
A D B D Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 40
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Eksperyment pomiarowy: Na wejście układu w chwili k=1 podano impuls (Dirac’a) o intensywności 100 i następnie obserwowano wyjście przez 101 chwil czasowych z Δt=0.1
* Pomiary Najlepsze dopasowanie Kazimierz Duzinkiewicz, dr hab. inż.
Czas (s) Katedra Inżynierii Systemów Sterowania 41
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Macierz wartości funkcji bazowych: Równanie obserwacji: Kazimierz Duzinkiewicz, dr hab. inż.
H
~ ~ 2 3
j
1 101
y~ y~ y~
1 2 j y~ 100 H B u u u
1 2 j u 100
D D
e
e
e
2 3
e
j
1 101 Katedra Inżynierii Systemów Sterowania 42
Modelowanie i podstawy identyfikacji 2014/2015 Korzystając z (5):
A
B D D
H T H
1
H T
y y
2 3
j
1
y
101 Kuchnia naszego zadania: Identyfikacja – metoda najmniejszych kwadratów Otrzymamy:
A
D B D
0 .
9048 0 .
0950 Pomiary generowane były z wykorzystaniem następujących wartości prawdziwych
A B D D
0 0 .
.
9048 0952 Symulacja błędu pomiaru: generator szumu gaussowskiego o zerowej wartości średniej i odchyleniu standardowym σ = 0.08
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 43
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
Metoda ważonych najmniejszych kwadratów
Poprzednie podejście: jednakowe znaczenie wszystkich pomiarów Ważniejsze te pomiary, które wykonywane są z mniejszym błędem – dołączenie wag pomiarów do metody najmniejszych kwadratów Znaleźć wartości nieznanych parametrów
x
x 1 ,
x 2 ,
,
x i ,
,
x n
minimalizujące
J
1 2
e
T W
e
T
gdzie
H
x
W
- symetryczna macierz wag Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 44
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
Warunek konieczny pierwszego rzędu:
(6)
J
x
H T W H
H T W
0
Warunek dostateczny drugiego rzędu:
2 J
T
x
x
H T W H
dodatnio określona (7) W dodatnio określona Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 45
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
Jawne rozwiązanie optymalnej estymaty
H T W H
1 H T W
(8) Przykład 5: (nawiązanie do Przykład 1 (aproksymacja szeregu czasowego) Szereg czasowy y(t) Wykorzystanie spośród 91 zebranych w okresie 6 miesięcy 31 pomiarów Powzięto informację, że mniejszym błędem niż pozostałe 3 pierwsze pomiary są obarczone Nie ma informacji o dokładności wartości par pomiarów
Czas (miesiące)
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 46
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Proponowana macierz wag:
W
diag
w , w , w , 1 ,
, 1
Wykorzystujemy Model1:
Model 1 : y
1
c
1
t
c
2
sin
c
3
cos
t
- czas [miesiące – m]
c 1 , c 2 , c 3
- stałe współczynniki – parametry Modelu 1 Pierwsza estymacja:
w
1
31 pomiarów
1 ,
2 ,
3 1 .
0278 , 0 .
8750 , 1 .
9884
T
Wyniki gorsze niż przy wykorzystaniu dostępnych 91 pomiarów Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 47
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Zestawienie wyników estymacji:
w
1x10 0 1x10 1 1x10 2 1x10 5 1x10 7 1x10 10 1x10 15 (1.0278, 0.8750, 1.9884) (1.0388, 0.8675, 2.0018) (1.0258, 0.8923, 2.0049) (0.9047, 1.0949, 2.0000) (0.9060, 1.0943, 2.0000) (0.9932, 1.0068, 2.0000) (0.9970, 1.0030, 2.0000) Norma błędów resztkowych wymuszanych 3.21x10
-2 1.17x10
-2 7.87x10
-3 5.91x10
-5 1.10x10
-5 4.55x10
-7 0.97x10
-9
x
1 , 1 , 2
Zastosowanie ważonej metody najmniejszych kwadratów może poprawić jakość estymacji
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 48
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Poprzednie podejścia: jednakowe znaczenie wszystkich pomiarów – wszystkie pomiary wykonywane z jednakową dokładnością (jednakowo wiarygodne) różne znaczenie poszczególnych pomiarów – część pomiarów charakteryzuje się większą dokładnością (większą wiarygodnością) inne mniejszą dokładnością (mniejszą wiarygodnością Rozważymy jeszcze jedną możliwość: część pomiarów jest dokładna (wykonywana z błędem pomijalnie małym w stosunku do innych pomiarów) Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 49
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Wszystkie obserwacje-pomiary o liczebności m podzielimy na dwie kategorie: m 1 pomiarów-obserwacji wykonanych z ograniczoną dokładnością m 2 pomiarów-obserwacji dokładnych m 1 + m 2 = m
~ 1
~ 11 ,
, ~ 1 j 1 ,
,
m 1
1 m 1
T
- wektor wartości y mierzonych z ograniczoną dokładnością Pomiary-obserwacje w obrębie tej kategorii mogą być zróżnicowane – wprowadzenie macierzy W 1
~ 2
y~ 21 ,
, y~ 2 j 2 ,
, y~ 2 m 2
T
- wektor wartości y mierzonych dokładnie m 2 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 50
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Dla wszystkich przeprowadzonych pomiarów określane są macierze wartości funkcji bazowych, odpowiednio H 1 , dla pomiarów niedokładnych i H 2 , dla pomiarów dokładnych
H 1
Macierze wartości funkcji bazowych
h 1
11 ...
..........
..........
..........
.....
h 1 t
1 j 1 ...
h i h i
11 t
1 j 1 ...
...
h n h n
11 t
1 j 1 ..........
..........
..........
......
h 1 t 1 m 1 h i t 1 m 1 ...
h n t
1 m 1
T
n
H 2
m 1
h 1 ..........
..........
..........
..........
........
h 1
21 t
2 j 2 .........
......
h i h i t
21
2 j 2 .......
.......
h n h n t
21
2 j 2
T ..........
..........
..........
..........
.........
h 1 t
m 2 ........
h i t
m 2 ........
h n t
m 2
m 2 Kazimierz Duzinkiewicz, dr hab. inż.
n Katedra Inżynierii Systemów Sterowania 51
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
e
1
Dla pierwszej kategorii pomiarów:
~ 1
~ 11 ,
, ~ 1 j 1 , ~ 1 m 1
e 11 ,
,
e 1 j 1 ,
, e
1 m 1
T T
0 0
m 1
~ 2
e
2
Dla drugiej kategorii pomiarów:
~ 21
e 21 ,
, ~ 2 ,
,
e 2 j 2 j 2 ,
,
, , ~ 2
e m 2 m 2
T T
0 0
m 2 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 52
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Równanie obserwacji będzie miało postać:
~ 1
2
H
H 1 2
e
1
0
lub
y
1
H 1
e
1 2
H 2
(1) (2) (3) Przyjmiemy z naturalnych powodów:
n
n
m 2 m 1
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 53
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Poszukujemy wektora wartości estymowanych nieznanych parametrów
1 ,
,
i ,
,
n
T
- wektor estymowanych wartości parametrów Zadanie poszukiwania tego wektora możemy sformułować: Znaleźć wektor
x
1 ,
, i ,
, n
T
, który minimalizuje sumę kwadratów błędów resztkowych (residuów) pomiarów niedokładnych
J
1 2 1 T W 1 1
1 2
~ 1
H 1
T W 1
~ 1
spełniając ograniczenia równościowe pomiarów dokładnych
H 1
2
H 2
0
(4) (5) Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 54
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Rozwiązanie postawionego zadania
nieoznaczonych mnożników Lagrange’a
Przedstawienie metody: estymacji
metodą
wprowadzamy wektor dodatkowych zmiennych nazywanych nieoznaczonymi mnożnikami Lagrange’a λ; wymiar wektora jest równy liczbie ograniczeń równościowych ograniczenia równościowe przemnożone przez wektor mnożników Lagrange’a włączone zostają jako składnik do rozszerzonej funkcji celu wartości optymalne oryginalnych zmiennych oraz mnożników Lagrange’a wyznaczane są drogą rozwiązania układu równań będących zapisem warunku koniecznego pierwszego rzędu minimum rozszerzonej funkcji celu Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 55
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Wektor nieoznaczonych mnożników Lagrange’a dla zagadnienia (4) – (5):
λ
1
,...,
j 2
,...,
m 2
T
(6) Rozszerzona funkcja celu zagadnienia (4) – (5):
J L ,
1 2
2 1
~ 1
1 T W 1 ~ 1 H 1
T W 1
~ 1 2 ~ 1 T W 1 H 1
H 1
λ
T
2
H 2
T
H 1 T W 1 H 1
λ
T
2
H 2
Warunki konieczne minimum rozszerzonej funkcji celu zagadnienia (4) – (5): (7)
x
J L
x
H 1 T W 1 ~ 1
H 1 T W 1 H 1
H T 2
λ
0
(8)
λ
J L
λ
λ
*
2
H 2
0
(9) Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 56
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Rozwiązujemy (8) względem
H T 1 W 1 ~ 1
H T 1 W 1 H 1
H T 2
λ
0
H 1 T W 1 H 1
1 H 1 T W 1 ~ 1
H 1 T W 1 H 1
1 H T 2
λ
Wynik (10) podstawiamy do (9)
2 2 2
H 2 H H 2 2
0
H H T 1 1 T W 1 W 1 H H 1 1
1 1 H H 1 T 1 T W 1 W 1 ~ 1 ~ 1
H
H T
1 H W 1 1 T H W 1 1
H 1
1
H
1 T 2 H
λ
T 2
λ 0
2
0
(10)
λ
H 2
H T 1 W 1 H 1
1 H T 2
1
y
2
H 2
H T 1 W 1 H 1
1 H T 1 W 1 1
(11) Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 57
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
λ
Wynik (11) podstawiamy do (10)
H 2
H T 1 W 1 H 1
1 H T 2
1
y
2
H 2
H T 1 W 1 H 1
1 H T 1 W 1
1
H T 1 W 1 H 1
1 H 1 T W 1 ~ 1
H T 1 W 1 H 1
1 H T 2
λ
H T 1 W 1 H 1
1 H T 1 W 1
y
1
H T 1 W 1 H 1
1 H T 2
H 2
H T 1 W 1 H 1
1 H T 2
1
y
2
H 2
H T 1 W 1 H 1
1 H 1 T W 1 1
Macierz zależna od pomiarów – macierz stała wartości funkcji bazowych (wejść) i wag Optymalne wartości nieznanych parametrów wyznaczone w oparciu o pomiary niedokładne (patrz (8) z poprzedniego wykładu) estymowane Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 58
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Możemy podać wynik rozwiązania zadania (4)-(5):
x
K
2
H 2
x
gdzie:
x
K
H
H T 1 T 1 W 1 W 1 H H 1 1
1
1 H H T 1 T 2 W 1
H
y
1 2
H T 1 W 1 H 1
1 H T 2
1
(12) (13) (14) K – macierz wzmocnień Optymalne wartości estymowane nieznanych parametrów wyznaczone w oparciu o pomiary niedokładne Wartości y mierzone dokładnie Predykcja wartości y z wykorzystaniem wartości estymowanych nieznanych parametrów wyznaczonych w oparciu o niedokładne pomiary Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 59
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Przykład 1: (nawiązanie do Przykład 1 z W9 oraz Przykład 5 w W10 (aproksymacja szeregu czasowego) Szereg czasowy y(t) Wykorzystanie miesięcy 31 pomiarów spośród 91 zebranych w okresie 6 Trzy przypadki:
~
1
Przypadek 1:
~
2
, ~
3
,..., ~
31
T
, ~
2
~
1
Czas (miesiące)
Przypadek 2:
y
1
~
3
, ~
4
,..., ~
31
T
,
y
2
~
1
, ~
2
T
~
1
Przypadek 3:
~
4
, ~
5
,..., ~
31
T
, ~
2
~
1
, ~
2
, ~
3
T
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 60
Modelowanie i podstawy identyfikacji 2014/2015 Zestawienie wyników estymacji: Przypadek 1 2 3
x
Identyfikacja – metoda najmniejszych kwadratów (1.0261, 0.8766, 1.9869) (1.0233, 0.8789, 1.9840) (1.0192, 0.8820, 1.9793) (1.0406, 0.8629, 2.0000) (0.9039, 1.0901, 2.0000) (0.9970, 1.0030, 2.0000)
x
1 , 1 , 2
Zastosowanie metody najmniejszych kwadratów z ograniczeniami może poprawić jakość estymacji
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 61
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
Dodatek A Przypomnienie z rachunku różniczkowego oraz podanie wybranych faktów z teorii optymalizacji
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 62
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
Mamy funkcjonał:
F : R n
R F
Rozwinięcie funkcjonału F w szereg Taylor’a w otoczeniu punktu x* ma postać:
F
x
x 1 F
x
x
*
x 1
x 1
x 2 F
x
x
*
x 2
x 2
x n F
x
x
*
x n
x n
1 2
2 x 1 2 F
x
x
x 1
x 1
2
1 2
2
x 1
x 2 F
x
x
x 1
x 1
x 2
x 2
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 63
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
W najprostszym przypadku:
F : R
R
Rozwinięcie funkcjonału F w szereg Taylor’a w otoczeniu punktu x* ma postać:
F
F x
d dx F
1 2 d
2
dx
2
F
x
x
*
x
x
x
x
x
x
2
1 n !
d
n
dx
n
F
x
x
x
x
n
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 64
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
Przykład 1 - skalarny:
F
e
x
Rozwinięcie w szereg Taylor’a w otoczeniu
x
0
:
F
e
x
Aproksymacja
e
0
1 e
0
x
0
1 2 e
0
x
0
2
1 e
0
x 6
0
3 F
F
1
x
1 2 x
2
1 6 x
3
skończoną liczbą wyrazów szeregu Taylor’a:
F F F
F
0
F
1
F
2
1
1
x
1
x
1 2 x
2
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 65
Modelowanie i podstawy identyfikacji 2014/2015
Ilustracja graficzna:
6
F
5 Identyfikacja – metoda najmniejszych kwadratów 1 4 3
F 2
2
F 1 F 0
0 -2 -1 0 1 2 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 66
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
Przykład 2 – skalarny:
F
cos
Rozwinięcie w szereg Taylor’a w otoczeniu
x
0
F
cos
Aproksymacja
cos
sin x
0
1 cos 2 x
0
2
1 6 sin x
0
3
F
1
1 x
2
1 x
4
2 24
F F
skończoną liczbą wyrazów szeregu Taylor’a:
F 0
1 F F
F 2 F 4
1
1
1
2 1 2 x 2 x 2
1 24 x 4
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 67
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
Ilustracja graficzna:
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 68
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
Jeżeli przyjąć oznaczenia:
F
x 1 x i
x n
F F F
2 F
hessian funkcjonału jakobian - gradient funkcjonału
Warto pamiętać, że: Kierunek gradientu w punkcie x pokrywa się z kierunkiem normalnej do powierzchni stałej wartości funkcjonału przechodzącej przez punkt x.
Zwrot gradientu w punkcie x odpowiada zwrotowi najszybszego wzrostu wartości funkcjonału w otoczeniu punktu x.
2 F x 1 2
2 F x i
x 1
2 F x n
x 1
2 x 1
x i
2 F x i 2
2 F F x n
x i
2 x 1
F x n
2 x i
2 x n 2 x n
F F
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 69
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
Postać macierzowa szeregu Taylor’a:
F
F
F
T
1 2
x
x
T
2
F
x
x
*
x
x
x
x
*
x
x
Pierwsza pochodna (nachylenie) funkcjonału
F
- i-ty element gradientu
F
x
i
Druga pochodna (krzywizna) funkcjonału
F
wzdłuż osi wzdłuż osi
x
i
:
x
i
:
2
F
x
i 2
- (i,i)-ty element hessianu Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 70
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Pierwsza pochodna (nachylenie) funkcjonału
F
p
F
p
T
F
p
wzdłuż wektora
p
:
Druga pochodna (krzywizna) funkcjonału
F
2
p
F
p
T
2
F
p
2
p
wzdłuż wektora
p
:
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 71
Modelowanie i podstawy identyfikacji 2014/2015
Przykład 3:
F
x 1 2
2 x 1 x 2
2 x 2 2
Identyfikacja – metoda najmniejszych kwadratów 10 5 0 2 20
F
15 1
x 2
0 -1 -2 -2 -1 0 1
x
0 .
5 0
p
1 1
2 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 72
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
F
Ilustracja graficzna:
x
x
x 1
x 2 F F
Pochodne kierunkowe:
x
x
p
T
F
p
1
1
1
1
1 1
2
0
2 2 x 1 x 1
2 4 x x 2 2
x
x
1 1
Pochodne kierunkowe: 2 1 0
x 2
1.4
F
F T
F
1 1
1 1
2
2
1 .
4
-1 -2 -2 -1 0
x 1
1
1.3
1.0
0.5
0.0
2 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 73
Modelowanie i podstawy identyfikacji 2014/2015
Przykład 4:
F
x 1 2
2 x 2 2
Identyfikacja – metoda najmniejszych kwadratów
x
0 0 .
5 .
5
p
2 1
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 74
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Ilustracja graficzna:
F
x
x
x
x 1 2 F F
x
x
Pochodne kierunkowe:
2 4 x x 2 1
x
x
2 1
p
T
F
p
2
1
2
1
1 2
5
0
2.
4
F
T
F
F
1
2 1 2
1 2
5
5
2 .
4
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 75
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność
Minimum globalne:
Punkt
x
jest unikatowym minimum globalnym funkcjonału jeżeli zachodzi
F
x
Δ
x
dla wszystkich
Δ
x
F
0
,
Minimum silne (lokalne):
Punkt
x
jest minimum silnym (lokalnym) funkcjonału jeżeli istnieje skalar dla wszystkich
Δ
x
0
, taki, że zachodzi takich, że
0
x
F
x
F
F
x x
,
Δ
x
Minimum słabe (lokalne):
Punkt nie jest minimum silnym ,
F
x
jest minimum słabym (lokalnym) funkcjonału
x
Δ
x
a istnieje skalar dla wszystkich
Δ
x
0
, takich, że
0
F
x
, jeżeli taki, że zachodzi
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 76
Modelowanie i podstawy identyfikacji 2014/2015
Przykład 5:
F
Identyfikacja – metoda najmniejszych kwadratów Optymalność
3 x 4
7 x 2
1 2 x
6
Minima lokalne silne 8
x
1 .
1 x
1 .
1
6 Maksimum silne Minimum globalne
x
1 .
1
4 Maksimum lokalne silne
x
0
2 0 -2 Minimum silne -1 0 Minimum globalne 1 2 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 77
0.5
Modelowanie i podstawy identyfikacji 2014/2015 2 1.5
Przykład 6 - wektorowy:
F x 2
x 1
4
8 x 1 x 2
Identyfikacja – metoda najmniejszych kwadratów Optymalność
x 1
x 2
3
Minima lokalne silne
0 0 .
42 .
42
;
0 .
55 0 .
55
Minimum globalne
0 .
55 0 .
55
1 12 Minimum silne 8 -0.5
0
x
2
-1 -1.5
4 Punkt siodłowy 0 2 1 2 -2 -2 -1.5
-1 -0.5
x
1
0 0.5
1 1.5
2 -1 0 1 -2 -2
0 0 .
13 .
13
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 78
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
Przykład 7 - wektorowy:
F
x 2 1
x 2
11 2
x 1
x 2 2 x : F
Optymalność
7
2
Minima lokalne silne
3 .
7792
3 .
2831
;
3 2 .
8051 .
1313
;
3 1 .
5843 .
8483
: 0 .
0054 0 .
0085 0 .
0011
Minimum globalne
x :
3 2
F : 0
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 79
2 Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność
Przykład 8 - wektorowy:
F
x 1 2
1 .
5 x 1 x 2
2 x 2 2
x 1 2
1 8 0
x
2
6 4 Minimum słabe 2 - 1 0 2 - 2 - 2 - 1
x
1
0 1 2 1
x
2
0 -1 Minimum lokalne słabe wzdłuż prostej x 1 = 0 Kazimierz Duzinkiewicz, dr hab. inż.
-2 -2 Katedra Inżynierii Systemów Sterowania -1 0
x
1
1 80 2
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność
Warunki konieczne minimum
Rozwinięcie
x
x
Δ
x
F
w szereg Taylor’a w otoczeniu
x
, takiego, że
F
F
x
x
1 2
x
T
2 F
F
T
x
x
*
x x
x
*
x
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 81
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność
Warunki konieczne minimum
Warunek pierwszego rzędu: Jeżeli x * jest punktem lokalnego minimum i F jest różniczkowalne w sposób ciągły w otwartym otoczeniu x * , wówczas
F
x
x
*
0
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 82
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność Warunek drugiego rzędu: Jeżeli x * jest punktem lokalnego minimum i otwartym otoczeniu x * , wówczas 2 F jest ciągłe w pewnym
F
x
x
*
0
x
T
2 F
T
x
x
*
x
0
dla dowolnych
Δ
x
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 83
Modelowanie i podstawy identyfikacji 2014/2015
Przykład 9:
Identyfikacja – metoda najmniejszych kwadratów Optymalność
F
x 1 4
Warunek punkt stacjonarnego
x 2 2
Punkt stacjonarny - jedyny
F
4 2 x 1 3 x 2
x
0
0
Sprawdzenie warunków rzędu drugiego
2 F
2
F 2
x 1 2 F
x 2
x 1
2 F
x 1
x 2 2 F
x 2 2
x
0
12 0 x 1 2 0 2
x
0
0 0 0 2
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 84
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność
Δ
x
T
2 F
0
x
0
Δ
x
2
x 2
x
x 1 2
x 1
x 2
0 0
2
0 0 2
x
x 1 2
Punkt x * =0 spełnia warunki konieczne pierwszego i drugiego rzędu dla minimum Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 85
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność
Warunki określoności macierzy hessianu można badać przez sprawdzenie wartości własnych tej macierzy Macierz hessianu jest dodatnio określona, jeżeli wszystkie jej wartości własne są dodatnie Macierz hessianu jest dodatnio półokreślona, jeżeli wszystkie jej wartości własne są nieujemne
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 86
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność
Przykład 10:
F
x 1 2
2 x 1 x 2
2 x 2 2
x 1
Warunek punkt stacjonarnego
F
2 x 1 2
x 1 2
x 2 4
x 2 1
0 0
Punkt stacjonarny - jedyny
x
0 .
5 1
Sprawdzenie warunków rzędu drugiego
2 F
2
F 2
x 1 F 2
x 2
x 1
2 F
x 1 2 F
x 2
x 2 2
x
x
2 2 2 4
x
x
2 2 2 4
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 87
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność Pozyskanie informacji o określoności macierzy hessianu
Δ
x
T
2 F
x
0
Δ
x
x 1
x 2
2 2 2 4
2
x 1
2
x 2
2
2
x 1 2 x 1
4 2
x 2
x 1 2
x 1
x 1
x 2
4
2
x 4
x 2
x 1 2 2
x 1
x 2 4
x 2
x 2
x 1
x 2
Nie można stwierdzić czy macierz hessianu jest dodatnio określona lub dodatnio półokreślona Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 88
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność Wartości własne hessianu
2 F
I
2
6
4
0
2
2 4 2
2
4
4 Δ
36
16
20
Δ
20
4 .
47
1
6
4 .
47 2
1 .
53 2
0 .
765
2
6
4 .
47 2
10 .
47 2
5 .
235
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 89
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność
1
0 .
765
0
2
5 .
235
0
Minimum silne w
x
0 .
1 5
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 90
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność
Warunki wystarczające minimum
Warunek drugiego rzędu: Jeżeli dla pewnego x F(x * ) = 0 i lokalnym * , 2 F jest ciągłe w pewnym otwartym jego otoczeniu i 2 F(x * ) jest dodatnio określona, wówczas x * jest silnym minimum
Warunek globalnego minimum
Jeżeli F jest funkcją wypukłą (a nawet tylko pseudowypukłą), wówczas każde minimum lokalne jest minimum globalnym. Jeżeli dodatkowo F jest różniczkowalna, wówczas każdy punkt stacjonarny jest globalnym minimum Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 91
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów
Forma kwadratowa
F (
x
)
1
x
T
Ax
d
T
x
c 2
gdzie: A - macierz symetryczna; (jeżeli macierz A nie jest symetryczna, to może być zastąpiona przez macierz symetryczną dającą te same wartości F(x) - to samo przekształcenie F(x)) Pożyteczne właściwości gradientu:
h
gdzie
x
T
Q x
Q x
Q
T
x
2
Q x h
jest stałym wektorem dla symetrycznych
Q
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 92
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Forma kwadratowa
Gradient formy kwadratowej
F
Ax
d
Hessian formy kwadratowej
2 F
A
Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 93
Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Forma kwadratowa
Słuszne są twierdzenia:
Jeżeli wartości własne hessianu są wszystkie dodatnie – forma posiada pojedyncze silne minimum Jeżeli wartości własne hessianu są wszystkie ujemne – forma posiada pojedyncze silne maksimum Jeżeli pewne wartości własne hessianu są dodatnie, a inne ujemne – forma posiada pojedynczy punkt siodłowy Jeżeli wszystkie wartości własne hessianu są nieujemne, ale niektóre są równe zeru – forma albo posiada słabe minimum albo nie ma punktu stacjonarnego Jeżeli wszystkie wartości własne hessianu są niedodatnie, ale niektóre są równe zeru – forma albo posiada słabe maksimum albo nie ma punktu stacjonarnego Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania 94