Identyfikacja - metoda najmniejszych kwadratów

Download Report

Transcript Identyfikacja - metoda najmniejszych kwadratów

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

Identyfikacja - metoda najmniejszych kwadratów

Typowa forma zadania estymacji parametrów  Dany jest system dynamiczny, dla którego proponowany jest model matematyczny oparty na doświadczeniu proponującego i który: ▪ zgodny jest ze wszystkimi znanymi prawami rządzącymi zachowaniem się systemu, ▪ pozwala wykorzystać dostępne w systemie pomiary dla porównania zachowania się modelu i systemu ▪ jego struktura spełnia wymagania pozwalające uzyskać pożądaną dokładność  ale zawiera szereg niezbyt dobrze znanych parametrów Należy określić „najlepsze” estymaty wszystkich nieznanych dobrze parametrów tak, aby model matematyczny zapewniał „optymalną estymatę” zachowania systemu  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 1

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Każda metoda rozwiązująca zadanie o podanej strukturze – realizacja procesu estymacji Zadania estymacji: bardzo łatwe  ...... nierozwiązywalne

Podstawa wielu procesów estymacji – metoda najmniejszych kwadratów

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 2

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów W procesie estymacji z każdą włączoną w ten proces zmienną/wielkością związane są trzy wartości:

x

- wartość prawdziwa (rzeczywista) zmiennej

x~ x

 - wartość mierzona zmiennej - wartość estymowana zmiennej

x

Co można powiedzieć o tych wartościach?

- wartość praktycznie nieznana

x~

- wartość uzyskiwana z czujnika lub z innego pomiaru, nigdy nierówna wartości prawdziwej, obarczona błędem pomiaru

x

 - wartość zmiennej uzyskiwana jako wynik procesu estymacji W zadaniu estymacji zmienne x – parametry modelu  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 3

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Dwa błędy: 1. Błąd pomiaru (measurement error)

x~

x

e~

błąd pomiaru wartość mierzona wartość prawdziwa 2. Błąd resztkowy (residual error)

x~

x

e

 błąd resztkowy – residuum)

e

wartość mierzona wartość estymowana

 

x

x

Co można powiedzieć o tych błędach:

e~ e

 - wartość praktycznie nigdy nieznana; mechanizm generujący ten błąd zwykle jest aproksymowany przez pewien znany proces (np.

szum gaussowski o zerowej wartości średniej i znanej wariancji σ 2 ; - wartość znana w momencie wyznaczenia wartości estymowanej  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 4

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

Przykład 1 (aproksymacja szeregu czasowego):

Rysunek – wyniki pomiaru pewnego procesu w czasie System bez zewnętrznego wejścia – szereg czasowy Szereg czasowy y(t)

Czas (miesiące)

 Możliwa interpretacja – historia notowań na giełdzie pewnej firmy w okresie 6 miesięcy Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 5

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Zadanie – zbudować model y(t) do predykcji perspektyw firmy Dane: Pomiary

y

(np. notowań zamknięcia giełdy), oznaczone dane dla przedziału 6 miesięcy

y~

Wymagania: Wartość bezwzględna błędów resztkowych (residuów) |μ| nie większa niż 0.0075: Odchylenie standardowe błędów resztkowych (residuów) σ nie większa od 0.125

Średnia z próby:  

1 m i m

 

1

y~

Wariancja z próby:  m – liczba próbek, liczba pomiarów 

2

1 m

1 i m

 

1

  Kazimierz Duzinkiewicz, dr hab. inż.

t i

y t i

  

2

Katedra Inżynierii Systemów Sterowania 6

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Proponowane modele:

Model 1 : y 1

  

Model 2 : y 2

c 1 t d 1

t

 

c 2 sin 2

  

c 3 d 2 t 2 cos

d 3 t 3 t

- czas [miesiące – m]

c 1 d 1 , c , d 2 2 , c , d 3 3

- stałe współczynniki – parametry Modelu 1 - stałe współczynniki – parametry Modelu 2 Ocena: Jak dobrze każdy z proponowanych modeli z „optymalnymi” wartościami współczynników c i oraz d i dokonuje predykcji pomiarów?

W statystyce: proces „wpasowywania” krzywej takiej jak np. Model 1 lub Model 2 w posiadane pomiary - regresja  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 7

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Załóżmy, że znamy

metodę najmniejszych kwadratów

zastosowaliśmy algorytm tej metody do wyznaczenia „optymalnych” wartości współczynników c i Modelu 1 oraz d i Modelu 2 i „Optymalne” wartości współczynników c i Modelu 1

1 ,

2 ,

3 0 .

9967 , 0 .

9556 , 2 .

0030

T

„Optymalne” wartości współczynników d i 

d

1 , d

2 , d

3

T

 

0 .

6721 ,

 Modelu 2

0 .

1303 , 2 .

0210

T

Modele z współczynników 

Model Model 1 2 : : y 1

y 2

      „optymalnymi”

0 .

9967 0 .

6721 t

t

 

0 .

2 9556

  wartościami

sin 0 .

1303 t 2

 

2 .

0030 cos 2 .

0210 t 3

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 8

Modelowanie i podstawy identyfikacji 2014/2015 Porównanie modeli:

Model 1

Identyfikacja – metoda najmniejszych kwadratów

Model

y 1

 

1

: 0 .

9967 t

0 .

9556 sin

2 .

0030 cos

 

Model 2 Czas (miesiące)

Model

y 2 2 :

0 .

6721

t

2

 

0 .

1303 t 2

2 .

0210 t 3

 Kazimierz Duzinkiewicz, dr hab. inż.

Czas (miesiące)

Katedra Inżynierii Systemów Sterowania 9

Modelowanie i podstawy identyfikacji 2014/2015 Porównanie modeli:

Model 1

Identyfikacja – metoda najmniejszych kwadratów

Model

y 1

 

1

: 0 .

9967 t

0 .

9556 sin

2 .

0030 cos

 

Model 2 Czas (miesiące)

Model

y 2 2 :

0 .

6721

t

2

 

0 .

1303 t 2

2 .

0210 t 3

 Kazimierz Duzinkiewicz, dr hab. inż.

Czas (miesiące)

Katedra Inżynierii Systemów Sterowania 10

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Porównanie modeli: Średnia z próby błędów resztkowych (residuów):

Model 1 :

1 Model 2 :

2

1

10

5

1

10

5

Odchylenie standardowe z próby błędów resztkowych (residuów):

Model 1 Model 2 : :

1

2

0 .

0921

1 .

3685

Konkluzja: Nie mając podstaw przypuszczać istnienia systematycznych błędów w pomiarach stwierdzamy, że Model 1 może być używany do dokładnej oceny zachowania y(t)  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 11

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Jaka będzie jakość predykcji y(t) poza przedziałem 0-6m?: 

Pomiary Najlepsze dopasowanie Przedział interpolacji Przedział ekstrapolacji

 Kazimierz Duzinkiewicz, dr hab. inż.

Czas (miesiące)

Katedra Inżynierii Systemów Sterowania 12

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Kuchnia naszego zadania: Pomiary generowane zgodnie z równaniem

~ 1

1

t

1

sin

2

cos

4

10

5

e t

~ 1

Symulacja błędu pomiaru: generator szumu gaussowskiego o zerowej wartości średniej i odchyleniu standardowym σ = 0.1

Propozycja strukturalnie poprawnego modelu:

Model 3 : y 3

x 1 t

x 2 sin

x 3 cos

x 4 e t

„Optymalne” wartości współczynników x i

1 , 2 , 3 ,

4

T

0 .

9958 , 0 .

9979 ,

Modelu 3

2 .

0117 ,

4 .

232

10

5 T

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 13

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Model strukturalnie poprawny – różnice wartości prawdziwych i wartości estymowanych parametrów Prawdziwe wartości współczynników x i Modelu 3

x 1 , x 2 , x 3 , x 4

T

1 .

0 , 1 .

0 , 2 .

0 ,

4 .

0

10

5

T

Estymowane „optymalnie” wartości współczynników x i Modelu 3 (dane z okresu 0-6m)

1 , 2 , 3 ,

4

T

0 .

9958 , 0 .

9979 , 2 .

0117 ,

4 .

232

10

5 T

Jedyna przyczyna – błędy pomiarów  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 14

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Jaka będzie jakość predykcji y(t) z wykorzystaniem strukturalnie poprawnego modelu z wartościami parametrów estymowanymi w oparciu o dane z okresu 0-6m?

Pomiary Najlepsze dopasowanie Przedział interpolacji Przedział ekstrapolacji

 Kazimierz Duzinkiewicz, dr hab. inż.

Czas (miesiące)

Katedra Inżynierii Systemów Sterowania 15

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Wnioski z Przykładu 1  ogromne znaczenie w praktyce estymacji poprawnego strukturalnie modelu matematycznego systemu  zaproponowanie strukturalnie poprawnego modelu jest zadaniem trudnym dla nie – specjalisty z dziedziny aplikacji  pominięte elementy modelu oraz błędy estymacji parametrów modelu mogą prowadzić do błędnych wyników uzyskiwanych z modelu, szczególnie poza obszarami objętymi pomiarami Teoria estymacji może być rozwijana bez zwracania uwagi na konkretne systemy dynamiczne, ale udane zastosowania teorii estymacji prawie zawsze oparte są na łącznym zrozumieniu teorii estymacji i zasad rządzących zachowaniem się rozważanego systemu  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 16

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

Metoda najmniejszych kwadratów - jednokrotna estymacja liniowa – (linear batch estimation)

Dane: Pomiary 

y~ 1 , t 1 ; y~ 2 , t 2 ;

; y~ j , t j ;

; y~ m , t m

 (1) Proponowany model: Liniowy względem parametrów

h 1 y

i n

1 x i h i ,

, h i

 

,

, h n

  

- określony zbiór niezależnych

funkcji bazowych

(2) (3) Parametry nieznane Założenie:  Kazimierz Duzinkiewicz, dr hab. inż.

x i ; i

1 , n m

n

Katedra Inżynierii Systemów Sterowania 17

Modelowanie i podstawy identyfikacji 2014/2015 Poszukiwanie: Estymaty

x i ; i

1 , n

Identyfikacja – metoda najmniejszych kwadratów nieznanych parametrów

x i ; i

1 , n

Kryterium jakości doboru wartości estymowanych parametrów – jak dobrze proponowany model dokonuje predykcji pomiarów Argument kryterium – błędy resztkowe (residua)

j

y~ j

j , j

1 , m

Liczba błędów resztkowych – liczba pomiarów Pamiętać należy też: błąd pomiędzy wartością prawdziwą a wartością estymowaną – powody: - błąd pomiaru - niepoprawny wybór wartości parametrów x i , i=1, ..., n - niepoprawna struktura modelu – błąd modelowania  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 18

Modelowanie i podstawy identyfikacji 2014/2015 Zależności: Identyfikacja – metoda najmniejszych kwadratów 

y j j

 

t

 

j

 

y

 

j

i n

 

1 x i h i t

 

j

~ j , i n

 

1

x i h i

 

, j j j

1 , m

1 , m

gdzie

e~ j , j

1 , m

- model pomiaru (4) (5) - błędy pomiaru: zakładamy na razie, że ich mechanizm nie jest znany i może mieć charakter przypadkowy lub deterministyczny Przyjmujemy

y~ j

j

j

i n

 

1

i h i t

 

j

j , j

1 , m

(6) gdzie 

j

y~ j

j , j

1 , m

- błędy resztkowe  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 19

Modelowanie i podstawy identyfikacji 2014/2015 Zależności w zwartej postaci 

H

x

 Identyfikacja – metoda najmniejszych kwadratów (4a)

x

 

x 1 , x 2 ,

, x i ,

, x n

T

  

1 ,

2 ,

,

i ,

,

n

T

  

y~ 1 , y~ 2 ,

, y~ j ,

, y~ m T

1 , 2 ,

, j ,

, m T

e~ 1 , e~ 2 ,

, e~ j ,

, e~ m T

- wektor prawdziwych wartości parametrów - wektor estymowanych wartości parametrów - wektor wartości mierzonych y - wektor wartości estymowanych y - wektor błędów pomiarów  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 20

Modelowanie i podstawy identyfikacji 2014/2015 Zależności w zwartej postaci –c.d.: Identyfikacja – metoda najmniejszych kwadratów 

H

x

e

 (6a)  

y~ 1 , y~ 2 ,

, y~ j ,

, y~ m T

 - wektor wartości mierzonych y     

1 ,

1 ,

2 ,

,

i

2 ,

, j ,

,

n

T ,

,

m T

 - wektor estymowanych wartości parametrów - wektor błędów resztkowych (residuów)

H

        

h h ..........

h ..........

h 1 1 1 1

   

h 2 h 2 h 2 h 2

       

..........

t ..........

j ..........

...

h i ..........

h i t j ...

...

...

h n h n

   

..........

h n ..........

...

.....

h n t j .....

 

       

T

Macierz obserwacji

Równania (4a) oraz (6a) – równania obserwacji  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 21

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Przykład 2: rozpuszczalność azotanu sodu w zależności od temperatury Funkcje bazowe: Pomiar j Temperatura u j Rozpuszczalność y j 

h 0

  

1 , h 1

  

u

 1 0 66,7 Wektor wartości mierzonych y: 2 3 4 10 4 5 15 21 6 7 8 9 29 36 51 68  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 22

Modelowanie i podstawy identyfikacji 2014/2015

H 1

          

1 1 1 1 1 1 1 1

Wektor błędów pomiaru:

e~ 1

                   

e~ 2 e~ e~ 4 e~ e~ 6 e~ e~ 8 3 5 7 e~ 9 0 4 10 15 21 29 36 51

         

68

Równania obserwacji: Wektor błędów resztkowych:            

1 e e

 

2 3 e 4 e e

e

7 5 6 e

8 e

9

          Identyfikacja – metoda najmniejszych kwadratów 

H

b

66 .

7

         

71 76 80 85 92 99 .

.

.

.

.

.

0 3 6 7 9 4 113 .

6

         

125 .

1 66 .

7

         

71 76 80 85 92 99 .

.

.

.

.

.

0 3 6 7 9 4 113 .

6

         

125 .

1

          

1 1 1 1 1 1 1 1

          

1 1 1 1 1 1 1 1 1 H

b

0 4 10 15 21 29 36 51

           

b 0 b 1 68

e~ 1

            

e~ 2 e~ 3 e~ 4 e~ 5 e~ 6 e~ 7 e~ 8 e~ 9

         

1 0 4 10 15 21 29 36 51

         

68

b

b 1 0

            

7 e e

8 9 e e

  

1 2 e 3 e

 

4 e e

5 6

           Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 23

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

Metoda najmniejszych kwadratów – przypadek liniowy

Metoda najmniejszych kwadratów Gauss’a proponuje jako optymalny wybór dla wartości nieznanych parametrów, wartość 

x

x

1

,

x

2

,

,

x

i

,

,

x

n

T

który minimalizuje sumę kwadratów błędów resztkowych (residuów)

J

1

e

T

e

2

z (6a) 

H

x

e

  

H J

2 1

H

H

1 2

T

2 T H

T H T H

x

  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 24

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

J

Przykład 2: c.d.

1 2

 

H

b

T

  

H

b

 

2 ~ T

 

66 .

7 71 .

0 76 .

3 80 .

6 T 85 .

7

2 92 .

9 T H

b

 

b

T H T 99 .

4 113 .

6 H

b

125 .

1

          

66 .

7 71 .

0 76 .

3 80 .

6 85 .

7 92 .

9 99 .

4 113 .

6

          

76218 .

17 125 .

1

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 25

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

2 T H

b

2

66 .

7

2

811 .

3 71 .

0 76 .

3 80 .

6 85 .

7 92 .

9 99 .

4 113 .

6 125 .

1

              

1 1 1 1 1 1 1 1 1 24628 .

6

    

b

b 1 0

   

2

811 .

3

b 0

24628 .

6

b 1

 

1622 .

6

b 0

49257 .

2

b 1 0 4 10 15 21 29 36 51 68

                

b

 

b 1 0

    Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 26

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów 

b

T H T H

b

  

b 0

b 1

  

0 1 1 4 1 10 1 15 1 21

  

b 0

9

b 0 2

 

b 1

  

234 9 234

b 0

b 1

234 10144 234 b

0

    

b 1 b

 

b 1 0

  

9

b 0

10144

b 1 2 234 b

1 1 29 1 36 1 51 1 1 68

           

1 1 1 1 1 1 1 0 4 10 15 21 29 36 51

         

234

b 0 1

10144

b 1

68

b

b 1 0 b

 

b 1 0 J

76218 .

17

1622 .

6

b 0

49257 .

2

b 1

9

b 0 2

234

b

0 b 1

234

b 0

b 1

10144

b 1 2

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 27

Modelowanie i podstawy identyfikacji 2014/2015 Co możemy powiedzieć o

J

 

: Identyfikacja – metoda najmniejszych kwadratów

J

1 2

 

H

H

 

1 2

 1. Możemy napisać -

J

 

J : R n

R T

2 T H

T H T H

x

 - J jest funkcjonałem Metoda najmniejszych kwadratów  zadanie minimalizacji funkcjonału bez ograniczeń; zadanie minimalizacji bez ograniczeń Dla danego w oparciu o równania obserwacji funkcjonału J(x) poszukujemy wartości x * dającej minimalną wartość tego funkcjonału  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 28

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów 2. Metoda najmniejszych kwadratów kwadratowej  Funkcja celu ma postać formy

J

1 2

H

H

1 2

T

2 T H

T H T H

x

Forma kwadratowa

F (

x

)

1

x

T

Ax

d

T

x

c 2

gdzie: A - macierz symetryczna  Kazimierz Duzinkiewicz, dr hab. inż.

A

H

T

H

d

T

 

~ T H c

1 2

Katedra Inżynierii Systemów Sterowania 29

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Przypomnienie z rachunku różniczkowego ?

Warunki konieczne i wystarczające, jakie musi spełnić punkt x, aby można było go uznać za dający minimalną wartość funkcjonału wyprowadzane są w oparciu o jego rozwinięcie Taylor’a w otoczeniu punktu x

Przypomnienie z rachunku różniczkowego oraz podanie wybranych faktów z teorii optymalizacji - Dodatek A

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 30

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

Warunki konieczne i wystarczające minimum metody najmniejszych kwadratów

J

1 2

 

H

H

 

2 1

T

2 T H

T H T H

x

Warunek konieczny pierwszego rzędu:

J

x

 

H T H

H T

0

(1)

Warunek konieczny drugiego rzędu:

x

T

2 J

 

T

x

 

x

 

T H T H

 

0

dla dowolnych

Δ H T H

dodatnio półokreślona (2)  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 31

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

Warunek wystarczający drugiego rzędu:

H T H

dodatnio określona (3)

Fakty:

 Macierz H T H jest zawsze dodatnio półokreślona (jako macierz symetryczna)  Macierz H T H jest dodatnio określona, jeżeli macierz H ma najwyższy rząd równy n  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 32

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Obliczanie wartości estymowanych nieznanych parametrów – układ równań normalnych wynikający z warunku koniecznego pierwszego rzędu

Układ równań normalnych

H T H

H T

(4) Jeżeli macierz H T H jest nieosobliwa - posiada macierz odwrotną - otrzymujemy jawne rozwiązanie optymalnej estymaty

H T H

 

1 H T

(5) 33  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

Fakty:

 Jawne rozwiązanie optymalnej estymaty wymaga nieosobliwości macierzy H T H  macierz H x i T H jest nieosobliwa jeżeli rząd macierzy H wynosi n, czyli liczba liniowo niezależnych równań obserwacji jest większa lub co najmniej równa liczbie poszukiwanych estymat Stąd warunek:  zbiór funkcji bazowych powinien być liniowo niezależny  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 34

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Przykład 3: Prawdziwe wartości parametrów

x

  

T

Proponowane zestawy funkcji bazowych

H 1 H 2

sin t

sin t 2 cos t

2 sin t

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 35

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Przykład 4: rozpuszczalność azotanu sodu w zależności od temperatury Rozwiązanie normalnego układu równań   

b

 

0 b 1

     

0 67 .

51 .

6706

 

67 .

51

0 .

6706 u

y  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 36

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Przykład 5: (estymacja parametrów prostego układu dynamicznego) System

x

 

ax

bu

Dyskretna reprezentacja systemu z przedziałem dyskretyzacji Δt

x

k

1

A

D

x

 

B

D

u

gdzie:

A D

e a

t B D

0

t

be at dt

b a

e a

t

1

 Zadanie: określić wartości stałych A D pomiarów dyskretnych

y~ k

oraz

u k

oraz B D  Kazimierz Duzinkiewicz, dr hab. inż.

wykorzystując zbiór Katedra Inżynierii Systemów Sterowania 37

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Jak została zaproponowana reprezentacja dyskretna systemu – powtórzenie dla tego przykładu z SD Poszukujemy odpowiedzi systemu na dowolne wymuszenie w przedziale czasu [t 0 , t) – patrz wykłady z Podstaw automatyki

x

   

a

x

  

b

u x

 

0

y 0

u(t) Obiekt x(t) Dla dowolnego wejścia u(t) określonego w przedziale [t 0 ,t] odpowiedź systemu

x

  

e a

t

t

0 

x

0  0

t

t e a

 

bu d

e a

t

t

0 

x

0 

e at t

0 

t e

a

bu d

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 38

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Przyjmując przedział dyskretyzacji T s możemy policzyć

x

 

s

x

 

k e a

kT s

t

0 

x

0 

e akT s

 1 

T s

 

e a

 

k

 1 

T s

t

0 

x

0

kT s

0

t e

a

bu d

 

e a

k

 1 

T s

k t

0  1 

T s

e a

bu

Przemnażamy pierwszą zależność przez

e aT s d

 i odejmujemy od drugiej

e aT s x

 

k x

 

s

 1 

T s

e a

 

k

 1 

T s

t

0 

x

0  

e aT s x

 

s

 

e a

k e a

k

 1 

T s

 1 

T s

k kT s

  1 

t

0

T s

e e a

 

a

bu bu kT s d

d

Ostatnia zależność po uporządkowaniu 

k x

 

k

 1 

T s

 

e aT s x

 

s

  1 

T s kT s

e a

 

k

 1 

T s

  

bu

 Kazimierz Duzinkiewicz, dr hab. inż.

d

 Katedra Inżynierii Systemów Sterowania 39

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Zmieniamy zmienną całkowania 

k

 1 

T s

Otrzymujemy   

t x

 

k

 1 

T s

 

e aT s x

 

s

T s

0

e at bu

Przyjmując stałość wejścia w przedziale próbkowania

dt x

 

k

 1 

T s

 

e aT s x

 

s

 0

T s e at b dt

u

 

s

A D B D  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 40

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Eksperyment pomiarowy: Na wejście układu w chwili k=1 podano impuls (Dirac’a) o intensywności 100 i następnie obserwowano wyjście przez 101 chwil czasowych z Δt=0.1

* Pomiary Najlepsze dopasowanie  Kazimierz Duzinkiewicz, dr hab. inż.

Czas (s) Katedra Inżynierii Systemów Sterowania 41

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Macierz wartości funkcji bazowych: Równanie obserwacji:  Kazimierz Duzinkiewicz, dr hab. inż.

H

         ~ ~   2 3

j

 1 101                    

y~ y~ y~

 

1 2 j y~ 100 H B u u u

 

1 2 j u 100

        

D D

             

e

e

e

 2 3

e

 

j

 1 101          Katedra Inżynierii Systemów Sterowania 42

Modelowanie i podstawy identyfikacji 2014/2015 Korzystając z (5):    

A

B D D

    

H T H

  1

H T

        

y y

  2 3

j

 1

y

101          Kuchnia naszego zadania: Identyfikacja – metoda najmniejszych kwadratów Otrzymamy:    

A

D B D

      0 .

9048 0 .

0950   Pomiary generowane były z wykorzystaniem następujących wartości prawdziwych  

A B D D

     0 0 .

.

9048 0952   Symulacja błędu pomiaru: generator szumu gaussowskiego o zerowej wartości średniej i odchyleniu standardowym σ = 0.08

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 43

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

Metoda ważonych najmniejszych kwadratów

Poprzednie podejście: jednakowe znaczenie wszystkich pomiarów Ważniejsze te pomiary, które wykonywane są z mniejszym błędem – dołączenie wag pomiarów do metody najmniejszych kwadratów Znaleźć wartości nieznanych parametrów 

x

  

x 1 ,

x 2 ,

,

x i ,

,

x n

minimalizujące

J

1 2

e

T W

e

 

T

gdzie  

H

x

W

- symetryczna macierz wag  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 44

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

Warunek konieczny pierwszego rzędu:

(6) 

J

x

 

H T W H

H T W

0

Warunek dostateczny drugiego rzędu:

2 J

 

T

x

x

H T W H

dodatnio określona (7) W dodatnio określona  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 45

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

Jawne rozwiązanie optymalnej estymaty

H T W H

 

1 H T W

(8) Przykład 5: (nawiązanie do Przykład 1 (aproksymacja szeregu czasowego) Szereg czasowy y(t) Wykorzystanie spośród 91 zebranych w okresie 6 miesięcy 31 pomiarów Powzięto informację, że mniejszym błędem niż pozostałe 3 pierwsze pomiary są obarczone Nie ma informacji o dokładności wartości par pomiarów

Czas (miesiące)

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 46

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Proponowana macierz wag:

W

diag

w , w , w , 1 ,

, 1

 Wykorzystujemy Model1:

Model 1 : y

1

 

c

1

t

c

2

sin

c

3

cos

t

- czas [miesiące – m]

c 1 , c 2 , c 3

- stałe współczynniki – parametry Modelu 1 Pierwsza estymacja:

w

1

31 pomiarów

1 ,

2 ,

3 1 .

0278 , 0 .

8750 , 1 .

9884

T

Wyniki gorsze niż przy wykorzystaniu dostępnych 91 pomiarów  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 47

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Zestawienie wyników estymacji:

w

1x10 0 1x10 1 1x10 2 1x10 5 1x10 7 1x10 10 1x10 15 (1.0278, 0.8750, 1.9884) (1.0388, 0.8675, 2.0018) (1.0258, 0.8923, 2.0049) (0.9047, 1.0949, 2.0000) (0.9060, 1.0943, 2.0000) (0.9932, 1.0068, 2.0000) (0.9970, 1.0030, 2.0000) Norma błędów resztkowych wymuszanych 3.21x10

-2 1.17x10

-2 7.87x10

-3 5.91x10

-5 1.10x10

-5 4.55x10

-7 0.97x10

-9

x

1 , 1 , 2

Zastosowanie ważonej metody najmniejszych kwadratów może poprawić jakość estymacji

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 48

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Poprzednie podejścia:  jednakowe znaczenie wszystkich pomiarów – wszystkie pomiary wykonywane z jednakową dokładnością (jednakowo wiarygodne)  różne znaczenie poszczególnych pomiarów – część pomiarów charakteryzuje się większą dokładnością (większą wiarygodnością) inne mniejszą dokładnością (mniejszą wiarygodnością Rozważymy jeszcze jedną możliwość:  część pomiarów jest dokładna (wykonywana z błędem pomijalnie małym w stosunku do innych pomiarów)  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 49

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Wszystkie obserwacje-pomiary o liczebności m podzielimy na dwie kategorie:  m 1 pomiarów-obserwacji wykonanych z ograniczoną dokładnością  m 2 pomiarów-obserwacji dokładnych m 1 + m 2 = m

~ 1

 

~ 11 ,

, ~ 1 j 1 ,

,

m 1

1 m 1

T

- wektor wartości y mierzonych z ograniczoną dokładnością Pomiary-obserwacje w obrębie tej kategorii mogą być zróżnicowane – wprowadzenie macierzy W 1

~ 2

 

y~ 21 ,

, y~ 2 j 2 ,

, y~ 2 m 2

T

- wektor wartości y mierzonych dokładnie m 2  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 50

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Dla wszystkich przeprowadzonych pomiarów określane są macierze wartości funkcji bazowych, odpowiednio H 1 , dla pomiarów niedokładnych i H 2 , dla pomiarów dokładnych

H 1

Macierze wartości funkcji bazowych     

h 1

 

11 ...

..........

..........

..........

.....

h 1 t

 

1 j 1 ...

h i h i

 

11 t

 

1 j 1 ...

...

h n h n

 

11 t

 

1 j 1 ..........

..........

..........

......

h 1 t 1 m 1 h i t 1 m 1 ...

h n t

 

1 m 1

    

T

n

H 2

m 1     

h 1 ..........

..........

..........

..........

........

h 1

 

21 t

 

2 j 2 .........

......

h i h i t

 

21

 

2 j 2 .......

.......

h n h n t

 

21

 

2 j 2

    

T ..........

..........

..........

..........

.........

h 1 t

 

m 2 ........

h i t

 

m 2 ........

h n t

 

m 2

m 2  Kazimierz Duzinkiewicz, dr hab. inż.

n Katedra Inżynierii Systemów Sterowania 51

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów 

e

1

Dla pierwszej kategorii pomiarów:

~ 1

 

~ 11 ,

, ~ 1 j 1 , ~ 1 m 1

  

e 11 ,

,

e 1 j 1 ,

, e

1 m 1

 

T T

 

0 0

m 1

~ 2

e

2

Dla drugiej kategorii pomiarów:   

~ 21

 

e 21 ,

, ~ 2 ,

,

e 2 j 2 j 2 ,

,

, , ~ 2

e m 2 m 2

 

T T

 

0 0

m 2  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 52

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Równanie obserwacji będzie miało postać:    

~ 1

2

        

H

H 1 2

        

e

1

  

0

  lub

y

1

H 1

e

1 2

H 2

(1) (2) (3) Przyjmiemy z naturalnych powodów:

n

n

m 2 m 1

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 53

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Poszukujemy wektora wartości estymowanych nieznanych parametrów 

1 ,

,

i ,

,

n

T

- wektor estymowanych wartości parametrów Zadanie poszukiwania tego wektora możemy sformułować: Znaleźć wektor 

x

1 ,

, i ,

, n

T

, który minimalizuje sumę kwadratów błędów resztkowych (residuów) pomiarów niedokładnych

J

  

1 2 1 T W 1 1

1 2

~ 1

H 1

T W 1

~ 1

 spełniając ograniczenia równościowe pomiarów dokładnych

H 1

2

H 2

0

(4) (5)  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 54

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Rozwiązanie postawionego zadania

nieoznaczonych mnożników Lagrange’a

Przedstawienie metody: estymacji

metodą

   wprowadzamy wektor dodatkowych zmiennych nazywanych nieoznaczonymi mnożnikami Lagrange’a λ; wymiar wektora jest równy liczbie ograniczeń równościowych ograniczenia równościowe przemnożone przez wektor mnożników Lagrange’a włączone zostają jako składnik do rozszerzonej funkcji celu wartości optymalne oryginalnych zmiennych oraz mnożników Lagrange’a wyznaczane są drogą rozwiązania układu równań będących zapisem warunku koniecznego pierwszego rzędu minimum rozszerzonej funkcji celu  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 55

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Wektor nieoznaczonych mnożników Lagrange’a dla zagadnienia (4) – (5):

λ

  

1

,...,

j 2

,...,

m 2

T

(6) Rozszerzona funkcja celu zagadnienia (4) – (5):

J L ,

1 2

2 1

~ 1

1 T W 1 ~ 1 H 1

T W 1

~ 1 2 ~ 1 T W 1 H 1

H 1

λ

T

2

H 2

T

H 1 T W 1 H 1

  

λ

T

2

H 2

Warunki konieczne minimum rozszerzonej funkcji celu zagadnienia (4) – (5): (7)

x

J L

x

 

H 1 T W 1 ~ 1

H 1 T W 1 H 1

H T 2

λ

0

(8) 

λ

J L

λ

λ

*

2

H 2

0

(9)  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 56

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Rozwiązujemy (8) względem 

H T 1 W 1 ~ 1

 

H T 1 W 1 H 1

 

H T 2

λ

0

H 1 T W 1 H 1

1 H 1 T W 1 ~ 1

H 1 T W 1 H 1

1 H T 2

λ

Wynik (10) podstawiamy do (9)

2 2 2

 

H 2 H H 2 2

0

 

H H T 1 1 T W 1 W 1 H H 1 1

 

 

1 1 H H 1 T 1 T W 1 W 1 ~ 1 ~ 1

 

H

H T

1 H W 1 1 T H W 1 1

H 1

1

H

1 T 2 H

λ

T 2

λ 0

2

0

(10)

λ

 

H 2

H T 1 W 1 H 1

 

1 H T 2

 

1

y

2

H 2

H T 1 W 1 H 1

 

1 H T 1 W 1 1

 (11)  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 57

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

λ

Wynik (11) podstawiamy do (10)  

H 2

H T 1 W 1 H 1

 

1 H T 2

 

1

y

2

H 2

H T 1 W 1 H 1

 

1 H T 1 W 1

1

H T 1 W 1 H 1

1 H 1 T W 1 ~ 1

H T 1 W 1 H 1

1 H T 2

λ

 

H T 1 W 1 H 1

 

1 H T 1 W 1

y

1

  

H T 1 W 1 H 1

 

1 H T 2

H 2

H T 1 W 1 H 1

 

1 H T 2

 

1

y

2

H 2

H T 1 W 1 H 1

 

1 H 1 T W 1 1

 Macierz zależna od pomiarów – macierz stała wartości funkcji bazowych (wejść) i wag Optymalne wartości nieznanych parametrów wyznaczone w oparciu o pomiary niedokładne (patrz (8) z poprzedniego wykładu) estymowane  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 58

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Możemy podać wynik rozwiązania zadania (4)-(5): 

x

K

2

H 2

x

gdzie:

x

K

  

H

H T 1 T 1 W 1 W 1 H H 1 1

 

1

 

1 H H T 1 T 2 W 1

H

y

1 2

H T 1 W 1 H 1

 

1 H T 2

 

1

(12) (13) (14) K – macierz wzmocnień Optymalne wartości estymowane nieznanych parametrów wyznaczone w oparciu o pomiary niedokładne Wartości y mierzone dokładnie Predykcja wartości y z wykorzystaniem wartości estymowanych nieznanych parametrów wyznaczonych w oparciu o niedokładne pomiary  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 59

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Przykład 1: (nawiązanie do Przykład 1 z W9 oraz Przykład 5 w W10 (aproksymacja szeregu czasowego) Szereg czasowy y(t) Wykorzystanie miesięcy 31 pomiarów spośród 91 zebranych w okresie 6 Trzy przypadki:

~

1

Przypadek 1: 

~

2

, ~

3

,..., ~

31

T

, ~

2

~

1

Czas (miesiące)

Przypadek 2:

y

1

~

3

, ~

4

,..., ~

31

T

,

y

2

~

1

, ~

2

T

~

1

Przypadek 3: 

~

4

, ~

5

,..., ~

31

T

, ~

2

~

1

, ~

2

, ~

3

T

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 60

Modelowanie i podstawy identyfikacji 2014/2015 Zestawienie wyników estymacji: Przypadek 1 2 3

x

Identyfikacja – metoda najmniejszych kwadratów (1.0261, 0.8766, 1.9869) (1.0233, 0.8789, 1.9840) (1.0192, 0.8820, 1.9793) (1.0406, 0.8629, 2.0000) (0.9039, 1.0901, 2.0000) (0.9970, 1.0030, 2.0000)

x

1 , 1 , 2

Zastosowanie metody najmniejszych kwadratów z ograniczeniami może poprawić jakość estymacji

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 61

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

Dodatek A Przypomnienie z rachunku różniczkowego oraz podanie wybranych faktów z teorii optymalizacji

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 62

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

Mamy funkcjonał:

F : R n

R F

Rozwinięcie funkcjonału F w szereg Taylor’a w otoczeniu punktu x* ma postać:

F

x

  

x 1 F

x

x

*

x 1

x 1

    

x 2 F

x

x

*

x 2

x 2

      

x n F

x

x

*

x n

x n

  

1 2

 

2 x 1 2 F

x

x

 

x 1

x 1

 

2

1 2

2

x 1

x 2 F

x

x

 

x 1

x 1

 

x 2

x 2

     Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 63

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

W najprostszym przypadku:

F : R

R

Rozwinięcie funkcjonału F w szereg Taylor’a w otoczeniu punktu x* ma postać:

F

F x

d dx F

1 2 d

2

dx

2

F

x

x

*

x

x

 

x

x

 

x

x

 

2

  

1 n !

d

n

dx

n

F

x

x

 

x

x

 

n

   Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 64

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

Przykład 1 - skalarny:

F

e

x

Rozwinięcie w szereg Taylor’a w otoczeniu

x

 

0

:

F

e

x

Aproksymacja

e

0

1 e

0

x

0

 

1 2 e

0

x

0

2

1 e

0

x 6

0

3 F

F

    

1

x

1 2 x

2

1 6 x

3

 

skończoną liczbą wyrazów szeregu Taylor’a:

 

F F F

F

0

F

1

F

2

1

1

x

1

x

1 2 x

2

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 65

Modelowanie i podstawy identyfikacji 2014/2015

Ilustracja graficzna:

6

F

5 Identyfikacja – metoda najmniejszych kwadratów 1 4 3

F 2

2

F 1 F 0

0 -2 -1 0 1 2  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 66

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

Przykład 2 – skalarny:

F

cos

 

Rozwinięcie w szereg Taylor’a w otoczeniu

x

 

0

F

cos

Aproksymacja

cos

sin x

0

1 cos 2 x

0

2

1 6 sin x

0

3

 

F

1

1 x

2

1 x

4

 

2 24

F F

 

skończoną liczbą wyrazów szeregu Taylor’a:

F 0

  

1 F F

 

F 2 F 4

1

1

1

2 1 2 x 2 x 2

1 24 x 4

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 67

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

Ilustracja graficzna:

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 68

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

Jeżeli przyjąć oznaczenia:

F

             

x 1 x i

 

x n

 

F F F

           

2 F

hessian funkcjonału jakobian - gradient funkcjonału

Warto pamiętać, że:  Kierunek gradientu w punkcie x pokrywa się z kierunkiem normalnej do powierzchni stałej wartości funkcjonału przechodzącej przez punkt x.

 Zwrot gradientu w punkcie x odpowiada zwrotowi najszybszego wzrostu wartości funkcjonału w otoczeniu punktu x.

               

2 F x 1 2

2 F x i

x 1

 

2 F x n

x 1

       

2 x 1

x i

   

2 F x i 2

2 F F x n

x i

       

2 x 1

F x n

 

2 x i

  

2 x n 2 x n

F F

               Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 69

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

Postać macierzowa szeregu Taylor’a:

F

F

 

F

 

T

1 2

x

x

 

T

2

F

x

x

*

x

x

 

x

x

*

x

x

    Pierwsza pochodna (nachylenie) funkcjonału 

F

  - i-ty element gradientu

F

x

i

Druga pochodna (krzywizna) funkcjonału

F

  wzdłuż osi wzdłuż osi

x

i

:

x

i

:

2

F

x

i 2

- (i,i)-ty element hessianu  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 70

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Pierwsza pochodna (nachylenie) funkcjonału

F

p

F

p

T

F

p

wzdłuż wektora

p

:

Druga pochodna (krzywizna) funkcjonału

F

2

p

F

p

T

2

F

p

2

p

wzdłuż wektora

p

:

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 71

Modelowanie i podstawy identyfikacji 2014/2015

Przykład 3:

F

x 1 2

2 x 1 x 2

2 x 2 2

Identyfikacja – metoda najmniejszych kwadratów 10 5 0 2 20

F

15 1

x 2

0 -1 -2 -2 -1 0 1

x

   

0 .

5 0

 

p

   

1 1

  2  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 72

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów 

F

Ilustracja graficzna: 

 

x

x

        

x 1

x 2 F F

   

     Pochodne kierunkowe:

x

x

p

T

F

p

 

1

1

   

1

1

  

1 1

  

2

0

  

2 2 x 1 x 1

 

2 4 x x 2 2

 

x

x

   

1 1

  Pochodne kierunkowe: 2 1 0

x 2

1.4

F

  

F T

  

F

  

1 1

   

1 1

  

2

2

1 .

4

-1 -2 -2 -1 0

x 1

1

1.3

1.0

0.5

0.0

2  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 73

Modelowanie i podstawy identyfikacji 2014/2015

Przykład 4:

F

x 1 2

2 x 2 2

Identyfikacja – metoda najmniejszych kwadratów

x

   

0 0 .

5 .

5

 

p

   

2 1

   Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 74

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów  Ilustracja graficzna:  

F

 

x

x

       

x

x 1 2 F F

        

x

x

 Pochodne kierunkowe:   

2 4 x x 2 1

 

x

x

   

2 1

 

p

T

F

p

 

2

1

  

2

1

   

1 2

  

5

0

2.

4

F

 

T

F

  

F

 

1

 

2 1 2

    

1 2

  

5

5

2 .

4

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 75

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność

Minimum globalne:

Punkt

x

 jest unikatowym minimum globalnym funkcjonału jeżeli zachodzi

F

  

x

Δ

x

dla wszystkich

Δ

x

F

0

,

Minimum silne (lokalne):

Punkt

x

 jest minimum silnym (lokalnym) funkcjonału jeżeli istnieje skalar dla wszystkich

Δ

x

 

0

, taki, że zachodzi takich, że

0

x

F

x

F

F

 

x x

,

Δ

x

Minimum słabe (lokalne):

Punkt nie jest minimum silnym ,

F

x

  

 jest minimum słabym (lokalnym) funkcjonału

x

Δ

x

a istnieje skalar dla wszystkich

Δ

x

0

, takich, że

0

F

 

x

, jeżeli taki, że zachodzi

  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 76

Modelowanie i podstawy identyfikacji 2014/2015

Przykład 5:

F

Identyfikacja – metoda najmniejszych kwadratów Optymalność

3 x 4

7 x 2

1 2 x

6

Minima lokalne silne 8

x

1 .

1 x

 

1 .

1

6 Maksimum silne Minimum globalne

x

1 .

1

4 Maksimum lokalne silne

x

0

2 0 -2 Minimum silne -1 0 Minimum globalne 1 2  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 77

0.5

Modelowanie i podstawy identyfikacji 2014/2015 2 1.5

Przykład 6 - wektorowy:

F x 2

x 1

4

8 x 1 x 2

 Identyfikacja – metoda najmniejszych kwadratów Optymalność

x 1

x 2

3

Minima lokalne silne  

0 0 .

42 .

42

 

;

  

0 .

55 0 .

55

  Minimum globalne   

0 .

55 0 .

55

  1 12 Minimum silne 8 -0.5

0

x

2

-1 -1.5

4 Punkt siodłowy 0 2 1 2 -2 -2 -1.5

-1 -0.5

x

1

0 0.5

1 1.5

2 -1 0 1 -2 -2  

0 0 .

13 .

13

   Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 78

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

Przykład 7 - wektorowy:

F

 

x 2 1

x 2

11 2

 

x 1

x 2 2 x : F

Optymalność 

7

2

Minima lokalne silne    

3 .

7792

3 .

2831

  ; 

3 2 .

8051 .

1313

 

;

  

3 1 .

5843 .

8483

 

: 0 .

0054 0 .

0085 0 .

0011

Minimum globalne

x :

 

3 2

 

F : 0

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 79

2 Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność

Przykład 8 - wektorowy:

F

x 1 2

1 .

5 x 1 x 2

2 x 2 2

x 1 2

1 8 0

x

2

6 4 Minimum słabe 2 - 1 0 2 - 2 - 2 - 1

x

1

0 1 2 1

x

2

0 -1 Minimum lokalne słabe wzdłuż prostej x 1 = 0  Kazimierz Duzinkiewicz, dr hab. inż.

-2 -2 Katedra Inżynierii Systemów Sterowania -1 0

x

1

1 80 2

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność

Warunki konieczne minimum

Rozwinięcie

x

x

Δ

x

F

w szereg Taylor’a w otoczeniu

x

 , takiego, że

F

F

x

  

x

1 2

x

T

2 F

 

F

 

T

x

x

*

x x

x

*

x

   Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 81

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność

Warunki konieczne minimum

Warunek pierwszego rzędu: Jeżeli x * jest punktem lokalnego minimum i F jest różniczkowalne w sposób ciągły w otwartym otoczeniu x * , wówczas 

F

x

x

*

0

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 82

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność Warunek drugiego rzędu: Jeżeli x * jest punktem lokalnego minimum i otwartym otoczeniu x * , wówczas  2 F jest ciągłe w pewnym 

F

x

x

*

0

x

T

2 F

 

T

x

x

*

x

0

dla dowolnych

Δ

x

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 83

Modelowanie i podstawy identyfikacji 2014/2015

Przykład 9:

Identyfikacja – metoda najmniejszych kwadratów Optymalność

F

x 1 4

Warunek punkt stacjonarnego

x 2 2

Punkt stacjonarny - jedyny

F

  

4 2 x 1 3 x 2

 

x

0

0

Sprawdzenie warunków rzędu drugiego

2 F

      

2

 

F 2

x 1 2 F

 

x 2

x 1

2 F

 

x 1

x 2 2 F

 

x 2 2

    

x

0

  

12 0 x 1 2 0 2

 

x

0

  

0 0 0 2

 

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 84

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność

Δ

x

T

2 F

 

0

x

0

Δ

x

2

x 2

   

x

x 1 2

    

x 1

x 2

  

0 0

 

2

0 0 2

    

x

x 1 2

  Punkt x * =0 spełnia warunki konieczne pierwszego i drugiego rzędu dla minimum  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 85

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność

Warunki określoności macierzy hessianu można badać przez sprawdzenie wartości własnych tej macierzy Macierz hessianu jest dodatnio określona, jeżeli wszystkie jej wartości własne są dodatnie Macierz hessianu jest dodatnio półokreślona, jeżeli wszystkie jej wartości własne są nieujemne

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 86

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność

Przykład 10:

F

x 1 2

2 x 1 x 2

2 x 2 2

x 1

Warunek punkt stacjonarnego

F

  

2 x 1 2

x 1 2

x 2 4

x 2 1

    

0 0

 

Punkt stacjonarny - jedyny

x

  

0 .

5 1

 

Sprawdzenie warunków rzędu drugiego

2 F

      

2

 

F 2

x 1 F 2

 

x 2

x 1

2 F

 

x 1 2 F

x 2

 

x 2 2

    

x

x

  

2 2 2 4

 

x

x

  

2 2 2 4

 

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 87

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność Pozyskanie informacji o określoności macierzy hessianu

Δ

x

T

   

2 F

x

0

Δ

x

x 1

x 2

 

2 2 2 4

 

2

x 1

2

x 2

2

2

 

x 1 2 x 1

 

4 2

x 2

x 1 2

x 1

 

x 1

x 2

 

4

2

x 4

x 2

x 1 2 2

 

x 1

x 2 4

x 2

 

x 2

 

x 1

x 2

 

Nie można stwierdzić czy macierz hessianu jest dodatnio określona lub dodatnio półokreślona  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 88

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność Wartości własne hessianu 

2 F

 

I

  

2

6

 

4

0

 

2

 

2 4 2

     

2

  

4

   

4 Δ

36

16

20

Δ

20

4 .

47

1

6

4 .

47 2

1 .

53 2

0 .

765

2

6

4 .

47 2

10 .

47 2

5 .

235

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 89

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność 

1

0 .

765

0

2

5 .

235

0

Minimum silne w

x

  

0 .

1 5

 

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 90

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Optymalność

Warunki wystarczające minimum

Warunek drugiego rzędu: Jeżeli dla pewnego x  F(x * ) = 0 i lokalnym * ,  2 F jest ciągłe w pewnym otwartym jego otoczeniu i  2 F(x * ) jest dodatnio określona, wówczas x * jest silnym minimum

Warunek globalnego minimum

Jeżeli F jest funkcją wypukłą (a nawet tylko pseudowypukłą), wówczas każde minimum lokalne jest minimum globalnym. Jeżeli dodatkowo F jest różniczkowalna, wówczas każdy punkt stacjonarny jest globalnym minimum  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 91

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów

Forma kwadratowa

F (

x

)

1

x

T

Ax

d

T

x

c 2

gdzie: A - macierz symetryczna; (jeżeli macierz A nie jest symetryczna, to może być zastąpiona przez macierz symetryczną dającą te same wartości F(x) - to samo przekształcenie F(x)) Pożyteczne właściwości gradientu: 

   

h

gdzie  

x

T

Q x

 

Q x

Q

T

x

2

Q x h

jest stałym wektorem dla symetrycznych

Q

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 92

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Forma kwadratowa

Gradient formy kwadratowej

F

 

Ax

d

Hessian formy kwadratowej

2 F

A

 Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 93

Modelowanie i podstawy identyfikacji 2014/2015 Identyfikacja – metoda najmniejszych kwadratów Forma kwadratowa

Słuszne są twierdzenia:

 Jeżeli wartości własne hessianu są wszystkie dodatnie – forma posiada pojedyncze silne minimum  Jeżeli wartości własne hessianu są wszystkie ujemne – forma posiada pojedyncze silne maksimum  Jeżeli pewne wartości własne hessianu są dodatnie, a inne ujemne – forma posiada pojedynczy punkt siodłowy  Jeżeli wszystkie wartości własne hessianu są nieujemne, ale niektóre są równe zeru – forma albo posiada słabe minimum albo nie ma punktu stacjonarnego  Jeżeli wszystkie wartości własne hessianu są niedodatnie, ale niektóre są równe zeru – forma albo posiada słabe maksimum albo nie ma punktu stacjonarnego  Kazimierz Duzinkiewicz, dr hab. inż.

Katedra Inżynierii Systemów Sterowania 94