Transcript Forelesning 8

Biseksjonsmetoden
Den første og enkleste iterativ metode for ikke lineære likninger er den s˚
a kalt
biseksjonsmetode.
Gitt en intervall [a, b] hvor f skifter fortegn, vi halverer [a, b] = [a,
ny vindu den halvparten hvor f skifter fortegn:
1/15
b+a
b+a
]∪[
, b] og tar som
2
2
m=b−a
2
a
b
JJ
II
J
I
Back
Close
m=b−a
2
a
2/15
b
Algoritme: Biseksjonsmetode
while ((b − a) > T OL)
m = a + b−a
% finner midtpunkt
2
if sign(f (a)) = sign(f (m))
a=m
else
b=m
end
end
JJ
II
J
I
Back
Close
Husk definisjonen av konvergens rate: r slik at
|ek+1 |
= C.
k→∞ |ek |r
lim
ek = x k − x ∗
3/15
JJ
II
J
I
Back
Close
Husk definisjonen av konvergens rate: r slik at
|ek+1 |
= C.
k→∞ |ek |r
lim
ek = x k − x ∗
Siden biseksjonsmetode genererer ikke en singel xk men et intervall [ak , bk ], er ek definert som
3/15
ek = bk − ak .
JJ
II
J
I
Back
Close
Husk definisjonen av konvergens rate: r slik at
|ek+1 |
= C.
k→∞ |ek |r
lim
ek = x k − x ∗
Siden biseksjonsmetode genererer ikke en singel xk men et intervall [ak , bk ], er ek definert som
3/15
ek = bk − ak .
Men: i hvert iterasjon halverer vi intervallet:
1
1
ek+1 = bk+1 − ak+1 = (bk − ak ) = ek
2
2
JJ
II
J
I
Back
Close
Husk definisjonen av konvergens rate: r slik at
|ek+1 |
= C.
k→∞ |ek |r
lim
ek = x k − x ∗
Siden biseksjonsmetode genererer ikke en singel xk men et intervall [ak , bk ], er ek definert som
3/15
ek = bk − ak .
Men: i hvert iterasjon halverer vi intervallet:
1
1
ek+1 = bk+1 − ak+1 = (bk − ak ) = ek
2
2
Derfor,
lim
k→∞
|ek+1 |
1
=
|ek |
2
JJ
II
J
I
Back
Close
Husk definisjonen av konvergens rate: r slik at
|ek+1 |
= C.
k→∞ |ek |r
lim
ek = x k − x ∗
Siden biseksjonsmetode genererer ikke en singel xk men et intervall [ak , bk ], er ek definert som
3/15
ek = bk − ak .
Men: i hvert iterasjon halverer vi intervallet:
1
1
ek+1 = bk+1 − ak+1 = (bk − ak ) = ek
2
2
Derfor,
lim
k→∞
|ek+1 |
1
=
|ek |
2
og det vil si at:
• konvergens er lineær: r = 1
• C = 1/2.
JJ
II
J
I
Back
Close
• konvergens er lineær: r = 1
• C = 1/2.
Som konsekvens:
4/15
• antall signifikante sifre øker av − log10 (1/2) ≈ 0.69 hver iterasjon (omtrent en ny siffer hver
to iterasjoner)
JJ
II
J
I
Back
Close
• konvergens er lineær: r = 1
• C = 1/2.
Som konsekvens:
4/15
• antall signifikante sifre øker av − log10 (1/2) ≈ 0.69 hver iterasjon (omtrent en ny siffer hver
to iterasjoner)
• en bit i binær system per iterasjon.
JJ
II
J
I
Back
Close
• konvergens er lineær: r = 1
• C = 1/2.
Som konsekvens:
4/15
• antall signifikante sifre øker av − log10 (1/2) ≈ 0.69 hver iterasjon (omtrent en ny siffer hver
to iterasjoner)
• en bit i binær system per iterasjon.
Hvis [a, b] er det initielle intervallet (brakett), i step k er intervallets lengde
ek =
b−a
.
2k
(i hvert iterasjon halverer vi intervallet).
JJ
II
J
I
Back
Close
• konvergens er lineær: r = 1
• C = 1/2.
Som konsekvens:
4/15
• antall signifikante sifre øker av − log10 (1/2) ≈ 0.69 hver iterasjon (omtrent en ny siffer hver
to iterasjoner)
• en bit i binær system per iterasjon.
Hvis [a, b] er det initielle intervallet (brakett), i step k er intervallets lengde
ek =
b−a
.
2k
(i hvert iterasjon halverer vi intervallet).
Fikser vi en viss toleranse T OL over feilen, m˚
a vi iterere k antall ganger, hvor
b−a
k ≥ log2
.
T OL
JJ
II
J
I
Back
Close
Fordeler av biseksjonsmetode:
5/15
JJ
II
J
I
Back
Close
Fordeler av biseksjonsmetode:
• veldig lett ˚
a implementere
5/15
JJ
II
J
I
Back
Close
Fordeler av biseksjonsmetode:
• veldig lett ˚
a implementere
• det er en robust metode, finner alltid en rot (hvis den eksisterer i [a, b])
5/15
JJ
II
J
I
Back
Close
Fordeler av biseksjonsmetode:
• veldig lett ˚
a implementere
• det er en robust metode, finner alltid en rot (hvis den eksisterer i [a, b])
• trenger lite kjennskap av f (faktisk: kun fortegn!).
5/15
JJ
II
J
I
Back
Close
Fordeler av biseksjonsmetode:
• veldig lett ˚
a implementere
• det er en robust metode, finner alltid en rot (hvis den eksisterer i [a, b])
• trenger lite kjennskap av f (faktisk: kun fortegn!).
5/15
Ulemper:
JJ
II
J
I
Back
Close
Fordeler av biseksjonsmetode:
• veldig lett ˚
a implementere
• det er en robust metode, finner alltid en rot (hvis den eksisterer i [a, b])
• trenger lite kjennskap av f (faktisk: kun fortegn!).
5/15
Ulemper:
• siden det bruker bare fortegn til f , antall iterasjoner vi trenger for en gitt toleranse er uavhenging av f .
b−a
k ≥ log2
.
T OL
Det gjør at metoden er faktisk ganske treg.
JJ
II
J
I
Back
Close
Fordeler av biseksjonsmetode:
• veldig lett ˚
a implementere
• det er en robust metode, finner alltid en rot (hvis den eksisterer i [a, b])
• trenger lite kjennskap av f (faktisk: kun fortegn!).
5/15
Ulemper:
• siden det bruker bare fortegn til f , antall iterasjoner vi trenger for en gitt toleranse er uavhenging av f .
b−a
k ≥ log2
.
T OL
Det gjør at metoden er faktisk ganske treg.
I praksis biseksjonsmetode brukes nesten aldri
Andre metoder basert p˚
a den s˚
a kalt ‘fiks punkt iterasjon’ brukes istede.
Disse metoder har bruk for mer informasjon av f og derfor konvergerer betydelig raskere.
JJ
II
J
I
Back
Close
Fiks punkt iterasjoner
6/15
JJ
II
J
I
Back
Close
Fiks punkt iterasjoner
Gitt en funksjon g : R → R, en verdi x slik at
6/15
x = g(x)
kalles
fiks punkt av funksjonen g (uendret av g).
JJ
II
J
I
Back
Close
Fiks punkt iterasjoner
Gitt en funksjon g : R → R, en verdi x slik at
6/15
x = g(x)
kalles
fiks punkt av funksjonen g (uendret av g).
En m˚
ate ˚
a løse problemet f (x) = 0 er at vi omskriver det som
x = g(x)
og prøver ˚
a takle det istedet.
y=f(x)
JJ
II
J
I
finn intersesjon med y = 0
Back
Close
Fiks punkt iterasjoner
6/15
Gitt en funksjon g : R → R, en verdi x slik at
x = g(x)
kalles
fiks punkt av funksjonen g (uendret av g).
En m˚
ate ˚
a løse problemet f (x) = 0 er at vi omskriver det som
x = g(x)
og prøver ˚
a takle det istedet.
y=x
y= g(x)
y=f(x)
JJ
II
J
I
finn intersesjon med y = 0
finn intersesjon med y = x
Back
Close
En rekke iterative metoder er faktisk baset p˚
a iterasjoner som
xk+1 = g(xk ),
7/15
JJ
II
J
I
Back
Close
En rekke iterative metoder er faktisk baset p˚
a iterasjoner som
xk+1 = g(xk ),
hvor funksjonen g er slik at fiks punkt av g er ogs˚
a røtter av f = 0.
7/15
JJ
II
J
I
Back
Close
En rekke iterative metoder er faktisk baset p˚
a iterasjoner som
xk+1 = g(xk ),
hvor funksjonen g er slik at fiks punkt av g er ogs˚
a røtter av f = 0.
En iterasjon som dette xk+1 = g(xk ) kalles for fiks punkt iterasjon eller funksjonal iterasjon (siden funksjonen g er applisert til x0 og deres resultat gang etter gang, xk = g(g(g(· · · g(x0))))).
7/15
JJ
II
J
I
Back
Close
En rekke iterative metoder er faktisk baset p˚
a iterasjoner som
xk+1 = g(xk ),
hvor funksjonen g er slik at fiks punkt av g er ogs˚
a røtter av f = 0.
En iterasjon som dette xk+1 = g(xk ) kalles for fiks punkt iterasjon eller funksjonal iterasjon (siden funksjonen g er applisert til x0 og deres resultat gang etter gang, xk = g(g(g(· · · g(x0))))).
7/15
For en gitt likning f (x) = 0 finnes det mange ekvivalenter funksjonal iterasjoner (med forskjellige
g).
JJ
II
J
I
Back
Close
En rekke iterative metoder er faktisk baset p˚
a iterasjoner som
xk+1 = g(xk ),
hvor funksjonen g er slik at fiks punkt av g er ogs˚
a røtter av f = 0.
En iterasjon som dette xk+1 = g(xk ) kalles for fiks punkt iterasjon eller funksjonal iterasjon (siden funksjonen g er applisert til x0 og deres resultat gang etter gang, xk = g(g(g(· · · g(x0))))).
7/15
For en gitt likning f (x) = 0 finnes det mange ekvivalenter funksjonal iterasjoner (med forskjellige
g).
Ikke alle g er like gode!
JJ
II
J
I
Back
Close
En rekke iterative metoder er faktisk baset p˚
a iterasjoner som
xk+1 = g(xk ),
hvor funksjonen g er slik at fiks punkt av g er ogs˚
a røtter av f = 0.
En iterasjon som dette xk+1 = g(xk ) kalles for fiks punkt iterasjon eller funksjonal iterasjon (siden funksjonen g er applisert til x0 og deres resultat gang etter gang, xk = g(g(g(· · · g(x0))))).
7/15
For en gitt likning f (x) = 0 finnes det mange ekvivalenter funksjonal iterasjoner (med forskjellige
g).
Ikke alle g er like gode!
• ikke bare konvergens ratene kan være forsjellige
JJ
II
J
I
Back
Close
En rekke iterative metoder er faktisk baset p˚
a iterasjoner som
xk+1 = g(xk ),
hvor funksjonen g er slik at fiks punkt av g er ogs˚
a røtter av f = 0.
En iterasjon som dette xk+1 = g(xk ) kalles for fiks punkt iterasjon eller funksjonal iterasjon (siden funksjonen g er applisert til x0 og deres resultat gang etter gang, xk = g(g(g(· · · g(x0))))).
7/15
For en gitt likning f (x) = 0 finnes det mange ekvivalenter funksjonal iterasjoner (med forskjellige
g).
Ikke alle g er like gode!
• ikke bare konvergens ratene kan være forsjellige
• noen funksjonale iterasjoner kan konvergere mens andre divergerer!
JJ
II
J
I
Back
Close
Eksempel: f (x) = x2 − x − 2 = 0
Likningen har to rot, x∗ = −1 og x∗ = 2.
8/15
JJ
II
J
I
Back
Close
Eksempel: f (x) = x2 − x − 2 = 0
Likningen har to rot, x∗ = −1 og x∗ = 2.
8/15
Ekvivalente fiks punkt problemer er:
1. g1 (x) = x2 − 2
JJ
II
J
I
Back
Close
Eksempel: f (x) = x2 − x − 2 = 0
Likningen har to rot, x∗ = −1 og x∗ = 2.
8/15
Ekvivalente fiks punkt problemer er:
1. g1 (x) = x2 − 2
√
2. g2 (x) = x + 2
JJ
II
J
I
Back
Close
Eksempel: f (x) = x2 − x − 2 = 0
Likningen har to rot, x∗ = −1 og x∗ = 2.
8/15
Ekvivalente fiks punkt problemer er:
1. g1 (x) = x2 − 2
√
2. g2 (x) = x + 2
3. g3 (x) = 1 + 2/x
(appr. kvadrat rot, Pythagora)
JJ
II
J
I
Back
Close
Eksempel: f (x) = x2 − x − 2 = 0
Likningen har to rot, x∗ = −1 og x∗ = 2.
8/15
Ekvivalente fiks punkt problemer er:
1. g1 (x) = x2 − 2
√
2. g2 (x) = x + 2
3. g3 (x) = 1 + 2/x
(appr. kvadrat rot, Pythagora)
4. g4 (x) = (x2 + 2)/(2x − 1)
(Newtons metode)
JJ
II
J
I
Back
Close
Eksempel: f (x) = x2 − x − 2 = 0
Likningen har to rot, x∗ = −1 og x∗ = 2.
8/15
Ekvivalente fiks punkt problemer er:
1. g1 (x) = x2 − 2
√
2. g2 (x) = x + 2
4
3.5
3
3. g3 (x) = 1 + 2/x
(appr. kvadrat rot, Pythagora)
2.5
2
4. g4 (x) = (x2 + 2)/(2x − 1)
(Newtons metode)
1.5
1
y=x
g1
g2
g3
g4
0.5
0
0
0.5
1
1.5
2
2.5
3
3.5
4
JJ
II
J
I
Back
Close
Vi kan konkludere at
• noen iterasjonsmetoder konvergerer
9/15
JJ
II
J
I
Back
Close
Vi kan konkludere at
• noen iterasjonsmetoder konvergerer
• andre konvergerer ikke
9/15
JJ
II
J
I
Back
Close
Vi kan konkludere at
• noen iterasjonsmetoder konvergerer
• andre konvergerer ikke
• det er forskjell i hvor fort hver enkelte iterasjonsmetode konvergerer.
9/15
JJ
II
J
I
Back
Close
Vi kan konkludere at
• noen iterasjonsmetoder konvergerer
• andre konvergerer ikke
• det er forskjell i hvor fort hver enkelte iterasjonsmetode konvergerer.
9/15
Hvordan karakteriserer man konvergens?
JJ
II
J
I
Back
Close
Vi kan konkludere at
• noen iterasjonsmetoder konvergerer
• andre konvergerer ikke
• det er forskjell i hvor fort hver enkelte iterasjonsmetode konvergerer.
9/15
Hvordan karakteriserer man konvergens? Konvergens er avhenging av g 0 (x∗ ):
JJ
II
J
I
Back
Close
Vi kan konkludere at
• noen iterasjonsmetoder konvergerer
• andre konvergerer ikke
• det er forskjell i hvor fort hver enkelte iterasjonsmetode konvergerer.
9/15
Hvordan karakteriserer man konvergens? Konvergens er avhenging av g 0 (x∗ ):
Teorem: Gitt g, deriverbare, med kontinuelle første deriverte:
• hvis |g 0 (x∗ )| < 1, iterasjonen xk+1 = g(xk ) konvergerer.
JJ
II
J
I
Back
Close
Vi kan konkludere at
• noen iterasjonsmetoder konvergerer
• andre konvergerer ikke
• det er forskjell i hvor fort hver enkelte iterasjonsmetode konvergerer.
9/15
Hvordan karakteriserer man konvergens? Konvergens er avhenging av g 0 (x∗ ):
Teorem: Gitt g, deriverbare, med kontinuelle første deriverte:
• hvis |g 0 (x∗ )| < 1, iterasjonen xk+1 = g(xk ) konvergerer.
(lokalt konvergens, det finnes et intervall rundt x∗ slik at fiks punkt iterasjoner konvergerer for
alle mulige initielle x0 der)
JJ
II
J
I
Back
Close
Vi kan konkludere at
• noen iterasjonsmetoder konvergerer
• andre konvergerer ikke
• det er forskjell i hvor fort hver enkelte iterasjonsmetode konvergerer.
9/15
Hvordan karakteriserer man konvergens? Konvergens er avhenging av g 0 (x∗ ):
Teorem: Gitt g, deriverbare, med kontinuelle første deriverte:
• hvis |g 0 (x∗ )| < 1, iterasjonen xk+1 = g(xk ) konvergerer.
(lokalt konvergens, det finnes et intervall rundt x∗ slik at fiks punkt iterasjoner konvergerer for
alle mulige initielle x0 der)
x∗ er en attraktivt fiks punkt av g
JJ
II
J
I
Back
Close
Vi kan konkludere at
• noen iterasjonsmetoder konvergerer
• andre konvergerer ikke
• det er forskjell i hvor fort hver enkelte iterasjonsmetode konvergerer.
9/15
Hvordan karakteriserer man konvergens? Konvergens er avhenging av g 0 (x∗ ):
Teorem: Gitt g, deriverbare, med kontinuelle første deriverte:
• hvis |g 0 (x∗ )| < 1, iterasjonen xk+1 = g(xk ) konvergerer.
(lokalt konvergens, det finnes et intervall rundt x∗ slik at fiks punkt iterasjoner konvergerer for
alle mulige initielle x0 der)
x∗ er en attraktivt fiks punkt av g
• hvis |g 0 (x∗ )| > 1, iterasjoner konvergerer ikke for alle mulige initielle approksimasjoner x0 6= x∗ .
JJ
II
J
I
Back
Close
Vi kan konkludere at
• noen iterasjonsmetoder konvergerer
• andre konvergerer ikke
• det er forskjell i hvor fort hver enkelte iterasjonsmetode konvergerer.
9/15
Hvordan karakteriserer man konvergens? Konvergens er avhenging av g 0 (x∗ ):
Teorem: Gitt g, deriverbare, med kontinuelle første deriverte:
• hvis |g 0 (x∗ )| < 1, iterasjonen xk+1 = g(xk ) konvergerer.
(lokalt konvergens, det finnes et intervall rundt x∗ slik at fiks punkt iterasjoner konvergerer for
alle mulige initielle x0 der)
x∗ er en attraktivt fiks punkt av g
• hvis |g 0 (x∗ )| > 1, iterasjoner konvergerer ikke for alle mulige initielle approksimasjoner x0 6= x∗ .
x∗ er en repulsivt fiks punkt av g
JJ
II
J
I
Back
Close
Vi kan konkludere at
• noen iterasjonsmetoder konvergerer
• andre konvergerer ikke
• det er forskjell i hvor fort hver enkelte iterasjonsmetode konvergerer.
9/15
Hvordan karakteriserer man konvergens? Konvergens er avhenging av g 0 (x∗ ):
Teorem: Gitt g, deriverbare, med kontinuelle første deriverte:
• hvis |g 0 (x∗ )| < 1, iterasjonen xk+1 = g(xk ) konvergerer.
(lokalt konvergens, det finnes et intervall rundt x∗ slik at fiks punkt iterasjoner konvergerer for
alle mulige initielle x0 der)
x∗ er en attraktivt fiks punkt av g
• hvis |g 0 (x∗ )| > 1, iterasjoner konvergerer ikke for alle mulige initielle approksimasjoner x0 6= x∗ .
x∗ er en repulsivt fiks punkt av g
Bevis:(konvergens)
JJ
II
J
I
Back
Close
Vi kan konkludere at
• noen iterasjonsmetoder konvergerer
• andre konvergerer ikke
• det er forskjell i hvor fort hver enkelte iterasjonsmetode konvergerer.
9/15
Hvordan karakteriserer man konvergens? Konvergens er avhenging av g 0 (x∗ ):
Teorem: Gitt g, deriverbare, med kontinuelle første deriverte:
• hvis |g 0 (x∗ )| < 1, iterasjonen xk+1 = g(xk ) konvergerer.
(lokalt konvergens, det finnes et intervall rundt x∗ slik at fiks punkt iterasjoner konvergerer for
alle mulige initielle x0 der)
x∗ er en attraktivt fiks punkt av g
• hvis |g 0 (x∗ )| > 1, iterasjoner konvergerer ikke for alle mulige initielle approksimasjoner x0 6= x∗ .
x∗ er en repulsivt fiks punkt av g
Bevis:(konvergens) Feilen ved iterasjon k + 1 er
ek+1 = xk+1 − x∗ = g(xk ) − g(x∗ )
JJ
II
J
I
Back
Close
Vi kan konkludere at
• noen iterasjonsmetoder konvergerer
• andre konvergerer ikke
• det er forskjell i hvor fort hver enkelte iterasjonsmetode konvergerer.
9/15
Hvordan karakteriserer man konvergens? Konvergens er avhenging av g 0 (x∗ ):
Teorem: Gitt g, deriverbare, med kontinuelle første deriverte:
• hvis |g 0 (x∗ )| < 1, iterasjonen xk+1 = g(xk ) konvergerer.
(lokalt konvergens, det finnes et intervall rundt x∗ slik at fiks punkt iterasjoner konvergerer for
alle mulige initielle x0 der)
x∗ er en attraktivt fiks punkt av g
• hvis |g 0 (x∗ )| > 1, iterasjoner konvergerer ikke for alle mulige initielle approksimasjoner x0 6= x∗ .
x∗ er en repulsivt fiks punkt av g
Bevis:(konvergens) Feilen ved iterasjon k + 1 er
ek+1 = xk+1 − x∗ = g(xk ) − g(x∗ )
N˚
a bruker vi en teorem (‘mean value theorem’): det finnes θk mellom xk og x∗ slik at
g(xk ) − g(x∗ ) = g 0 (θk )(xk − x∗ ) = g 0 (θk )ek
JJ
II
J
I
Back
Close
Derfor:
ek+1 = g 0 (θk )ek .
10/15
JJ
II
J
I
Back
Close
Derfor:
ek+1 = g 0 (θk )ek .
For x0 nær nok x∗ , finnes det C < 1 slik at |g 0 (θk )| < C for alle k
10/15
JJ
II
J
I
Back
Close
Derfor:
ek+1 = g 0 (θk )ek .
For x0 nær nok x∗ , finnes det C < 1 slik at |g 0 (θk )| < C for alle k
Vi har:
|ek+1 | = |g 0 (θk )||ek |
10/15
JJ
II
J
I
Back
Close
Derfor:
ek+1 = g 0 (θk )ek .
For x0 nær nok x∗ , finnes det C < 1 slik at |g 0 (θk )| < C for alle k
Vi har:
|ek+1 | = |g 0 (θk )||ek | < C|ek |
10/15
JJ
II
J
I
Back
Close
Derfor:
ek+1 = g 0 (θk )ek .
For x0 nær nok x∗ , finnes det C < 1 slik at |g 0 (θk )| < C for alle k
Vi har:
|ek+1 | = |g 0 (θk )||ek | < C|ek | < C 2 |ek−1 |
10/15
JJ
II
J
I
Back
Close
Derfor:
ek+1 = g 0 (θk )ek .
For x0 nær nok x∗ , finnes det C < 1 slik at |g 0 (θk )| < C for alle k
Vi har:
|ek+1 | = |g 0 (θk )||ek | < C|ek | < C 2 |ek−1 | < · · · < C k |e0 |
10/15
JJ
II
J
I
Back
Close
Derfor:
ek+1 = g 0 (θk )ek .
For x0 nær nok x∗ , finnes det C < 1 slik at |g 0 (θk )| < C for alle k
Vi har:
|ek+1 | = |g 0 (θk )||ek | < C|ek | < C 2 |ek−1 | < · · · < C k |e0 |
10/15
og derfor
lim |ek+1 | = 0
k→∞
og iterasjoner konvergerer.
Merk at vi har ogs˚
a
|ek+1 |
< C,
|ek |
og hvis C < 1 konvergens er lineært minst.
JJ
II
J
I
Back
Close
Derfor:
ek+1 = g 0 (θk )ek .
For x0 nær nok x∗ , finnes det C < 1 slik at |g 0 (θk )| < C for alle k
Vi har:
|ek+1 | = |g 0 (θk )||ek | < C|ek | < C 2 |ek−1 | < · · · < C k |e0 |
10/15
og derfor
lim |ek+1 | = 0
k→∞
og iterasjoner konvergerer.
Merk at vi har ogs˚
a
|ek+1 |
< C,
|ek |
og hvis C < 1 konvergens er lineært minst.
Det minste er C, |g 0 (x∗ )|, det raskeste konvergensen:
JJ
II
J
I
Back
Close
Derfor:
ek+1 = g 0 (θk )ek .
For x0 nær nok x∗ , finnes det C < 1 slik at |g 0 (θk )| < C for alle k
Vi har:
|ek+1 | = |g 0 (θk )||ek | < C|ek | < C 2 |ek−1 | < · · · < C k |e0 |
10/15
og derfor
lim |ek+1 | = 0
k→∞
og iterasjoner konvergerer.
Merk at vi har ogs˚
a
|ek+1 |
< C,
|ek |
og hvis C < 1 konvergens er lineært minst.
Det minste er C, |g 0 (x∗ )|, det raskeste konvergensen:
• |g 0 (x∗ )| = 0 gir kvadratisk konvergens minst.
JJ
II
J
I
Back
Close
Derfor:
ek+1 = g 0 (θk )ek .
For x0 nær nok x∗ , finnes det C < 1 slik at |g 0 (θk )| < C for alle k
Vi har:
|ek+1 | = |g 0 (θk )||ek | < C|ek | < C 2 |ek−1 | < · · · < C k |e0 |
10/15
og derfor
lim |ek+1 | = 0
k→∞
og iterasjoner konvergerer.
Merk at vi har ogs˚
a
|ek+1 |
< C,
|ek |
og hvis C < 1 konvergens er lineært minst.
Det minste er C, |g 0 (x∗ )|, det raskeste konvergensen:
• |g 0 (x∗ )| = 0 gir kvadratisk konvergens minst.
Kunsten er ˚
a finne gode iterasjonsfunksjoner g som har forste deriverte som minst som mulig
JJ
II
J
I
Back
Close
Newtons metode
11/15
JJ
II
J
I
Back
Close
Newtons metode
Ideen er at vi approksimerer funksjonen f (x) med tangenten i (x, f (x)) (’linearisere’ f )
11/15
f (x + h) ≈ f (x) + hf 0 (x)
som er funksjon av en parameter h.
JJ
II
J
I
Back
Close
Newtons metode
Ideen er at vi approksimerer funksjonen f (x) med tangenten i (x, f (x)) (’linearisere’ f )
11/15
f (x + h) ≈ f (x) + hf 0 (x)
som er funksjon av en parameter h.
RØtter av lineære likninger kan finnes analytisk:
f (x) + hf 0 (x) = 0
⇔
h=−
f (x)
,
f 0 (x)
f 0 (x) 6= 0.
JJ
II
J
I
Back
Close
Newtons metode
Ideen er at vi approksimerer funksjonen f (x) med tangenten i (x, f (x)) (’linearisere’ f )
11/15
f (x + h) ≈ f (x) + hf 0 (x)
som er funksjon av en parameter h.
RØtter av lineære likninger kan finnes analytisk:
f (x) + hf 0 (x) = 0
⇔
h=−
f (x)
,
f 0 (x)
f 0 (x) 6= 0.
Setter vi: xk → x, xk+1 − xk → h, har vi formelen for Newtons metode:
xk+1 = xk −
f (xk )
f 0 (xk )
(Newton–Raphson)
JJ
II
J
I
Back
Close
xk+1 = xk −
f (xk )
f 0 (xk )
(Newton–Raphson)
12/15
JJ
II
J
I
Back
Close
xk+1 = xk −
f (xk )
f 0 (xk )
(Newton–Raphson)
12/15
y=f(x)
x
x
k+1 k
JJ
II
J
I
Back
Close
xk+1 = xk −
f (xk )
f 0 (xk )
(Newton–Raphson)
12/15
y=f(x)
x
x
k+1 k
y=f(x)
x
x
k+1 k
JJ
II
J
I
Back
Close
xk+1 = xk −
f (xk )
f 0 (xk )
(Newton–Raphson)
12/15
y=f(x)
x
x
k+1 k
y=f(x)
x
x
k+1 k
Om konvergens:
JJ
II
J
I
Back
Close
xk+1 = xk −
f (xk )
f 0 (xk )
(Newton–Raphson)
12/15
y=f(x)
x
x
k+1 k
y=f(x)
x
x
k+1 k
Om konvergens:
xk+1 = g(xk ),
g(x) = x −
f (x)
.
f 0 (x)
JJ
II
J
I
Back
Close
xk+1 = xk −
f (xk )
f 0 (xk )
(Newton–Raphson)
12/15
y=f(x)
x
x
k+1 k
y=f(x)
x
x
k+1 k
Om konvergens:
xk+1 = g(xk ),
Vi deriverer g:
g 0 (x) =
g(x) = x −
f (x)f 00 (x)
[f 0 (x)]2
f (x)
.
f 0 (x)
JJ
II
J
I
Back
Close
g 0 (x) =
f (x)f 00 (x)
[f 0 (x)]2
Hvis x∗ er en simpel rot (f (x∗ ) = 0, f 0 (x∗ ) 6= 0), er g 0 (x∗ ) = 0 og konvergens er kvadratisk (r = 2)
13/15
JJ
II
J
I
Back
Close
g 0 (x) =
f (x)f 00 (x)
[f 0 (x)]2
Hvis x∗ er en simpel rot (f (x∗ ) = 0, f 0 (x∗ ) 6= 0), er g 0 (x∗ ) = 0 og konvergens er kvadratisk (r = 2)
.
13/15
For multiple rot, Newtons metode konveregerer lineært bare, med konstant
C =1−
1
m
hvor m er multiplisitet av x∗ .
Merk at konvergens er garantert for bare x0 nær nok x∗ (lokal konvergens).
JJ
II
J
I
Back
Close
Sekant metode
Et ulempe med Newtons metode er at vi m˚
a supplere til algoritmen
14/15
• funksjonen, f (xk )
JJ
II
J
I
Back
Close
Sekant metode
Et ulempe med Newtons metode er at vi m˚
a supplere til algoritmen
14/15
• funksjonen, f (xk )
• første deriverte f 0 (xk ).
JJ
II
J
I
Back
Close
Sekant metode
Et ulempe med Newtons metode er at vi m˚
a supplere til algoritmen
14/15
• funksjonen, f (xk )
• første deriverte f 0 (xk ).
Spesielt f 0 kan være vanskelig ˚
a supplere (kanskje f er beregnet ut av en stor data fil).
JJ
II
J
I
Back
Close
Sekant metode
Et ulempe med Newtons metode er at vi m˚
a supplere til algoritmen
14/15
• funksjonen, f (xk )
• første deriverte f 0 (xk ).
Spesielt f 0 kan være vanskelig ˚
a supplere (kanskje f er beregnet ut av en stor data fil).
En alternativ er at vi bytter ut f 0 med en endelig-differense approksimasjon:
f 0 (xk ) ≈
f (xk ) − f (xk−1 )
.
xk − xk−1
JJ
II
J
I
Back
Close
Sekant metode
Et ulempe med Newtons metode er at vi m˚
a supplere til algoritmen
14/15
• funksjonen, f (xk )
• første deriverte f 0 (xk ).
Spesielt f 0 kan være vanskelig ˚
a supplere (kanskje f er beregnet ut av en stor data fil).
En alternativ er at vi bytter ut f 0 med en endelig-differense approksimasjon:
f 0 (xk ) ≈
f (xk ) − f (xk−1 )
.
xk − xk−1
JJ
II
J
I
Back
Close
Metoden kalles for sekant metode fordi i hvert iterasjon den er ekvivalent til approksimerer f
med sekanten gjennom (xk , f (xk )) og (xk−1 , f (xk−1 )).
15/15
xk
y=f(x)
x
k−1
JJ
II
J
I
Back
Close
Metoden kalles for sekant metode fordi i hvert iterasjon den er ekvivalent til approksimerer f
med sekanten gjennom (xk , f (xk )) og (xk−1 , f (xk−1 )).
15/15
xk
y=f(x)
Iterasjonen er:
xk+1 = xk − f (xk )
x
k−1
xk − xk−1
f (xk ) − f (xk−1 )
JJ
II
J
I
Back
Close
Metoden kalles for sekant metode fordi i hvert iterasjon den er ekvivalent til approksimerer f
med sekanten gjennom (xk , f (xk )) og (xk−1 , f (xk−1 )).
15/15
xk
y=f(x)
Iterasjonen er:
xk+1 = xk − f (xk )
x
k−1
xk − xk−1
f (xk ) − f (xk−1 )
Merk at vi trenger to approksimasjoner x0 og x1 for ˚
a kunne starte iterasjoner
JJ
II
J
I
Back
Close