Numerische Mathematik, Slides von Mathematik

Nur auf Docsity: Lade Numerische Mathematik und mehr Slides als PDF für Mathematik herunter!

Vorlesungsskriptum

Numerische Mathematik

Teil II

Dr. Stefan Frei

basierend auf der gleichnamigen Vorlesung

an der Universit¨at Konstanz im WS 2020/

Inhaltsverzeichnis

• 4 Nichtlineare Gleichungen
  • 4.1 Intervallschachtelung (Bisektion)
  • 4.2 Newton-Verfahren in R
  • 4.3 Konvergenzbegriffe
  • 4.4 Varianten des Newton-Verfahrens
    • 4.4.1 Ged¨ampftes Newton-Verfahren
    • 4.4.2 Mehrfache Nullstellen
    • 4.4.3 Vereinfachtes Newton-Verfahren
    • 4.4.4 Sekantenverfahren
  • 4.5 Fixpunktverfahren
  • 4.6 Nullstellensuche im Rn
  • 4.7 Exkurs: Iterative Verfahren zur L¨osung linearer Gleichungssysteme
  • 4.8 Newton-Verfahren im Rn
• 5 Polynominterpolation
  • 5.1 Lagrange-Interpolation
    • 5.1.1 Lagrangesche Darstellung des Interpolationspolynoms
    • 5.1.2 Newtonsche Darstellung des Interpolationspolynoms
    • 5.1.3 Fehlerabsch¨atzung bei der Interpolation von Funktionen
    • 5.1.4 Fehlerempfindlichkeit der Interpolationsaufgabe
  • 5.2 Hermite-Interpolation
  • 5.3 Extrapolation
    • 5.3.1 Numerische Differentiation
    • 5.3.2 Richardson-Extrapolation zum Limes
  • 5.4 St¨uckweise Interpolation
    • 5.4.1 St¨uckweise lineare Interpolation
    • 5.4.2 St¨uckweise Interpolation vom Grad n
    • 5.4.3 Spline-Interpolation
    • 5.4.4 Kubische Splines
• 6 Numerische Quadratur
  • 6.1 Interpolatorische Quadraturformeln
    • 6.1.1 Newton-Cotes-Formeln
  • 6.2 St¨uckweise interpolatorische Quadratur
    • 6.2.1 Summierte Newton-Cotes-Formeln
  • 6.3 Gauß-Quadratur
    • 6.3.1 Konstruktion von Gauß-Quadraturformeln
• Literaturverzeichnis

Intervallschachtelung

Eingabe: Intervallgrenzen a 0 , b 0 mit a 0 < b 0 , f (a 0 ) · f (b 0 ) < 0 F¨ur k = 0, 1 ,...

Setze xk+1 :=

(ak + bk)

Setze [ak+1, bk+1] =

[ak, xk+1], wenn f (ak)f (xk+1) < 0 [xk+1, bk], wenn f (ak)f (xk+1) > 0. Ausgabe: Iterierte xk+1, Intervallgrenzen ak+1, bk+

F¨ur eine Nullstelle z ∈ I 0 gilt nach Definition f¨ur alle k ≥ 0

ak ≤ ak+1 ≤ z ≤ bk+1 ≤ bk

und außerdem

|xk − z| ≤ |ak − bk| =

|ak− 1 − bk− 1 | ≤

)k |a 0 − b 0 | → 0 (k → ∞)

Der Fehler wird in jeder Iteration also ca. um einen Faktor 12 kleiner. Wir werden in diesem Fall sp¨ater von linearer Konvergenz sprechen. Die Intervallschachtelung ist ein stabiler numerischer Algorithmus zur Berechnung einer Null- stelle f¨ur beliebige stetige Funktionen f. Konvergenz ist unter der Bedingung f (a 0 )f (b 0 ) < 0 sichergestellt. Ist man an einer gewissen Genauigkeit (z.B. 6 Stellen) interessiert, ist die Kon- vergenz in der Regel allerdings relativ langsam

( 1 2

)k ≤ 10 −^6 ⇒ k ≥ 20.

4.2 Newton-Verfahren in R^1

Wir nehmen nun an, dass die Funktion f zweimal stetig differenzierbar ist. Das Newton- Verfahren (auch Newton-Raphson-Verfahren) basiert geometrisch auf der Idee eine (m¨oglicherweise komplizierte) Funktion f lokal durch ihre Tangente anzun¨ahern, siehe Abbildung 4.1. Sei x 0 ∈ I ein Startwert. Es gilt mit Taylorentwicklung f¨ur ein ξ ∈ [x 0 , x]

f (x) = f (x 0 ) + f ′(x 0 )(x − x 0 ) ︸ ︷︷ ︸ =:Tx 0 (x)

f ′′(ξ) 2 (x − x 0 )^2 = Tx 0 (x) + O

|x − x 0 |^2

Nahe bei x 0 ist Tx 0 (x) also eine gute N¨aherung von f (x). Aufgrund des Restterms spricht man von einer N¨aherung zweiter Ordnung. Im Falle f ′(x 0 ) 6 = 0 kann die Nullstelle von Tx 0 (x) einfach berechnet werden

f (x 0 ) + f ′(x 0 )(x − x 0 ) = 0 ⇒ x = x 0 − f (x 0 ) f ′(x 0 )

x 2 x 1 x 0

Abbildung 4.1: Graphische Darstellung des Newton-Verfahrens

Die Nullstelle x der Tangente ist im Allgemeinen noch nicht die Nullstelle von f. Da die Tangente eine N¨aherung zweiter Ordnung an f ist, besteht aber Hoffnung, dass diese deutlich n¨aher an der Nullstelle von z liegt als x 0. Wir definieren die Iteration

Newton-Verfahren Eingabe: Startwert x 0 ∈ I,

F¨ur k = 1, 2 ,... setze xk = xk− 1 −

f (xk− 1 ) f ′(xk− 1 )

Ausgabe: Iterierte xk

Geeignete Abbruchkriterien f¨ur die Iteration werden wir weiter unten diskutieren.

Wir wollen nun das Konvergenzverhalten der Newton-Iteration analysieren. Wir haben bereits gesehen, dass die Newton-Iteration nur f¨ur f ′(xk) 6 = 0 wohldefiniert ist. Deswegen beschr¨anken wir uns zun¨achst auf die Suche einfacher Nullstellen z, d.h. Nullstellen, f¨ur die f ′(z) 6 = 0. Da f ′ nach Voraussetzung stetig ist, ist dann auch f ′(x) 6 = 0 in einer Umgebung von z.

Satz 4.1. Die Funktion f ∈ C^2 [a, b] habe eine Nullstelle z ∈ (a, b) und wir nehmen an, dass

m := min x∈[a,b]

|f ′(x)| > 0.

Außerdem sei M := maxx∈[a,b] |f ′′(x)| und ρ > 0 sei so gew¨ahlt, dass

ρ <

2 m M , Kρ(z) := {x ∈ R, |x − z| ≤ ρ} ⊂ [a, b]. (4.3)

(ii) A priori Absch¨atzung: Als Nebenprodukt erhalten wir aus (4.7) bereits (4.4). Um (4.5) zu zeigen, setzen wir

rk :=

M

2 m

|xk − z|.

(4.7) impliziert

rk ≤ r k^2 − 1

und damit induktiv

M 2 m |xk − z| = rk ≤ r(

k (^) ) 0 =

M

2 m |x 0 − z| ︸ ︷︷ ︸ ≤ρ

)(2k (^) ) ≤ q(

k (^) ) .

(iii) Es bleibt die a posteriori Absch¨atzung (4.6) zu zeigen. Dazu verwenden wir eine Taylor- entwicklung erster Ordnung

f (xk) = f (z) + f ′(ξ)(xk − z), ξ ∈ [xk, z].

Daraus folgt direkt die erste Ungleichung in (4.6)

|xk − z| ≤

|f (xk)| |f ′(ξ)|

|f (xk)| m

Eine weitere Taylorentwicklung zweiter Ordnung ergibt

f (xk) = f (xk− 1 ) + f ′(xk− 1 )(xk − xk− 1 ) ︸ ︷︷ ︸ =

f ′′(ξ) 2

(xk − xk− 1 )^2 , f¨ur ein ξ ∈ [xk− 1 , xk].

Der erste Term auf der rechten Seite verschwindet nach Definition der Newton-Iterierten xk und es folgt

|f (xk)| m

M

2 m

|xk − xk− 1 |^2.

Abbruchkriterien Die a posteriori Absch¨atzung (4.6) legt zur Erreichung einer vorgegebenen Toleranz zwei m¨ogliche Abbruchkriterien nahe

1 m |f (xk)| < TOL oder

M

2 m |xk − xk− 1 |^2 < TOL,

wobei die erste Bedingung wegen der zweiten Ungleichung in (4.6) die sch¨arfere ist. Oft ist man daran interessiert statt dem absoluten Fehler den relativen Fehler

|xk − z| |z|

|xk − z| |xk|

zu kontrollieren (Ist die L¨osung z sehr groß ist es weniger relevant die n-te Nachkommastelle richtig zu approximieren). In diesem Fall schreiben sich die obigen Kriterien als

1 m

|f (xk)| |xk|

< TOL oder

M

2 m

|xk − xk− 1 |^2 |xk|

< TOL.

Newton-Verfahren mit Abbruchkriterium Eingabe: Startwert x 0 ∈ I

Solange

m

|f (xk)| |xk|

< TOL :

Setze xk = xk− 1 − f (xk− 1 ) f ′(xk− 1 )

k ← k + 1 Ausgabe: Iterierte xk

4.3 Konvergenzbegriffe

Definition 4.3. Ein Iterationsverfahren zur Bestimmung einer Nullstelle z einer Funktion f ∈ C[a, b] besitzt die Konvergenzordnung p ≥ 1 , wenn f¨ur beliebige Startwerte x 0 ∈ [a, b] gilt, dass

|xk − z| ≤ c|xk− 1 − z|p^ f¨ur k ∈ N.

Im Fall p = 1 spricht man unter der zus¨atzlichen Voraussetzung c < 1 von linearer Konvergenz, im Falle p = 2 von quadratischer Konvergenz. Weiter spricht man von superlinearer Konvergenz, wenn es eine Nullfolge (ck)k∈N gibt mit

|xk − z| ≤ ck|xk− 1 − z| f¨ur k ∈ N. Im Falle p > 1 liegt in der Regel nur lokale Konvergenz vor, d.h. f¨ur Startwerte x 0 ∈ Kρ(z) f¨ur ein ρ > 0. Dies sieht man folgenderweise

c

( (^1) p− 1

) |xk − z| ≤ c

( (^1) p− 1

) ︸ ︷︷ ︸^ c =c p−p 1

|xk− 1 − z|p^ =

c

( (^1) p− 1

) |xk− 1 − z|

)p ≤ ... ≤

c

( (^1) p− 1

) |x 0 − z| ︸ ︷︷ ︸ <^! 1

(pk^ )

.

Es folgt lokale Konvergenz mit ρ < c−^ p−^11 . In Theorem 4.1 haben wir gezeigt, dass das Newtonverfahren lokal quadratisch konvergiert,

wobei c = 2 Mm und daraus resultierend ρ < c(^

1 2 − 1 ) = (^2) Mm. Liegt der Startwert dagegen nicht gen¨ugend nahe an der Nullstelle z, ist die Konvergenz der Iteration nicht gesichert. In der Pra- xis werden bei solchen Problemen zum Beispiel langsamere, aber global konvergente Verfahren (z.B. die Intervallschachtelung) eingesetzt, um einen gen¨ugend guten Startwert f¨ur die Newton- Iteration zu berechnen. F¨ur die Intervallschachtelung kann man keine Konvergenzordnung im obigen Sinne angeben, da |xk − z| nicht notwendig monoton f¨allt. Man spricht in der Regel trotzdem von linearer Konvergenz, da f¨ur die Folgen der Intervalle (ak, bk)k≥ 0 gilt

|bk − ak| =

|bk− 1 − ak− 1 |.

Die Intervalll¨ange konvergiert also linear und ist wie oben gezeigt eine obere Schranke f¨ur den Fehler |xk − z|.

Iteration k xk |z − xk| 0 0.1 1. 1 10.05 8. 2 5.124502488... 3. 3 2.757392138... 1. 4 1.741357580... 3. 271 · 10 −^1 5 1.444943382... 3. 073 · 10 −^2 6 1.414540330... 3. 268 · 10 −^3 7 1.414213600... 3. 774 · 10 −^8 8 1.414213562... 4. 441 · 10 −^16 9 1.414213562... 2. 220 · 10 −^16 10 1.414213562... 2. 220 · 10 −^16

Tabelle 4.1: Newton-Verfahren zur Berechnung der Nullstelle z =

2 der Funktion f (x) = x^2 − 2. Korrekte Dezimalstellen sind unterstrichen.

Wegen

1 2 xk

(xk −

a) <

f¨ur xk ≥

a

liegt Konvergenz f¨ur beliebige Startwerte vor

|xk+1 −

a| ≤

|xk −

a|.

Quadratische Konvergenz liegt nach Satz 4.1 vor, wenn 2 Mm |xk −z| < 1. F¨ur k ≥ 1 gilt xk >

a und wir k¨onnen uns in der Definition von m auf diesen Bereich konzentrieren

m := min x>√a

f ′(x) = 2

a ⇒

M

2 m |xk − z| =

a |xk −

a|

! < 1

⇒ xk

! < 3

a.

Je nach Wahl des Startwerts x 0 kann das entweder schon f¨ur x 0 oder x 1 erf¨ullt sein, oder erst im Laufe der Iteration. Wir geben in Tabelle 4.1 als Beispiel die Berechnung von

2 (a = 2) mit (einem willk¨urlich bestimmten) Startwert x = 0.1. In der ersten Iteration erh¨oht sich der Fehler stark. In Iterationen 2, 3 nimmt der Fehler jeweils um etwas mehr als einen Faktor 2 ab, d.h. es liegt lineare Konvergenz vor. Ab der vierten Iteration verdoppelt sich die Anzahl der korrekten Dezimalstellen. Es liegt quadratische Konvergenz vor

|xk − z| < 10 −n^ ⇒ |xk − z| < c|xk − z|^2 < c · 10 −^2 n.

Ab Iteration 9 liegt der Fehler x 9 −z im Bereich der Maschinengenauigkeit  = 2−^53 ≈ 1. 1 · 10 −^16. Aufgrund von Rundungsfehlern ist bei Verwendung von double precision keine Verbesserung mehr m¨oglich.

Iteration k ak bk xk |z − xk| 0 1 2 1 4. 14 · 10 −^1 1 1 1.5 1.5 8. 58 · 10 −^2 2 1.25 1.5 1.25 1. 64 · 10 −^1 3 1.375 1.5 1.375 3. 92 · 10 −^2 4 1.375 1.4375 1.4375 2. 33 · 10 −^2 5 1.40625 1.4375 1.40625 7. 96 · 10 −^3 6 1.40625 1.421875 1.421875 7. 66 · 10 −^3 7 1.4140625 1.421875 1.414063 1. 51 · 10 −^4 8 1.4140625 1.417969 1.417969 3. 76 · 10 −^3 9 1.4140625 1.416016 1.416016 1. 80 · 10 −^3 10 1.4140625 1.415039 1.415039 8. 26 · 10 −^4

Tabelle 4.2: Intervallschachtelung zur Nullstellensuche bei f (x) = x^2 − 2 mit Startintervall I 0 = [a 0 , b 0 ]. Korrekte Dezimalstellen sind unterstrichen.

Intervallschachtelung In Tabelle 4.2 stellen wir die Ergebnisse des Intervallschachtelungsver- fahrens f¨ur das selbe Problem dar. Als Startintervall ist hier I 0 = [1, 2] gew¨ahlt. Der Fehler |xk − z| reduziert sich, allerdings nicht-monoton. W¨ahrend der Fehler beim Newton-Verfahren nach 8 Schritten im Bereich der Maschinengenauigkeit liegt, liegt dieser bei der Intervallschach- telung nach 8 Schritten im Bereich O(10−^3 ) In Abb. 4.3 vergleichen wir das Konvergenzverhalten des Newton-Verfahrens und der Intervall- schachtelung in einem halblogarithmischen Plot. Dabei wird in der Vertikalen der Logarithmus des Fehlers log(|xk − z|) aufgetragen. Bei linearer Konvergenz gilt

|z − xk| = qk^ ⇒ log(|z − xk|) = k log(q).

d.h. wir erhalten eine Gerade mit Steigung log(q) < 0. Dies kann man bei der Reduktion der Intervalll¨ange |bk − ak| beim Intervallschachtelungsverfahren beobachten. Der Fehler |xk − z| verl¨auft jeweils knapp unter dieser Linie. Bei Konvergenzordnung p > 1 gilt

|z − xk| = q(p

k (^) ) ⇒ log(|z − xk|) = pk^ log(q),

d.h. die Kurve f¨allt exponentiell. Dies ist beim Newton-Verfahren zu beobachten, bis der Fehler die Gr¨oßenordnung der Maschinengenauigkeit erreicht.

4.4 Varianten des Newton-Verfahrens

4.4.1 Ged¨ampftes Newton-Verfahren

Das gr¨oßte Problem beim Newton-Verfahren ist h¨aufig die Wahl eines geeigneten Startwertes x 0. Ist der Einzugsbereich der quadratischen Konvergenz einmal erreicht, konvergiert das Verfahren sehr schnell. F¨ur beliebiges x 0 ist dagegen im allgemeinen keine Konvergenz gesichert. Eine einfache Strategie, um den Konvergenzradius zu vergr¨oßern, ist das sogenannte ged¨ampfte Newton-Verfahren mit einer Folge von D¨ampfungsparametern (λk)k≥ 0 , λk ∈ (0, 1]

Eingabe: Startwert x 0 ∈ I,

Solange

m

|f (xk− 1 )| |xk− 1 |

> TOL :

Setze xk = xk− 1 − λk f (xk− 1 ) f ′(xk− 1 )

f¨ur ein λk ∈ (0, 1].

k ← k + 1 Ausgabe: Iterierte xk

Bei “optimaler” Wahl der Folge (λk)k≥ 0 kann man sogar globale Konvergenz sicherstellen.

Satz 4.4. Die Funktion f ∈ C^2 [a, b] habe eine Nullstelle z ∈ (a, b) und wir nehmen an, dass

m := min x∈[a,b] |f ′(x)| > 0.

F¨ur beliebige Startwerte x 0 ∈ [a, b] kann man eine Folge (λk)k> 0 finden, so dass das ged¨ampfte Newton-Verfahren (4.10) gegen eine Nullstelle z konvergiert. Sobald xk ∈ Kρ(z) f¨ur ρ = 2 mM und M = maxx∈[a,b] |f ′′(x)|, kann λk = 1 gew¨ahlt werden und das ged¨ampfte Newton-Verfahren konvergiert nach Satz 4.1 quadratisch.

Beweis. Wir zeigen, dass f¨ur beliebiges xk stets ein Wert λk = λ ∈ (0, 1] gefunden werden kann, so dass f¨ur x(λ) = xk − λ (^) ff ′((xxkk^ ) ) gilt

|f (x(λ))| < q|f (xk)| f¨ur ein q < 1.

Mithilfe von Taylor-Entwicklung gilt f¨ur ein ξ ∈ [xk, x(λ)]

f (x(λ)) = f

xk − λ f (xk) f ′(xk)

= f (xk) − λ f (xk) f ′(xk) f ′(xk) + λ^2 f (xk)^2 f ′(xk)^2

f ′′(ξ) 2

=

1 − λ +

λ^2 2

f (xk)f ′′(ξ) f ′(xk)^2

f (xk).

F¨ur λ ≤ 1 folgt mit der Dreiecksungleichung

|f (x(λ))| ≤

1 − λ + λ^2 2

M |f (xk)| |f ′(xk)|^2 ︸ ︷︷ ︸ =:αk <∞

|f (xk)|.

Mit der Wahl

λk = min

αk

gilt im Fall αk > 1 (d.h. λk = α− k 1 )

1 − λk + αk

λ^2 k 2

2 αk

≤ q < 1

und f¨ur αk < 1 (d.h. λk = 1)

1 − λk + αk

λ^2 k 2

αk 2

In beiden F¨allen gilt bei dieser Wahl von λk f¨ur die n¨achste Iterierte xk+

|f (xk+1)| = |f (x(λ))| ≤ max{q,

=:˜q

|f (xk)| ≤ q˜k+1|f (x 0 )| → 0 (k → ∞).

Wie in (4.8) folgert man

|xk − z| < |f (xk)| m < q˜k+^ |f (x 0 )| m

d.h. (lineare) Konvergenz der Folge (xk)k≥ 0 gegen eine Nullstelle z. Gilt |xk − z| < ρ = 2 mM , so ergibt sich wegen

0 = f (z) = f (xk) + (z − xk)f ′(xk) + (z − xk)^2 f ′′(ξ) 2 , ξ ∈ [xk, z]

die Beziehung

αk = M |f (xk)| |f ′(xk)|^2

M

|f ′(xk)|

|xk − z| + M |f ′′(ξ)| 2 |f ′(xk)|^2

|xk − z|^2

M

m ρ +

M 2

2 m^2 ρ^2 ≤

< 1 ⇒ λk = 1.

Die Iteration entspricht fortan also der Standard-Newton-Iteration und konvergiert nach Satz 4. quadratisch.

In der Praxis ist das Finden einer geeigneten Folge λk oft problematisch, da z.B. M und damit αk nicht bekannt ist. Eine m¨ogliche Strategie (line search) ist es den Newtonschritt solange f¨ur Werte λk ∈ { 1 , 12 , 14 , ...} zu berechnen, bis |f (x(λk))| < q|f (x)| f¨ur ein q < 1 gilt:

Newton-Verfahren mit Liniensuche (line search)

Eingabe: Startwert x 0 ∈ I.

Solange

m

|f (xk− 1 )| |xk− 1 |

> TOL :

Setze λ = 1 und berechne x(λ) = xk− 1 − λ f (xk− 1 ) f ′(xk− 1 )

Solange f (x(λ))| > q|f (xk− 1 )| :

Setze λ ← λ/2 und x(λ) = xk− 1 − λ

f (xk− 1 ) f ′(xk− 1 )

Setze xk = x(λ), k ← k + 1. Ausgabe: Iterierte xk

Solange λk < 1 ist die Konvergenzgeschwindigkeit im Allgemeinen nur linear. Sobald der Ein- zugsbereich der quadratischen Konvergenz erreicht ist (xk ∈ Kρ(z)), entspricht das ged¨ampfte Newton-Verfahren dem Standard-Newton-Verfahren und konvergiert fortan quadratisch.

Taylorentwicklungen von f und f ′^ ergeben f¨ur gewisse ξ 1 , ξ 2 ∈ [xk, z]

f (xk) =

p∑− 1

i=

f (i)(z) ︸ ︷︷^ i! ︸ =

(xk − z)i^ +

f (p)(ξ 1 ) p! (xk − z)p^ =

f (p)(ξ 1 ) p! (xk − z)p

f ′(xk) =

p∑− 1

i=

f (i)(z) (i − 1)! ︸ ︷︷ ︸ =

(xk − z)i−^1 +

f (p)(ξ 2 ) (p − 1)! (xk − z)p−^1 =

f (p)(ξ 2 ) (p − 1)! (xk − z)p−^1.

Wir entwickeln den letzten Term in der ersten Zeile weiter um ξ 2 mit einem ξ 3 ∈ [xk, z]

f (xk) = f (p)(ξ 1 ) p! (xk − z)p^ = f (p)(ξ 2 ) p! (xk − z)p^ + f (p+1)(ξ 3 ) p! (xk − z)p(ξ 2 − ξ 1 ).

Damit folgt

|xk+1 − z| =

∣^1 −^

ωf (xk) (xk − z)f ′(xk)

∣|xk −^ z|^ =

∣^1 −^

ω p

f (p+1)(ξ 3 )(ξ 1 − ξ 2 ) pf (p)(ξ 2 )

∣|xk −^ z|^ (4.11)

Im Fall ω = p folgt

|xk+1 − z| ≤

M

pm |ξ 1 − ξ 2 ||xk − z|.

Unter der Voraussetzung, dass

M pm ρ < 1

folgt induktiv, dass xk+1 ∈ Kρ(z) und außerdem

|xk+1 − z| ≤

M

pm

|xk − z|^2.

In Falle ω = 1 gilt nach (Induktions-)Voraussetzung

∣∣ ∣

f (p+1)(ξ 3 )(ξ 1 − ξ 2 ) pf (p)(ξ 2 )

M

pm

|xk − z| <

p

und damit

∣ ∣∣ 1 − 1 p

f (p+1)(ξ 3 )(ξ 1 − ξ 2 ) pf (p)(ξ 2 )

(4.11) impliziert dann xk+1 ∈ Kρ(z) und (lokal) lineare Konvergenz.

4.4.3 Vereinfachtes Newton-Verfahren

Der teuerste Schritt bei der Durchf¨uhrung des Newton-Verfahrens ist oft die Berechnung der Ableitung f ′(xk). Dies ist insbesondere in mehreren Dimensionen der Fall (siehe unten). In 1d stelle man sich Funktionen f vor, die nur implizit definiert sind. In diesem Fall wird die Ableitung f ′(xk) h¨aufig nicht in jedem Newton-Schritt neu be- rechnet sondern es wird stattdessen auf in vorherigen Iterationen berechneten Ableitungen zur¨uckgegriffen

f ′(xk) ≈ f ′(xl) f¨ur l < k.

Es kann sogar gezeigt werden, dass die Ableitungen an beliebigen Stellen y ∈ Kρ(z) ausgewertet werden k¨onnen, wobei sich die Konvergenzordnung in diesem Fall auf 1 reduziert. Wir betrach- ten das folgende vereinfachte Newtonverfahren, bei dem die Ableitung nur im ersten Schritt berechnet wird.

Eingabe: Startwert x 0 ∈ I,

Solange

m

|f (xk)| |xk|

> TOL :

Setze xk = xk− 1 − f (xk− 1 ) f ′(x 0 )

Ausgabe: Iterierte xk

Satz 4.6. Die Funktion f ∈ C^2 [a, b] habe eine Nullstelle z ∈ (a, b) und wir nehmen an, dass

m := min x∈[a,b]

|f ′(x)| > 0.

Außerdem sei M := maxx∈[a,b] |f ′′(x)| und ρ > 0 sei so gew¨ahlt, dass

ρ < m 2 M

, Kρ := {x ∈ R, |x − z| ≤ ρ} ⊂ [a, b].

Dann bleiben die Newton-Iterierten xk f¨ur jeden Startwert x 0 ∈ Kρ(z) in Kρ(z) und konvergieren gegen die Nullstelle z. Es gilt die a priori Fehlerabsch¨atzung

|xk − z| ≤ q|xk− 1 − z| ≤

m 4 M qk, k ∈ N

mit q := (^2) mM ρ < 1.

Beweis. Ubung.¨

4.4.4 Sekantenverfahren

Das Sekantenverfahren kommt sogar ganz ohne Berechnung von Ableitungen aus. Statt wie beim Newton-Verfahren die Tangente T (x) als lokale Approximation von f um den Punkt x

wobei q = 2 Mm ρ < 1 und (γk)k∈N die Folge der Fibonacci-Zahlen. Asymptotisch ergibt sich die Konvergenzordnung p ≈ 1. 681 , da

lim k→∞ γk ≈ 0. 723 · (1.618)k.

Beweis. Siehe z.B. [5], Satz 6.23.

Bei der Sekantenmethode ist pro Iterationsschritt nur eine (neue) Funktionsauswertung f (xk) und keine Berechnung von Ableitungen notwendig, weshalb ein Iterationsschritt in der Regel deutlich g¨unstiger ist als beim Newton-Verfahren. Zusammen mit der Konvergenzordnung von 1 .681 k¨onnte man also vermuten, dass das Verfahren eine hocheffiziente Alternative zum Newton- Verfahren darstellt. Allerdings besteht die Gefahr von Ausl¨oschung, insbesondere wenn f (xk) monoton (nicht alternierend) gegen f (z) = 0 konvergiert, da f (xk) ≈ f (xk− 1 ). Deshalb wird das Sekantenverfahren in der Praxis eher selten eingesetzt.

4.5 Fixpunktverfahren

Das Newton-Verfahren und die in Abschnitt 4.4 definierten Varianten lassen sich alle als Fix- punktiterationen in folgender Form schreiben

xk = g(xk− 1 ), k = 1, 2 , ..., (4.16)

wobei genau dann z = g(z) gelten soll, wenn z eine Nullstelle von f ist. Das Newton-Verfahren f¨allt in diese Kategorie, da unter den obigen Voraussetzungen an f ′ gilt

g(z) := z − f (z) f ′(z)

= z ⇔ f (z) = 0.

F¨ur eine Nullstelle z von f gilt weiter

g′(z) = 1 −

f ′(z) f ′(z)

f (z)f ′′(z) (f ′(z))^2

Das Verhalten der Ableitungen an der Nullstelle z kann benutzt werden, um die Konvergenz- ordnung einer Fixpunktiteration zu bestimmen.

Satz 4.8. Sei g ∈ Cp[a, b] mit p ∈ N, p ≥ 2 und sei z ∈ [a, b] ein Fixpunkt von g. Eine Fixpunktiteration der Form (4.16) hat genau dann (mindestens) die Ordnung p, wenn gilt

g′(z) = ... = g(p−1)(z) = 0.

Beweis. “⇐“ Sei zun¨achst g′(z) = ... = g(p−1)(z) = 0. Taylor-Entwicklung ergibt

xk − z = g(xk− 1 ) − g(z) =

∑^ p−^1

k=

k! g(k)(z) ︸ ︷︷ ︸ =

(xk− 1 − z)k^ +

g(p)(ξk) p! (xk− 1 − z)p, ξk ∈ [xk− 1 , z].

Es folgt

|xk − z| ≤ c|xk− 1 − z|p^ f¨ur alle k ∈ N. (4.18)

“⇒“ Es gelte nun umgekehrt (4.18) f¨ur p ≥ 2 und beliebiges x 0 ∈ [a, b]. Wir zeigen induktiv f¨ur m = 1,... , p − 1, dass g(m)(z) = 0. Induktionsanfang: Sei zun¨achst m = 1. Wir machen die Widerspruchsannahme g′(z) 6 = 0. Dann gilt auch g′(ξ) 6 = 0 in einer Umgebung Kρ(z). Aus (4.18) folgt nach einer m¨oglichen Verkleinerung von ρ außerdem die Konvergenz xk → z f¨ur alle Startwerte x 0 ∈ Kρ(z). Taylor- Entwicklung (bzw. der Mittelwertsatz der Differentialrechnung) ergibt

xk − z = g(xk− 1 ) − g(z) = g′(ξk)(xk− 1 − z), ξk ∈ [xk− 1 , z]. (4.19)

Wegen g′(ξk) 6 = 0 in Kρ(z) wird xk − z niemals Null. Es folgt im Widerspruch zur Annahme

|g′(z)| = lim k→∞

|g′(ξk)| = lim k→∞

|xk − z| |xk− 1 − z|

≤ c lim k→∞

|xk− 1 − z|p−^1 = 0.

Induktionsschritt: Wir nehmen nun an, dass dass g′(z) = ... = g(m−1)(z) = 0 f¨ur ein m < p und machen wieder die Widerspruchsannahme, dass g(m)(z) 6 = 0. Mittels Taylor-Entwicklung erhalten wir f¨ur x 0 ∈ Kρ(z) f¨ur gen¨ugend kleines ρ

xk − z = g(xk− 1 ) − g(z) = g(m)(ξk)(xk− 1 − z)m m! , ξk ∈ [xk− 1 , z]

und damit im Widerspruch zur Annahme

|g(m)(z)| = lim k→∞ |g(m)(ξk)| = lim k→∞ m!

|xk − z| |xk− 1 − z|m^ ≤ c(m!) lim k→∞ |xk− 1 − z|p−m^ = 0.

Die Taylor-Entwicklung (6.7)

xk − z = g′(ξk)(xk− 1 − z), ξk ∈ [xk− 1 , z].

gibt noch ein Kriterium f¨ur (lokal lineare) Konvergenz. Gilt n¨amlich |g′(z)| < 1, so ist auch |g′(ξk)| < 1 in einer gen¨ugend kleinen Umgebung Kρ(z). Es folgt lokal lineare Konvergenz, da

|xk − z| < q|xk− 1 − z|, mit q < 1.

Analog folgt, dass im Falle |g′(z)| > 1 keine Konvergenz gegen z vorliegt. Mithilfe der Resultate aus Theorem 4.8 k¨onnen wir nun weitere Fixpunktiterationen zur L¨osung des Nullstellenproblems f (z) = 0 konstruieren.

Beispiel 1: F¨ur die einfache Fixpunktiteration

xk = g(xk− 1 ) := xk− 1 + f (xk− 1 )

gilt

g′(z) = 1 + f ′(z).

Die Konvergenz der Fixpunktiteration ist abh¨angig von der Funktion f. F¨ur f ′(z) ∈ (− 2 , 0) liegt (lokal lineare) Konvergenz vor, nur im Falle f ′(z) = −1 ist diese lokal quadratisch.