Reihenfolge der Operationen, numerische Algorithmen

Ich habe das gelesen

(1) Schlecht konditionierte Operationen sollten vor gut konditionierten durchgeführt werden.

Als Beispiel sollte man als berechnen, da die Subtraktion schlecht konditioniert ist, während die Multiplikation nicht ist. $xz-yz$ $(x-y)z$

Eine Fehleranalyse erster Ordnung beider Algorithmen zeigt jedoch, dass sie sich nur um den Faktor drei (*) unterscheiden, und ich verstehe nicht, warum man dies auf Aussage (1) verallgemeinern kann, und ich verstehe die Bedeutung von nicht intuitiv Reihenfolge der Operationen. Denken Sie, dass die Aussage (1) eine akzeptierte Regel ist, und haben Sie andere Erklärungen dafür?

*: Insbesondere hat die erste Version einen relativen Fehler, der durch begrenzt ist

eps + 3 \frac{| x | + | y |}{| x | - | y |} eps

$\text{eps}+3\frac{|x|+|y|}{|x|-|y|}\text{eps}$ während der relative Fehler der zweiten Version durch begrenzt ist

3 eps + \frac{| x | + | y |}{| x | - | y |} eps

$3\text{eps}+\frac{|x|+|y|}{|x|-|y|}\text{eps}$

Dabei ist die Maschinengenauigkeit. $\text{eps}$

Diese Analyse basiert auf der Annahme, dass das te Zwischenergebnis mit multipliziert wird (aufgrund von Rundungsfehlern), wobei iid Zufallsvariablen sind, die durch . "Erste Ordnung" bedeutet, dass Begriffe höherer Ordnung wie vernachlässigt werden. $i$ $(1+\varepsilon_i)$ $\varepsilon_i$ $\text{eps}$ $\epsilon_i\epsilon_jx$

stability floating-point

— Bananach
quelle

Wo hast du das gelesen?

— David Ketcheson

in meinen Vorlesungsunterlagen

— Bananach

Bezeichnen wir mit (ich war faul beim Versuch, eine eingekreiste Version des Divisionsoperators zu erhalten) die Gleitkommaanaloga der exakten Multiplikation ( ), Addition ( ) bzw. Subtraktion ( ). Wir nehmen an (IEEE-754), dass für alle von ihnen wobei das Maschinen-Epsilon ist, das eine Obergrenze für den relativen Fehler aufgrund von Rundungen angibt. Wir werden auch das folgende Lemma verwenden (vorausgesetzt, alle und ist nicht zu groß), das leicht bewiesen werden kann: $\otimes,\oplus,\ominus$ $\times$ $+$ $-$

[x \oplus y] = (x + y) (1 + δ_{\oplus}), | δ_{\oplus} | \leq ϵ_{m a c h},

$[x\oplus y]=(x+ y)(1+\delta_\oplus),\quad |\delta_\oplus|\le\epsilon_\mathrm{mach},$

ϵ_{m a c h}

$\epsilon_\mathrm{mach}$

| δ_{i} | \leq ϵ_{m a c h}

$|\delta_i|\le\epsilon_\mathrm{mach}$

m

$m$

\prod_{i = 1}^{m} (1 + δ_{i}) = 1 + θ (m), | θ (m) | \leq \frac{m ϵ_{m a c h}}{1 - m ϵ_{m a c h}}

$\prod\limits_{i=1}^{m}(1+\delta_i)=1+\theta(m),\quad |\theta(m)|\le\frac{m\epsilon_\mathrm{mach}}{1-m\epsilon_\mathrm{mach}}$

Definieren wir die wahre Funktion , die mit reellen Zahlen als arbeitet $f$ $x,y,z$

f (x, y, z) = (x \times z) - (y \times z)

$f(x,y,z)=(x\times z)-(y\times z)$

und zwei Versionen der Funktionsimplementierung in IEEE-kompatibler Gleitkomma-Arithmetik als und , die mit Gleitkomma-Darstellungen wie folgt: $\tilde{f_1}$ $\tilde{f_2}$ $\tilde{x}=x(1+\delta_x),\tilde{y},\tilde{z}$

\tilde{f_{1}} (\tilde{x}, \tilde{y}, \tilde{z}) = (\tilde{x} \otimes \tilde{z}) ⊖ (\tilde{y} \otimes \tilde{z}),

$\tilde{f_1}(\tilde{x},\tilde{y},\tilde{z})=(\tilde{x}\otimes\tilde{z})\ominus(\tilde{y}\otimes\tilde{z}),$

\tilde{f_{2}} (\tilde{x}, \tilde{y}, \tilde{z}) = (\tilde{x} ⊖ \tilde{y}) \otimes \tilde{z} .

$\tilde{f_2}(\tilde{x},\tilde{y},\tilde{z})=(\tilde{x}\ominus\tilde{y})\otimes\tilde{z}.$

Fehleranalyse für : $\tilde{f_1}$

\begin{aligned} \tilde{f_{1}} & = (\underset{(\tilde{x} \otimes \tilde{z})}{\underset{⏟}{(x (1 + δ_{x}) \times z (1 + δ_{z})) (1 + δ_{\otimes_{x z}})}} - \underset{(\tilde{y} \otimes \tilde{z})}{\underset{⏟}{(y (1 + δ_{y}) \times z (1 + δ_{z})) (1 + δ_{\otimes_{y z}})}}) (1 + δ_{⊖}) \\ = x z (1 + δ_{x}) (1 + δ_{z}) (1 + δ_{\otimes_{x z}}) (1 + δ_{⊖}) - y z (1 + δ_{y}) (1 + δ_{z}) (1 + δ_{\otimes_{y z}}) (1 + δ_{⊖}) \\ = x z (1 + θ_{x z, 1}) - y z (1 + θ_{y z, 1}) . \end{aligned}

$\begin{aligned} \tilde{f_1}&=\Big(\underbrace{\big(x(1+\delta_x)\times z(1+\delta_z)\big)\big(1+\delta_{\otimes_{xz}}\big)}_{(\tilde{x}\otimes\tilde{z})}-\underbrace{\big(y(1+\delta_y)\times z(1+\delta_z)\big)\big(1+\delta_{\otimes_{yz}}\big)}_{(\tilde{y}\otimes\tilde{z})}\Big)\Big(1+\delta_{\ominus}\Big)\\ &=xz(1+\delta_x)(1+\delta_z)(1+\delta_{\otimes_{xz}})(1+\delta_\ominus)-yz(1+\delta_y)(1+\delta_z)(1+\delta_{\otimes_{yz}})(1+\delta_\ominus)\\ &=xz(1+\theta_{xz,1})-yz(1+\theta_{yz,1}). \end{aligned}$ Hier .

| θ_{x z, 1} |, | θ_{y z, 1} | \leq \frac{4 ϵ_{m a c h}}{1 - 4 ϵ_{m a c h}}

$|\theta_{xz,1}|,|\theta_{yz,1}|\le\frac{4\epsilon_\mathrm{mach}}{1-4\epsilon_\mathrm{mach}}$

In ähnlicher Weise gilt für Hier . $\tilde{f_2}$

\begin{aligned} \tilde{f_{2}} & = (((x (1 + δ_{x}) - y (1 + δ_{y}) (1 + δ_{⊖_{x y}})) \times (z (1 + δ_{z}))) (1 + δ_{\otimes}) \\ = x z (1 + δ_{x}) (1 + δ_{z}) (1 + δ_{⊖_{x y}}) (1 + δ_{\otimes}) - y z (1 + δ_{y}) (1 + δ_{z}) (1 + δ_{⊖_{x y}}) (1 + δ_{\otimes}) \\ = x z (1 + θ_{x, 2}) - y z (1 + θ_{y, 2}) . \end{aligned}

$\begin{aligned} \tilde{f_2}&=\Bigg(\Big(\big( x(1+\delta_x)-y(1+\delta_y \big)\big(1+\delta_{\ominus_{xy}}\big)\Big)\times \Big(z(1+\delta_z)\Big)\Bigg)\Bigg(1+\delta_{\otimes}\Bigg)\\ &=xz(1+\delta_x)(1+\delta_z)(1+\delta_{\ominus_{xy}})(1+\delta_\otimes)-yz(1+\delta_y)(1+\delta_z)(1+\delta_{\ominus_{xy}})(1+\delta_\otimes)\\ &=xz(1+\theta_{x,2})-yz(1+\theta_{y,2}). \end{aligned}$

| θ_{x, 2} |, | θ_{y, 2} | \leq \frac{4 ϵ_{m a c h}}{1 - 4 ϵ_{m a c h}}

$|\theta_{x,2}|,|\theta_{y,2}|\le\frac{4\epsilon_\mathrm{mach}}{1-4\epsilon_\mathrm{mach}}$

Also haben wir sowohl für als auch für Ausdrücke des gleichen Typs erhalten, daher sehe ich nicht, warum eine Implementierung aus numerischer Sicht einer anderen vorgezogen wird (mit Ausnahme der Tatsache, dass führt im Vergleich zu ) nur 2 Gleitkommaoperationen aus . $\tilde{f_1}$ $\tilde{f_2}$ $\tilde{f_2}$ $\tilde{f_1}$

Die Berechnung des relativen Fehlers zeigt, dass das Problem darin besteht, dass und sehr nahe beieinander liegen können ( Löschung ). $x$ $y$

\begin{aligned} \frac{| \tilde{f_{1}} - f |}{| f |} & = \frac{| x z + x z θ_{x z, 1} - y z - y z θ_{y z, 1} - (x z - y z) |}{| x z - y z |} = \frac{| x θ_{x z, 1} - y θ_{y z, 1} |}{| x - y |} \\ \leq \frac{| x | + | y |}{| x - y |} \frac{4 ϵ_{m a c h}}{1 - 4 ϵ_{m a c h}}, \end{aligned}

$\begin{aligned} \frac{|\tilde{f_1}-f|}{|f|}&=\frac{|xz+xz\theta_{xz,1}-yz-yz\theta_{yz,1}-(xz-yz)|}{|xz-yz|}=\frac{|x\theta_{xz,1}-y\theta_{yz,1}|}{|x-y|}\\ &\le\frac{|x|+|y|}{|x-y|}\frac{4\epsilon_\mathrm{mach}}{1-4\epsilon_\mathrm{mach}}, \end{aligned}$

\begin{aligned} \frac{| \tilde{f_{2}} - f |}{| f |} & = \frac{| x z + x z θ_{x, 2} - y z - y z θ_{y, 2} - (x z - y z) |}{| x z - y z |} = \frac{| x θ_{x, 2} - y θ_{y, 2} |}{| x - y |} \\ \leq \frac{| x | + | y |}{| x - y |} \frac{4 ϵ_{m a c h}}{1 - 4 ϵ_{m a c h}} . \end{aligned}

$\begin{aligned} \frac{|\tilde{f_2}-f|}{|f|}&=\frac{|xz+xz\theta_{x,2}-yz-yz\theta_{y,2}-(xz-yz)|}{|xz-yz|}=\frac{|x\theta_{x,2}-y\theta_{y,2}|}{|x-y|}\\ &\le\frac{|x|+|y|}{|x-y|}\frac{4\epsilon_\mathrm{mach}}{1-4\epsilon_\mathrm{mach}}. \end{aligned}$

Geringe Unterschiede zwischen 's können dazu führen, dass eine der beiden numerischen Implementierungen je nach geringfügig besser oder schlechter wird . Ich bezweifle jedoch, dass dies von Bedeutung sein kann. Das Ergebnis ist absolut sinnvoll, denn egal was passiert, wenn Sie berechnen müssen , wenn und nahe genug an Werten (für die Genauigkeit, mit der Sie arbeiten) unter Verwendung von Gleitkomma-Arithmetik liegen, hilft Ihnen keine Skalierung erheblich: Sie sind bereits in Schwierigkeiten. $\theta$ $x,y,z$ $(x-y)$ $x$ $y$

NB: Alle obigen Diskussionen setzen keinen Überlauf oder Unterlauf voraus, dh , wobei die Menge aller normalen Gleitkommazahlen ist. $x,y,z,f(x,y,z)\in\mathbb F_0$ $\mathbb F_0$

— Anton Menschow
quelle