Die Erwartung von Taylor-Serien (insbesondere den Rest) nehmen


42

Meine Frage betrifft den Versuch, eine weit verbreitete Methode zu rechtfertigen, nämlich den erwarteten Wert der Taylor-Reihe zu nehmen. Angenommen, wir haben eine Zufallsvariable mit positivem Mittelwert und Varianz . Zusätzlich haben wir eine Funktion, zum Beispiel .Xμσ2log(x)

Wenn wir die Taylor-Erweiterung von um den Mittelwert ausführen, erhalten wir wobei wie üblich st.logX

logX=logμ+Xμμ12(Xμ)2μ2+13(Xμ)3ξX3,
ξX|ξXμ|<|Xμ|

Wenn wir eine Erwartung annehmen, erhalten wir eine ungefähre Gleichung, die die Leute normalerweise als etwas Selbstverständliches bezeichnen (siehe das Zeichen in der ersten Gleichung hier)E log X log μ - 1 :

ElogXlogμ12σ2μ2

FRAGE : Ich bin daran interessiert, zu beweisen, dass der erwartete Wert des Restterms tatsächlich vernachlässigbar ist, dh (oder mit anderen Worten ).

E[(Xμ)3ξX3]=o(σ2)
E[o(Xμ)2]=o(E[(Xμ)2])

Was ich versucht habe : Unter der Annahme, dass (was wiederum in ), habe ich versucht, das Integral in zwei Teile aufzuteilen, wobei mit einigen -vicinity : σ20XμPμεNε

Rp(x)(xμ)3ξx3dx=xNεdx+xNεdx

Der erste kann aufgrund der Tatsache begrenzt werden, dass und somit nicht stört. Aber mit dem zweiten haben wir zwei übereinstimmende Tatsachen: einerseits (als ). Andererseits wissen wir nicht, was wir mit .0Nε1/ξ3

P(|Xμ|>ε)0
σ201/ξ3

Eine andere Möglichkeit könnte sein, das Lemma der Fatou zu verwenden, aber ich kann nicht herausfinden, wie.

Würde mich über jede Hilfe oder jeden Hinweis freuen. Mir ist klar, dass dies eine sehr technische Frage ist, aber ich muss sie durchgehen, um dieser "Taylor-Erwartungsmethode" zu vertrauen. Vielen Dank!

PS ich ausgecheckt hier , scheint aber es ist ein bisschen von anderen Sachen.


Warum steht vor dem dritten Term der Taylor-Erweiterung ein Minuszeichen? Auch warum in der vierten Amtszeit gibt es und nicht? Was vermisse ich? 3 !33!
Alecos Papadopoulos

@ Alecos: Schauen Sie sich nur die te Ableitung von . Damit beantworten Sie beide Fragen. log xnlogx
Kardinal

4
(+1) In dieser Ausgabe wurden kürzlich zwei Fragen zum Finden der Momente von erörtert . Es lohnt sich, in solchen Angelegenheiten zusätzliche Sorgfalt walten zu lassen. :-)X1
Kardinal

1
Die Näherung erster Ordnung kann in einigen Fällen aufgrund des Mittelwertsatzes sogar besser sein. Nicht sicher, ob der Mittelwertsatz im allgemeinen Fall hilfreich wäre.
Wahrscheinlichkeitslogik

1
Ich hätte gedacht, dass der dominierte Konvergenzsatz hier nützlich sein könnte, da die Gleichung ein Austausch von Grenzen und Integration ist. E(o(..))=o(E(..))
Wahrscheinlichkeitslogik

Antworten:


32

Sie sind mit Recht skeptisch gegenüber diesem Ansatz. Die Taylor-Reihenmethode funktioniert im Allgemeinen nicht, obwohl die Heuristik einen Kern der Wahrheit enthält. Um die technische Diskussion unten zusammenzufassen,

  • Starke Konzentration impliziert, dass die Taylor-Reihenmethode für schöne Funktionen funktioniert
  • Bei Heavy-Tailed-Distributionen oder nicht so netten Funktionen können und werden die Dinge dramatisch schief gehen

Wie aus Alecos 'Antwort hervorgeht, sollte die Taylor-Reihen-Methode abgeschafft werden, wenn Ihre Daten möglicherweise einen hohen Umfang haben. (Finanzfachleute, ich sehe dich an.)

Wie Elvis bemerkte, besteht das Hauptproblem darin, dass die Varianz keine höheren Momente kontrolliert . Um zu sehen, warum, vereinfachen wir Ihre Frage so weit wie möglich, um zur Hauptidee zu gelangen.

Angenommen, wir haben eine Folge von Zufallsvariablen mit als . σ ( X n ) 0 n Xnσ(Xn)0n

F: Können wir garantieren, dass alsn ?E[|Xnμ|3]=o(σ2(Xn))n?

Da es Zufallsvariablen mit endlichen zweiten Momenten und unendlichen dritten Momenten gibt, lautet die Antwort nachdrücklich nein . Daher schlägt die Taylorreihenmethode im Allgemeinen auch für Polynome 3. Grades fehl . Das Durchlaufen dieses Arguments zeigt, dass Sie nicht erwarten können, dass die Taylor-Reihenmethode auch für Polynome genaue Ergebnisse liefert, es sei denn, alle Momente Ihrer Zufallsvariablen sind gut gesteuert.

Was sollen wir dann tun? Sicher funktioniert die Methode für begrenzte Zufallsvariablen, deren Unterstützung zu einem Punkt konvergiert, aber diese Klasse ist viel zu klein, um interessant zu sein. Nehmen wir stattdessen an, dass die Sequenz aus einer hoch konzentrierten Familie stammt, die (sagen wir) erfüllt.Xn

(1)P{|Xnμ|>t}eCnt2

für jedes und einige . Solche Zufallsvariablen sind überraschend häufig. Zum Beispiel, wenn das empirische Mittel istC > 0 X nt>0C>0Xn

Xn:=1ni=1nYi

von netten Zufallsvariablen (z. B. iid und bounded) implizieren verschiedene Konzentrationsungleichungen , dass (1) erfüllt. Ein Standardargument (siehe S. 10 hier ) begrenzt die ten Momente für solche Zufallsvariablen:X n pYiXnp

E[|Xnμ|p](p2Cn)p/2.

Daher können wir für jede "ausreichend schöne" analytische Funktion (siehe unten) den Fehler an die terminale Taylorreihen-Approximation unter Verwendung der Dreiecksungleichung bindenE m mfEmm

Em:=|E[f(Xn)]p=0mf(p)(μ)p!E(Xnμ)p|1(2Cn)(m+1)/2p=m+1|f(p)(μ)|pp/2p!

wenn . Da Stirlings Näherung ergibt erfüllt der Fehler der abgeschnittenen Taylorreihen>C/2p!pp1/2

(2)Em=O(n(m+1)/2) as nwheneverp=0p(1p)/2|f(p)(μ)|<.

Wenn also stark konzentriert ist und ausreichend schön ist, ist die Taylorreihennäherung tatsächlich genau. Die in (2) auftauchende Ungleichung impliziert, dass , so dass insbesondere erfordert unsere Bedingung , daß ist gesamten . Dies ist sinnvoll, da (1) keine Begrenzungsannahmen auferlegt .Xnff(p)(μ)/p!=O(pp/2)fXn

Mal sehen, was schief gehen kann, wenn eine Singularität hat (nach Whubers Kommentar). Angenommen, wir wählen . Wenn wir aus der -Verteilung nehmen, die zwischen null und zwei abgeschnitten ist, dann ist ausreichend konzentriert, aber für jedes . Mit anderen Worten, wir haben eine hoch konzentrierte, begrenzte Zufallsvariable , und die Taylor-Reihenmethode schlägt immer noch fehl, wenn die Funktion nur eine Singularität aufweist.ff(x)=1/xXnNormal(1,1/n)XnE[f(Xn)]=n

Ein paar Worte zur Strenge. Ich finde es angenehmer, die in (2) auftauchende Bedingung als abgeleitet darzustellen, als ein Deus ex machina , das in einem strengen Satz- / Beweisformat erforderlich ist. Um das Argument vollständig zu verschärfen, ist zunächst zu beachten, dass die rechte Seite in (2) dies impliziert

E[|f(Xn)|]i=0|f(p)(μ)|p!E[|Xnμ|p]<

durch die Wachstumsrate von subgaußschen Momenten von oben. Somit liefert der Satz von Fubini

E[f(Xn)]=i=0f(p)(μ)p!E[(Xnμ)p]

Der Rest des Beweises läuft wie oben ab.


1
Ich habe es vielleicht bei einer kurzen Lektüre verpasst, aber behaupten Sie (unter anderem), dass die Erwartung von vernünftigerweise angenähert werden kann, indem man die Erwartungen von , wenn der dritte Moment von ausreichend "unter Kontrolle" ist die [MacLaurin] -Serie von ? Ich bin besorgt , weil ich keinen Hinweis auf die Konvergenzeigenschaften der Serie selbst gesehen haben , die als die Enden der Verteilung von mindestens ebenso wichtig sind . Xlog(X)logX
whuber

2
@whuber Du hast recht; Sie benötigen die Unterstützung von , um im ROC der Taylor-Reihe zu sein, also ist es fast sicher , dass . Ich werde den Beitrag aktualisieren, um dies widerzuspiegeln. X0<X<2μ
Mike McCoy

2
Ich glaube immer noch, dass mir etwas fehlt. Wenn beispielsweise eine Normalverteilung die auf abgeschnitten ist , ist es offensichtlich "hoch konzentriert", hat einen Mittelwert von und liegt fast sicher innerhalb des Konvergenzradius von (das ist analytisch im Inneren der bei zentrierten Einheitsscheibe , die ), aber ist unendlich. X(1,1)(0,2)μ=1f(x)=1/x=1/(1(1x))1(0,2μ)E[f(X)]
Whuber

1
@gron Du hast einen kleinen Fehler gemacht. Wenn , ist die Ableitung . Die Bedingung gilt nicht, weil für jede . Sie können auch überprüfen, dass (2) nicht gilt, da jede Funktion, die (2) erfüllt, auch erfüllt und daher hat Keine Singularitäten (das Ganze , je nach Link). f(x)=1/x|f(p)(μ)|=p!/μp
(2)=p!p(1p/2)μp
μ>0log(p!f(p)(μ))/pf
Mike McCoy

1
@gron Sie benötigen zwei Dinge: (1) Vergewissern Sie sich, dass Ihr Wohnmobil die Unterstützung ausschließlich innerhalb der ROC der Potenzreihe des Protokolls hat (dh für ), und (2) Stellen Sie sicher, dass die Momente des RV schnell genug abnehmen, dass eine Fehlerabschätzung für oben endlich ist. Was die Steuerung der Momente angeht, sollten Sie eine neue Frage stellen, da zu viele Zeichen benötigt werden (und ich bin neugierig auf neue Wege). [0+ε,2με]ε>0Em
Mike McCoy

10

Obwohl meine Antwort nicht an das Niveau der mathematischen Raffinesse der anderen Antworten heranreicht, habe ich mich dazu entschlossen, sie zu posten, weil ich glaube, dass sie etwas beitragen kann - obwohl das Ergebnis, wie sie sagen, "negativ" sein wird.

In einem hellen Ton würde ich sagen, dass das OP "risikoavers" ist (wie die meisten Menschen, ebenso wie die Wissenschaft selbst), weil das OP eine ausreichende Bedingung für die Taylor-Reihen-Expansionsnäherung 2. Ordnung erfordert, um "zu sein" akzeptabel". Aber es ist keine notwendige Bedingung.

Erstens ist eine notwendige, aber nicht ausreichende Voraussetzung dafür, dass der erwartete Wert des Rests von geringerer Ordnung ist als die Varianz des Rv, wie es das OP erfordert, dass die Reihe überhaupt konvergiert. Sollen wir nur von Konvergenz ausgehen? Nein.

Der allgemeine Ausdruck, den wir untersuchen, ist

E[g(Y)]=fY(y)[i=0g(i)(μ)(yμ)ii!]dy[1]

Wie Loistl (1976) unter Bezugnahme auf Gemignanis Buch "Calculus and Statistics" (1978, S. 170) feststellt, ist eine Bedingung für die Konvergenz der unendlichen Summe (eine Anwendung des Verhältnis-Tests für die Konvergenz)

yμ<|yμ|<limi|(g(i)(μ)g(i+1)(μ)(i+1))|[2]

... wobei der Mittelwert des rv ist Auch wenn dies eine ausreichende Bedingung ist (der Ratio-Test ist nicht schlüssig, wenn die obige Beziehung mit der Gleichheit übereinstimmt), wird die Reihe auseinander gehen, wenn die Ungleichung in die andere Richtung gilt.μ

Loistl untersuchte drei spezifische Funktionsformen für , das Exponential, die Potenz und den Logarithmus (seine Arbeit befasst sich mit Expected Utility und Portfolio Choice, also testete er die Standardfunktionsformen, die zur Darstellung einer konkaven Utility-Funktion verwendet werden). Für diese funktionellen Formen stellte er fest, dass nur für die exponentielle funktionelle Form keine Beschränkungen für auferlegt wurden. Im Gegenteil, für die Potenz und für den logarithmischen Fall (wo wir bereits ) finden wir, dass die Gültigkeit der Ungleichung äquivalent zu g()yμ0<y[2]

yμ<μ0<y<2μ

Dies bedeutet, dass, wenn unsere Variable außerhalb dieses Bereichs variiert, die Taylor-Expansion, deren Expansionszentrum der Mittelwert der Variablen ist, divergiert.

Also: Für einige funktionale Formen entspricht der Wert einer Funktion an einem Punkt ihrer Domäne ihrer unendlichen Taylor-Expansion, unabhängig davon, wie weit dieser Punkt vom Expansionszentrum entfernt ist. Für andere funktionale Formen (einschließlich Logarithmus) sollte der interessierende Punkt etwas "nahe" am gewählten Expansionszentrum liegen. Wenn wir ein rv haben, bedeutet dies eine Einschränkung der theoretischen Unterstützung der Variablen (oder eine Untersuchung ihres empirisch beobachteten Bereichs).

Anhand numerischer Beispiele zeigte Loitl auch, dass eine Vergrößerung der Expansionsreihenfolge vor dem Abschneiden die Genauigkeit der Approximation verschlechtern kann . Wir müssen feststellen, dass Zeitreihen beobachteter Variablen im Finanzsektor empirisch eine Variabilität aufweisen, die größer ist als die von der Ungleichung geforderte. Loitl setzte sich daher dafür ein, dass die Taylor-Näherungsmethode in Bezug auf die Portfolio-Auswahl-Theorie vollständig abgeschafft werden sollte.

Der Rückprall erfolgte 18 Jahre später von Hlawitschka (1994) . Der wertvolle Einblick und das wertvolle Ergebnis hier war, und ich zitiere

... obwohl eine Reihe letztendlich konvergieren kann, kann über eine ihrer Teilreihen wenig gesagt werden; Die Konvergenz einer Reihe bedeutet nicht, dass die Begriffe sofort kleiner werden oder dass ein bestimmter Begriff klein genug ist, um ignoriert zu werden. In der Tat ist es, wie hier gezeigt, möglich, dass eine Reihe auseinander zu laufen scheint, bevor sie sich letztendlich dem Grenzwert annähert. Die Qualität der Momentannäherungen an den erwarteten Nutzen, die auf den ersten Ausdrücken einer Taylor-Reihe basieren, kann daher nicht durch die Konvergenzeigenschaften der unendlichen Reihe bestimmt werden. Dies ist eine empirische Angelegenheit, und empirisch sind Zwei-Moment-Annäherungen an die hier untersuchten Nutzfunktionen für die Aufgabe der Portfolioauswahl gut geeignet. Hlawitschka (1994)

Zum Beispiel zeigte Hlawitschka, dass die Approximation 2. Ordnung "erfolgreich" war, unabhängig davon, ob die Taylor-Reihe konvergierte oder nicht , aber er bestätigte auch das Ergebnis von Lotl, dass eine Erhöhung der Approximationsordnung die Approximation möglicherweise verschlechtern könnte. Für diesen Erfolg gibt es jedoch ein Kriterium: In Portfolio Choice wird Expected Utility zur Einstufung von Wertpapieren und anderen Finanzprodukten verwendet. Es ist ein Ordnungsmaß , kein Kardinal. Was Hlawitschka fand, ist, dass die Annäherung 2. Ordnung die Rangfolge verschiedener Wertpapiere beibehielt, verglichen mit der Rangfolge, die sich aus dem exakten Wert von ergibt , und nichtE(g(Y) dass es immer quantitative Ergebnisse gab, die diesem exakten Wert hinreichend nahe kamen (siehe seine Tabelle A1 auf S. 718).

Wo bleibt uns das also? In der Schwebe würde ich sagen. Sowohl in der Theorie als auch in der Empirie hängt die Akzeptanz der Taylor-Näherung 2. Ordnung entscheidend von vielen verschiedenen Aspekten des untersuchten Phänomens und der angewandten wissenschaftlichen Methodik ab - sie hängt von den theoretischen Annahmen und den verwendeten funktionalen Formen ab. zur beobachteten Variabilität der Reihe ...

Aber lassen Sie uns dies positiv beenden: Heutzutage ersetzt Computerleistung viele Dinge. So können wir die Gültigkeit der Approximation 2. Ordnung für einen weiten Wertebereich der Variablen kostengünstig simulieren und testen, unabhängig davon, ob wir an einem theoretischen oder einem empirischen Problem arbeiten.


8

Keine wirkliche Antwort, sondern ein Beispiel, das zeigt, dass die Dinge nicht so schön sind und dass zusätzliche Hypothesen erforderlich sind, um dieses Ergebnis zu verwirklichen.

Definiere als eine Mischung zwischen einem einheitlichen und einem normalen , wobei die einheitliche Komponente mit der Wahrscheinlichkeit und die Normale mit der Wahrscheinlichkeit . Sie haben und seine Varianz konvergiert gegen wenn gegen unendlich geht, da wenn ich mich nicht irre.XnU([1n;1n])N(nn1,1n)1n11n=n1nE(Xn)=10n

E(Xn2)=13n2×1n+((nn1)2+1n)×n1n,

Definieren Sie nun (und oder was auch immer). Die Zufallsvariablen sind gut definiert, haben jedoch keinen erwarteten Wert, da nicht definiert ist. egal wie groß ist.f(x)=1/xf(0)=0f(Xn)

1n1n1xdx
n

Mein Fazit ist, dass Sie eindeutig Hypothesen zum globalen Verhalten von oder - wahrscheinlicher, eleganter - zur Geschwindigkeit benötigen, mit der die Dichte von abnimmt, wenn Sie weit vom erwarteten Wert entfernt sind. Ich bin mir sicher, dass solche Hypothesen in der klassischen Literatur (und sogar in Lehrbüchern) zu finden sind, leider war meine Ausbildung nicht in Statistik und ich kämpfe immer noch selbst mit der Literatur ... trotzdem hoffe ich, dass dies geholfen hat.fXn

PS. Ist dieses Beispiel nicht ein Gegenbeispiel zu Nicks Antwort? Wer ist dann falsch?


1
Eine allgemeinere Aussage Ihres Arguments ist, dass existiert und endlich ist fürE[Xk]k=1,2,3
Wahrscheinlichkeitslogik

Ich denke, mein obiger Kommentar ist nicht korrekt - was da sein sollte, ist, dass die Funktion eine Taylor-Reihen-Erweiterung am Punkt zulässt . In dem von Ihnen angegebenen Beispiel ist was bei nicht stetig ist . Ich denke, dies bedeutet, dass für Ihr Beispiel nicht in einer Taylor-Reihe erweitert werden kann. f(x)x=μf(x)=1xx=0f
Wahrscheinlichkeitslogik

Es kann bei . Dann gibt es den Konvergenzradius ... Brauchen Sie vielleicht einen unendlichen Konvergenzradius ?! Das ist eine starke Anforderung. μ=1
Elvis

1
Elvis, ja, wir brauchen eine globale Bedingung. Im Wesentlichen muss sich der Rest gut verhalten, nachdem er durch die Schwänze der Verteilung gewichtet wurde. Für etwas Ähnliches wie Ihr Beispiel, das kürzlich aufgetaucht ist, siehe hier , hier und hier .
Kardinal

4

Dies ist keine vollständige Antwort, sondern nur ein anderer Weg, um zur Approximation zweiter Ordnung zu gelangen.

Ich denke, der beste Weg ist, Cauchys Mittelwertsatz zu verwenden, anstatt mit dem Restterm einer Taylor-Reihe zu arbeiten. Wenn wir es einmal anwenden, haben wir

f(X)=f(μ)+f(ξ1)(Xμ)

für einige wenn oder wenn . Wir wenden nun den Mittelwertsatz erneut auf und habenX & mgr; X & xi; 1& mgr; X & mgr; fXξ1μXμXξ1μXμf(ξ1)

f(ξ1)=f(μ)+f(ξ2)(ξ1μ)

für einige wenn oder wenn . dies in die erste Formel zu setzen, gibtX & mgr; X & xi; 1& xi; 2& mgr; X & mgr;Xξ1ξ2μXμXξ1ξ2μXμ

f(X)=f(μ)+f(μ)(Xμ)+f(ξ2)(ξ1μ)(Xμ)

Beachten Sie, dass dieses Ergebnis nur erfordert, dass stetig ist und zweimal zwischen und differenzierbar ist . Dies gilt jedoch nur für ein festes , und das Ändern von bedeutet eine entsprechende Änderung von . Die Delta-Methode zweiter Ordnung kann als die globale Annahme angesehen werden, dass und über den gesamten Bereich der Unterstützung von gilt. oder zumindest über dem Bereich der Masse mit hoher Wahrscheinlichkeit.X μ X X i 1 - μ = 1fXμXXξiξ2=μXξ1μ=12(Xμ)ξ2=μX

Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.