Lösen einer einfachen Integralgleichung durch Zufallsstichprobe

Sei eine nichtnegative Funktion. Ich bin daran interessiert, so zu finden, dass Die Einschränkung : Alles was ich tun kann, ist an Punkten in . Ich kann jedoch die Orte, an denen ich zufällig probiere, nach Belieben auswählen . $f$$z \in [0,1]$

$$\int_0^{z} f(x)\,dx = \frac{1}{2}\int_0^1 f(x)\,dx$$ $f$$[0,1]$$f$

Fragen:

1. Ist es möglich, nach endlich vielen Stichproben eine unvoreingenommene Schätzung von zu erhalten ? Wenn ja, was ist die kleinstmögliche Varianz einer solchen Schätzung nach Stichproben?$z$$k$
2. Wenn nicht, welche Verfahren stehen zur Schätzung von zur Verfügung und welche Konvergenzzeiten sind damit verbunden?$z$

Wie Douglas Zare in den Kommentaren hervorhob, kann dies sehr schwierig sein, wenn die Funktion nahe Null oder sehr groß ist. Glücklicherweise ist die Funktion, für die ich dies verwenden muss, von oben und unten begrenzt. Nehmen wir also an, dass . Darüber hinaus können wir auch annehmen, dass Lipschitz ist oder sogar differenzierbar, wenn dies hilft.$1 \leq f(x) \leq 2$$f$

Wie Kardinal in seinem Kommentar ausgeführt hat, kann Ihre Frage wie folgt angepasst werden.

Durch einfache Algebra kann die Integralgleichung als umgeschrieben werden wobei die Wahrscheinlichkeitsdichtefunktion ist, die als G g ( x ) = f ( x

$$\int_0^z g(x)\,dx = \frac{1}{2} \, ,$$ $g$ $$g(x)=\frac{f(x)}{\int_0^1 f(t)\,dt} \, .$$

Sei eine Zufallsvariable mit der Dichte . Per Definition ist , sodass Ihre Integralgleichung was bedeutet, dass Ihr Problem wie folgt angegeben werden kann:$X$$g$$P\{X\leq z\}=\int_0^z g(x)\,dx$

$$P\{X\leq z\}=\frac{1}{2} \, ,$$

"Sei eine Zufallsvariable mit der Dichte . Finde den Median von "$X$$g$$X$

Um den Median von zu schätzen , verwenden Sie eine beliebige Simulationsmethode, um eine Stichprobe von Werten zu zeichnen und den Stichprobenmedian als Schätzung zu verwenden.$X$$X$

Eine Möglichkeit besteht darin, den Metropolis-Hastings-Algorithmus zu verwenden, um eine Stichprobe von Punkten mit der gewünschten Verteilung zu erhalten. Aufgrund des Ausdrucks der Akzeptanzwahrscheinlichkeit im Metropolis-Hastings-Algorithmus müssen wir den Wert der Normalisierungskonstante der Dichte . Wir müssen diese Integration also nicht durchführen.$\int_0^1 f(t)\,dt$$g$

Der folgende Code verwendet eine besonders einfache Form des Metropolis-Hastings-Algorithmus, der als Indepence Sampler bekannt ist und einen Vorschlag verwendet, dessen Verteilung nicht vom aktuellen Wert der Kette abhängt. Ich habe unabhängige einheitliche Vorschläge verwendet. Zum Vergleich gibt das Skript das Monte-Carlo-Minimum und das mit der Standardoptimierung gefundene Ergebnis aus. Die Abtastpunkte werden im Vektor gespeichert chain, aber wir verwerfen die ersten Punkte, die die sogenannte "Einbrenn" -Periode der Simulation bilden.$10000$

BURN_IN = 10000
DRAWS   = 100000

f = function(x) exp(sin(x))

chain = numeric(BURN_IN + DRAWS)

x = 1/2

for (i in 1:(BURN_IN + DRAWS)) {
    y = runif(1) # proposal
    if (runif(1) < min(1, f(y)/f(x))) x = y
    chain[i] = x
}

x_min = median(chain[BURN_IN : (BURN_IN + DRAWS)])

cat("Metropolis minimum found at", x_min, "\n\n")

# MONTE CARLO ENDS HERE. The integrations bellow are just to check the results.

A = integrate(f, 0, 1)$value

F = function(x) (abs(integrate(f, 0, x)$value - A/2))

cat("Optimize minimum found at", optimize(F, c(0, 1))$minimum, "\n")

Hier sind einige Ergebnisse:

Metropolis minimum found at 0.6005409 
Optimize minimum found at 0.601365

Dieser Code ist nur als Ausgangspunkt für das gedacht, was Sie wirklich brauchen. Daher mit Vorsicht verwenden.

Die Qualität der integralen Approximation, zumindest im Fall von 1D, ist gegeben durch (Satz 2.10 in Niederreiter (1992) ): wobei ist der Kontinuitätsmodul der Funktion (bezogen auf die und für Lipshitz-Funktionen leicht ) und ist die (extreme) Diskrepanz oder die maximale Differenz zwischen dem Anteil der Treffer durch die Sequenz

$$\Bigl|\frac 1N \sum_{n=1}^N f(x_n) - \int_0^1 f(u) \, {\rm d}u \Bigr| \le \omega (f; D_N^*(x_1, \ldots, x_N) )$$ $$\omega(f;t) = \sup \{ |f(u)-f(v)| : u, v \in [0,1], |u-v|\le t , t>0\}$$ $$D_N^*(x_1,\ldots,x_N) = \sup_u \Bigl| \frac1N \sum_n 1\bigl\{ x_n \in [0,u) \bigr\} - u \Bigr| = \frac1{2N} + \max_n \Bigl|x_n - \frac{2n-1}{2N}\Bigr|$$ $x_1, \ldots, x_N$eines halboffenen Intervalls und seines Lebesgue-Maßes . Der erste Ausdruck ist die Definition, und der zweite Ausdruck ist die Eigenschaft der 1D-Sequenzen in (Satz 2.6 im selben Buch).$[0,u)$$u$$[0,1]$

Um den Fehler in der integralen Approximation, zumindest in der rechten Seite Ihrer Gleichung, zu minimieren, müssen Sie offensichtlich . Scheiß auf die zufälligen Auswertungen, sie laufen Gefahr, eine zufällige Lücke bei einem wichtigen Merkmal der Funktion zu haben.$x_n = (2n-1)/2N$

Ein großer Nachteil dieses Ansatzes besteht darin, dass Sie sich auf einen Wert von , um diese gleichmäßig verteilte Sequenz zu erzeugen. Wenn Sie mit der Qualität der Annäherung nicht zufrieden sind, können Sie lediglich den Wert von verdoppeln und alle Mittelpunkte der zuvor erstellten Intervalle erreichen.$N$$N$

Wenn Sie eine Lösung suchen, mit der Sie die Anzahl der Punkte schrittweise erhöhen können, können Sie dieses Buch weiter lesen und sich über Van-der-Corput-Sequenzen und radikale Umkehrungen informieren. Siehe Sequenzen mit geringer Diskrepanz auf Wikipedia, es enthält alle Details.

Update: nach zu lösen , definieren Sie die Teilsumme Finden Sie so, dass und interpolieren Sie, um Diese Interpolation setzt voraus, dass stetig ist. Wenn zusätzlich zweimal differenzierbar ist, dann diese Näherung durch Integrieren der Erweiterung zweiter Ordnung, um und , und Lösen einer kubischen Gleichung für .$z$

$$S_k = \frac1N \sum_{n=1}^k f\Bigl( \frac{2n-1}{2N} \Bigr).$$ $k$ $$S_k \le \frac12 S_N < S_{k+1},$$ f(⋅)f(⋅)Sk-1Sk+2 $$z_N = \frac{2k-1}{2N} + \frac{S_N/2 - S_k}{N(S_{k+1}-S_k)}.$$ $f(\cdot)$$f(\cdot)$$S_{k-1}$$S_{k+2}$$z$