Wurm und Apple erwarteter Wert

Ein Apfel ist am Scheitelpunkt befindet von Fünfeck , und eine Schnecke ist , zwei Ecken entfernt, auf . Jeden Tag kriecht der Wurm mit gleicher Wahrscheinlichkeit zu einem der beiden benachbarten Eckpunkte. Somit befindet sich der Wurm nach einem Tag am Scheitelpunkt oder mit einer Wahrscheinlichkeit von jeweils . Nach zwei Tagen ist der Wurm möglicherweise wieder bei , da er keine Erinnerung an frühere Positionen hat. Wenn es den Scheitelpunkt , hört es auf zu speisen.$A$C B D 1 /$ABCDE$$C$$B$$D$$1/2$$C$$A$

(a) Was ist der Mittelwert der Anzahl der Tage bis zum Abendessen?

(b) Sei p die Wahrscheinlichkeit, dass die Anzahl der Tage oder mehr beträgt . Was sagt Markovs Ungleichung über ?$100$$p$

Für (a) sei die Zufallsvariable, die durch die Anzahl der Tage bis zum Abendessen definiert ist. Also ist P (X = 0) = 0 \\ P (X = 1) = 0 \\ P (X = 2) = \ frac {1} {\ binom {5} {2}} \\ \ vdots$X$

$$P(X = 0) = 0 \\ P(X=1) = 0 \\ P(X=2) = \frac{1}{\binom{5}{2}} \\ \vdots$$

Was wäre die allgemeine Verteilung?

Wenn wir für (b) (a) kennen, dann wissen wir, dass

$$P(X \geq 100) \leq \frac{E(X)}{100}$$

In der hervorragenden Antwort von Glen_b zeigt er, dass Sie den erwarteten Wert mithilfe eines einfachen linearen Gleichungssystems analytisch berechnen können. Mit dieser Analysemethode können Sie feststellen, dass die erwartete Anzahl von Bewegungen zum Apfel sechs beträgt. Eine weitere hervorragende Antwort von whuber zeigt, wie die Wahrscheinlichkeitsmassenfunktion für den Prozess nach einer bestimmten Anzahl von Zügen abgeleitet werden kann. Diese Methode kann auch verwendet werden, um eine analytische Lösung für den erwarteten Wert zu erhalten. Wenn Sie weitere Einblicke in dieses Problem erhalten möchten, sollten Sie einige Artikel über kreisförmige zufällige Spaziergänge lesen (siehe z. B. Stephens 1963 ).

Um eine alternative Sicht auf das Problem zu geben, werde ich Ihnen zeigen, wie Sie das gleiche Ergebnis mit der Brute-Force-Methode erzielen können, bei der nur die Markov-Kette mithilfe statistischer Berechnungen berechnet wird. Diese Methode ist der analytischen Untersuchung in vielerlei Hinsicht unterlegen, hat jedoch den Vorteil, dass Sie das Problem lösen können, ohne größere mathematische Einsichten zu benötigen.

---

Brute-Force-Berechnungsmethode: Nehmen Sie die Zustände in der Reihenfolge , Ihre Markov-Kettenübergänge gemäß der folgenden Übergangsmatrix:$A,B,C,D,E$

$$\mathbf{P} = \begin{bmatrix} 1 & 0 & 0 & 0 & 0 \\[6pt] \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 & 0 \\[6pt] 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 \\[6pt] 0 & 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} \\[6pt] \tfrac{1}{2} & 0 & 0 & \tfrac{1}{2} & 0 \\[6pt] \end{bmatrix}$$

Der erste Zustand ist der absorbierende Zustand in dem sich der Wurm am Apfel befindet. Sei die Anzahl der Züge, bis der Wurm aus Zustand zum Apfel . Dann ist für alle die Wahrscheinlichkeit, dass sich der Wurm nach dieser Anzahl von Zügen am Apfel befindet, und daher beträgt die erwartete Anzahl von Zügen, um aus diesem Zustand zum Apfel zu gelangen:T C C n ≤ N P ( T C ≤ n ) = { P n } C , $A$$T_C$$C$$n \in \mathbb{N}$$\mathbb{P}(T_C \leqslant n) = \{ \mathbf{P}^n \}_{C,A}$

$$\mathbb{E}(T_C) = \sum_{n=0}^\infty \mathbb{P}(T_C > n) = \sum_{n=0}^\infty (1-\{ \mathbf{P}^n \}_{C,A}).$$

Die Terme in der Summe nehmen für großes exponentiell ab, so dass wir den erwarteten Wert mit jedem gewünschten Genauigkeitsniveau berechnen können, indem wir die Summe bei einer endlichen Anzahl von Termen abschneiden. (Der exponentielle Abfall der Begriffe stellt sicher, dass wir die Größe der entfernten Begriffe so begrenzen können, dass sie unter einem gewünschten Wert liegen.) In der Praxis ist es einfach, eine große Anzahl von Begriffen zu verwenden, bis die Größe der verbleibenden Begriffe extrem klein ist.$n$

---

Programmieren in R: Sie können dies als Funktion programmieren, Rindem Sie den folgenden Code verwenden. Dieser Code wurde vektorisiert, um ein Array von Potenzen der Übergangsmatrix für eine endliche Folge von Bewegungen zu erzeugen. Wir erstellen auch eine grafische Darstellung der Wahrscheinlichkeit, dass der Apfel nicht erreicht wurde, und zeigen, dass diese exponentiell abnimmt.

#Create function to give n-step transition matrix for n = 1,...,N
#N is the last value of n
PROB <- function(N) { P <- matrix(c(1, 0, 0, 0, 0, 
                                    1/2, 0, 1/2, 0, 0, 
                                    0, 1/2, 0, 1/2, 0,
                                    0, 0, 1/2, 0, 1/2,
                                    1/2, 0, 0, 1/2, 0),
                                  nrow = 5, ncol = 5, 
                                  byrow = TRUE);
                      PPP <- array(0, dim = c(5,5,N));
                      PPP[,,1] <- P;
                      for (n in 2:N) { PPP[,,n] <- PPP[,,n-1] %*% P; } 
                      PPP }

#Calculate probabilities of reaching apple for n = 1,...,100
N  <- 100;
DF <- data.frame(Probability = PROB(N)[3,1,], Moves = 1:N);

#Plot probability of not having reached apple
library(ggplot2);
FIGURE <- ggplot(DF, aes(x = Moves, y = 1-Probability)) +
          geom_point() +
          scale_y_log10(breaks = scales::trans_breaks("log10", function(x) 10^x),
                        labels = scales::trans_format("log10", 
                                 scales::math_format(10^.x))) +
          ggtitle('Probability that worm has not reached apple') +
          xlab('Number of Moves') + ylab('Probability');
FIGURE;

#Calculate expected number of moves to get to apple
#Calculation truncates the infinite sum at N = 100
#We add one to represent the term for n = 0
EXP <- 1 + sum(1-DF$Probability);
EXP;

[1] 6

Wie Sie dieser Berechnung entnehmen können, beträgt die erwartete Anzahl von Zügen, um zum Apfel zu gelangen, sechs. Diese Berechnung war unter Verwendung des obigen vektorisierten Codes für die Markov-Kette extrem schnell.

Ich möchte nur eine einfache Möglichkeit veranschaulichen, Teil (a) zu betrachten, ohne die gesamte Markov-Kettenroutine durchzugehen. Es gibt zwei Klassen von Zuständen, über die man sich Sorgen machen muss: einen Schritt entfernt und zwei Schritte entfernt (C und D sind hinsichtlich der erwarteten Schritte bis zum Erreichen von A identisch, und B und E sind identisch). " " soll die Anzahl der Schritte darstellen, die von Scheitelpunkt usw. ausgeführt werden.$S_B$$B$

$E(S_C) = 1+\frac12[E(S_B)+E(S_D)] = 1+ \frac12[E(S_B)+E(S_C)]$

Schreiben Sie in ähnlicher Weise eine Gleichung für die Erwartung für .$E(S_B)$

Ersetzen Sie die zweite durch die erste (und schreiben Sie der für ), und Sie erhalten eine Lösung für in ein paar Zeilen.E ( S C ) $c$$E(S_C)$$c$

Das Problem

Diese Markov-Kette hat drei Zustände, die dadurch unterschieden werden, ob der Wurm oder Leerzeichen von entfernt ist Sei die Zufallsvariable, die angibt, wie viele Schritte der Wurm unternimmt, um aus dem Zustand Ihre wahrscheinlichkeitserzeugenden Funktionen sind eine bequeme algebraische Methode, um die Wahrscheinlichkeiten dieser Variablen zu codieren. Es ist unnötig , zu Sorgen über analytische Themen wie Konvergenz: nur sehen sie als formale Potenzreihe in einem Symbol gegeben durch$0,$ $1,$$2$$C.$$X_i$$C$$i\in\{0,1,2\}.$$t$

$$f_i(t) = \Pr(X_i=0) + \Pr(X_i=1)t^1 + \Pr(X_i=2)t^2 + \cdots + \Pr(X_i=n)t^n + \cdots$$

Da es trivial, dass Wir müssen finden$\Pr(X_0=0)=1,$$f_0(t)=1.$$f_2.$

Analyse und Lösung

Aus dem Zustand hat der Wurm die gleichen Chancen auf der zurück in den Zustand zu bewegen oder Erreichen . Wenn man diesen einen Schritt berücksichtigt , addiert man zu allen Potenzen von , was gleichbedeutend ist mit dem Multiplizieren des pgf mit , was ergibt$1,$$1/2$$2$$C$$1$$t$$t$

$$f_1 = \frac{1}{2}t\left(f_2 + f_0\right).$$

In ähnlicher Weise hat der Wurm ab Zustand die gleichen Chancen, in Zustand bleiben oder Zustand wo aus$2$$2$$1,$

$$f_2 = \frac{1}{2}t\left(f_2 + f_1\right).$$

Das Auftreten von legt nahe , unsere Arbeit erleichtert wird die Einführung der Variable was$t/2$$x=t/2,$

$$f_1(x) = x(f_2(x) + f_0(x));\quad f_2(x) = x(f_2(x) + f_1(x)).$$

Einsetzen des ersten in das zweite und Aufrufen von ergibt$f_0=1$

$$f_2(x) = x(f_2(x) + x(f_2(x) + 1))\tag{*}$$

deren einzigartige Lösung ist

$$f_2(x) = \frac{x^2}{1 - x - x^2}.\tag{**}$$

Ich habe die Gleichung , um ihre grundlegende Einfachheit und ihre formale Ähnlichkeit mit der Gleichung hervorzuheben, die wir erhalten würden, wenn wir nur die erwarteten Werte analysieren würden in der Tat für den gleichen Arbeitsaufwand, der erforderlich ist, um diese eine Zahl zu finden, Wir bekommen die gesamte Verteilung.$(*)$$E[X_i]:$

Implikationen und Vereinfachung

Wenn termweise ausgedrückt wird und die Potenzen von übereinstimmen, wird äquivalent behauptet, dass für$(*)$$t$$n\ge 4,$

$$2^n\Pr(X_2=n) = 2^{n-1}\Pr(X_2=n-1) + 2^{n-2}\Pr(X_2=n-2).$$

Dies ist die Wiederholung der berühmten Folge von Fibonacci-Zahlen

$$(F_n) = (1,1,2,3,5,8,13,21,34,55,89,144,\ldots)$$

(indiziert von ). Die Lösungsübereinstimmung ist diese Sequenz, die um zwei Stellen verschoben ist (da es keine Wahrscheinlichkeit gibt, dass oder und es leicht zu überprüfen ist, ob ).$n=0$$(**)$$X_2=0$$X_2=1$$2^2\Pr(X_2=2)=1=2^3\Pr(X_2=3)$

Folglich

$$\Pr(X_2 = n) = 2^{-n-2}F_{n-2}.$$

Genauer,

$$\eqalign{ f_2(t) &= 2^{-2}F_0t^2 + 2^{-3}F_1 t^3 + 2^{-4} F_2 t^4 + \cdots \\ &= \frac{1}{4}t^2 + \frac{1}{8}t^3 + \frac{2}{16}t^4 + \frac{3}{32}t^5 + \frac{5}{64}t^6 + \frac{8}{128}t^7 +\frac{13}{256}t^8 + \cdots. }$$

---

Die Erwartung von sich leicht durch Auswertung der Ableitung und Ersetzen von da dies (Differenzieren der Potenzen von term für term) die Formel ergibt$X_2$$f^\prime$$t=1,$$t$

$$f^\prime(1) = \Pr(X_2=0)(0) + \Pr(X_2=1)(1)1^0 + \cdots + \Pr(X_2=n)(n)1^{n-1} + \cdots$$

ist als Summe der Wahrscheinlichkeiten mal den Werten von genau die Definition von Die Ableitung mit ergibt eine einfache Formel für die Erwartung.$X_2,$$E[X_2].$$(**)$

---

Einige kurze Kommentare

Durch Erweitern von als Teilbrüche kann als Summe zweier geometrischer Reihen geschrieben werden. Dies zeigt sofort, dass die Wahrscheinlichkeiten exponentiell abnehmen. Es ergibt sich auch eine geschlossene Form für die Schwanzwahrscheinlichkeiten Damit können wir schnell berechnen, dass etwas weniger als$(**)$$f_2$$\Pr(X_2=n)$$\Pr(X_2 \gt n).$$\Pr(X_2 \ge 100)$$10^{-9}.$

Schließlich beinhalten diese Formeln den Goldenen Schnitt Diese Zahl ist die Länge eines Akkords eines regulären Fünfecks (der Einheitsseite), was eine auffällige Verbindung zwischen einer rein kombinatorischen Markov-Kette auf dem Fünfeck (die nichts über die euklidische Geometrie "weiß") und der Geometrie eines regulären Fünfecks in der ergibt Euklidische Ebene.$\phi = (1 + \sqrt{5})/2.$

Für die mittlere Anzahl von Tagen bis zum Abendessen gilt der Schritt, der am ersten Tag ausgeführt wurde. Sei die Anzahl der Tage, bis der Wurm den Apfel bekommt. Sei der erste Schritt.$X$$F$

Dann haben wir

$$E[X]=E[X|F=B] \ [P(F=B)]+E[X|F=D] \ P[F=D]$$

Wenn der erste Schritt zu erhält der Wurm entweder den Apfel am zweiten Tag mit einer Wahrscheinlichkeit von der Hälfte oder er kehrt mit der Wahrscheinlichkeit einer Hälfte zum Scheitelpunkt und beginnt von vorne. Wir können dies als schreiben$B,$$C$

$$E[X|F=B]=2 \left( \frac{1}{2} \right) + \left(2+E[X] \right) \left( \frac{1}{2} \right)=2+\frac{E[X]}{2}$$

Wenn der erste Schritt zu ist dies aus Symmetriegründen dasselbe wie am Scheitelpunkt außer dass der Wurm einen einzelnen Schritt ausgeführt hat$D,$$C$

$$E[X|F=D]=1+E[X]$$

Wenn wir alles zusammenfügen, bekommen wir

$$E[X] = \left( 2+\frac{E[X]}{2} \right)\left( \frac{1}{2} \right) + \left( 1 + E[X] \right)\left( \frac{1}{2} \right)$$

Das Auflösen nach ergibt$E[X]$

$$E[X] = 6$$