Kann jemand aus Hasties ESL-Buch erklären, dass ich 5 Jahre alt bin?

Ich arbeite an Hasties ESL-Buch und habe es mit Frage 2.3 schwer. Die Frage lautet wie folgt:

Wir betrachten eine Schätzung des nächsten Nachbarn am Ursprung, und der mittlere Abstand vom Ursprung zum nächsten Datenpunkt wird durch diese Gleichung angegeben. Ich habe keine Ahnung, wo ich anfangen soll, um dies abzuleiten.

Ich weiß, dass die meisten Datenpunkte näher an der Grenze des Probenraums liegen als an jedem anderen Datenpunkt (Fluch der Dimensionalität), aber ich habe Probleme, dies in den Sinn für lineare Algebra / Wahrscheinlichkeit zu übersetzen.

Vielen Dank!

machine-learning computational-statistics

— Gary
quelle

Was bedeutet "ELI5" im Titel? Wenn Sie diese Gleichung ableiten möchten, müssen Sie mit einem Wahrscheinlichkeitsmodell für Punkte im Ball beginnen: Was ist das für ein Modell? (Bitte verlangen Sie nicht, dass Ihre Leser auf ein Buch oder eine andere Website verweisen, um Ihre Frage zu verstehen.)

— whuber

@whuber Ich stimme zu - Akronyme sind ein schreckliches Hashing-Schema.

— Sycorax sagt Reinstate Monica

Du bist fünf Jahre alt. Wir danken Ihnen, dass Sie ESL verstehen wollen, aber Sie müssen warten, bis Sie sechs sind. Es ist ein Buch für große Jungen und Mädchen.

— Nick Cox

Ein Fünfjähriger könnte zunächst den eindimensionalen Fall betrachten (p = 1). Und wenn das in der Hand ist, nimm es von dort.

— Mark L. Stone

Wenn wir ELI5 formulieren wollen, was ist dann mit ESL?

— Mdewey

Sei der Abstand vom Ursprung und sei das Volumen der Einheitshypersphäre in Dimensionen. Dann wird das Volumen in einer Hypersphäre mit dem Radius enthalten ist $r$ $V_0[p]$ $p$ $r$

V [r] = V_{0} [p] r^{p}

$V[r]=V_0[p]r^p$

Wenn wir den Bruchteil des in dieser Hypersphäre enthaltenen Volumens bezeichnen lassen und , dann $P=V[r]/V_0[p]$ $R=r^p$

P [R] = R

$P[R]=R$

Wenn die Datenpunkte gleichmäßig innerhalb der Einheitskugel verteilt sind, dann für die obige Formel eine kumulative Verteilungsfunktion (CDF) für . Dies entspricht einer einheitlichen Wahrscheinlichkeitsdichte für über das Einheitsintervall, dh . Wie von Mark Stone in den Kommentaren angedeutet, können wir den dimensionalen Fall auf ein äquivalentes 1D-Problem reduzieren. $0\leq R\leq 1$ $R$ $R$ $p[R]= P'[R] =1$ $p$

Wenn wir nun einen einzelnen Punkt , dann haben wir per Definition einer CDF und . Wenn der kleinste Wert von Punkten ist und die Punkte alle unabhängig sind, ist die CDF für gegeben durch (dies ist ein Standardergebnis der univariaten Extremwerttheorie ). $R$ $\Pr[R\leq \rho]=P[\rho]$ $\Pr[R\geq \rho]=1-P[\rho]$ $R_{\min}$ $n$

Pr [R_{min} \geq ρ] = Pr [R \geq ρ]^{n} = (1 - ρ)^{n}

$\Pr[R_{\min}\geq \rho]=\Pr[R\geq \rho]^n=(1-\rho)^n$

Nach Definition des Medians haben wir was wir können schreibe um als was dem gewünschten Ergebnis entspricht.

\frac{1}{2} = Pr [(R_{min})_{m e d} \geq R] = (1 - R)^{n}

$\frac{1}{2}=\Pr[(R_{\min})_{\mathrm{med}}\geq R]=(1-R)^n$

(1 - d^{p})^{n} = \frac{1}{2}

$(1-d^p)^n=\frac{1}{2}$

BEARBEITEN: Versuch einer Antwort im " ELI5 " -Stil in drei Teilen.

Für den 1D-Fall mit einem einzelnen Punkt ist der Abstand gleichmäßig über , sodass der Median . $[0,1]$ $\frac{1}{2}$
In 1D ist die Verteilung für das Minimum über Punkte der erste Fall zur ten Potenz. $n$ $n$
In Dimensionen ist der Abstand nicht gleichmäßig verteilt, aber ist. $p$ $r$ $r^p$

— GeoMatt22
quelle

Ha ha, ich gab den Kommentar, dass ein 5-Jähriger zunächst den Fall p = 1 betrachten könnte. Ich dachte darüber nach, einen Kommentar hinzuzufügen, dass ein 4-Jähriger nicht nur mit dem Fall p = 1, sondern auch mit n = 1 beginnen könnte. Aber ich dachte, ich würde den 5-Jährigen das herausfinden lassen.

— Mark L. Stone

Beachten Sie, dass ich bei der Beantwortung der Frage nach der Klärung durch @fcop Folgendes gelesen habe: "Betrachten Sie N Datenpunkte, die gleichmäßig in einer p-dimensionalen Einheitskugel verteilt sind, die am Ursprung zentriert ist. Zeigen Sie, dass der mittlere Abstand vom Ursprung zum Der nächstgelegene Datenpunkt ist gegeben durch ... ". Also eine Einheitskugel in Bezug auf die Norm im dimensionalen Raum. Danach wurde die Frage auf das Original zurückgesetzt, das sich unterscheidet und nicht so klar ist. (Siehe Kommentarkette unter der ursprünglichen Frage.)

L_{2}

$L_2$

p

$p$

— GeoMatt22