Oracle-Ungleichung: Grundsätzlich

Ich gehe ein Papier durch, das Orakel-Ungleichungen verwendet, um etwas zu beweisen, aber ich kann nicht verstehen, was es überhaupt versucht. Als ich online nach "Oracle Inequality" suchte, verwiesen mich einige Quellen auf den Artikel "Candes, Emmanuel J.". finden Sie hier https://statweb.stanford.edu/~candes/papers/NonlinearEstimation.pdf . Aber dieses Buch scheint mir zu schwer zu sein und ich glaube, es fehlen mir einige Voraussetzungen.

Meine Frage lautet: Wie würden Sie einem Nicht-Mathematik-Hauptfach (einschließlich Ingenieuren) erklären, was eine Orakelungleichheit ist? Zweitens, wie würden Sie ihnen empfehlen, die Voraussetzungen / Themen zu besprechen, bevor Sie versuchen, etwas wie das oben erwähnte Buch zu lernen?

Ich würde wärmstens empfehlen, dass jemand, der ein konkretes Verständnis und viel Erfahrung mit hochdimensionalen Statistiken hat, diese Frage beantwortet.

— Wolcott
quelle

Kann jemand mit mehr als 1k Ruf bitte Bounty auf diese Frage anbieten. Das würde wirklich helfen. Ich glaube nicht, dass die allgemeinen CV-Benutzer mit diesem Konzept vertraut sind, da die meisten Benutzer Statistiken für die Datenanalyse und nicht für die theoretische Analyse verwenden, obwohl ich als Community, die vollständig auf Statistiken basiert, glaube, dass es jemanden geben muss, der dies angemessen beantworten kann. Ich glaube, die Frage hat nicht genug Aufmerksamkeit erhalten.

— Wolcott

Ich hatte über die gleiche Frage

— nachgedacht

Die "Definition" auf Seite 22 des Links "Eine Orakel-Ungleichung bezieht sich auf die Leistung eines realen Schätzers mit der eines idealen Schätzers, der sich auf perfekte Informationen stützt, die von einem Orakel geliefert werden und die in der Praxis nicht verfügbar sind." Vermittelt Ihnen dies nicht die Essenz der Definition?

— Mark L. Stone

@ Mark L. Stone für mich nicht

— jeza

Nicht einmal, wenn Sie das Beispiel und die Diskussion in den vorangegangenen Sätzen betrachten, dh die Aussage und Diskussion von Satz 4.1 als Beispiel für eine Orakelungleichung? Laien sagen: Gee, wir kennen nicht den optimalen Wert (der von einem Orakel geliefert wird) des Schrumpfungsfaktors, den wir verwenden sollten. Aber zu wissen, dass der optimale Wert des Schrumpfungsfaktors die MSE um nicht mehr als 2 verbessern kann, im Vergleich dazu, dass der optimale Schrumpfungsfaktor des Orakels nicht erreicht wird.

— Mark L. Stone

Ich werde versuchen, es in linearer Schreibweise zu erklären. Betrachten Sie das lineare Modell Wenn (Anzahl der unabhängigen Variablen kleiner oder gleich dann Anzahl der Beobachtung) und Design - Matrix vollen Rang hat, der mindestens squared Schätzer von ist ,

Y_{i} = \sum_{j = 1}^{p} β_{j} X_{i}^{(j)} + ϵ_{i}, i = 1, . . ., n .

$Y_i=\sum_{j=1}^{p} \beta_jX_{i}^{(j)}+\epsilon_i, i=1,...,n.$

p \leq n

$p \leq n$

b

$b$

und Vorhersagefehler ist

\hat{b} = (X^{T} X)^{- 1} X^{T} Y

$\hat{b}=(X^TX)^{-1}X^TY$

, aus denen wir ableiten

\frac{‖ X (\hat{b} - β^{0}) ‖_{2}^{2}}{σ^{2}}

$\dfrac{\| X(\hat{b}-\beta^0) \|_2^2}{\sigma^2}$

Dies bedeutet, dass jeder Parameter

mit der quadratischen Genauigkeit

geschätzt

Ihre quadratische Gesamtgenauigkeit ist also

\frac{E ‖ X (\hat{b} - β^{0}) ‖_{2}^{2}}{n} = \frac{σ^{2}}{n} p .

$\dfrac{ \mathbb{E} \| X(\hat{b}-\beta^0) \|_2^2}{n}=\dfrac{\sigma^2}{n}p.$

β_{j}^{0}

$\beta_j^0$

σ^{2} / n, j = 1, . . ., p .

$\sigma^2/n, j=1,...,p.$

(σ^{2} / n) p .

$(\sigma^2/n)p.$

$(p>n)$ $Y$ $k$ $(\sigma^2/n)k.$

$l_1$ $\lambda$ $\hat{\beta}$ $\lambda$ $\lambda$

\frac{‖ X (\hat{β} - β^{0}) ‖_{2}^{2}}{n} \leq c o n s t . \frac{σ^{2} \log p}{n} k .

$\dfrac{\| X(\hat{\beta}-\beta^0) \|_2^2}{n} \leq const.\dfrac{\sigma^2\log p}{n}k.$

\log p

$\log p$

c o n s t .

$const.$

p

$p$

n

$n$

— Dato Gogolashvili
quelle

Genau genommen muss die Anzahl der Beobachtungen nicht kleiner sein als die Anzahl der unabhängigen Variablen, damit der gesamte nachfolgende Teil korrekt ist.

— Jbowman

Können Sie erklären, wie die Erwartungsgleichung (vorletzte Gleichung) und die Ungleichung (letzte Gleichung) entstanden sind?

— user13985

\frac{‖ X (\hat{b} - β^{0}) ‖_{2}^{2}}{σ^{2}}

$\dfrac{\| X(\hat{b}-\beta^0) \|_2^2}{\sigma^2}$

(σ^{2} / n) p

$(\sigma^2/n)p$