Ausfall in der linearen Regression

Ich habe das Originalpapier über Dropout ( https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf ) gelesen und im Abschnitt über lineare Regression heißt es:

$\mathbb{E}_{R\sim Bernoulli(p)}\left[\| y\ - (R*X)w\|^2\right]$

reduziert zu:

$\|y - pXw\|^2 + p(1-p) \|\Gamma w\|^2$

Ich habe Probleme zu verstehen, wie sie zu diesem Ergebnis gekommen sind. Kann jemand helfen?

regression dropout

— Doug
quelle

Was ist hier?

Γ

$\Gamma$

— The Laconic

Ich schrieb einen langen Aufsatz zu diesem Thema: madrury.github.io/jekyll/update/statistics/2017/08/12/…

— Matthew Drury

$\newcommand{E}{\text{E}}$ Lassen Sie uns zunächst für die Bequemlichkeit. Wenn wir den Verlust erweitern, haben wir Nehmen wir die Erwartung für so haben wir Der erwartete Wert einer Matrix ist die Matrix der erwarteten Werte, also also Für den letzten Term gilt daher Wenn $R * X = M$

‖ y - - M. w ‖^{2} = y^{T.} y - - 2 w^{T.} {M.}^{T.} y + w^{T.} {M.}^{T.} M. w .

$\|y - Mw\|^2 = y^Ty - 2w^TM^Ty + w^TM^TMw.$

R

$R$

{E.}_{R.} (‖ y - - M. w ‖^{2}) = y^{T.} y - - 2 w^{T.} (E. M.)^{T.} y + w^{T.} E. ({M.}^{T.} M.) w .

$\E_R\left(\|y - Mw\|^2\right) = y^Ty - 2w^T(\E M)^Ty + w^T\E(M^TM)w.$

({E.}_{R.} M.)_{ich j} = {E.}_{R.} ((R. * X.)_{ich j}) = {X.}_{ich j} {E.}_{R.} ({R.}_{ich j}) = p {X.}_{ich j}

$(\E_R M)_{ij} = \E_R((R * X)_{ij}) = X_{ij}\E_R(R_{ij}) = p X_{ij}$

2 w^{T.} (E. M.)^{T.} y = 2 p w^{T.} {X.}^{T.} y .

$2w^T(\E M)^Ty = 2pw^TX^Ty.$

(M^{T} M)_{i j} = \sum_{k = 1}^{N} M_{k i} M_{k j} = \sum_{k = 1}^{N} R_{k i} R_{k j} X_{k i} X_{k j}

$(M^TM)_{ij} = \sum_{k=1}^N M_{ki}M_{kj} = \sum_{k=1}^N R_{ki}R_{kj}X_{ki}X_{kj}$

(E_{R} M^{T} M)_{i j} = \sum_{k = 1}^{N} E_{R} (R_{k i} R_{k j}) X_{k i} X_{k j} .

$(\E_R M^TM)_{ij} = \sum_{k=1}^N \E_R(R_{ki}R_{kj})X_{ki}X_{kj}.$

i \neq j

$i \neq j$ dann sind sie unabhängig, so dass die nicht diagonalen Elemente zu . Für die diagonalen Elemente haben wir

p^{2} (X^{T} X)_{i j}

$p^2 (X^TX)_{ij}$

\sum_{k = 1}^{N} E_{R} (R_{k i}^{2}) X_{k i}^{2} = p (X^{T} X)_{i i} .

$\sum_{k=1}^N \E_R(R_{ki}^2)X_{ki}^2 = p(X^TX)_{ii}.$

Wenn wir dies , können wir feststellen, dass und wir haben In ich gezeigt, dass jedes nicht diagonale Element Null ist, so dass das Ergebnis Das Papier definiert also was bedeutet, dass wir sind fertig.

‖ y - - p X. w ‖^{2} = y^{T.} y - - 2 p w^{T.} {X.}^{T.} y + p^{2} w^{T.} {X.}^{T.} X. w

$\|y - pXw\|^2 = y^Ty - 2pw^TX^Ty + p^2w^TX^TXw$

{E.}_{R.} ‖ y - - M. w ‖^{2} = y^{T.} y - - 2 p w^{T.} {X.}^{T.} y + w^{T.} {E.}_{R.} ({M.}^{T.} M.) w = ‖ y - - p X. w ‖^{2} - - p^{2} w^{T.} {X.}^{T.} X. w + w^{T.} {E.}_{R.} ({M.}^{T.} M.) w = ‖ y - - p X. w ‖^{2} + w^{T.} ({E.}_{R.} ({M.}^{T.} M.) - - p^{2} {X.}^{T.} X.) w .

E_{R} (M^{T} M) - p^{2} X^{T} X

$\E_R(M^TM) - p^2 X^TX$

{E.}_{R.} ({M.}^{T.} M.) - - p^{2} {X.}^{T.} X. = p (1 - - p) diag ({X.}^{T.} X.) .

$\E_R(M^TM) - p^2 X^TX = p(1-p)\text{diag}(X^TX).$

Γ = diag (X^{T} X)^{1 / 2}

$\Gamma = \text{diag}(X^TX)^{1/2}$

‖ Γ w ‖^{2} = w^{T} diag (X^{T} X) w

$\|\Gamma w\|^2 = w^T\text{diag}(X^TX)w$

— jld
quelle