Ich habe gehört, dass die Gratregression als Mittelwert einer posterioren Verteilung abgeleitet werden kann, wenn der Prior angemessen gewählt wird. Ist die Intuition, dass die Einschränkungen, die für die Regressionskoeffizienten durch den Prior festgelegt wurden (z. B. Standardnormalverteilungen um 0), identisch sind / ersetzen die Strafe, die für die quadratische Größe der Koeffizienten festgelegt wurde? Muss der Prior Gaußsch sein, damit diese Äquivalenz gilt?
Antworten:
Zwei Punkte:
Die hintere Verteilung im Bayes'schen Fall ist eine Verteilung. Die Gratregressionsschätzung ist einfach ein Vektorund keine Verteilung. Sie sind also nicht ganz gleichwertig.
Es ist richtig, dass im Fall einer multivariaten normalen früheren und einer multivariaten normalen Wahrscheinlichkeit der hintere Teil eine multivariate normale Zahl mit einem Mittelwert ist, der die Ridge-Regressionsschätzung für einen geeignet gewählten Ridge-Parameter darstellt.
Der Beweis dafür hängt von der jeweiligen Form des Prior und der Wahrscheinlichkeit ab und funktioniert nicht für allgemeinere Prioritäten oder Wahrscheinlichkeitsfunktionen.