Stabilität der Kreuzvalidierung in Bayes'schen Modellen

Ich passe ein Bayesianisches HLM in JAGS mit k-facher Kreuzvalidierung an (k = 5). Ich möchte wissen, ob die Schätzungen des Parameters über alle Falten hinweg stabil sind. Wie geht das am besten? $\beta$

Eine Idee ist es, die Unterschiede der Nachfolger von zu finden und festzustellen , ob 0 im 95% -KI der Differenz liegt. Mit anderen Worten, ist 0 im 95% -Intervall von (und wird dann für alle Faltenpaare wiederholt). $\beta$ $\beta_{k=1}-\beta_{k=2}$

Eine andere Idee besteht darin, die Seitenzähne aus jeder Falte als unterschiedliche MCMC-Ketten zu behandeln und den (Potential Scale Reduction Factor) von Gelman über diese Pseudoketten zu berechnen . $\hat{R}$

Ist eine davon vorzuziehen und gibt es Alternativen?

bayesian cross-validation

— Jack Tanner
quelle

Es fühlt sich seltsam an, zu sehen, ob Null zu den glaubwürdigen Unterschieden gehört, da Sie sicher erwarten, dass es einen Unterschied zwischen den Falten gibt. Ein Vorschlag wäre, Punktschätzungen von für jede Falte zu berechnen und deren Verteilung zu untersuchen.

β

$\beta$

— Rasmus Bååth

Nur ein allgemeiner Kommentar zu Cross-Validation und Bayesianischem Zeug: Warum nicht einfach WAIC berechnen? Es entspricht asymptotisch LOOCV, und Sie können weiterhin alle Ihre Daten verwenden.

— Dreistes Gleichgewicht

Wie würden Sie hintere Simulationen von ?

β_{k = 1} - β_{k = 2}

$\beta_{k=1}-\beta_{k=2}$

— Stéphane Laurent

Bei unseren Tests in meiner ehemaligen Fabrik mussten wir nachweisen, dass der Ertragsverlust von 0% bei 95% CI lag. Fragen nach geeigneten, unabhängigen Stichproben und der Art des Binomialtests dominierten. Können Sie eine Vorstellung von Ihren Stichprobengrößen geben?

— EngrStudent - Wiedereinsetzung von Monica am

Antworten:

Ich weiß nicht, ob dies ein Kommentar oder eine Antwort ist. Ich setze hier, weil es sich wie eine Antwort anfühlt.

Bei der k-fachen Kreuzvalidierung partitionieren Sie Ihre Daten in k Gruppen. Wenn Sie auch nur die "Grundlagen" behandeln, wählen Sie die Mitglieder für jedes der k Fächer gleichmäßig zufällig aus.

Wenn ich von Daten spreche, stelle ich mir jede Zeile als Beispiel und jede Spalte als Dimension vor. Ich bin es gewohnt, mit verschiedenen Methoden die Wichtigkeit von Variablen und Spalten zu bestimmen.

Was wäre, wenn Sie als Gedankenübung vom einheitlichen Zufallsprinzip "Lehrbuch" abweichen und feststellen würden, welche Zeilen wichtig sind? Vielleicht informieren sie jeweils nur eine Variable, aber vielleicht informieren sie mehr. Gibt es Zeilen, die weniger wichtig sind als andere? Vielleicht sind viele der Punkte informativ, vielleicht sind es nur wenige.

Wenn Sie die Wichtigkeit der Variablen kennen, können Sie sie möglicherweise nach Wichtigkeit einteilen. Vielleicht könnten Sie einen einzelnen Behälter mit den wichtigsten Proben herstellen. Dies könnte die Größe Ihres "k" definieren. Auf diese Weise würden Sie den "informativsten" k-ten Bucket bestimmen und ihn mit anderen und mit dem am wenigsten informativen Bucket vergleichen.

Dies könnte Ihnen eine Vorstellung von der maximalen Variation Ihrer Modellparameter geben. Es ist nur eine Form.

Eine zweite Möglichkeit, die k-ten Eimer aufzuteilen, besteht in der Größe und Richtung des Einflusses. Sie können also Samples, die einen oder mehrere Parameter in eine Richtung beeinflussen, in einen Bucket und Samples, die denselben oder mehrere Parameter in die entgegengesetzte Richtung beeinflussen, in einen anderen Bucket verschieben.

Die Parametervariation in dieser Form kann den Variablen einen breiteren Sweep verleihen, basierend nicht auf der Informationsdichte, sondern auf der Informationsrasse.

Viel Glück.

— EngrStudent - Setzen Sie Monica wieder ein
quelle

Es ist möglicherweise keine vollständige Antwort, aber wenn 0 für mehrere Unterschiede NICHT im 95% -KI enthalten ist, kann man mit Sicherheit sagen, dass sie auf einem Niveau von 0,05 nicht identisch sind.

— Dennis Jaheruddin
quelle