Gibt es eine Modellanpassungsstatistik (wie AIC oder BIC), die für absolute statt nur für relative Vergleiche verwendet werden kann?

Ich bin mit dieser Literatur nicht so vertraut. Bitte verzeihen Sie mir, wenn dies eine offensichtliche Frage ist.

Da AIC und BIC von der Maximierung der Wahrscheinlichkeit abhängen, können sie anscheinend nur verwendet werden, um relative Vergleiche zwischen einer Reihe von Modellen anzustellen, die versuchen, zu einem bestimmten Datensatz zu passen. Nach meinem Verständnis wäre es nicht sinnvoll, den AIC für Modell A für Datensatz 1 zu berechnen, den AIC für Modell B für Datensatz 2 zu berechnen und dann die beiden AIC-Werte zu vergleichen und dies zu beurteilen (zum Beispiel). Modell A passt besser zu Datensatz 1 als Modell B zu Datensatz 2. Oder ich irre mich, und das ist eine vernünftige Sache. Lass es mich wissen, bitte.

Meine Frage lautet: Gibt es eine Modellanpassungsstatistik, die für absolute statt nur für relative Vergleiche verwendet werden kann? Für lineare Modelle würde so etwas wie funktionieren; Es hat einen definierten Bereich und disziplinspezifische Vorstellungen darüber, was ein "guter" Wert ist. Ich suche etwas allgemeineres und dachte, ich könnte damit beginnen, die Experten hier anzupingen. Ich bin mir sicher, dass jemand schon einmal darüber nachgedacht hat, aber ich kenne nicht die richtigen Begriffe, um eine produktive Suche in Google Scholar durchzuführen. $R^2$

Jede Hilfe wäre dankbar.

model-selection aic bic

— Nathan VanHoudnos
quelle

Wenn Modell A zu Datensatz 1 und Modell B zu Datensatz 2 passt, gibt es überhaupt nichts zu vergleichen: Die Modelle und die Daten sind völlig unterschiedlich. Was genau versuchst du zu erreichen? Übrigens ist in dieser Hinsicht schlimmer als nutzlos; Für einige Kritik siehe stats.stackexchange.com/questions/13314/…

R^{2}

$R^2$

— whuber

Was meinen Sie mit etwas "Allgemeinerem"? Können Sie ein Beispiel für die otye-Modelltypen geben, auf die Sie möglicherweise erweitern möchten? Einige Modelle lassen sich leicht an einen Ansatz anpassen , z. B. niedrige Anpassungen, andere sind jedoch recht schwierig, z. B. Anpassungen von Binomialdaten.

R^{2}

$R^2$

— Russellpierce

@whuber Wow, das ist eine großartige Antwort auf die Frage! Abgesehen von seinen Unzulänglichkeiten wird verwendet, um zu sagen, dass ihr Modell im "absoluten" Sinne "gut" ist (z. B. "Mein ist so und so, was besser ist als das, was man normalerweise sieht ..." "). Ich suche nach einer gerechtfertigten (und allgemeineren) Statistik als , um denselben Zweck zu erreichen (z. B. "Meine MagicStatistic ist so und so, was besser ist ...). Mein erster naiver Gedanke war, so etwas zu tun Normalisierung eines k-fachen Kreuzvalidierungswerts, aber es scheint nicht so, als hätte jemand so etwas getan (daher ist es wahrscheinlich keine gute Idee).

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

— Nathan VanHoudnos

@ Nathan Ich möchte nicht so klingen, als würde ich in einem Punkt harfen oder davon besessen sein - ich bin es nicht -, aber mir fällt ein, dass Leute, die , um ihr Modell zu behaupten, absolut gut sind Sinn könnte oft ... falsch sein. Eine Lehre aus ist, dass eine Modellanpassungsstatistik nur im Kontext des Datensatzes interpretierbar ist. Wenn zwei Datensätze möglicherweise nichts gemeinsam haben, was würde es dann wirklich bedeuten, zwei solcher Statistiken zu vergleichen? Um Ihre Frage beantworten zu können, müssen wir Annahmen darüber treffen, wie die beiden Datensätze miteinander in Beziehung stehen könnten. Irgendwelche Vorschläge?

R^{2}

$R^2$

R^{2}

$R^2$

— whuber

Das einzige, was ich mir im Bereich Ihrer Rede vorstellen kann, ist das Maß für die Vorhersagegenauigkeit. Die Qualität von zwei Modellen auf zwei verschiedenen Datensätzen könnte möglicherweise verglichen werden, anhand derer man am besten vorhersagt, obwohl dies auch nicht perfekt ist.

— Makro

In Übereinstimmung mit dem, was Macro vorgeschlagen hat, denke ich, dass der Begriff, den Sie suchen, ein Leistungsmaß ist. Obwohl dies kein sicherer Weg ist, um die Vorhersagekraft zu beurteilen, ist es ein sehr nützlicher Weg, um die Anpassungsqualität verschiedener Modelle zu vergleichen.

Ein Beispielmaß wäre der mittlere durchschnittliche prozentuale Fehler, von dem jedoch leicht mehr gefunden werden können.

Angenommen, Sie verwenden SetA mit Modell A, um die Anzahl der Löcher in einer Straße zu beschreiben, und Sie verwenden SetB und Modell B, um die Anzahl der Personen in einem Land zu beschreiben. Dann können Sie natürlich nicht sagen, dass ein Modell besser ist als das andere, aber Sie können Sehen Sie zumindest, welches Modell eine genauere Beschreibung liefert.

— Dennis Jaheruddin
quelle

Ich denke, es gibt einige neue Artikel, die genau untersuchen, wonach Sie suchen. Nakagawa und Schielzeth (2013) präsentieren eine R²-Statistik für Modelle mit gemischten Effekten namens "R2 GLMM", um das Ausmaß der ungeklärten Varianz in einem Modell zu definieren.

Bedingtes R²GLMM wird als Varianz interpretiert, die sowohl durch feste als auch durch zufällige Faktoren erklärt wird.

Das marginale R²GLMM repräsentiert die Varianz, die durch feste Faktoren erklärt wird.

Im Jahr 2014 aktualisierte Johnson die Gleichung, um Modelle mit zufälligen Steigungen zu berücksichtigen.

Glücklicherweise können Sie mit dem Paket "MuMIn" in R ( Barton, 2015 ) sowohl marginale als auch bedingte R²GLMM leicht berechnen .

— Nova
quelle