Kriterien für die Auswahl des „besten“ Modells in einem Hidden-Markov-Modell

Ich habe einen Zeitreihendatensatz, an den ich ein Hidden Markov Model (HMM) anpasse, um die Anzahl der latenten Zustände in den Daten abzuschätzen. Mein Pseudocode dafür ist der folgende:

for( i in 2 : max_number_of_states ){ 
    ...
    calculate HMM with i states
    ...
    optimal_number_of_states = "model with smallest BIC"
    ...
}

In den üblichen Regressionsmodellen tendiert der BIC dazu, die sparsamsten Modelle zu bevorzugen, aber im Fall des HMM bin ich nicht sicher, ob es das ist, was es tut. Weiß jemand, zu welcher Art von HMM das BIC-Kriterium tendiert? Ich kann auch den AIC- und Likelihood-Wert ermitteln. Ist eines dieser Kriterien für diesen Zweck "besser" als das andere, da ich versuche, die tatsächliche Gesamtzahl der Zustände zu ermitteln?

Ich gehe hier davon aus, dass Ihre Ausgabevariable kategorisch ist, obwohl dies möglicherweise nicht der Fall ist. Wenn ich gesehen habe, wie HMMs verwendet werden, ist die Anzahl der Status jedoch im Voraus bekannt, anstatt sie durch Abstimmung auszuwählen. Normalerweise entsprechen sie einer gut verstandenen Variablen, die zufällig nicht beobachtet wird. Das heißt aber nicht, dass Sie nicht damit experimentieren können.

Die Gefahr bei der Verwendung von BIC (und AIC) besteht jedoch darin, dass der k- Wert für die Anzahl der freien Parameter im Modell quadratisch mit der Anzahl der Zustände zunimmt, da Sie die Übergangswahrscheinlichkeitsmatrix mit Px (P-1) -Parametern (für P-Zustände) haben ) und die Ausgabewahrscheinlichkeiten für jede Kategorie der Ausgabe bei jedem Zustand. Wenn also der AIC und der BIC richtig berechnet werden, sollte das k schnell steigen .

Wenn Sie über genügend Daten verfügen, würde ich eine weichere Methode zum Optimieren der Anzahl der Status empfehlen, z. B. das Testen eines Holdout-Beispiels. Vielleicht möchten Sie auch nur die Wahrscheinlichkeitsstatistik betrachten und visuell sehen, an welcher Stelle sie ein Plateau erreicht. Beachten Sie auch, dass bei großen Datenmengen der BIC auf ein kleineres Modell umgestellt wird.