Ermittlung einer optimalen Diskretisierung von Daten aus einer kontinuierlichen Verteilung

Angenommen, Sie haben einen Datensatz $Y_{1}, ..., Y_{n}$ aus einer kontinuierlichen Verteilung mit der Dichte $p(y)$ , getragen auf $[0,1]$ , dass nicht bekannt ist, aber $n$ ist ziemlich groß , so eine Kerndichte (zum Beispiel) $\hat{p}(y)$ , ziemlich genau. Für eine bestimmte Anwendung muss ich die beobachteten Daten in eine endliche Anzahl von Kategorien umwandeln, um einen neuen Datensatz $Z_{1}, ..., Z_{n}$ mit einer impliziten Massenfunktion . $g(z)$

Ein einfaches Beispiel wäre , wenn und , wenn . In diesem Fall wäre die induzierte Massenfunktion $Z_{i} = 0$ $Y_{i} \leq 1/2$ $Z_{i} = 1$ $Y_{i} > 1/2$

\hat{g} (0) = \int_{0}^{1 / 2} \hat{p} (y) d y, \hat{g} (1) = \int_{1 / 2}^{1} \hat{p} (y) d y

$\hat{g}(0) = \int_{0}^{1/2} \hat{p}(y) dy, \ \ \ \hat{g}(1) = \int_{1/2}^{1} \hat{p}(y)dy$

Die zwei "Abstimmungsparameter" sind hier die Anzahl der Gruppen und der Längenvektor der Schwellenwerte . Bezeichne die induzierte Massenfunktion von . $m$ $(m-1)$ $\lambda$ $\hat{g}_{m,\lambda}(y)$

Ich möchte ein Verfahren, das zum Beispiel antwortet: "Was ist die beste Wahl für so dass eine Erhöhung der Anzahl der Gruppen auf (und Auswahl des optimalen dort) eine vernachlässigbare Verbesserung ergibt?". Ich habe das Gefühl, dass möglicherweise eine Teststatistik erstellt werden kann (möglicherweise mit dem Unterschied in der KL-Divergenz oder ähnlichem), deren Verteilung abgeleitet werden kann. Irgendwelche Ideen oder relevante Literatur? $m, \lambda$ $m+1$ $\lambda$

Bearbeiten: Ich habe zeitliche Messungen einer kontinuierlichen Variablen gleichmäßig verteilt und verwende eine inhomogene Markov-Kette, um die zeitliche Abhängigkeit zu modellieren. Ehrlich gesagt sind diskrete staatliche Markov-Ketten viel einfacher zu handhaben, und das ist meine Motivation. Die beobachteten Daten sind Prozentsätze. Ich verwende derzeit eine Ad-hoc-Diskretisierung, die für mich sehr gut aussieht, aber ich denke, dies ist ein interessantes Problem, bei dem eine formale (und allgemeine) Lösung möglich ist.

Bearbeiten 2: Das Minimieren der KL-Divergenz wäre gleichbedeutend damit, die Daten überhaupt nicht zu diskretisieren, sodass diese Idee völlig ausfällt. Ich habe den Körper entsprechend bearbeitet.

continuous-data discrete-data

— Makro
quelle

In den meisten Fällen bestimmen die Anforderungen der Folgeanwendung die Güte einer Lösung. Um uns eine Anleitung zu geben, könnten Sie vielleicht mehr dazu sagen.

— whuber

Definieren Sie zunächst, was Sie unter vernachlässigbar verstehen . Auf den ersten Blick scheint dies mit einem Problem der Ratenverzerrung zu tun zu haben. Der Cover & Thomas- Text bietet eine gut lesbare Einführung in solche Themen.

— Kardinal

Ich stelle mir die Diskretisierung mit

Ebenen wie ein Modell mit

Parametern (für die Schwellenwerte) vor. Wenn ich in dieser Einstellung vernachlässigbar sage, meine ich "es lohnt sich nicht, den zusätzlichen Parameter hinzuzufügen" im statistischen Sinne.

k

$k$

k - 1

$k-1$

— Makro

Ich bin mir nicht sicher, ob Diskretisierung tatsächlich ein guter Schachzug ist. Sie können nicht über die Grenzen hinweg verallgemeinern, die die diskreten Werte im ursprünglichen Raum Ihrer Beobachtungen erzeugen.

— Bayerj

Ich werde die Lösung teilen, die ich vor einiger Zeit für dieses Problem gefunden habe - dies ist kein formaler statistischer Test, kann aber eine nützliche Heuristik liefern.

Betrachten Sie den allgemeinen Fall, in dem Sie kontinuierliche Beobachtungen ; Nehmen wir ohne Verlust der Allgemeinheit an, dass der Probenraum jeder Beobachtung das Intervall . Ein Kategorisierungsschema hängt von einer Anzahl von Kategorien und den Ortsschwellen ab, die die Kategorien teilen . $Y_{1}, Y_{2}, ..., Y_{n}$ $[0,1]$ $m$ $0 < \lambda_{1} < \lambda_{2} < \cdots < \lambda_{m-1} < 1$

Bezeichne die kategorisierte Version von mit , wobei . Wenn man die Diskretisierung der Daten als Aufteilung der Originaldaten in Klassen betrachtet, kann die Varianz von als eine Kombination von Variationen innerhalb und zwischen Gruppen für einen festen Wert von : $Y_{i}$ $Z_{i}(m, {\boldsymbol \lambda})$ ${\boldsymbol \lambda} = \{ \lambda_{1}, \lambda_{2}, \cdots, \lambda_{m-1} \}$ $Y_{i}$ $m, {\boldsymbol \lambda}$

v a r (Y_{i}) = v a r (E (Y_{i} | Z_{i} (m, λ))) + E (v a r (Y_{i} | Z_{i} (m, λ))) .

$\begin{equation} {\rm var}(Y_{i}) = {\rm var} \Big( E(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big) + E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big). \end{equation}$

Eine gegebene Kategorisierung ist erfolgreich bei der Erzeugung homogener Gruppen, wenn innerhalb der Gruppenvarianz relativ wenig vorhanden ist, quantifiziert durch . Daher suchen wir eine sparsame Gruppierung, die den größten Teil der Variation von zum Term . Insbesondere wollen wir wählen $E( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}) )$ $Y_{i}$ ${\rm var}( E(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}) )$ $m$ ${\boldsymbol \lambda}$ $m$

λ_{m}^{⋆} = {a r g m i n}_{λ} E (v a r (Y_{i} | Z_{i} (m, λ)))

$\begin{equation} {\boldsymbol \lambda}^{\star}_{m} = {\rm argmin}_{\boldsymbol \lambda} E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big) \end{equation}$

A rough diagnostic for determining what choice of $m$ is adequate is to look at the dropoff in $E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}^{\star}_{m} )) \Big)$ as a function of $m$ - this trajectory is monotonically non-increasing and after it decreases sharply, then you can see that you're gaining relatively less precision by including more categories. This heuristic is similar in spirit how a "Scree Plot" is sometimes used to see how many principal components explain "enough" of the variation.

— Macro
quelle