Bestimmen des optimalen Schwellenwerts für binäre Entscheidungsregeln aus Beobachtungen mit unbekannten Prioritäten?

8

Wie kann ich die optimale Entscheidungsschwelle abschätzen, wenn nur Beobachtungen eines durch Gaußsches Rauschen gestörten binären Signals mit unbekannten vorherigen Informationen vorliegen?

(Nein, das ist keine Hausaufgabenfrage)

Insbesondere denke ich an das folgende Modell: ist eine Zufallsvariable mit zwei : $Y$ $(H_0,H_1)$

$P(Y|H_0) \sim \mathcal N(\mu_0,\sigma)$
$P(Y|H_1) \sim \mathcal N(\mu_1,\sigma),\quad \mu_0 < \mu_1$
$P(H_0) = \pi_0$
$P(H_1) = 1-\pi_0$

mit unbekannten Parametern: . $\mu_0, \mu_1, \sigma, \pi_0$

Aus diesen Parametern könnte der Maximum a Posteriori Log-Likelihood-Schwellenwert berechnet werden, wenn ich sie kenne. Ich habe ursprünglich darüber nachgedacht, wie man zuerst die Parameter schätzt, um an den Schwellenwert . Aber ich denke, es könnte robuster sein, direkt zu schätzen . $Y_t$ $Y_t$

Gedanken: Durch Normalisieren der Beobachtungen (Subtrahieren des Stichprobenmittelwerts und Division durch Standardabweichung) wird der Parameterraum in zwei Dimensionen reduziert: $\pi_0$ und $\frac \sigma{\mu_1-\mu_0}$ .

— Mark Borgerding
quelle

Dieses Problem wäre viel einfacher, wenn Sie annehmen könnten, dass Pi0 0,5 ist. :-)

— Jim Clay

Könnte diese Frage etwas mit diesen zu tun haben : stackoverflow.com/questions/1504378/… oder stackoverflow.com/questions/5451089/…

— hotpaw2

Steht eine Trainingssequenz von Beobachtungen zur Schätzung der Mittelwerte, Varianzen usw. zur Verfügung? Oder erhalten Sie einfach eine Datensequenz, in der einige Werte von

und einige von

, Sie aber nicht wissen, welche welche ist?

H_{0}

$H_0$

H_{1}

$H_1$

— Dilip Sarwate

6

Meine Intuition ist, dass es schwierig sein würde, die richtige Entscheidungsschwelle abzuleiten, die Sie erwarten:

τ = \frac{1}{2} (μ_{0} + μ_{1}) - - \frac{σ^{2}}{‖ μ_{0} - - μ_{1} ‖^{2}} Log \frac{π}{1 - - π} (μ_{0} - - μ_{1})

$\tau = \frac{1}{2}\left(\mu_0 + \mu_1\right) - \frac{\sigma^2}{\lVert\mu_0 - \mu_1\rVert^2} \log \frac{\pi}{1 - \pi}\left(\mu_0 - \mu_1\right)$

Aus der globalen Statistik, die Sie in Betracht ziehen (Stichprobenmittelwert: ; Standardabweichung: komplexerer Ausdruck, aber ich bezweifle, dass es sich um ein Protokoll handelt). $\pi \mu_0 + (1 - \pi) \mu_1$

Ich würde das Problem folgendermaßen angehen:

Wenn die Annahme, dass klein ist, gemacht werden kann $\sigma$

Ich erwähne das, weil man bedenkt, dass die Entscheidungsschwelle nur dann von beeinflusst wird, wenn ausreichend hoch ist, damit sich beide Klassen überlappen können. Wenn die um mehr als ein paar , haben Klassenvorwahrscheinlichkeiten im Entscheidungsprozess nichts zu sagen! $\pi$ $\sigma$ $\mu$ $\sigma$
- Führen Sie k-Mittel auf Ihren Beobachtungen ( ist klein und wird von beiden Klassen geteilt, so k-Mittel ist in diesem Fall EM für das Mischmodell). Wenn Sie nur diese Beobachtungen und keine anderen Daten binärisieren möchten, können Sie hier aufhören. $\sigma$
- Wenn Sie neue Beobachtungen zu binarisieren haben und wissen, dass sie durch denselben Prozess generiert werden, können Sie die mit k-means in Ihren Trainingsdaten gefundenen Klassenschwerpunkte als Schätzungen von und die Mitte als Entscheidungsschwelle verwenden. $\mu$
Wenn keine Annahme über kann $\sigma$
- Führen Sie den EM-Algorithmus (mit gepoolter diagonaler Kovarianz) für Ihre Trainingsdaten aus. Verwenden Sie die abgeleiteten Variablen "Soft Class Membership", um Ihre Beobachtungen zu binarisieren.
- $\tau$

— Pichenettes
quelle

2

Zusammenfassend haben Sie zwei Verteilungen mit unbekannten Parametern und eine Messung, die möglicherweise aus einem der beiden stochastischen Prozesse stammt. Dies wird normalerweise als Datenassoziationsproblem bezeichnet und ist in der Tracking-Community sehr verbreitet und wird umfassend untersucht. Sie können einen PDAF-Algorithmus (Probability Data Association Filter) oder einen MHT-Algorithmus (Multi-Hypothesis Tracking) verwenden. Dies sollte Ihnen Schätzungen des Mittelwerts und der Varianz für jede Verteilung liefern.
Da Ihr Rauschen weiß und Gaußsch ist, sind ML, MAP und MMSE alternativ alle äquivalent und können durch Minimieren des mittleren quadratischen Fehlers (Kostenfunktion) ermittelt werden, wie dies in der vorherigen Antwort effektiv beschrieben wird. Ich würde einen dynamischen Programmieransatz verwenden, um das Minimum der Kostenfunktion zu finden. Dies sollte weniger komplex (rechnerisch) sein als die zuvor beschriebenen EM / Clustering-Methoden. Noch ein Kommentar: Der PDAF ist rekursiv. Angesichts des einfachen Signalmodells sollte es sehr effektiv funktionieren und ich erwarte einen Bruchteil der rechnerischen Komplexität des EM-Algorithmus. Viel Glück, -B

— Brant Jameson
quelle

1

Es gibt einen Algorithmus von Kittler und Illingworth aus der Mitte der 1980er Jahre namens "Minimum Error Thresholding", der dieses Problem für Gaußsche Verteilungen löst. Kürzlich haben Mike Titterington (Universität Glasgow) und JH Xue (jetzt an der UCL) dies in einen formelleren statistischen Rahmen gestellt, siehe ihre gemeinsamen Veröffentlichungen in Fachzeitschriften.

— hilfreichHoher
quelle