Der Vergleich von zwei Klassifikatorgenauigkeitsergebnissen für die statistische Signifikanz mit dem t-Test

Ich möchte die Genauigkeit von zwei Klassifikatoren für die statistische Signifikanz vergleichen. Beide Klassifikatoren werden mit demselben Datensatz ausgeführt. Dies lässt mich glauben, dass ich einen T-Test mit einer Stichprobe von dem verwenden sollte, was ich gelesen habe .

Beispielsweise:

Classifier 1: 51% accuracy
Classifier 2: 64% accuracy
Dataset size: 78,000

Ist das der richtige Test? Wenn ja, wie berechne ich, ob der Unterschied in der Genauigkeit zwischen den Klassifikatoren signifikant ist?

Oder sollte ich einen anderen Test verwenden?

Ich würde mich wahrscheinlich für McNemars Test entscheiden, wenn Sie die Klassifikatoren nur einmal trainieren würden. David Barber schlägt auch einen ziemlich ordentlichen Bayes-Test vor , der mir ziemlich elegant erscheint, aber nicht weit verbreitet ist (er wird auch in seinem Buch erwähnt ).

Um nur hinzuzufügen, wie Peter Flom sagt, lautet die Antwort mit ziemlicher Sicherheit "Ja", wenn man sich nur den Unterschied in der Leistung und der Größe der Stichprobe ansieht (ich nehme die angegebenen Zahlen als Testsatzleistung und nicht als Trainingssatzleistung).

Übrigens haben Japkowicz und Shah kürzlich ein Buch zum Thema "Evaluierung von Lernalgorithmen : Eine Klassifizierungsperspektive" herausgebracht . Ich habe es nicht gelesen, aber es scheint eine nützliche Referenz für diese Art von Fragen zu sein.

Ich kann Ihnen sagen, dass der Unterschied statistisch hoch signifikant sein wird, ohne überhaupt irgendetwas laufen zu lassen. Es besteht den IOTT (interokularer Traumatest - es trifft Sie zwischen den Augen).

Wenn Sie jedoch einen Test durchführen möchten, können Sie ihn als Test mit zwei Anteilen durchführen - dies kann mit einem T-Test mit zwei Stichproben erfolgen.

Möglicherweise möchten Sie "Genauigkeit" jedoch in seine Komponenten zerlegen. Sensitivität und Spezifität oder falsch-positiv und falsch-negativ. In vielen Anwendungen sind die Kosten für die verschiedenen Fehler sehr unterschiedlich.

Da die Genauigkeit in diesem Fall der Anteil der korrekt klassifizierten Proben ist, können wir den Hypothesentest für ein System mit zwei Anteilen anwenden.

$\hat p_1$$\hat p_2$$n$$x_1$$x_2$

$\hat p_1 = x_1/n,\quad \hat p_2 = x_2/n$

Die Teststatistik ist gegeben durch

$\displaystyle Z = \frac{\hat p_1 - \hat p_2}{\sqrt{2\hat p(1 -\hat p)/n}}\qquad$ wo $\quad\hat p= (x_1+x_2)/2n$

$p_2$$p_1$

• $H_0: p_1 = p_2\quad$ (Nullhypothese besagt, dass beide gleich sind)
• $H_a: p_1 < p_2\quad$ (Alternative Hypotyese, die besagt, dass die neuere besser ist als die existierende)

Der Zurückweisungsbereich ist gegeben durch

$Z < -z_\alpha \quad$$H_0$$H_a$

$z_\alpha$$\alpha$$z_{0.5} = 1.645$$Z < -1.645$$1-\alpha$

Verweise:

1. R. Johnson und J. Freund, Miller und Freund's Probability and Statistics for Engineers, 8. Aufl. Prentice Hall International, 2011. (Primärquelle)
2. Test der hypothesengenauen Formelzusammenfassung . (Übernommen aus [1])