Test auf Differenz zwischen 2 empirischen diskreten Verteilungen

Ich habe Testdaten, bei denen ich mehrere große Stichproben aus diskreten Verteilungen habe, die ich als empirische Verteilungen verwende. Ich möchte testen, ob die Verteilungen tatsächlich unterschiedlich sind und was der Unterschied in den Mitteln für diejenigen Verteilungen ist, die tatsächlich unterschiedlich sind.

Da es sich um diskrete Verteilungen handelt, ist nach meinem Verständnis der Kolmogorov-Smirnov-Test aufgrund der zugrunde liegenden Annahme einer kontinuierlichen Verteilung ungültig. Wäre der Chi-Quadrat-Test der richtige Test, um festzustellen, ob die Verteilungen tatsächlich unterschiedlich sind?

Welchen Test würde ich für die Mittelwertdifferenz verwenden? Wäre es besser, aus den Verteilungen eine Stichprobe zu ziehen und die Differenz zu ermitteln und dann die Verteilung der Differenz zu analysieren?

1) Der Kolmogorov-Smirnov kann weiterhin verwendet werden, aber wenn Sie die tabellierten kritischen Werte verwenden, ist dies konservativ (was nur ein Problem ist, weil es Ihre Leistungskurve nach unten drückt). Besser ist es, die Permutationsverteilung der Statistik zu ermitteln, damit Ihre Signifikanzstufen Ihren Vorstellungen entsprechen. Dies wird nur dann einen großen Unterschied machen, wenn es viele Bindungen gibt. Diese Änderung ist sehr einfach umzusetzen. (Aber der KS-Test ist nicht der einzig mögliche Vergleich. Wenn man ohnehin Permutationsverteilungen berechnet, gibt es andere Möglichkeiten.)

2) Vanille-Chi-Quadrat-Qualitätstests für diskrete Daten sind meiner Meinung nach im Allgemeinen eine wirklich schlechte Idee. Wenn Sie den KS-Test aufgrund des oben genannten potenziellen Stromausfalls nicht mehr verwenden können, ist das Problem mit dem Chi-Quadrat oft viel schlimmer: Es gibt die kritischsten Informationen aus, dh die Reihenfolge zwischen den Kategorien (die Beobachtungswerte), wodurch die Leistung sinkt indem Sie es auf Alternativen verteilen, die die Reihenfolge nicht berücksichtigen, so dass es schlechter ist, reibungslose Alternativen zu erkennen - wie zum Beispiel eine Verschiebung von Standort und Maßstab). Selbst mit den oben genannten negativen Auswirkungen schwerer Bindungen weist der KS-Test in vielen Fällen noch eine bessere Leistung auf (und senkt gleichzeitig die Fehlerrate von Typ I).

Das Chi-Quadrat kann auch geändert werden, um die Reihenfolge zu berücksichtigen (Aufteilen des Chi-Quadrats in lineare, quadratische, kubische usw. Komponenten über orthogonale Polynome und Verwendung nur der wenigen Terme niedriger Ordnung - 4 bis 6 sind übliche Auswahlmöglichkeiten). Artikel von Rayner und Best (und anderen) diskutieren diesen Ansatz, der sich aus Neyman-Barton-Glättungstests ergibt. Dies ist ein guter Ansatz, aber wenn Sie keinen Zugriff auf Software dafür haben, kann eine kleine Einrichtung erforderlich sein.

Jeder modifizierte Ansatz sollte in Ordnung sein, aber wenn Sie keinen der beiden Ansätze modifizieren, ist das Chi-Quadrat nicht unbedingt besser als der KS-Test - in manchen Situationen könnte es besser sein ... oder es kann wesentlich schlimmer sein.

Wenn die Krawatten nicht schwer sind (dh wenn die Daten viele verschiedene Werte annehmen), würde ich die KS als so betrachten, wie sie ist. Wenn sie moderat sind, würde ich versuchen, die Permutationsverteilung zu berechnen. Wenn sie sehr schwer sind (dh die Daten nehmen nur wenige unterschiedliche Werte an), kann das einfache Chi-Quadrat wettbewerbsfähig sein.