Warum verwenden Statistiker gegenseitige Informationen nicht als Maß für die Assoziation?

Ich habe ein paar Gespräche von Nicht-Statistikern gesehen, in denen sie Korrelationsmaße offenbar neu erfinden, indem sie gegenseitige Informationen anstelle von Regression (oder gleichwertigen / eng verwandten statistischen Tests) verwenden.

Ich nehme an, es gibt einen guten Grund, warum Statistiker diesen Ansatz nicht verfolgen. Mein Laie versteht, dass Schätzer von Entropie / gegenseitiger Information problematisch und instabil sind. Ich gehe davon aus, dass die Stromversorgung auch problematisch ist: Sie versuchen, dies zu umgehen, indem sie behaupten, dass sie kein parametrisches Testframework verwenden. Normalerweise stört diese Art von Arbeit nicht die Leistungsberechnung oder sogar das Vertrauen / die glaubwürdigen Intervalle.

Aber um die Position eines Teufels zu vertreten, ist langsame Konvergenz eine so große Sache, wenn die Datensätze extrem groß sind? Manchmal scheinen diese Methoden auch in dem Sinne zu "funktionieren", dass die Assoziationen durch Folgestudien validiert werden. Was ist die beste Kritik gegen die Verwendung gegenseitiger Informationen als Assoziationsmaß und warum wird sie in der statistischen Praxis nicht häufig verwendet?

edit: Gibt es auch gute Papiere, die diese Themen behandeln?

Ich denke, Sie sollten zwischen kategorialen (diskreten) Daten und kontinuierlichen Daten unterscheiden.

Für kontinuierliche Daten misst die Pearson-Korrelation eine lineare (monotone) Beziehung, die Rangkorrelation eine monotone Beziehung.

MI "erkennt" andererseits jede Beziehung. Dies ist normalerweise nicht das, woran Sie interessiert sind und / oder was wahrscheinlich Lärm ist. Insbesondere müssen Sie die Dichte der Verteilung schätzen. Da es jedoch kontinuierlich ist, würden Sie zuerst ein Histogramm [diskrete Bins] erstellen und dann den MI berechnen. Da MI jedoch jede Beziehung zulässt, ändert sich der MI, wenn Sie kleinere Bins verwenden (dh, Sie lassen mehr Wackelbewegungen zu). Sie können also sehen, dass die Schätzung des MI sehr instabil ist, sodass Sie keine Konfidenzintervalle für die Schätzung usw. festlegen können. [Gleiches gilt, wenn Sie eine kontinuierliche Dichteschätzung durchführen.] Grundsätzlich gibt es zu viele Dinge, die vor der eigentlichen Berechnung geschätzt werden müssen der MI.

Kategoriale Daten passen dagegen recht gut in das MI-Framework (siehe G-Test), und es gibt nicht viel zwischen G-Test und Chi-Quadrat zu wählen.