Gini-Abnahme und Gini-Verunreinigung von Kinderknoten

Ich arbeite an der Wichtigkeitsmessung des Gini-Features für zufällige Gesamtstrukturen. Daher muss ich die Gini-Abnahme der Knotenverunreinigung berechnen. So mache ich das, was zu einem Konflikt mit der Definition führt und andeutet, dass ich mich irgendwo irren muss ... :)

Für einen binären Baum kann ich unter Berücksichtigung der Wahrscheinlichkeiten der linken und rechten Kinder die Gini-Verunreinigung eines Knotens berechnen : $n$

ich (n) = 1 - p_{l}^{2} - p_{r}^{2}

$i(n) = 1 - p_l^2 - p_r^2$

Und die Gini nehmen ab:

Δ ich (n) = ich (n) - p_{l} ich (n_{l}) - p_{r} ich (n_{r})

$\Delta i(n) = i(n) - p_li(n_l) - p_ri(n_r)$

Für dieses Beispiel mit 110 Beobachtungen auf einem Knoten:

- node (110)
   - left (100)
      - left_left (60)
      - left_right (40)
   - right (10)
      - right_left (5)
      - right_right (5)

Ich würde die Gini-Abnahme für Knoten wie folgt berechnen :

\begin{aligned} i (l e f t) & = 1 - (60 / 100)^{²} - (40 / 100)^{²} & = 0,48 \\ ich (r ich G h t) & = 1 - (5 / 10)^{²} - (5 / 10)^{²} & = 0,50 \\ ich (n Ö d e) & = 1 - (100 / 110)^{²} - (10 / 110)^{²} & = 0,16 \end{aligned}

$\begin{align} i({\rm left}) &= 1 - (60/100)^² - (40/100)^²& &= 0.48 \\ i({\rm right}) &= 1 - (5/10)^² - (5/10)^²& &= 0.50 \\ i({\rm node}) &= 1 - (100/110)^² - (10/110)^²& &= 0.16 \end{align}$

Nach der Breiman-Definition (oder dieser Antwort im Lebenslauf: Wie man die "variable Wichtigkeit" misst / einordnet , wenn ich CART verwende , aber keinen Zugriff auf das referenzierte Buch habe) sollte das Verunreinigungskriterium des Nachkommen geringer sein als das des Elternteils Knoten:

Gini-Wichtigkeit
Jedes Mal, wenn eine Aufteilung eines Knotens auf die Variable m vorgenommen wird, ist das Gini-Verunreinigungskriterium für die beiden untergeordneten Knoten kleiner als der übergeordnete Knoten. Addiert man die Gini-Abnahmen für jede einzelne Variable über alle Bäume im Wald, erhält man eine schnelle Variablenbedeutung, die häufig sehr gut mit dem Maß für die Permutationsbedeutung übereinstimmt.

Denn sonst führt es zu einer negativen Gini-Abnahme ...

Δ ich (n Ö d e) = ich (n Ö d e) - (100 / 110) * ich (l e f t) - (10 / 110) * ich (r ich G h t) = - 0,32

$\Delta i({\rm node}) = i({\rm node}) - (100/110)*i({\rm left}) - (10/110)*i({\rm right}) = -0.32$

Wenn also jemand sagen könnte, wo ich falsch liege, wäre ich sehr dankbar, denn es sieht so aus, als würde mir hier etwas offensichtlich fehlen ...

feature-selection random-forest cart

— Remi Mélisson
quelle

Sie haben die Zielklassenvariable einfach überhaupt nicht verwendet. Gini-Verunreinigung misst wie alle anderen Verunreinigungsfunktionen die Verunreinigung der Ausgänge nach einer Aufteilung. Was Sie getan haben, ist etwas nur mit Stichprobengröße zu messen.

Ich versuche, eine Formel für Ihren Fall abzuleiten.

Nehmen wir zur Vereinfachung an, Sie haben einen binären Klassifikator. Kennzeichnen Sie mit das , mit das Klassenattribut mit Werten. $A$ $C$ $c_+, c_-$

Der anfängliche Gini-Index vor der Teilung ist gegeben durch wobei der Anteil von Datenpunkten ist, die einen -Wert für die Klasse haben Variable.

ich (EIN) = 1 - P ({EIN}_{+})^{2} - P ({EIN}_{-})^{2}

$I(A) = 1 - P(A_+)^2 - P(A_-)^2$

P (A_{+})

$P(A_+)$

c_{+}

$c_+$

Jetzt wäre die Verunreinigung für den linken Knoten wobei Anteil der Datenpunkte aus der linken Teilmenge von die in der Klassenvariablen den Wert haben , usw.

ich (EIN l) = 1 - P (EIN l_{+})^{2} - P (EIN l_{-})^{2}

$I(Al) = 1 - P(Al_+)^2-P(Al_-)^2$

ich (EIN r) = 1 - P (EIN r_{+})^{2} - P (EIN r_{-})^{2}

$I(Ar) = 1 - P(Ar_+)^2-P(Ar_-)^2$

P (A l_{+})

$P(Al_+)$

A

$A$

c_{+}

$c_+$

Nun wäre die endgültige Formel für GiniGain

G ich n ich G ein ich n (EIN) = ich (EIN) - p_{l e f t} ich (EIN l) - p_{r ich G h t} ich (EIN r)

$GiniGain(A) = I(A) - p_{left}I(Al) - p_{right}I(Ar)$ wobei der Anteil der Instanzen für die linke Teilmenge ist, oder (wie viele Instanzen in der linken Teilmenge ist durch die Gesamtzahl der Fälle von geteilten .

p_{l e f t}

$p_{left}$

\frac{# | A l |}{# | A l | + # | A r |}

$\frac{\#|Al|}{\#|Al|+\#|Ar|}$

A

$A$

Ich habe das Gefühl, dass meine Notation verbessert werden könnte. Ich werde später sehen, wann ich mehr Zeit habe.

Fazit

Es reicht nicht aus, nur die Anzahl der Datenpunkte zu verwenden. Verunreinigungen bedeuten, wie gut ein Merkmal (Testmerkmal) die Verteilung eines anderen Merkmals (Klassenmerkmal) reproduzieren kann. Die Test-Feature-Verteilung erzeugt die Nummer, die Sie verwendet haben (nach links, nach rechts), aber die Verteilung des Klassen-Features wird in Ihren Formeln nicht verwendet.

Später bearbeiten - beweisen Sie, warum es abnimmt

Jetzt ist mir aufgefallen, dass ich den Teil verpasst habe, der beweist, warum der Gini-Index auf dem untergeordneten Knoten immer kleiner ist als auf dem übergeordneten Knoten. Ich habe keinen vollständigen oder verifizierten Beweis, aber ich denke, es ist ein gültiger Beweis. Weitere interessante Informationen zum Thema finden Sie unter Technischer Hinweis: Einige Eigenschaften von Aufteilungskriterien - Leo Breiman . Nun folgt es meinem Beweis.

Nehmen sich an, daß wir im binären Fall sind und alle Werte in einem Knoten durch ein Paar vollständig beschrieben werden könnten mit der Bedeutung Instanz der ersten Klasse und Instanzen der zweiten Klasse. Wir können im übergeordneten Knoten angeben, dass wir Instanzen haben. $(a,b)$ $a$ $b$ $(a,b)$

Um die beste Aufteilung zu finden, sortieren wir die Instanzen nach einem Testfeature und probieren alle möglichen binären Aufteilungen aus. Nach einem bestimmten Merkmal ist tatsächlich eine Permutation von Instanzen sortiert, in denen Klassen mit einer Instanz der ersten Klasse oder der zweiten Klasse beginnen. Ohne die Allgemeinheit zu verlieren, nehmen wir an, dass es mit einer Instanz der ersten Klasse beginnt (wenn dies nicht der Fall ist, haben wir einen Spiegelnachweis mit derselben Berechnung).

Die erste Aufteilung, die versucht werden soll, erfolgt in der linken und rechten Instanz. Wie wird der Gini-Index für diese möglichen Kandidaten für den linken und den rechten untergeordneten Knoten mit dem übergeordneten Knoten verglichen? Links haben wir offensichtlich . Auf der linken Seite haben wir also einen kleineren Gini-Indexwert. Wie wäre es mit dem richtigen Knoten? $(1,0)$ $(a-1,b)$ $h(left) = 1 - (1/1)^2 - (0/1)^2 = 0$

h (p ein r e n t) = 1 - (\frac{ein}{ein + b})^{2} - (\frac{b}{ein + b})^{2}

$h(parent) = 1 - (\frac{a}{a+b})^2 - (\frac{b}{a+b})^2$

h (r ich G h t) = 1 - (\frac{ein - 1}{(ein - 1) + b})^{2} - (\frac{b}{(ein - 1) + b})^{2}

$h(right) = 1 - (\frac{a-1}{(a-1)+b})^2 - (\frac{b}{(a-1)+b})^2$

Wenn man bedenkt, dass größer oder gleich (da sonst, wie könnten wir eine Instanz der ersten Klasse im linken Knoten trennen?), Ist es nach Vereinfachung einfach zu erkennen, dass der Gini-Index für den rechten Knoten einen kleineren Wert als für den hat Elternknoten. $a$ $0$

Nun besteht die letzte Stufe des Beweises darin, zu verdeutlichen, dass wir unter Berücksichtigung aller möglichen Teilungspunkte, die durch die uns vorliegenden Daten vorgegeben sind, denjenigen behalten, der den kleinsten aggregierten Gini-Index aufweist, was bedeutet, dass das von uns gewählte Optimum kleiner oder gleich dem ist Triviales, von dem ich bewiesen habe, dass es kleiner ist. Daraus folgt, dass der Gini-Index am Ende sinken wird.

Als letzte Schlussfolgerung müssen wir feststellen, dass selbst wenn verschiedene Aufteilungen Werte ergeben können, die größer als der übergeordnete Knoten sind, derjenige, den wir wählen, der kleinste unter ihnen und der kleinere als der übergeordnete Gini-Indexwert.

Ich hoffe es hilft.

— rapaio
quelle

Vielen Dank, Sie haben mein Gehirn freigeschaltet. Da es sich um Regressionsbäume handelt, war die Verwendung der Zielklassenvariablen weniger offensichtlich als für eine reine Klassifizierungsaufgabe. Aber es macht jetzt total Sinn.

— Remi Mélisson

Ich habe die Antwort aktualisiert, um die fehlenden Teile zu enthalten.

— Rapaio