Definition der Komplexität eines Baumes in xgboost

Als ich über den xgboost-Algorithmus recherchierte, ging ich die Dokumentation durch .

Bei diesem Ansatz werden Bäume unter Verwendung der Komplexitätsdefinition wobei und Parameter sind, die Anzahl von ist Terminalblätter und ist die Punktzahl in jedem Blatt.

Ω (f) = γ T + \frac{1}{2} λ \sum_{j = 1}^{T} w_{j}^{2}

$\Omega(f) = \gamma T + \frac12 \lambda \sum_{j=1}^T w_j^2$

γ

$\gamma$

λ

$\lambda$

T

$T$

w_{j}

$w_j$

Ich frage mich: Wie definiert dies Komplexität? , die Anzahl der Endknoten, erscheint mir natürlich. Aber die Summe der Endergebnisse im Quadrat? $T$

Vielleicht ist Überanpassung gemeint. Bedeutet das, dass sehr große Punktzahlen zu viel Vertrauen geben? Wird es gewählt, um einen schwachen Lernenden zu bekommen? Was ist eine natürliche Erklärung für diese Wahl der Komplexitätsfunktion?

— Ric
quelle

Das macht für mich Sinn.

Ich werde mich auf den Gaußschen Fall konzentrieren. Hier wird jeder Baum an die Residuen des aktuellen Modells , und die Modellaktualisierung lautet . Die Idee eines Gradientenverstärkers besteht darin, die Vorspannung des Modells sorgfältig und langsam zu verringern, indem diese Bäume einzeln hinzugefügt werden. $T_i$ $M_{i+1} = M_{i} + \alpha T_i$

In diesem Fall würde ein großer Wert von einem Endknoten (Blattknoten) entsprechen, der eine sehr große und signifikante Aktualisierung des vorherigen Modells ergibt. Die Idee des Regularisierungsterms besteht darin, diese Vorfälle großer Einzelbaumaktualisierungen zu minimieren (nur dann zuzulassen, wenn die Verringerung der Modellverlustfunktion groß genug ist, um die Regularisierungsstrafe auszugleichen). Wenn ein solches Update für einen einzelnen Baum reguliert wird, sich jedoch als gerechtfertigt herausstellt, wird es gemäß der Philosophie des Boostings über mehrere Modellupdates hinweg eingebrannt. $w_i$

Dies ist eine sehr enge Analogie zur Gratregression.

— Matthew Drury
quelle

Danke, also denken Sie ähnlich darüber nach wie ich, wenn ich über einen schwachen Lernenden spreche ... Schwach in dem Sinne, wenn Sie nicht zu große Schritte unternehmen.

— Ric

Könnten Sie genauer auf den "Gaußschen Fall" eingehen? eine Mischung aus Gaußschen passen?

— Haitao Du

@ hxd1011 Ich meine nur, dass wir die Summe der quadratischen Fehlerverluste verwenden, auch bekannt als die Log-Wahrscheinlichkeit der Gaußschen Verteilung. Der Hauptpunkt ist, dass Sie hier davon ausgehen können, dass Sie nur zu den Residuen passen.

— Matthew Drury

@MatthewDrury Könnten Sie sich diese verwandte Frage ansehen? Vielen Dank!! stats.stackexchange.com/questions/229599/…

— Haitao Du