Statistiken und Big Data gradient

2

Gradientenverstärkung für lineare Regression - warum funktioniert das nicht?

Beim Erlernen von Gradient Boosting sind mir keine Einschränkungen in Bezug auf die Eigenschaften eines "schwachen Klassifikators" bekannt, mit dem die Methode ein Modell erstellt und zusammensetzt. Ich konnte mir jedoch keine Anwendung eines GB vorstellen, bei der lineare Regression verwendet wird, und tatsächlich funktioniert dies nicht, wenn ich einige …

35 regression machine-learning boosting ensemble gradient

1

Ist die Gradientenverstärkung für Daten mit niedrigen Ereignisraten wie 1% geeignet?

Ich versuche, den Gradienten für ein Dataset mit einer Ereignisrate von etwa 1% mithilfe von Enterprise Miner zu erhöhen, aber es wird keine Ausgabe erzeugt. Meine Frage ist, ob es sich um einen auf Entscheidungsbäumen basierenden Ansatz handelt, ob es überhaupt richtig ist, die Gradientenverstärkung bei einem so niedrigen Ereignis …

14 boosting unbalanced-classes rare-events gradient

2

Wie verwende ich XGboost.cv mit der Optimierung von Hyperparametern?

Ich möchte die Hyperparameter von XGboost mithilfe der Kreuzvalidierung optimieren. Es ist jedoch nicht klar, wie man das Modell erhält xgb.cv. Zum Beispiel rufe ich objective(params)von an fmin. Dann wird das Modell montiert dtrainund validiert dvalid. Was ist, wenn ich KFold Crossvalidation verwenden möchte, anstatt zu trainieren dtrain? from hyperopt …

11 cross-validation python boosting hyperparameter gradient

2

Was ist der Operator in der Kettenregel, wenn der Gradient eines einschichtigen neuronalen Netzwerks anhand seiner Eingaben abgeleitet wird?

Das Problem ist: Leiten Sie den Gradienten in Bezug auf die Eingabeschicht für ein einzelnes neuronales Netzwerk mit versteckter Schicht ab, indem Sie Sigmoid für Eingabe -> versteckt, Softmax für versteckt -> Ausgabe mit einem Kreuzentropieverlust verwenden. Ich kann den größten Teil der Ableitung mit der Kettenregel durchstehen, bin mir …

9 neural-networks gradient

3

Gradientenabstieg bei nicht konvexen Funktionen

Welche Situationen kennen wir, in denen gezeigt werden kann, dass der Gradientenabstieg für nicht konvexe Funktionen konvergiert (entweder zu einem kritischen Punkt oder zu einem lokalen / globalen Minimum)? Für SGD zu nicht konvexen Funktionen wurde hier eine Art von Beweis überprüft: http://www.cs.cornell.edu/courses/cs6787/2017fa/Lecture7.pdf

9 gradient-descent gradient sgd non-convex

1

Kann ich viele Bäume mit Gradientenverstärkung mithilfe der Absacktechnik kombinieren?

Basierend auf Gradient Boosting Tree vs Random Forest . GBDT und RF verwenden unterschiedliche Strategien, um Verzerrung und Varianz zu bekämpfen. Meine Frage ist, ob ich einen Datensatz (mit Ersatz) erneut abtasten kann, um mehrere GBDT zu trainieren und ihre Vorhersagen als Endergebnis zu kombinieren. Es ist gleichbedeutend damit, eine …

8 random-forest cart boosting bagging gradient

3

Numerische Gradientenprüfung: Wie nah ist nah genug?

Ich habe ein neuronales Faltungsnetzwerk erstellt und wollte mithilfe der numerischen Gradientenprüfung überprüfen, ob meine Gradienten korrekt berechnet werden. Die Frage ist, wie nah ist nah genug? Meine Überprüfungsfunktion spuckt nur die berechnete Ableitung, die numerisch angenäherte Ableitung, die Differenz zwischen den beiden aus und ob die beiden Werte das …

8 neural-networks conv-neural-network gradient

Als «gradient» getaggte Fragen