Statistiken und Big Data hyperparameter

1

Auswahl einer geeigneten Minibatch-Größe für den stochastischen Gradientenabstieg (SGD)

Gibt es Literatur, die die Wahl der Minibatch-Größe bei der Durchführung eines stochastischen Gradientenabfalls untersucht? Nach meiner Erfahrung scheint es sich um eine empirische Entscheidung zu handeln, die normalerweise durch Kreuzvalidierung oder unter Verwendung unterschiedlicher Faustregeln getroffen wird. Ist es eine gute Idee, die Minibatch-Größe langsam zu erhöhen, wenn der …

13 machine-learning gradient-descent hyperparameter deep-learning

1

Hyperparameter-Tuning in der Gaußschen Prozessregression

Ich versuche, die Hyperparameter des von mir implementierten Gaußschen Prozessregressionsalgorithmus abzustimmen. Ich möchte einfach die logarithmische Grenzwahrscheinlichkeit maximieren, die durch die Formel wobeiKdie Kovarianzmatrix mit den ElementenKij=k(xi,xj)=b-1exp(- istLog( y | X., Θ ) = - 12yT.K.- 1yy - 12Log( det ( K.) ) - n2Log( 2 π)Log⁡(y|X.,θ)=- -12yT.K.y- -1y- -12Log⁡(det(K.))- …

12 regression optimization gaussian-process hyperparameter

1

Hyperprior-Dichte für hierarchisches Gamma-Poisson-Modell

In einem hierarchischen Datenmodell yyy in dem y∼Poisson(λ)y∼Poisson(λ)y \sim \textrm{Poisson}(\lambda) λ∼Gamma(α,β)λ∼Gamma(α,β)\lambda \sim \textrm{Gamma}(\alpha, \beta) , scheint es in der Praxis typisch zu sein, Werte ( α,β)α,β)\alpha, \beta) so zu dass der Mittelwert und die Varianz von Die Gammaverteilung stimmt ungefähr mit dem Mittelwert und der Varianz der Daten überein yyy(z. …

11 poisson-distribution gamma-distribution hierarchical-bayesian hyperparameter

4

Warum lernen wir nicht einfach die Hyperparameter?

Ich habe ein ziemlich populäres Papier " ERKLÄREN UND HARNESSEN VON ADVERSARIALEN BEISPIELEN " implementiert und in dem Papier eine kontroverse Zielfunktion trainiert J '' (θ) = αJ (θ) + (1 - α) J '(θ). Es behandelt α als Hyperparameter. α kann 0,1, 0,2, 0,3 usw. sein. Unabhängig von diesem …

11 machine-learning neural-networks deep-learning hyperparameter

2

Wie verwende ich XGboost.cv mit der Optimierung von Hyperparametern?

Ich möchte die Hyperparameter von XGboost mithilfe der Kreuzvalidierung optimieren. Es ist jedoch nicht klar, wie man das Modell erhält xgb.cv. Zum Beispiel rufe ich objective(params)von an fmin. Dann wird das Modell montiert dtrainund validiert dvalid. Was ist, wenn ich KFold Crossvalidation verwenden möchte, anstatt zu trainieren dtrain? from hyperopt …

11 cross-validation python boosting hyperparameter gradient

1

Beziehung zwischen Lernrate und Anzahl der versteckten Schichten?

Gibt es eine Faustregel zwischen der Tiefe eines neuronalen Netzwerks und der Lernrate? Mir ist aufgefallen, dass die Lernrate umso niedriger sein muss, je tiefer das Netzwerk ist. Wenn das richtig ist, warum ist das so?

10 neural-networks deep-learning hyperparameter rule-of-thumb

2

Verschachtelte Kreuzvalidierung - Wie unterscheidet sie sich von der Modellauswahl über kfold CV auf dem Trainingssatz?

Ich sehe oft Leute, die über 5x2-Kreuzvalidierung als Sonderfall der verschachtelten Kreuzvalidierung sprechen . Ich nehme an, die erste Zahl (hier: 5) bezieht sich auf die Anzahl der Falten in der inneren Schleife und die zweite Zahl (hier: 2) bezieht sich auf die Anzahl der Falten in der äußeren Schleife. …

10 machine-learning cross-validation hyperparameter

1

Warum bestraft die Regularisierung in der linearen Regression auch die Parameterwerte?

Ich lernte gerade die Gratregression und war etwas verwirrt über die Bestrafung komplexerer Modelle (oder die Definition eines komplexeren Modells). Soweit ich weiß, korreliert die Komplexität des Modells nicht unbedingt mit der Polynomordnung. Also: ist ein komplexeres Modell als:2 + 3 + 4 x2+ 5 x3+ 6 x42+3+4x2+5x3+6x4 2 + …

9 regression regularization hyperparameter

1

Warum gehen Informationen über die Validierungsdaten verloren, wenn ich beim Optimieren von Hyperparametern die Modellleistung anhand von Validierungsdaten bewerte?

In François Chollets Deep Learning with Python heißt es: Infolgedessen kann das Optimieren der Konfiguration des Modells basierend auf seiner Leistung im Validierungssatz schnell zu einer Überanpassung an den Validierungssatz führen, obwohl Ihr Modell niemals direkt darauf trainiert wird. Zentral für dieses Phänomen ist der Begriff der Informationslecks. Jedes Mal, …

9 neural-networks cross-validation hyperparameter

1

Was sind einige der Nachteile der Bayes'schen Hyperparameteroptimierung?

Ich bin ziemlich neu im maschinellen Lernen und in der Statistik, aber ich habe mich gefragt, warum die Bayes'sche Optimierung beim Lernen von maschinellem Lernen zur Optimierung Ihrer Algorithmus-Hyperparameter nicht häufiger online verwendet wird. Verwenden Sie beispielsweise ein Framework wie dieses: https://github.com/fmfn/BayesianOptimization Hat die Bayes'sche Optimierung Ihrer Hyperparameter eine Einschränkung …

8 machine-learning optimization hyperparameter bayesian-optimization

1

Wie erhalte ich optimale Hyperparameter nach verschachtelter Kreuzvalidierung?

Wenn wir einen großen Datensatz haben, können wir ihn im Allgemeinen in (1) Training, (2) Validierung und (3) Test aufteilen. Wir verwenden die Validierung, um die besten Hyperparameter bei der Kreuzvalidierung zu identifizieren (z. B. C in SVM), und trainieren dann das Modell unter Verwendung der besten Hyperparameter mit dem …

8 machine-learning cross-validation scikit-learn hyperparameter optimization

1

Vollständig Bayesianische Hyperparameterauswahl in GPML

Ist es möglich, mit dem GPML-Code eine ungefähre vollständige Bayes'sche (1) Auswahl von Hyperparametern (z. B. Kovarianzskala) durchzuführen, anstatt die Grenzwahrscheinlichkeit zu maximieren (2)? Ich denke, die Verwendung von MCMC-Methoden zur Lösung der Integrale mit Hyperparametern sollte zu besseren Ergebnissen führen, wenn es um Überanpassung geht. Meines Wissens enthält das …

8 bayesian model-selection gaussian-process hyperparameter

2

Verständnis des frühen Stopps in neuronalen Netzen und seiner Auswirkungen bei der Verwendung der Kreuzvalidierung

Ich bin ein bisschen beunruhigt und verwirrt über die Idee, wie die Technik des frühen Stoppens definiert wird. Wenn Sie sich Wikipedia ansehen , ist es wie folgt definiert: Teilen Sie die Trainingsdaten in einen Trainingssatz und einen Validierungssatz auf, z. B. im Verhältnis 2 zu 1. Trainieren Sie nur …

8 machine-learning neural-networks cross-validation hyperparameter

3

Schrittweise Erklärung der K-fachen Kreuzvalidierung mit Rastersuche zur Optimierung von Hyperparametern

Ich bin mir der Vorteile der k-fachen (und ausgelassenen) Kreuzvalidierung sowie der Vorteile der Aufteilung Ihres Trainingssatzes zur Erstellung eines dritten Holdout-Validierungssatzes bewusst, den Sie zur Bewertung verwenden Modellleistung basierend auf der Auswahl von Hyperparametern, sodass Sie diese optimieren und optimieren und die besten auswählen können, die schließlich am realen …

7 machine-learning cross-validation hyperparameter optimization

Als «hyperparameter» getaggte Fragen