Statistiken und Big Data convex

6

Warum konvexe Optimierung für theoretisches maschinelles Lernen studieren?

Ich arbeite am theoretischen maschinellen Lernen - Transferlernen, um genau zu sein - für meine Promotion. Warum sollte ich aus Neugier einen Kurs zur konvexen Optimierung belegen? Welche Erkenntnisse aus der konvexen Optimierung kann ich für meine Forschung zum theoretischen maschinellen Lernen nutzen?

27 machine-learning optimization convex transfer-learning

6

Zeigt der Gradient in Stochastic Gradient Descent (SGD) bei konvexen Problemen immer auf den globalen Extremwert?

Bei einer konvexen Kostenfunktion, bei der SGD für die Optimierung verwendet wird, haben wir zu einem bestimmten Zeitpunkt während des Optimierungsprozesses einen Gradienten (Vektor). Meine Frage ist, angesichts des Punktes auf der Konvexen, zeigt der Gradient nur in die Richtung, in die die Funktion am schnellsten zunimmt / abnimmt, oder …

25 neural-networks optimization gradient-descent sgd convex

1

Warum ist die Kostenfunktion von neuronalen Netzen nicht konvex?

Es gibt hier einen ähnlichen Thread ( Kostenfunktion des neuronalen Netzwerks ist nicht konvex? ), Aber ich konnte die Punkte in den Antworten dort nicht verstehen und mein Grund für die erneute Frage, in der Hoffnung, dass dies einige Probleme klären wird: Wenn ich die Funktion für die Summe der …

22 machine-learning neural-networks optimization loss-functions convex

3

Kann es mehrere lokale optimale Lösungen geben, wenn wir eine lineare Regression lösen?

Ich habe diese Aussage auf einer alten True / False-Prüfung gelesen: Wir können mehrere lokale optimale Lösungen erhalten, wenn wir ein lineares Regressionsproblem lösen, indem wir die Summe der Fehlerquadrate mithilfe des Gradientenabfalls minimieren. Lösung: Falsch Meine Frage ist, welcher Teil dieser Frage ist falsch? Warum ist diese Aussage falsch?

19 least-squares gradient-descent convex

3

Ist die PCA-Optimierung konvex?

Die objektive Funktion der Hauptkomponentenanalyse (PCA) ist die Minimierung des Rekonstruktionsfehlers in der L2-Norm (siehe Abschnitt 2.12 hier) . Eine andere Ansicht versucht, die Varianz bei der Projektion zu maximieren. Wir haben auch hier einen ausgezeichneten Beitrag: Was ist die objektive Funktion der PCA? ? ). Meine Frage ist, dass …

12 machine-learning pca optimization convex

4

Wie wende ich die Methode der iterativ neu gewichteten kleinsten Quadrate (IRLS) auf das LASSO-Modell an?

Ich habe eine logistische Regression mit dem IRLS-Algorithmus programmiert . Ich möchte eine LASSO-Bestrafung anwenden , um automatisch die richtigen Funktionen auszuwählen. Bei jeder Iteration wird Folgendes gelöst: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Sei eine nicht negative reelle Zahl. Ich bestrafe nicht den in The Elements of. Statistisches Lernen . Das Gleiche gilt …

12 logistic generalized-linear-model feature-selection lasso convex

3

Ist die Kreuzentropiekostenfunktion für ein neuronales Netzwerk konvex?

Mein Lehrer hat bewiesen, dass das 2. Derivat der Kreuzentropie immer positiv ist, so dass die Kostenfunktion neuronaler Netze mit Kreuzentropie konvex ist. Ist das wahr? Ich bin ziemlich verwirrt darüber, weil ich immer gelernt habe, dass die Kostenfunktion von ANN nicht konvex ist. Kann jemand das bestätigen? Vielen Dank! …

9 neural-networks convex

1

Beziehen von auf für Positiv, Erhöhend und Konkav

Die Ankunft von Photonen an einem Pixel in einem Bildsensor ist eine Poisson-verteilte Zufallsvariable, so dass die Eingabe als Poisson rv X \ sim \ mathrm {Poisson} (\ lambda) modelliert werden kann X∼Poisson(λ)X∼Poisson(λ)X\sim \mathrm{Poisson}(\lambda). Da die Eingabe Poisson ist, sind der Mittelwert und die Varianz gleich, so dass E[X]Var[X]=1E[X]Var[X]=1\begin{equation} \frac{\mathbb{E}[X]}{\mathrm{Var}[X]}=1 …

8 variance poisson-distribution probability-inequalities convex

Als «convex» getaggte Fragen