Statistiken und Big Data optimization

2

Was ist Energieminimierung beim maschinellen Lernen?

Ich las über die Optimierung für ein schlecht gestelltes Problem in der Bildverarbeitung und fand die folgende Erklärung zur Optimierung in Wikipedia. Was ich nicht verstehe ist, warum nennen sie diese Optimierung in Computer Vision " Energieminimierung "? Ein Optimierungsproblem kann folgendermaßen dargestellt werden: Gegeben: eine Funktion von einer Menge …

14 machine-learning optimization computer-vision

2

Warum wird k-means nicht mit Gradientenabstieg optimiert?

Ich weiß, dass k-means normalerweise mit Expectation Maximization optimiert wird . Wir könnten jedoch die Verlustfunktion genauso optimieren wie alle anderen! Ich habe einige Artikel gefunden, die tatsächlich eine stochastische Gradientenabnahme für großräumige k-Mittelwerte verwenden, aber ich konnte meine Frage nicht beantworten. Weiß jemand, warum das so ist? Liegt es …

14 optimization k-means expectation-maximization loss-functions

2

Optimierung: Die Wurzel allen Übels in der Statistik?

Ich habe den folgenden Ausdruck schon einmal gehört: "Optimierung ist die Wurzel allen Übels in der Statistik". Die beste Antwort in diesem Thread gibt diese Aussage beispielsweise in Bezug auf die Gefahr einer zu aggressiven Optimierung bei der Modellauswahl wieder. Meine erste Frage lautet wie folgt: Kann dieses Zitat jemand …

14 cross-validation optimization overfitting

1

Eingeschränkte Optimierungsbibliothek für Gleichheits- und Ungleichheitsbeschränkungen

Gibt es Empfehlungen für die Auswahl einer eingeschränkten Optimierungsbibliothek, die für meine Optimierungsfunktion geeignet ist? Ich minimiere ai) nichtlineare Funktion mit linearen Gleichungs- und Ungleichungsbeschränkungen, und ii) habe den Gradienten und den Hessischen Wert der Funktion zur Verfügung. Wenn es hilft, ist die Funktion, die ich minimiere, die Kullback-Liebler-Divergenz . …

14 r optimization software

1

Warum ist es wichtig, einen Bias-Korrektur-Term für den Adam-Optimierer für Deep Learning einzufügen?

Ich habe über den Adam-Optimierer für Deep Learning gelesen und bin in dem neuen Buch Deep Learning von Begnio, Goodfellow und Courtville auf folgenden Satz gestoßen: Adam schließt Vorspannungskorrekturen an den Schätzungen sowohl der Momente erster Ordnung (dem Impulsausdruck) als auch der (nicht zentrierten) Momente zweiter Ordnung ein, um ihre …

14 machine-learning neural-networks optimization conv-neural-network adam

3

Wie sollten Feature-Auswahl und Hyperparameter-Optimierung in der Pipeline für maschinelles Lernen angeordnet werden?

Mein Ziel ist es, Sensorsignale zu klassifizieren. Das bisherige Konzept meiner Lösung lautet: i) Konstruieren von Features aus dem Rohsignal ii) Auswählen relevanter Features mit ReliefF und einem Clustering-Ansatz iii) Anwenden von NN, Random Forest und SVM Ich bin jedoch in einem Dilemma gefangen. In ii) und iii) gibt es …

14 feature-selection hyperparameter optimization

1

Wie funktioniert das L-BFGS?

Der Zweck des Papiers bestand darin, einige Parameter durch Maximierung der regulierten Log-Wahrscheinlichkeit zu optimieren. Dann berechnen sie partielle Ableitungen. Und dann erwähnen die Autoren, dass sie die Gleichung mit L-BFGS optimieren, einem Standard-Quasi-Newton-Verfahren zur Optimierung der glatten Funktionen vieler Variablen (keine weiteren Details). Wie funktioniert es ?

14 algorithms optimization

5

Philosophische Frage zur logistischen Regression: Warum wird der optimale Schwellenwert nicht trainiert?

Normalerweise passen wir in der logistischen Regression ein Modell an und erhalten einige Vorhersagen zum Trainingssatz. Anschließend validieren wir diese Trainingsvorhersagen (so ähnlich wie hier ) und bestimmen den optimalen Schwellenwert auf der Grundlage der ROC-Kurve. Warum integrieren wir die Quervalidierung des Schwellenwerts nicht in das tatsächliche Modell und trainieren …

13 logistic cross-validation optimization roc threshold

2

Optimierung und maschinelles Lernen

Ich wollte wissen, wie viel maschinelles Lernen optimiert werden muss. Soweit ich gehört habe, ist Statistik ein wichtiges mathematisches Thema für Menschen, die mit maschinellem Lernen arbeiten. Ebenso wie wichtig ist es für jemanden, der mit maschinellem Lernen arbeitet, etwas über konvexe oder nichtkonvexe Optimierung zu lernen?

13 machine-learning optimization

2

KKT in aller Kürze grafisch

Zielsetzung Bestätigen Sie, ob das Verständnis von KKT korrekt ist oder nicht. Weitere Erklärungen und Bestätigungen finden Sie auf KKT. Hintergrund Der Versuch, die KKT-Bedingungen zu verstehen, insbesondere die komplementären, die in SVM-Artikeln immer aus heiterem Himmel auftauchen. Ich brauche keine Liste abstrakter Formeln, sondern eine konkrete, intuitive und grafische …

13 svm optimization lagrange-multipliers

1

Auf dem neuesten Stand der kollaborativen Filterung

Ich arbeite an einem Projekt zur kollaborativen Filterung (CF), dh zur Vervollständigung einer teilweise beobachteten Matrix oder allgemeiner eines Tensors. Ich bin ein Neuling auf dem Gebiet, und für dieses Projekt muss ich schließlich unsere Methode mit anderen bekannten vergleichen, die heutzutage vorgeschlagenen Methoden mit ihnen vergleichen, nämlich dem Stand …

13 optimization recommender-system matrix-decomposition

2

Wenn p> n, wählt das Lasso höchstens n Variablen aus

Eine der Beweggründe für das elastische Netz war die folgende Einschränkung von LASSO: Im Fall p>np>np > n wählt das Lasso aufgrund der Art des konvexen Optimierungsproblems höchstens n Variablen aus, bevor es gesättigt wird. Dies scheint ein einschränkendes Merkmal für eine variable Auswahlmethode zu sein. Darüber hinaus ist das …

13 regression optimization feature-selection lasso

1

Optimierungsproblem

Ein Freund von mir verkauft kkk Modelle von Mixern. Einige der Mixer sind sehr einfach und billig, andere sind sehr raffiniert und teurer. Seine Daten bestehen für jeden Monat aus den von ihm festgelegten Preisen für jeden Mixer und der Anzahl der verkauften Einheiten für jedes Modell. Um eine Notation …

13 optimization

4

Schnelle Alternativen zum EM-Algorithmus

Gibt es schnelle Alternativen zum EM-Algorithmus zum Lernen von Modellen mit latenten Variablen (insbesondere pLSA)? Ich finde es in Ordnung, die Präzision zugunsten der Geschwindigkeit zu opfern.

13 machine-learning optimization expectation-maximization lsa

1

Warum ist der naive Bayes-Klassifikator für einen 0: 1-Verlust optimal?

Der Naive Bayes-Klassifikator ist der Klassifikator, der Elemente einer Klasse auf der Grundlage der Maximierung des hinteren für die Klassenzugehörigkeit zuordnet und davon ausgeht, dass die Merkmale der Elemente unabhängig sind.C P ( C | x )xxxCCCP( C| x)P(C|x)P(C|x) Der 0-1-Verlust ist der Verlust, der einer Fehlklassifizierung einen Verlust von …

13 machine-learning bayesian optimization naive-bayes loss-functions

Als «optimization» getaggte Fragen