Statistiken und Big Data machine-learning

2

Bayesianische nichtparametrische Antwort auf tiefes Lernen?

So wie ich es verstehe, führen tiefe neuronale Netze "Repräsentationslernen" durch, indem sie Merkmale zusammenfügen. Dies ermöglicht das Lernen sehr hochdimensionaler Strukturen in den Merkmalen. Natürlich handelt es sich um ein parametrisches Modell mit einer festen Anzahl von Parametern, daher besteht die übliche Einschränkung, dass die Komplexität des Modells möglicherweise …

8 machine-learning bayesian nonparametric deep-learning

1

Kovarianz im Gaußschen Prozess

Ich bin ein wenig verwirrt über die Formel zur Berechnung der Kovarianz im Gaußschen Prozess (das Hinzufügen von Varianz verwirrt mich immer, da es nicht immer explizit bezeichnet wird). Der Grund für die Verwirrung ist, dass die Formeln in Mustererkennung und maschinellem Lernen von Bishop angegeben sind und der Gaußsche …

8 machine-learning covariance covariance-matrix kernel-trick gaussian-process

4

Durchschnittliche Präzision bei der Objekterkennung

Ich bin ziemlich verwirrt darüber, wie ich die AP- oder mAP-Werte berechnen kann, da es anscheinend einige verschiedene Methoden gibt. Ich möchte speziell die AP / mAP-Werte für die Objekterkennung erhalten. Alles was ich sicher weiß ist: Rückruf = TP / (TP + FN), Präzision = TP / (TP + …

8 machine-learning precision-recall model-evaluation average-precision object-detection

1

Wie erhalte ich optimale Hyperparameter nach verschachtelter Kreuzvalidierung?

Wenn wir einen großen Datensatz haben, können wir ihn im Allgemeinen in (1) Training, (2) Validierung und (3) Test aufteilen. Wir verwenden die Validierung, um die besten Hyperparameter bei der Kreuzvalidierung zu identifizieren (z. B. C in SVM), und trainieren dann das Modell unter Verwendung der besten Hyperparameter mit dem …

8 machine-learning cross-validation scikit-learn hyperparameter optimization

1

Logistische Regression: Unterschiedliche Formeln zwischen den Kursen?

Neu im statistischen und maschinellen Lernen und in einigen Online-Kursen. Ich versuche, die logistische Regression genauer zu verstehen, und habe einen Unterschied in der Formel zwischen dem Andrew Ng-Kurs und dem statistischen Stanford-Lernkurs festgestellt. Unten poste ich ein Linkbild zu beiden Formeln. Der Zähler ist also anders. Ich muss etwas …

8 regression machine-learning logistic

1

Was sind die Schritte, um die gewichtete Quadratsumme in eine Matrixform umzuwandeln?

Ich bin neu in der Konvertierung von Formeln in Matrixform. Dies ist jedoch für einen effizienten Code für maschinelles Lernen erforderlich. Also möchte ich den "richtigen" Weg verstehen, nicht das Cowboy-Zeug, das ich mache. Okay, jetzt geht es los. Ich versuche, die gewichtete Quadratsumme aus der folgenden Form in eine …

8 regression machine-learning linear-algebra

2

Was ist "Mischung" in einem Gaußschen Mischungsmodell?

Wir untersuchen häufig das Gaußsche Mischungsmodell als nützliches Modell für maschinelles Lernen und seine Anwendungen. Welche physikalische Bedeutung hat diese " Mischung "? Wird es verwendet, weil ein Gaußsches Mischungsmodell die Wahrscheinlichkeit einer Anzahl von Zufallsvariablen modelliert, von denen jede ihren eigenen Mittelwert hat? Wenn nicht, wie lautet dann die …

8 machine-learning distributions gaussian-mixture mixture mathematical-statistics

1

Regressionsdefinition

Aus Wikipedia: Bei der statistischen Modellierung ist die Regressionsanalyse ein statistischer Prozess zur Schätzung der Beziehungen zwischen Variablen. Es enthält viele Techniken zum Modellieren und Analysieren mehrerer Variablen, wenn der Schwerpunkt auf der Beziehung zwischen einer abhängigen Variablen und einer oder mehreren unabhängigen Variablen (oder "Prädiktoren") liegt. Ist das nicht …

8 regression machine-learning classification definition

1

Lehrbücher über die Reproduktion des Kernel-Hilbert-Space-Ansatzes für maschinelles Lernen?

Frage: Kennt jemand Lehrbücher, die (zum ersten Mal) maschinelles Lernen über den Hilbert-Space- Ansatz des reproduzierenden Kernels einführen ? Dh, die eine Funktionsanalyse als Voraussetzung voraussetzen, aber keine Vorkenntnisse des maschinellen Lernens voraussetzen? Alle Umfrageartikel wären eine knappe Sekunde. Bitte keine Forschungsarbeiten - ich möchte die Theorie zuerst lernen, bevor …

8 machine-learning references

1

Simulation des hinteren Teils eines Gaußschen Prozesses

Zum ersten Mal (entschuldigen Sie Ungenauigkeit / Fehler) habe ich mir Gaußsche Prozesse angesehen und mir dieses Video von Nando de Freitas genauer angesehen . Die Notizen sind hier online verfügbar . Irgendwann zieht er 101010 Zufallsstichproben aus einer multivariaten Normalen, die durch Konstruktion einer Kovarianzmatrix basierend auf einem Gaußschen …

8 machine-learning simulation stochastic-processes gaussian-process

2

Neuronale Netze: Ist eine Epoche in SGD dieselbe wie eine Epoche in Mini-Batch?

In SGD wäre eine Epoche die vollständige Darstellung der Trainingsdaten, und dann würde es N Gewichtsaktualisierungen pro Epoche geben (wenn der Trainingssatz N Datenbeispiele enthält). Wenn wir jetzt stattdessen Mini-Batches durchführen, beispielsweise in Batches von 20. Besteht eine Epoche jetzt aus N / 20 Gewichtsaktualisierungen oder wird eine Epoche um …

8 machine-learning neural-networks

2

Wie kann eine geringere Lernrate die Leistung eines GBM beeinträchtigen?

Ich habe mich immer der Volksweisheit angeschlossen, dass das Verringern der Lernrate in einem GBM (Gradient Boosted Tree Model) die Out-of-Sample-Leistung des Modells nicht beeinträchtigt. Heute bin ich mir nicht so sicher. Ich passe Modelle (Minimierung der Summe der quadratischen Fehler) an den Boston-Gehäusedatensatz an . Hier ist eine Darstellung …

8 machine-learning boosting out-of-sample

2

Gibt es Möglichkeiten, mit dem verschwindenden Gradienten für die Sättigung von Nichtlinearitäten umzugehen, bei denen keine Chargennormalisierung oder ReLu-Einheiten erforderlich sind?

Ich wollte ein Netzwerk mit Nichtlinearitäten trainieren, die unter dem Verschwinden leiden (oder dem explodierenden Gradientenproblem, obwohl es hauptsächlich verschwindet). Ich weiß, dass die (derzeitige) Standardmethode darin besteht, die Chargennormalisierung 1 [BN] 1 zu verwenden oder einfach die Nichtlinearität aufzugeben und ReLu- Gleichrichter- / ReLu- Einheiten zu verwenden. Ich wollte …

8 machine-learning neural-networks conv-neural-network batch-normalization

1

Enthält ein optimal entworfenes neuronales Netzwerk beim Training keine „toten“ ReLU-Neuronen?

Sollte ich mein neuronales Netzwerk im Allgemeinen mit weniger Neuronen neu trainieren, damit es weniger tote ReLU-Neuronen hat? Ich habe widersprüchliche Meinungen über tote ReLUs gelesen. Einige Quellen sagen, dass tote ReLUs gut sind, weil sie die Sparsamkeit fördern. Andere sagen, dass sie schlecht sind, weil tote ReLUs für immer …

8 machine-learning neural-networks conv-neural-network

2

Wie kann man diese Ungleichung der Gaußschen Mischung beweisen? (Anpassung / Überanpassung)

Sei f [x] eine Gaußsche Mischung pdf mit n Begriffen des einheitlichen Gewichts, bedeutet und entsprechenden Varianzen :{ σ 1 , . . . , σ n }{ μ1, . . . , μn}}{μ1,...,μn}\{\mu_{1},...,\mu_{n}\}{ σ1, . . . , σn}}{σ1,...,σn}\{\sigma_{1},...,\sigma_{n}\} f( x ) ≡ 1n∑i = 1n12 πσ2ich- -- -- …

8 machine-learning gaussian-mixture

Als «machine-learning» getaggte Fragen