Als «expectation-maximization» getaggte Fragen

Ein Optimierungsalgorithmus, der häufig für die Maximum-Likelihood-Schätzung bei fehlenden Daten verwendet wird.

9
Numerisches Beispiel zum Verständnis von Expectation-Maximization
Ich versuche, einen guten Überblick über den EM-Algorithmus zu bekommen, um ihn implementieren und verwenden zu können. Ich verbrachte einen ganzen Tag damit, die Theorie und ein Papier zu lesen, in dem EM verwendet wird, um ein Flugzeug unter Verwendung der Positionsinformationen, die von einem Radar kommen, zu verfolgen. Ehrlich …
1
Beziehung zwischen Variation Bayes und EM
Ich habe irgendwo gelesen, dass die Variational Bayes-Methode eine Verallgemeinerung des EM-Algorithmus ist. In der Tat sind die iterativen Teile der Algorithmen sehr ähnlich. Um zu testen, ob der EM-Algorithmus eine spezielle Version der Variational Bayes ist, habe ich Folgendes versucht: Y.Y.Y ist Daten, ist die Sammlung latenter Variablen und …
2
Warum konvergiert der Expectation Maximization-Algorithmus garantiert gegen ein lokales Optimum?
Ich habe einige Erklärungen zum EM-Algorithmus gelesen (z. B. aus Bishops Mustererkennung und maschinellem Lernen sowie aus dem ersten Kurs von Roger und Gerolami über maschinelles Lernen). Die Ableitung von EM ist in Ordnung, ich verstehe es. Ich verstehe auch, warum der Algorithmus etwas überdeckt: Bei jedem Schritt verbessern wir …
3
Warum wird der Erwartungsmaximierungsalgorithmus verwendet?
Nach dem, was ich noch nicht weiß, kann der EM-Algorithmus verwendet werden, um die maximale Wahrscheinlichkeit zu ermitteln, wenn die partiellen Ableitungen in Bezug auf die Parameter der Wahrscheinlichkeit auf Null gesetzt werden. Dies ergibt einen Satz von Gleichungen, die nicht analytisch gelöst werden können. Aber wird der EM-Algorithmus benötigt, …
4
Wie projiziert man einen neuen Vektor auf den PCA-Raum?
Nach der Durchführung der Hauptkomponentenanalyse (PCA) möchte ich einen neuen Vektor auf den PCA-Raum projizieren (dh seine Koordinaten im PCA-Koordinatensystem finden). Ich habe PCA in R-Sprache mit berechnet prcomp. Jetzt sollte ich meinen Vektor mit der PCA-Rotationsmatrix multiplizieren können. Sollen die Hauptkomponenten in dieser Matrix in Zeilen oder Spalten angeordnet …
21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 
2
EM-Algorithmus manuell implementiert
Ich möchte den EM-Algorithmus manuell implementieren und ihn dann mit den Ergebnissen des normalmixEMof- mixtoolsPakets vergleichen. Natürlich würde ich mich freuen, wenn beide zu den gleichen Ergebnissen führen würden. Die Hauptreferenz ist Geoffrey McLachlan (2000), Finite Mixture Models . Ich habe eine Mischungsdichte von zwei Gaußschen, in allgemeiner Form ist …
2
Warum ist die Optimierung einer Gaußschen Mischung direkt rechnerisch schwierig?
Betrachten Sie die logarithmische Wahrscheinlichkeit einer Mischung von Gaußschen: l(Sn;θ)=∑t=1nlogf(x(t)|θ)=∑t=1nlog{∑i=1kpif(x(t)|μ(i),σ2i)}l(Sn;θ)=∑t=1nlog⁡f(x(t)|θ)=∑t=1nlog⁡{∑i=1kpif(x(t)|μ(i),σi2)}l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i f(x^{(t)}|\mu^{(i)}, \sigma^2_i)\right\} Ich habe mich gefragt, warum es rechenintensiv ist, diese Gleichung direkt zu maximieren. Ich suchte entweder nach einer klaren, soliden Vorstellung, warum es offensichtlich sein sollte, dass es schwierig ist, oder nach …
1
Ein grundlegendes Markov-Zufallsfeld zum Klassifizieren von Pixeln in einem Bild trainieren
Ich versuche zu lernen, wie man zufällige Markov-Felder verwendet, um Regionen in einem Bild zu segmentieren. Ich verstehe einige der Parameter in der MRF nicht oder weiß nicht, warum die von mir durchgeführte Erwartungsmaximierung manchmal nicht zu einer Lösung konvergiert. Ausgehend von Bayes 'Theorem habe ich , wobei der Grauwert …
1
EM, gibt es eine intuitive Erklärung?
Das EM-Verfahren erscheint dem Uneingeweihten als mehr oder weniger schwarze Magie. Schätzen Sie die Parameter eines HMM (zum Beispiel) mit überwachten Daten. Dekodieren Sie dann nicht getaggte Daten, indem Sie Ereignisse vorwärts und rückwärts zählen, als ob die Daten mehr oder weniger getaggt wären. Warum macht dies das Modell besser? …
2
Warum ist die Maximierung der Erwartungen für Mischmodelle wichtig?
Es gibt viele Literaturstellen, in denen die Expectation Maximization-Methode für Mischmodelle (Mischung aus Gauß-Modell, Hidden-Markov-Modell usw.) im Vordergrund steht. Warum ist EM wichtig? EM ist nur eine Möglichkeit zur Optimierung und wird nicht häufig als gradientenbasierte Methode (Gradient Decent oder Newton's / Quasi-Newton-Methode) oder als andere gradientenfreie Methode verwendet, die …
2
Warum wird k-means nicht mit Gradientenabstieg optimiert?
Ich weiß, dass k-means normalerweise mit Expectation Maximization optimiert wird . Wir könnten jedoch die Verlustfunktion genauso optimieren wie alle anderen! Ich habe einige Artikel gefunden, die tatsächlich eine stochastische Gradientenabnahme für großräumige k-Mittelwerte verwenden, aber ich konnte meine Frage nicht beantworten. Weiß jemand, warum das so ist? Liegt es …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.