Verwenden wir jemals die Maximum-Likelihood-Schätzung?

Ich frage mich, ob die Maximum-Likelihood-Schätzung jemals in der Statistik verwendet wurde. Wir lernen das Konzept, aber ich frage mich, wann es tatsächlich verwendet wird. Wenn wir die Verteilung der Daten annehmen, finden wir zwei Parameter, einen für den Mittelwert und einen für die Varianz, aber verwenden Sie sie tatsächlich in realen Situationen?

Kann mir jemand einen einfachen Fall nennen, in dem er verwendet wird?

Ich frage mich, ob die Maximum-Likelihood-Schätzung jemals in der Statistik verwendet wurde.

Bestimmt! Eigentlich ziemlich viel - aber nicht immer.

Wir lernen das Konzept, aber ich frage mich, wann es tatsächlich verwendet wird.

Wenn Menschen ein parametrisches Verteilungsmodell haben, entscheiden sie sich ziemlich oft für die Maximalwahrscheinlichkeitsschätzung. Wenn das Modell korrekt ist, gibt es eine Reihe praktischer Eigenschaften von Maximum-Likelihood-Schätzern.

Zum Beispiel ist die Verwendung von verallgemeinerten linearen Modellen ziemlich weit verbreitet, und in diesem Fall werden die Parameter, die den Mittelwert beschreiben, durch die maximale Wahrscheinlichkeit geschätzt.

Es kann vorkommen, dass einige Parameter nach der maximalen Wahrscheinlichkeit geschätzt werden und andere nicht. Betrachten Sie beispielsweise einen überdispersen Poisson-GLM - der Dispersionsparameter wird nicht mit maximaler Wahrscheinlichkeit geschätzt, da der MLE in diesem Fall nicht nützlich ist.

Wenn wir die Verteilung der Daten annehmen, finden wir zwei Parameter

Nun, manchmal haben Sie vielleicht zwei, aber manchmal haben Sie einen Parameter, manchmal drei oder vier oder mehr.

eine für den Mittelwert und eine für die Varianz,

Denken Sie vielleicht an ein bestimmtes Modell? Dies ist nicht immer der Fall. Betrachten Sie die Schätzung des Parameters einer Exponentialverteilung oder einer Poisson-Verteilung oder einer Binomialverteilung. In jedem dieser Fälle gibt es einen Parameter und die Varianz ist eine Funktion des Parameters, der den Mittelwert beschreibt.

Oder betrachten Sie eine verallgemeinerte Gammaverteilung , die drei Parameter hat. Oder eine Beta-Distribution mit vier Parametern , die (vielleicht nicht überraschend) vier Parameter enthält. Beachten Sie auch, dass (abhängig von der jeweiligen Parametrisierung) der Mittelwert oder die Varianz oder beide möglicherweise nicht durch einen einzelnen Parameter, sondern durch Funktionen mehrerer von ihnen dargestellt werden.

Zum Beispiel die Gammaverteilung, für die es drei Parametrisierungen gibt, die ziemlich häufig verwendet werden - die beiden häufigsten haben sowohl den Mittelwert als auch die Varianz als Funktionen von zwei Parametern.

Typischerweise kann in einem Regressionsmodell oder einem GLM oder einem Überlebensmodell (unter vielen anderen Modelltypen) das Modell von mehreren Prädiktoren abhängen, wobei in diesem Fall die mit jeder Beobachtung unter dem Modell verbundene Verteilung einen eigenen Parameter haben kann (oder) sogar mehrere Parameter), die sich auf viele Prädiktorvariablen beziehen ("unabhängige Variablen").

Während Schätzer für die maximale Wahrscheinlichkeit angesichts der Annahmen zur Datenverteilung verdächtig aussehen können, werden häufig Quasi-Schätzer für die maximale Wahrscheinlichkeit verwendet. Die Idee ist, zunächst eine Verteilung anzunehmen und für die MLE zu lösen, dann die explizite Verteilungsannahme zu entfernen und stattdessen zu untersuchen, wie sich Ihr Schätzer unter allgemeineren Bedingungen verhält. Das Quasi MLE wird also zu einer intelligenten Methode, um einen Schätzer zu erhalten, und der Großteil der Arbeit leitet dann die Eigenschaften des Schätzers ab. Da die Verteilungsannahmen fallengelassen werden, weist der Quasi-MLE jedoch normalerweise nicht die guten Effizienzmerkmale auf.

$x_1, x_2, ..., x_n$$X$$X \sim N (\mu, \sigma^2)$$\hat\sigma^2 = n^{-1}\sum (x_i - \bar x)^2$$\hat\sigma^2$

Die Maximum-Likelihood-Schätzung wird häufig beim maschinellen Lernen zum Trainieren verwendet:

• Neuronale Netze, z. B. Können wir mit MLE die Gewichte neuronaler Netze schätzen?
• Lineare, logistische und logistische Mehrklassenregression, z. B. Warum können lineare und logistische Regressionskoeffizienten nicht mit derselben Methode geschätzt werden?
• Bedingtes Zufallsfeld (CRF), z https://www.coursera.org/learn/probabilistic-graphical-models-3-learning/lecture/oKJ1x/maximum-likelihood-for-conditional-random-fields
• verstecktes Markov-Modell (HMM), z. B. https://en.wikipedia.org/w/index.php?title=Hidden_Markov_model&oldid=768811108#Learning

Es ist zu beachten, dass in einigen Fällen eine gewisse Regularisierung bevorzugt wird, die manchmal einer Maximum-a-posteriori-Schätzung entspricht , z . .

Kann mir jemand einen einfachen Fall nennen, in dem er verwendet wird?

Ein sehr typischer Fall ist die logistische Regression. Die logistische Regression ist eine Technik, die beim maschinellen Lernen häufig zum Klassifizieren von Datenpunkten verwendet wird. Beispielsweise kann mithilfe der logistischen Regression klassifiziert werden, ob eine E-Mail Spam ist oder nicht, oder ob eine Person eine Krankheit hat oder nicht.

$x_i$$h_\theta(x_i) = P[y_i = 1] = \frac{1}{1+e^{-\theta^T x_i}}$

The parameter vector $\theta$ is typically estimated using MLE.

Specifically, using optimization methods, we find the estimator $\hat\theta$ such that the expression $-\sum_{i=1}^n y_i\log(h_\hat\theta(x_i)) + (1-y_i)\log(1-h_{\hat\theta}(x_i))$ is minimized. This expression is the negative log likelihood, so minimizing this is equivalent to maximizing the likelihood.

We are using MLE all the time, but we may not feel it. I will give two simple examples to show.

Example 1

If we observe coin flip result, with $8$ head out of $10$ flips (assuming iid. from Bernoulli), how to guess the parameter $\theta$ (prob of head) of the coin? We may say $\theta=0.8$, using "counting".

Why use counting? this is actually implicitly using MLE! Where the problem is

To solve the equation, we will need some calculus, but the conclusion is counting.

Example 2

How would we estimate a Gaussian distribution parameters from data? We use empirical mean as estimated mean and empirical variance as estimated variance, which is also coming from MLE!.

Some maximum likelihood uses in wireless communication:

• Decoding of digital data from noisy received signals, with or without redundant codes.
• Estimation of time-, phase-, and frequency-offsets in receivers.
• Estimation of the (parameters of the) propagation channel.
• Estimation of delay, angle of arrival, and Doppler shift (e.g., radar).
• Estimation of a mobile position (e.g., GPS).
• Estimation of clock offsets for synchronization of all kinds of distributed settings.
• A multitude of calibration procedures.