Schätzung des Exponentialmodells

Ein Exponentialmodell ist ein Modell, das durch die folgende Gleichung beschrieben wird:

$$\hat{y_{i}}=\beta_{0}\cdot e^{\beta_{1}x_{1i}+\ldots+\beta_{k}x_{ki}}$$

Der gebräuchlichste Ansatz zur Schätzung eines solchen Modells ist die Linearisierung, die leicht durch Berechnung der Logarithmen beider Seiten durchgeführt werden kann. Was sind die anderen Ansätze? Ich interessiere mich besonders für diejenigen, die in einigen Beobachtungen mit umgehen können .$y_{i}=0$

Update 31.01.2011
Mir ist bewusst, dass dieses Modell keine Null produzieren kann. Ich werde ein wenig erläutern, was ich modelliere und warum ich dieses Modell wähle. Angenommen, wir möchten vorhersagen, wie viel Geld ein Kunde in einem Geschäft ausgibt. Natürlich suchen viele Kunden nur und kaufen nichts, deshalb gibt es 0. Ich wollte kein lineares Modell verwenden, weil es viele negative Werte erzeugt, was keinen Sinn ergibt. Der andere Grund ist, dass dieses Modell wirklich gut funktioniert, viel besser als das lineare. Ich habe einen genetischen Algorithmus verwendet, um diese Parameter zu schätzen, so dass es kein "wissenschaftlicher" Ansatz war. Jetzt möchte ich wissen, wie man mit wissenschaftlicheren Methoden mit Problemen umgeht. Es kann auch angenommen werden, dass die meisten oder sogar alle Variablen binäre Variablen sind.

Hier gibt es mehrere Probleme.

(1) Das Modell muss explizit probabilistisch sein . In fast allen Fällen gibt es keinen Parametersatz, für den das lhs mit dem rhs für alle Ihre Daten übereinstimmt: Es gibt Residuen. Sie müssen Annahmen über diese Residuen treffen. Erwarten Sie, dass sie im Durchschnitt Null sind? Symmetrisch verteilt sein? Ungefähr normal verteilt sein?

Hier sind zwei Modelle, die mit dem angegebenen übereinstimmen, jedoch ein drastisch unterschiedliches Restverhalten zulassen (und daher normalerweise zu unterschiedlichen Parameterschätzungen führen). Sie können diese Modelle variieren, indem Sie die Annahmen über die gemeinsame Verteilung von variieren :$\epsilon_{i}$

$$\text{A:}\ y_{i} =\beta_{0} \exp{\left(\beta_{1}x_{1i}+\ldots+\beta_{k}x_{ki} + \epsilon_{i}\right)}$$ $$\text{B:}\ y_{i} =\beta_{0} \exp{\left(\beta_{1}x_{1i}+\ldots+\beta_{k}x_{ki}\right)} + \epsilon_{i}.$$

(Beachten Sie, dass dies Modelle für die Daten . Normalerweise gibt es keinen geschätzten Datenwert .)$y_i$$\hat{y_i}$

(2) Die Notwendigkeit, Nullwerte für die ys zu behandeln, impliziert, dass das angegebene Modell (A) sowohl falsch als auch unangemessen ist , da es keinen Nullwert erzeugen kann, unabhängig davon, wie groß der Zufallsfehler ist. Das zweite Modell über (B) erlaubt null (oder sogar negative) Werte von ys. Man sollte jedoch nicht nur auf dieser Grundlage ein Modell auswählen. Um noch einmal # 1 zu wiederholen: Es ist wichtig, die Fehler einigermaßen gut zu modellieren.

(3) Die Linearisierung verändert das Modell . Typischerweise führt dies zu Modellen wie (A), aber nicht wie (B). Es wird von Personen verwendet, die ihre Daten ausreichend analysiert haben, um zu wissen, dass diese Änderung die Parameterschätzungen nicht nennenswert beeinflusst, und von Personen, die nicht wissen, was passiert. (Es ist oft schwierig, den Unterschied zu erkennen.)

(4) Ein üblicher Weg, um mit der Möglichkeit eines Nullwerts umzugehen, besteht darin, vorzuschlagen, dass (oder eine erneute Expression davon, wie die Quadratwurzel) eine streng positive Chance von gleich Null hat. Mathematisch mischen wir eine Punktmasse (eine "Delta-Funktion") mit einer anderen Verteilung. Diese Modelle sehen folgendermaßen aus:$y$

$$\eqalign{ f(y_i) &\sim F(\mathbf{\theta}); \cr \theta_j &= \beta_{j0} + \beta_{j1} x_{1i} + \cdots + \beta_{jk} x_{ki} }$$

Dabei ist einer der im Vektor implizierten Parameter , eine Familie parametrisierter Verteilungen durch , und ist die Reexpression der ‚s (die "Link" Funktion eines verallgemeinerten linearen Modells: onestop Antwort sehen). (Natürlich ist dann = wenn ) Beispiele sind die Poisson- und Negativ-Binomial-Modelle ohne Inflation .$\Pr_{F_\theta}[f(Y) = 0] = \theta_{j+1} \gt 0$$\mathbf{\theta}$$F$$\theta_1, \ldots, \theta_j$$f$$y$$\Pr_{F_\theta}[f(Y) \le t]$$(1 - \theta_{j+1})F_\theta(t)$$t \ne 0$

(5) Die Fragen der Konstruktion und Anpassung eines Modells sind verwandt, aber unterschiedlich . Als einfaches Beispiel kann sogar ein gewöhnliches Regressionsmodell auf viele Arten mittels kleinster Quadrate angepasst werden (was dieselben Parameterschätzungen wie Maximum Likelihood und fast dieselben Standardfehler ergibt). iterativ neu gewichtete kleinste Quadrate , verschiedene andere Formen von " robusten kleinsten Quadraten " usw. Die Wahl der Anpassung basiert häufig auf Bequemlichkeit, Zweckmäßigkeit ( z. B. Verfügbarkeit von Software), Vertrautheit, Gewohnheit oder Konvention, aber zumindest sollten einige Überlegungen angestellt werden gegeben, was für die angenommene Verteilung der Fehlerterme angemessen ist , auf was die$Y = \beta_0 + \beta_1 X + \epsilon$$\epsilon_i$Verlustfunktion für das Problem könnte vernünftigerweise sein und die Möglichkeit, zusätzliche Informationen zu nutzen (wie eine vorherige Verteilung für die Parameter).

Dies ist ein verallgemeinerte lineares Modell (GLM) mit einer Log - Link - Funktion .

Jede Wahrscheinlichkeitsverteilung auf mit einer Dichte ungleich Null bei Null behandelt in einigen Beobachtungen ; Am häufigsten ist die Poisson-Verteilung, die zu einer Poisson-Regression führt , auch bekannt als log-lineare Modellierung. Eine andere Wahl wäre eine negative Binomialverteilung .$[0,\infty)$$y_i=0$

Wenn Sie keine Zähldaten haben oder wenn nicht ganzzahlige Werte annimmt, können Sie weiterhin das Framework verallgemeinerter linearer Modelle verwenden, ohne eine Verteilung für vollständig anzugeben, sondern stattdessen Geben Sie nur die Beziehung zwischen Mittelwert und Varianz unter Verwendung der Quasi-Wahrscheinlichkeit an . P ( y i | x$y_i$$\operatorname{P}(y_i|\bf{x})$

Sie können immer nichtlineare kleinste Quadrate verwenden . Dann wird Ihr Modell sein:

$$y_i=\beta_0\exp(\beta_1x_{1i}+...+\beta_kx_{ki})+\varepsilon_i$$

Die Nullen in dann als Abweichungen vom nichtlinearen Trend behandelt.$y_i$