Negative Werte in Vorhersagen für eine immer positive Antwortvariable in der linearen Regression

Ich versuche, eine Antwortvariable in der linearen Regression vorherzusagen, die immer positiv sein sollte (Kosten pro Klick). Es ist ein Geldbetrag. Bei AdWords zahlen Sie Google für Klicks auf Ihre Anzeigen. Eine negative Zahl bedeutet, dass Google Sie bezahlt, wenn Nutzer auf Folgendes klicken: P.

Die Prädiktoren sind alle kontinuierliche Werte. Rsquared und RMSE sind im Vergleich zu anderen Modellen anständig, auch außerhalb der Stichprobe:

  RMSE        Rsquared 
1.4141477     0.8207303

Ich kann die Vorhersagen nicht neu skalieren, da es sich um Geld handelt, sodass selbst ein kleiner Neuskalierungsfaktor die Kosten erheblich verändern kann.

Soweit ich weiß, gibt es für das Regressionsmodell nichts Besonderes an Null und negativen Zahlen, sodass die beste Regressionshyperebene gefunden wird, unabhängig davon, ob die Ausgabe teilweise negativ ist.

Dies ist ein allererster Versuch, bei dem alle Variablen verwendet werden, die ich habe. Es gibt also Raum für Verfeinerung.

Gibt es eine Möglichkeit, dem Modell mitzuteilen, dass die Ausgabe nicht negativ sein kann?

regression predictive-models

— Usillos
quelle

Sie können positive Vorhersagen sicherstellen, indem Sie ein verallgemeinertes lineares Modell mit logarithmischer Verknüpfungsfunktion verwenden. Übrigens, obwohl Ihr -Wert recht ermutigend ist, ist eine bessere Überprüfung, ob das Modell der Hauptform der Daten folgt, eine grafische Darstellung des Residuums gegenüber dem vorhergesagten. Diagramme von beobachteten und vorhergesagten können ebenfalls dazu beitragen, Ihr Problem zu beleuchten.

R^{2}

$R^2$

— Nick Cox

@ NickCox gab einen Vorschlag. Ich würde die Daten auf mehr Arten als nur Residuen vs. Vorhersagen darstellen. Sie können jedoch sicherlich Geldvariablen neu skalieren. Eine übliche Methode besteht darin, log (Kosten) als abhängige Variable zu verwenden. (Ich denke, dies entspricht der Protokollverknüpfungsfunktion, ist aber möglicherweise leichter zu verstehen.) Log (Kosten) können natürlich negativ sein. Und Protokolle von Geldvariablen sind oft sinnvoll, weil beispielsweise ein Unterschied zwischen 0,01 und 0,02 pro Klick wichtig ist, ein Unterschied zwischen 1,01 und 10,2 pro Klick jedoch nicht.

— Peter Flom

@ Peter Flom Ich denke, meinte 1.02 nicht 10.2.

— Nick Cox

Ein paar Beispieldaten würden den Menschen helfen, mögliche Lösungen zu veranschaulichen.

— Glen_b -State Monica

Ich gehe davon aus, dass Sie den OLS-Schätzer für dieses lineare Regressionsmodell verwenden. Sie können den Schätzer für ungleichheitsbeschränkte kleinste Quadrate verwenden , der die Lösung für ein Minimierungsproblem unter Ungleichheitsbeschränkungen darstellt. Unter Verwendung der Standardmatrixnotation (Vektoren sind Spaltenvektoren) wird das Minimierungsproblem wie folgt angegeben

min_{β} (y - X β)^{'} (y - X β) s . t . - Z β \leq 0

$\min_{\beta} (\mathbf y-\mathbf X\beta)'(\mathbf y-\mathbf X\beta) \\s.t.-\mathbf Z\beta \le \mathbf 0$

... wobei ist , ist , ist und ist der Matrix , welche die out-of-Probe Regressor Reihe enthält , Länge , die zur Vorhersage verwendet werden. Wir haben lineare Ungleichungsbeschränkungen (und die Zielfunktion ist konvex, so dass die Bedingungen erster Ordnung für ein Minimum ausreichen). $\mathbf y$ $n \times 1$ $\mathbf X$ $n\times k$ $\beta$ $k\times 1$ $\mathbf Z$ $m \times k$ $m$ $m$

Der Lagrange dieses Problems ist

L = (y - X β)^{'} (y - X β) - λ^{'} Z β = y^{'} y - y^{'} X β - β^{'} X^{'} y + β^{'} X^{'} X β - λ^{'} Z β

$L = (\mathbf y-\mathbf X\beta)'(\mathbf y-\mathbf X\beta) -\lambda'\mathbf Z\beta = \mathbf y'\mathbf y-\mathbf y'\mathbf X\beta - \beta'\mathbf X'\mathbf y+ \beta'\mathbf X'\mathbf X\beta-\lambda'\mathbf Z\beta$

= y^{'} y - 2 β^{'} X^{'} y + β^{'} X^{'} X β - λ^{'} Z β

$= \mathbf y'\mathbf y - 2\beta'\mathbf X'\mathbf y+ \beta'\mathbf X'\mathbf X\beta-\lambda'\mathbf Z\beta$

Dabei ist ein Spaltenvektor nicht negativer Karush-Kuhn-Tucker-Multiplikatoren. Die Bedingungen erster Ordnung sind (möglicherweise möchten Sie die Regeln für die Matrix- und Vektordifferenzierung überprüfen). $\lambda$ $m \times 1$

\frac{\partial L}{\partial β} = 0 \Rightarrow - 2 X^{'} y + 2 X^{'} X β - Z^{'} λ

$\frac {\partial L}{\partial \beta}= \mathbb 0\Rightarrow - 2\mathbf X'\mathbf y +2\mathbf X'\mathbf X\beta - \mathbf Z'\lambda$

\Rightarrow {\hat{β}}_{R} = {(X^{'} X)}^{- 1} X^{'} y + \frac{1}{2} {(X^{'} X)}^{- 1} Z^{'} λ = {\hat{β}}_{O L S} + {(X^{'} X)}^{- 1} Z^{'} ξ [1]

$\Rightarrow \hat \beta_R = \left(\mathbf X'\mathbf X\right)^{-1}\mathbf X'\mathbf y + \frac 12\left(\mathbf X'\mathbf X\right)^{-1}\mathbf Z'\lambda = \hat \beta_{OLS}+ \left(\mathbf X'\mathbf X\right)^{-1}\mathbf Z'\xi \qquad [1]$

... wobei und der Schätzer ist, den wir aus der gewöhnlichen Schätzung der kleinsten Quadrate erhalten würden. $\xi = \frac 12 \lambda$ $\hat \beta_{OLS}$

Die Methode ist in Liew (1976) vollständig ausgearbeitet .

— Alecos Papadopoulos
quelle

Ich habe dies positiv bewertet, weil es eine legitime Lösung ist, aber in der Praxis ist es riskant. Schließlich reagiert die Lösung willkürlich auf Werte von : Ein einzelner Wert mit hohem Hebel steuert die Schätzungen weit entfernt von einer anständigen Anpassung, nur um die Einschränkung durchzusetzen. Daher muss dieses Verfahren mindestens von einem sorgfältigen Anpassungstest an die Daten begleitet werden.

Z

$\mathbf Z$

— whuber

@whuber Du hast recht. Also, OP, treten Sie hier vorsichtig vor.

— Alecos Papadopoulos