Umgang mit 0,1-Werten in einer Beta-Regression

20

Ich habe einige Daten in [0,1], die ich mit einer Beta-Regression analysieren möchte. Natürlich muss etwas unternommen werden, um den 0,1-Werten Rechnung zu tragen. Ich mag es nicht, Daten an ein Modell anzupassen. Ich glaube auch nicht, dass eine Inflation von Null und 1 eine gute Idee ist, weil ich in diesem Fall glaube, dass man die Nullen als sehr kleine positive Werte betrachten sollte (aber ich möchte nicht genau sagen, welcher Wert angemessen ist. Eine vernünftige Wahl Ich glaube, es wäre, kleine Werte wie .001 und .999 auszuwählen und das Modell unter Verwendung der kumulativen Distanz für die Beta anzupassen. Für Beobachtungen wäre y_i die logarithmische Wahrscheinlichkeit LL_iwould

 if  y_i < .001   LL+=log(cumd_beta(.001))
 else if y_i>.999  LL+=log(1.0-cum_beta(.999))
 else LL+=log(beta_density(y_i))

Was mir an diesem Modell gefällt, ist, dass wenn das Beta-Regressionsmodell gültig ist, dieses Modell auch gültig ist, aber ein wenig von der Empfindlichkeit für die Extremwerte entfernt wird. Dies scheint jedoch ein so natürlicher Ansatz zu sein, dass ich mich frage, warum ich in der Literatur keine offensichtlichen Hinweise finde. Meine Frage ist also, anstatt die Daten zu ändern, warum nicht das Modell ändern. Durch das Ändern der Daten werden die Ergebnisse verzerrt (basierend auf der Annahme, dass das ursprüngliche Modell gültig ist), wohingegen durch das Ändern des Modells durch Binning der Extremwerte die Ergebnisse nicht verzerrt werden.

Vielleicht gibt es ein Problem, das ich übersehen habe?

— Dave Fournier
quelle

1

Es ist nicht wirklich möglich, eine gute Antwort auf diese Frage zu geben, ohne mehr über das jeweilige Problem zu wissen. Die Schlüsselfrage ist, ob die exakten Nullen und Einsen durch einen anderen Prozess erzeugt werden als die Daten in (0,1). Ein klassisches Beispiel ist Regen, bei dem es genaue Nullen gibt, die Tage widerspiegeln, an denen es nicht regnet. Sind in Ihrer Anwendung Nullen und Einsen in irgendeiner Weise "speziell"?

— Dikran Beuteltier

Related / duplicate: stats.stackexchange.com/questions/48028 .

— Amöbe sagt Reinstate Monica

16

Nach dieser Arbeit ist eine angemessene Transformation

x^{'} = \frac{x (N - 1) + s}{N}

$x' = \frac{x(N-1) + s}{N}$

"Wobei N die Stichprobengröße und s eine Konstante zwischen 0 und 1 ist. Vom bayesianischen Standpunkt aus verhält sich s so, als würden wir einen Vorgänger berücksichtigen. Eine vernünftige Wahl für s wäre 0,5."

Dies wird Daten, die in , zusammenpressen, um in . Das obige Zitat und ein mathematischer Grund für die Umwandlung sind in den ergänzenden Anmerkungen des Papiers verfügbar . $[0,1]$ $(0,1)$

— Cam.Davidson.Pilon
quelle

1

+1 .. Aber können Sie den ersten Link reparieren oder zumindest das Papier zitieren, damit wir es unabhängig finden können?

— Whuber

1

Aber das beantwortet meine Frage nicht. Mir ist klar, dass man die Daten transformieren kann. Meine Frage ist, warum nicht stattdessen das Modell transformieren?

— Dave Fournier

1

Dave, dann bearbeiten Sie bitte Ihre Frage, um dies widerzuspiegeln: Derzeit wird angezeigt, als ob Sie nach einer Möglichkeit suchen, die Daten zu transformieren . Dabei hilft es Ihnen, anzugeben, was Ihrer Meinung nach der Unterschied zwischen einer Datentransformation und einem Modellwechsel ist, denn wenn es einen gibt, ist er subtil.

— Whuber

@davefournier, Wenn Sie die Paper-Cam-Sites lesen, wird Ihre Frage teilweise beantwortet. Sie geben auch alternative Modellempfehlungen (siehe Seite 69) und ein Teil der Empfehlungen hängt von der Art der Daten ab. Ihre angepasste Wahrscheinlichkeit sieht aus wie der "gemischte diskrete kontinuierliche Prozess" (der gegen Ende von Seite 69 erwähnt wird). Es kann auch vorkommen, dass das Tobit-Modell in Anbetracht Ihrer Daten zufriedenstellend ist, obwohl es am besten ist, andere Referenzen für die Angemessenheit des Tobit-Modells zu sehen, wie Scott Longs Buch über kategoriale Regression.

— Andy W

1

Aber sie gehen nicht so vor. Sie schlagen ein anderes Modell vor, einen gemischten diskreten kontinuierlichen Prozess. Das ist ganz anders als die Extremwerte zu bündeln. Wie ich bereits sagte, ist das Binning-Modell gültig, wenn das Beta-Modell gültig ist. Wenn das diskrete kontinuierliche Modell gültig ist, ist das Betamodell ungültig. Ich vermute, dass sie in ihrer Analyse hauptsächlich von der Art der gemischten Modelle getrieben wurden, die sie mit ihrer Software kombinieren konnten. Das Beta-Mischmodell ist etwas schwieriger zu montieren.

— Dave Fournier

3

Dave,

Ein üblicher Ansatz für dieses Problem besteht darin, zwei logistische Regressionsmodelle anzupassen, um vorherzusagen, ob ein Fall 0 oder 1 ist. Dann wird für diejenigen im Bereich (0,1) eine Beta-Regression verwendet.

— B_Miner
quelle

Könnten Sie ein Beispiel geben? oder ein Papier, das dies ausführlicher bespricht?

— user1607

2

$(\log(x), \log(1-x))$

$x$ $(x,x^2)$

Ich glaube, dass beide auf bayesianische Weise leicht geschätzt werden können, da sie beide exponentielle Familien sind. Dies ist eine Modifikation des Modells, wie Sie gehofft haben.

— Neil G
quelle

1

Ich denke, die eigentliche "richtige" Antwort auf diese Frage ist eine null-eins-Inflated-Beta-Regression. Damit können Daten verarbeitet werden, die im Intervall [0,1] kontinuierlich variieren, und es können viele echte Nullen und Einsen in den Daten enthalten sein. Dieser Ansatz passt zu drei verschiedenen Modellen in einem Bayes'schen Kontext, ähnlich dem, was @B_Miner vorgeschlagen hat.

Modell 1: Ist ein Wert eine diskrete 0/1 oder ist der Wert in (0,1)? Fit mit einer Bernoulli-Verteilung.

Modell 2: Passen Sie eine diskrete Teilmenge mit einer Bernoulli-Verteilung an.

Modell 3: Fit (0,1) -Untergruppe mit Beta-Regression.

Zur Vorhersage können die ersten Modellergebnisse verwendet werden, um die Vorhersagen der Modelle 2 und 3 zu gewichten. Dies kann innerhalb des zoibR-Pakets implementiert oder in BUGS / JAGS / STAN / etc. Selbst gebraut werden.

— colin
quelle