Wann sollte ein GAM vs GLM verwendet werden?

Mir ist klar, dass dies eine potenziell breite Frage ist, aber ich habe mich gefragt, ob es verallgemeinerbare Annahmen gibt, die auf die Verwendung eines GAM (Generalized Additive Model) gegenüber einem GLM (Generalized Linear Model) hinweisen.

Jemand sagte mir kürzlich, dass GAMs nur verwendet werden sollten, wenn ich annehme, dass die Datenstruktur "additiv" ist, dh ich erwarte, dass Additionen von x y vorhersagen. Eine andere Person wies darauf hin, dass ein GAM eine andere Art der Regressionsanalyse durchführt als ein GLM und dass ein GLM bevorzugt wird, wenn Linearität angenommen werden kann.

In der Vergangenheit habe ich ein GAM für ökologische Daten verwendet, zB:

kontinuierliche Zeitreihen
wenn die Daten keine lineare Form hatten
Ich hatte mehrere x, um mein y vorherzusagen, und dachte, ich hätte eine nichtlineare Interaktion, die ich mithilfe von "Oberflächenplots" zusammen mit einem statistischen Test visualisieren könnte

Ich verstehe offensichtlich nicht genau, was ein GAM anders macht als ein GLM. Ich glaube, es ist ein gültiger statistischer Test (und ich sehe eine Zunahme der Verwendung von GAMs, zumindest in ökologischen Fachzeitschriften), aber ich muss besser wissen, wann seine Verwendung gegenüber anderen Regressionsanalysen angezeigt wird.

regression generalized-linear-model gam

— mluerig
quelle

GAMs werden verwendet, wenn der lineare Prädiktor linear von unbekannten Glättungsfunktionen einiger Prädiktorvariablen abhängt.

— user2974951

Die Unterscheidung ist unscharf, da Sie numerische Kovariablen zB durch einen Spline auch in einem GLM darstellen können.

— Michael M

Während die Unterscheidung verschwommen ist, kann Gams Interaktionen auch auf die kleinste Weise darstellen, da die strikte Additivität von Gams nicht erforderlich ist. Der große Unterschied liegt in der Schlussfolgerung: Gams benötigen spezielle Methoden, da die Schätzung nicht über die Projektion, sondern über die Glättung erfolgt. Was das in der Praxis bedeutet, verstehe ich nicht.

— kjetil b halvorsen

\subset

$\subset$

Antworten:

$n$ $\sum_{i=1}^n \beta_i x_i$ $\sum_{i=1}^n \sum_{j=1}^q \beta_i \, s_j \left( x_i \right)$ $s_1(\cdot),\dots,s_q(\cdot)$ $q$ ist die Basisdimension. Durch Kombinieren der Basisfunktionen können GAMs eine große Anzahl von Funktionsbeziehungen darstellen (dazu setzen sie die Annahme voraus, dass die wahre Beziehung eher glatt als verwackelt ist). Sie sind im Wesentlichen eine Erweiterung der GLMs aber sie so ausgelegt sind , dass sie besonders nützlich für die Aufdeckung nichtlineare Effekte von numerischen Kovariaten macht, und dabei in einer „automatischen“ Mode (von Hastie und Tibshirani Original - Artikel, haben sie ‚die Vorteil der vollständigen Automatisierung, dh es ist keine "Detektivarbeit" seitens des Statistikers erforderlich. ' ).

— Matteo
quelle

Nun, aber wie in den Kommentaren gesagt, kann das alles auch mit glm's gemacht werden ... Ich vermute, der Hauptunterschied ist pragmatisch. Die R-Implementierung in mgcvmacht eine Menge Dinge, mit denen Sie nichts glm

— anfangen

Ja, ich stimme Ihnen zu, GAMs sind eine Erweiterung von GLMs. Es ging jedoch um die Frage, wann GAM und wann GLM verwendet werden sollten, und es schien mir, dass die Operation "klassische" Formen von GLMs meinte, die normalerweise keine Basisfunktion als Prädiktoren enthalten und nicht dazu verwendet werden, / ungefähre unbekannte nichtlineare Beziehung.

— Matteo

Danke - das ist hilfreich. und ja, ich sprach über klassische GLMs

— mluerig

@ Matteo nur zwei weitere Dinge: i) Was genau meinst du mit "wahre Beziehung ist wahrscheinlich glatt, anstatt wackelig"? und ii) "besonders nützlich zum Aufdecken nichtlinearer Effekte numerischer Kovariaten" - wie würde man Nichtlinearität beschreiben / quantifizieren (z. B. mit mgcv)?

— mluerig

Die wahre Beziehung mag tatsächlich nicht glatt sein, jedoch steuern GAMs typischerweise die Komplexität des Modells, indem sie während des Prozesses der Wahrscheinlichkeitsmaximierung einen "Wackel" -Strafwert hinzufügen (normalerweise als Anteil des integrierten Quadrats der zweiten Ableitung der geschätzten Funktion implementiert). Nichtlineare Effekte numerischer Kovariaten bedeuten, dass der Einfluss einer bestimmten numerischen Variablen auf die abhängige Variable beispielsweise nicht monoton mit dem Variablenwert zunimmt / abnimmt, sondern eine unbekannte Form aufweist, z. B. mit lokalen Maxima, Minima, Wendepunkten. ..

— Matteo

Ich möchte betonen, dass GAMs viel flexibler sind als GLMs und daher mehr Sorgfalt bei ihrer Verwendung erfordern. Mit größerer Macht kommt größere Verantwortung.

Sie erwähnen ihre Verwendung in der Ökologie, die ich auch bemerkt habe. Ich war in Costa Rica und habe eine Art Studium in einem Regenwald gesehen, in dem einige Studenten einige Daten in ein GAM geworfen und dessen verrückte, komplexe Smoothers akzeptiert hatten, weil die Software dies sagte. Es war ziemlich deprimierend, abgesehen von der humorvollen / bewundernswerten Tatsache, dass sie rigoros eine Fußnote enthielten, die die Tatsache dokumentierte, dass sie ein GAM und die daraus resultierenden hochrangigen Smoothers verwendet hatten.

Sie müssen nicht genau verstehen, wie GAMs funktionieren, um sie zu verwenden, aber Sie müssen wirklich über Ihre Daten nachdenken, über das Problem, die automatische Auswahl von Parametern durch Ihre Software, wie z. wenn ein glatter gerechtfertigt ist, etc) und die Plausibilität Ihrer Ergebnisse.

Machen Sie viele Zeichnungen und betrachten Sie Ihre Glättungskurven. Werden sie in Gebieten mit wenigen Daten verrückt? Was passiert, wenn Sie einen Glätter niedriger Ordnung angeben oder die Glättung vollständig entfernen? Ist ein glatter Grad 7 für diese Variable realistisch, passt er trotz der Zusicherungen, dass er seine Entscheidungen überprüft, übermäßig gut? Haben Sie genug Daten? Ist es hochwertig oder laut?

Ich mag GAMS und denke, dass sie für die Datenexploration unterbewertet sind. Sie sind einfach superflexibel und wenn Sie sich die Wissenschaft ohne Strenge erlauben, bringen sie Sie weiter in die statistische Wildnis als einfachere Modelle wie GLMs.

— Wayne
quelle

Ich stelle mir vor, dass ich am häufigsten das tue, was diese Studenten getan haben: Meine Daten in ein Spiel zu werfen und mich davon blenden zu lassen, wie gut mgcvich mit meinen Daten umgehen kann. Ich versuche mit meinen Parametern sparsam umzugehen und überprüfe, wie gut die vorhergesagten Werte mit meinen Daten übereinstimmen. ihre kommentare sind eine gute erinnerung, etwas strenger zu werden - und vielleicht endlich simon woods buch zu bekommen!

— mluerig

Zum Teufel, ich gehe so weit, eine Variable mit einem Smoother zu untersuchen und dann entweder die Freiheitsgrade auf einen niedrigen Wert festzulegen oder den Smooth zu eliminieren und beispielsweise einen quadratischen Term zu verwenden, wenn der Smoother im Grunde genommen quadratisch war. Ein Quadrat ist beispielsweise für einen Alterseffekt sinnvoll.

— Wayne

@ Wayne, ich bin genau hierher gekommen, um eine Antwort zur Datenexploration in Bezug auf GAMs zu erhalten, und habe gesehen, dass Sie darauf hingewiesen haben. Wie verwenden Sie GAMs für die Datenexploration? Und wie würden Sie entscheiden, ob ein GAM benötigt wird oder ob ein GLM ausreichen würde? Wäre es sinnvoll, einfach ein einfaches GAM auszuführen, in dem Sie die Antwort und alle potenziellen Prädiktoren der Reihe nach ausführen, dies grafisch darzustellen und festzustellen, ob die Beziehung ein GAM rechtfertigt (dh eine nicht lineare und eine nicht monotone Beziehung)?

— Tilen

Ich habe keinen Ruf, einfach einen Kommentar hinzuzufügen. Ich stimme dem Kommentar von Wayne voll und ganz zu: Mit größerer Macht geht größere Verantwortung einher . GAMs können sehr flexibel sein und oft bekommen / sehen wir verrückt-komplexe Smoothers . Dann empfehle ich den Forschern dringend, die Freiheitsgrade (Anzahl der Knoten) der glatten Funktionen einzuschränken und verschiedene Modellstrukturen (Wechselwirkungen / keine Wechselwirkungen usw.) zu testen.

GAMs können zwischen modellgetriebenen Ansätzen (obwohl die Grenze unscharf ist, würde ich GLM in diese Gruppe einschließen) und datengetriebenen Ansätzen (z. B. künstliche neuronale Netze oder Zufallswälder, die vollständig interagierende Effekte nichtlinearer Variablen annehmen) betrachtet werden. Entsprechend stimme ich Hastie und Tibshirani nicht vollständig zu, da GAMs noch Detektivarbeit benötigen (hoffentlich bringt mich niemand um, wenn ich das sage).

Aus ökologischer Sicht würde ich die Verwendung des R- Paket- Betrugs empfehlen , um diese unzuverlässigen, variabel verrückten, komplexen Glätter zu vermeiden . Es wurde von Natalya Pya und Simon Wood entwickelt und ermöglicht es, die glatten Kurven auf die gewünschten Formen (z. B. unimodal oder monoton) zu beschränken, auch für wechselseitige Interaktionen. Ich denke, GLM wird zu einer kleinen Alternative, nachdem die Form der glatten Funktionen eingeschränkt wurde, aber dies ist nur meine persönliche Meinung.

Pya, N., Wood, SN, 2015. Additive Modelle mit Formbeschränkung. Stat. Comput. 25 (3), 543–559. 10.1007 / s11222-013-9448-7

— Rafa_Mas
quelle