Merkmalsauswahl auf einem Bayes'schen hierarchischen verallgemeinerten linearen Modell

8

Ich möchte eine hierarchische GLM schätzen, aber mit Merkmalsauswahl, um zu bestimmen, welche Kovariaten auf Bevölkerungsebene relevant sind, um sie einzubeziehen.

Angenommen, ich habe $G$ Gruppen mit $N$ Beobachtungen und $K$ möglichen Kovariaten. Das heißt, ich habe eine Entwurfsmatrix von Kovariaten , Ergebnissen . Die Koeffizienten für diese Kovariaten sind . $\boldsymbol{x}_{(N\cdot G) \times K}$ $\boldsymbol{y}_{(N\cdot G) \times 1}$ $\beta_{K \times 1}$

Angenommen, ~ $Y$ $Bernoulli(p(x,\beta))$

Das Folgende ist ein standardmäßiges hierarchisches Bayes'sches GLM mit einem Logit-Stichprobenmodell und normalverteilten Gruppenkoeffizienten.

L (y | x, β_{1}, . . . β_{G}) \propto \prod_{g = 1}^{G} \prod_{t = 1}^{N} {(Pr {j = 1 | p_{t}, β^{g}})}^{y_{g, t}} {(1 - Pr {j = 1 | p_{t}, β^{g}})}^{1 - y_{g, t}}

${\cal L}\left(\boldsymbol{y}|\boldsymbol{x},\beta_{1},...\beta_{G}\right)\propto\prod_{g=1}^{G}\prod_{t=1}^{N}\left(\Pr\{j=1|p_{t},\beta^{g}\}\right)^{y_{g,t}}\left(1-\Pr\{j=1|p_{t},\beta^{g}\}\right)^{1-y_{g,t}}$

β_{1}, . . . β_{G} | μ, Σ \sim^{i i d} N_{d} (μ, Σ)

$\beta_{1},...\beta_{G}|\mu,\Sigma\sim^{iid}{\cal N}_{d}\left(\mu,\Sigma\right)$

μ | Σ \sim N (μ_{0}, a^{- 1} Σ)

$\mu|\Sigma\sim{\cal N}\left(\mu_{0},a^{-1}\Sigma\right)$

Σ \sim I W (v_{0}, V_{0}^{- 1})

$\Sigma\sim{\cal IW}\left(v_{0},V_{0}^{-1}\right)$

Ich möchte dieses Modell so modifizieren (oder ein Papier finden, das dies tut, oder eine Arbeit, die es diskutiert), dass es eine scharfe Merkmalsauswahl (wie in LASSO) für die Dimensionalität von $\beta$ .

(1) Der einfachste und direkteste Weg wäre, dies auf Bevölkerungsebene zu regulieren, so dass wir die Dimensionalität von Wesentlichen einschränken und alle dieselbe Dimension haben. $\mu$ $\beta$

(2) Das nuanciertere Modell würde auf Gruppenebene schrumpfen, wobei die Dimension von von der hierarhischen Einheit abhängt. $\beta$

Ich bin daran interessiert, 1 und 2 zu lösen, aber viel wichtiger ist 1.

— wolfsatthedoor
quelle

1

Die Art und Weise, wie ich (1) angehen würde, wäre ein Spike-and-Slab-Modell wie:

$\beta_{g,k} = z_{k}m_{g,k}$

$z_k \sim Bern(p)$

$m_{g,k} \sim N(\mu, \Sigma)$

$\mu, \Sigma \sim NIW_{v_0}(\mu_0, V_0^{-1})$

Diese:

Behält die Flexibilität der vom NIW vor . $\beta$ $\mu, \Sigma$
Modelliert die Auswahl von Variablen für alle Gruppen gleichzeitig.
Leicht erweiterbar durch Hinzufügen eines Subindex für die Gruppe zu und Vorliegen einer gemeinsamen Beta für jeden Standort . $z_{g,k}$ $k$

Natürlich denke ich, dass dies die Art von Problem ist, bei dem es eine Reihe gültiger Ansätze gibt.

— Vermutungen
quelle

2

Die Auswahl von Features ist kein großes Ziel für eine Analyse. Wenn nicht alle Prädiktoren nicht miteinander korreliert sind und Ihre Stichprobengröße immens ist, können die Daten Ihnen die Antwort nicht zuverlässig mitteilen. Die Modellspezifikation ist wichtiger als die Modellauswahl. Details finden Sie in meinen RMS-Kursnotizen . Eine Schrumpfung ohne Merkmalsauswahl (z. B. Grat oder bestrafte Schätzung der maximalen Wahrscheinlichkeit) kann jedoch eine gute Idee sein. Hierarchische Bayes'sche Modelle sind sogar noch besser, weil sie statistische Inferenzen im geschrumpften Modell ermöglichen, während wir die meisten Inferenzwerkzeuge in der frequentistischen Welt nach dem Schrumpfen verlieren. $L_{2}$

— Frank Harrell
quelle