Von Bayes'schen Netzen zu neuronalen Netzen: Wie multivariate Regression in ein Netzwerk mit mehreren Ausgängen übertragen werden kann

Ich habe es mit einem Bayesian Hierarchical Linear Model zu tun , hier das Netzwerk, das es beschreibt.

$Y$ für den täglichen Verkauf eines Produkts in einem Supermarkt (beobachtet).

$X$ ist eine bekannte Matrix von Regressoren, einschließlich Preisen, Werbeaktionen, Wochentagen, Wetter, Feiertagen.

$S$ ist der unbekannte latente Lagerbestand jedes Produkts, der die meisten Probleme verursacht, und ich betrachte einen Vektor von binären Variablen, eine für jedes Produkt, wobei Lagerbestand und damit die Nichtverfügbarkeit des Produkts anzeigt. Auch wenn ich es theoretisch nicht kannte, schätzte ich es durch ein HMM für jedes Produkt, so dass es als X bekannt anzusehen ist. Ich habe mich gerade entschlossen, es für einen angemessenen Formalismus zu deaktivieren.$1$

$\eta$ ist ein Mischeffektparameter für ein einzelnes Produkt, bei dem als Mischeffekte der Produktpreis, Werbeaktionen und Lagerbestände berücksichtigt werden.

b 1 b $\beta$ ist der Vektor fester Regressionskoeffizienten, während und die Vektoren der Mischwirkungskoeffizienten sind. Eine Gruppe gibt die Marke und die andere den Geschmack an (dies ist ein Beispiel, in Wirklichkeit habe ich viele Gruppen, aber ich berichte hier nur 2 aus Gründen der Klarheit).$b_1$$b_2$

Σ b 1 Σ b $\Sigma_{\eta}$ , und sind Hyperparameter über den gemischten Effekten.$\Sigma_{b_1}$$\Sigma_{b_2}$

Da ich Zählungsdaten habe, nehmen wir an, dass ich jeden Produktverkauf als Poisson behandelt habe, der unter der Bedingung der Regressoren verteilt wird (auch wenn für einige Produkte die lineare Approximation gilt und für andere ein Modell mit null Inflation besser ist). In einem solchen Fall hätte ich für ein Produkt ( dies ist nur für diejenigen, die sich für das Bayes'sche Modell selbst interessieren, fahren Sie mit der Frage fort, ob Sie es für uninteressant oder nicht trivial halten :) ):$Y$

$\Sigma_{\eta} \sim IW(\alpha_0,\gamma_0)$

$\Sigma_{b_1} \sim IW(\alpha_1,\gamma_1)$

α 0 , γ 0 , α 1 , & ggr; 1 , α 2 , γ $\Sigma_{b_2} \sim IW(\alpha_2,\gamma_2)$ , bekannt.$\alpha_0,\gamma_0,\alpha_1,\gamma_1,\alpha_2,\gamma_2$

$\eta \sim N(\mathbf{0},\Sigma_{\eta})$

$b_1 \sim N(\mathbf{0},\Sigma_{b_1})$

$b_2 \sim N(\mathbf{0},\Sigma_{b_2})$

Σ $\beta \sim N(\mathbf{0},\Sigma_{\beta})$ , bekannt.$\Sigma_{\beta}$

$\lambda _{tijk} = \beta*X_{ti} + \eta_i*X_{pps_{ti}} + b_{1_j} * Z_{tj} + b_{2_k} Z_{tk}$ ,

$Y_{tijk} \sim Poi(exp(\lambda_{tijk}))$

j ≤ 1 , … , m 1 k ≤ 1 , … , m $i \in {1,\dots,N}$ , ,$j \in {1,\dots,m_1}$$k \in {1,\dots,m_2}$

X p p s i I W Z i Z i = X i σ i j i $Z_i$ Matrix mit gemischten Effekten für die Gruppen, wobei Preis, die Verkaufsförderung und den Lagerbestand des betreffenden Produkts angibt. gibt inverse Wishart-Verteilungen an, die normalerweise für Kovarianzmatrizen von normalen multivariaten Priors verwendet werden. Aber hier ist es nicht wichtig. Ein Beispiel für ein mögliches könnte die Matrix aller Preise sein, oder wir könnten sogar sagen, . In Bezug auf die Prioritäten für die Varianz-Kovarianz-Matrix mit gemischten Effekten würde ich nur versuchen, die Korrelation zwischen den Einträgen beizubehalten, sodass positiv wäre, wenn und Produkte derselben Marke oder eines der beiden sind gleicher Geschmack. $X_{pps_i}$$IW$$Z_i$$Z_i=X_i$$\sigma_{ij}$$i$$j$

Die Intuition hinter diesem Modell wäre, dass der Verkauf eines bestimmten Produkts von seinem Preis, seiner Verfügbarkeit oder nicht, aber auch von den Preisen aller anderen Produkte und den Lagerbeständen aller anderen Produkte abhängt. Da ich nicht für alle Koeffizienten das gleiche Modell (dh die gleiche Regressionskurve) haben möchte, habe ich gemischte Effekte eingeführt, die einige meiner Datengruppen durch gemeinsame Nutzung von Parametern ausnutzen.

Meine Fragen sind:

2. Gibt es eine Möglichkeit, dieses Modell auf eine neuronale Netzwerkarchitektur zu übertragen? Ich weiß, dass es viele Fragen gibt, die nach den Beziehungen zwischen Bayes'schen Netzwerken, Markov-Zufallsfeldern, Bayes'schen Hierarchiemodellen und neuronalen Netzwerken suchen, aber ich habe nichts gefunden, was vom Bayes'schen Hierarchiemodell zu neuronalen Netzen führen könnte. Ich stelle die Frage zu neuronalen Netzen, da die Parameterschätzung durch MCMC aufgrund der hohen Dimensionalität meines Problems (ich habe 340 Produkte in Betracht gezogen) Wochen in Anspruch nimmt (ich habe nur 20 Produkte mit parallelen Ketten in runJags ausprobiert und es hat Tage gedauert). . Aber ich möchte nicht willkürlich vorgehen und Daten einfach als Black Box an ein neuronales Netzwerk senden. Ich möchte die Abhängigkeits- / Unabhängigkeitsstruktur meines Netzwerks ausnutzen.

Hier habe ich gerade ein neuronales Netzwerk skizziert. Wie Sie sehen, werden Regressoren ( und geben jeweils Preis und Lagerbestand von Produkt ) in die verborgene Ebene eingegeben, ebenso wie die produktspezifischen (hier habe ich Preise und Lagerbestände berücksichtigt). S i$P_i$$S_i$$i$(Blaue und schwarze Ränder haben keine besondere Bedeutung, nur um die Figur deutlicher zu machen). Weiterhin können und stark korreliert sein, währendY 1 Y 2 Y 3$Y_1$$Y_2$$Y_3$könnte ein völlig anderes Produkt sein (denken Sie an 2 Orangensäfte und Rotwein), aber ich verwende diese Informationen nicht in neuronalen Netzen. Ich frage mich, ob die Gruppierungsinformationen nur zur Gewichtsinizialisierung verwendet werden oder ob man das Netzwerk an das Problem anpassen kann.

Edit, meine Idee:

Meine Idee wäre so: Wie zuvor sind und korrelierte Produkte, während ein völlig anderes ist. Da ich das a priori weiß, mache ich zwei Dinge:Y 2 Y $Y_1$$Y_2$$Y_3$

1. Ich ordne einige Neuronen in der verborgenen Ebene einer beliebigen Gruppe zu, in diesem Fall habe ich 2 Gruppen {( ), ( )}.Y $Y_1,Y_2$$Y_3$
2. Ich initialisiere hohe Wichtungen zwischen den Eingaben und den zugewiesenen Knoten (die fetten Kanten) und baue natürlich andere versteckte Knoten, um die verbleibende 'Zufälligkeit' in den Daten zu erfassen.

Vielen Dank im Voraus für deine Hilfe

Ich sehe das nicht als Antwort, sondern nur als langen Kommentar! Die PDE (Wärmegleichung), die zum Modellieren des Wärmeflusses durch einen Metallstab verwendet wird, kann auch zum Modellieren des Optionspreises verwendet werden. Niemand, den ich kenne, hat jemals versucht, einen Zusammenhang zwischen Optionspreisgestaltung und Wärmestrom per se vorzuschlagen. Ich denke, dass das Zitat aus Danilovs Link dasselbe sagt. Sowohl Bayesianische Graphen als auch Neuronale Netze verwenden die Sprache von Graphen, um die Beziehungen zwischen ihren verschiedenen inneren Stücken auszudrücken. Bayes'sche Graphen geben jedoch Auskunft über die Korrelationsstruktur der Eingabevariablen, und der Graph eines neuronalen Netzes gibt Auskunft darüber, wie die Vorhersagefunktion aus den Eingabevariablen aufgebaut werden kann. Das sind sehr unterschiedliche Dinge.
Verschiedene in DL verwendete Methoden versuchen, die wichtigsten Variablen auszuwählen, aber das ist ein empirisches Problem. Es sagt auch nichts über die Korrelationsstruktur der gesamten Menge von Variablen oder der verbleibenden Variablen aus. Dies legt lediglich nahe, dass die überlebenden Variablen am besten für die Vorhersage geeignet sind. Wenn man sich beispielsweise neuronale Netze ansieht, wird man zum deutschen Kreditdatensatz geführt, der, wenn ich mich richtig erinnere, 2000 Datenpunkte und 5 abhängige Variablen enthält. Ich denke, durch Ausprobieren werden Sie feststellen, dass ein Netz mit nur einer verborgenen Schicht und der Verwendung von nur zwei Variablen die besten Ergebnisse für die Vorhersage liefert. Dies kann jedoch nur festgestellt werden, wenn alle Modelle erstellt und auf dem unabhängigen Testset getestet werden.