Statistiken und Big Data

4

Unterscheidet sich Prophet von Facebook von einer linearen Regression?

Was ich über den Propheten von Facebook gelesen habe, ist, dass er die Zeitreihen im Grunde in Trend und Saisonalität unterteilt. Ein additives Modell würde beispielsweise wie folgt geschrieben: y(t)=g(t)+s(t)+h(t)+ety(t)=g(t)+s(t)+h(t)+et y(t) = g(t) + s(t) + h(t) + e_t mit ttt die Zeit g(t)g(t)g(t) der Trend (kann linear oder logistisch …

11 regression machine-learning time-series prophet

3

Bedeutet Zentrierung die Kovarianz?

Angenommen, ich habe zwei nicht unabhängige Zufallsvariablen und möchte die Kovarianz zwischen ihnen so weit wie möglich reduzieren, ohne zu viel "Signal" zu verlieren. Bedeutet dies, dass die Zentrierung hilft? Ich habe irgendwo gelesen, dass mittlere Zentrierung die Korrelation um einen signifikanten Faktor reduziert, daher denke ich, dass dies auch …

11 correlation covariance random-vector

4

Ausreichende und notwendige Bedingungen für den Null-Eigenwert einer Korrelationsmatrix

Bei Zufallsvariablen mit der Wahrscheinlichkeitsverteilung ist die Korrelationsmatrix positiv semidefinit, dh ihre Eigenwerte sind positiv oder Null.nnnXiXiX_iP(X1,…,Xn)P(X1,…,Xn)P(X_1,\ldots,X_n)Cij=E[XiXj]−E[Xi]E[Xj]Cij=E[XiXj]−E[Xi]E[Xj]C_{ij}=E[X_i X_j]-E[X_i]E[X_j] Ich interessiere mich für die Bedingungen auf , die notwendig sind und / oder ausreichend für haben Null Eigenwerte. Eine ausreichende Bedingung ist beispielsweise, dass die Zufallsvariablen nicht unabhängig sind: für einige …

11 correlation

2

"Liberale" p-Werte?

Meine Frage ist eher semantisch. Wenn eine Methode routinemäßig hohe p-Werte erzeugt, spricht man von konservativ. Würden Sie das Gegenteil nennen, dh eine Methode mit einer hohen liberalen Typ-II-Fehlerrate?

11 hypothesis-testing statistical-significance p-value terminology type-i-and-ii-errors

3

Warum müssen wir einen Klassifikator für k-nächste Nachbarn anpassen?

Wie ich verstanden habe, ist k-NN ein fauler Lernalgorithmus und benötigt keine Trainingsphase. Warum müssen wir .fit()sklearn verwenden und was passiert, wenn wir es verwenden?

11 classification scikit-learn k-nearest-neighbour

3

Aufteilen von Zeitreihendaten in Zug- / Test- / Validierungssätze

Was ist der beste Weg, um Zeitreihendaten in Zug- / Test- / Validierungssätze aufzuteilen, wobei der Validierungssatz für die Optimierung von Hyperparametern verwendet wird? Wir haben tägliche Verkaufsdaten im Wert von 3 Jahren. Unser Plan ist es, 2015-2016 als Trainingsdaten zu verwenden, dann 10 Wochen aus den 2017-Daten, die als …

11 time-series cross-validation validation

2

Warum gibt es Empfehlungen gegen die Verwendung von Jeffreys oder entropiebasierten Priors für MCMC-Sampler?

Auf ihrer Wiki-Seite geben die Entwickler von Stan Folgendes an: Einige Prinzipien, die wir nicht mögen: Invarianz, Jeffreys, Entropie Stattdessen sehe ich viele Normalverteilungsempfehlungen. Bisher habe ich Bayes'sche Methoden verwendet, die nicht auf Stichproben beruhten, und war froh zu verstehen, warum war eine gute Wahl für Binomialwahrscheinlichkeiten.θ∼Beta(α=12,β=12)θ∼Beta(α=12,β=12)\theta \sim \text{Beta}\left(\alpha=\frac{1}{2},\beta=\frac{1}{2}\right)

11 bayesian mcmc prior pymc stan

3

Datenerweiterungsstrategien für die Zeitreihenprognose

Ich erwäge zwei Strategien zur "Datenerweiterung" bei der Vorhersage von Zeitreihen. Zunächst ein bisschen Hintergrundwissen. Ein Prädiktor zur Vorhersage des nächsten Schritts einer Zeitreihe ist eine Funktion, die typischerweise von zwei Dingen abhängt, den Zeitzuständen vergangener Zeitreihen, aber auch den vergangenen Zuständen des Prädiktors:PPP{Ai}{Ai}\lbrace A_i\rbrace P({Ai≤t−1},PSt−1)P({Ai≤t−1},PSt−1)P(\lbrace A_{i\leq t-1}\rbrace,P_{S_{t-1}}) Wenn wir …

11 time-series data-augmentation

3

Stoppkriterium für Nelder Mead

Ich versuche, den Nelder-Mead-Algorithmus zur Optimierung einer Funktion zu implementieren. Die Wikipedia-Seite über Nelder-Mead ist überraschend klar über den gesamten Algorithmus, mit Ausnahme seines Stoppkriteriums. Dort heißt es leider: Auf Konvergenz prüfen [Klarstellung erforderlich] . Ich habe selbst einige Kriterien ausprobiert und getestet: Stoppen Sie, wenn wobei ϵ klein ist …

11 optimization algorithms

1

Warum ist es falsch, SVM als Klassifizierungswahrscheinlichkeiten zu interpretieren?

Mein Verständnis von SVM ist, dass es einer logistischen Regression (LR) sehr ähnlich ist, dh eine gewichtete Summe von Merkmalen wird an die Sigmoidfunktion übergeben, um eine Wahrscheinlichkeit der Zugehörigkeit zu einer Klasse zu erhalten, jedoch anstelle des Verlusts der Kreuzentropie (logistisch) Funktion wird das Training mit dem Scharnierverlust durchgeführt. …

11 machine-learning logistic svm

2

Filtergröße, Schritte usw. in einem CNN auswählen?

Ich habe mir die CS231N-Vorlesungen von Stanford angesehen und versuche, mich mit einigen Problemen in CNN-Architekturen zu befassen. Ich versuche zu verstehen, ob es einige allgemeine Richtlinien für die Auswahl der Faltungsfiltergröße und Dinge wie Schritte gibt oder ob dies eher eine Kunst als eine Wissenschaft ist. Ich verstehe, dass …

11 neural-networks deep-learning conv-neural-network

2

Warum hat ein Sackbaum / zufälliger Waldbaum eine höhere Tendenz als ein einzelner Entscheidungsbaum?

Wenn wir einen ausgewachsenen Entscheidungsbaum (dh einen nicht beschnittenen Entscheidungsbaum) betrachten, weist er eine hohe Varianz und eine geringe Verzerrung auf. Bagging und Random Forests verwenden diese Modelle mit hoher Varianz und aggregieren sie, um die Varianz zu verringern und damit die Vorhersagegenauigkeit zu verbessern. Sowohl Bagging als auch Random …

11 variance random-forest cart bias bagging

2

Verstecktes Markov-Modell gegen wiederkehrendes neuronales Netzwerk

Welche sequentiellen Eingabeprobleme eignen sich jeweils am besten? Bestimmt die Eingabedimensionalität, welche besser zu Ihnen passt? Sind Probleme, die "längeren Speicher" erfordern, besser für ein LSTM-RNN geeignet, während Probleme mit zyklischen Eingabemustern (Börse, Wetter) von einem HMM leichter gelöst werden können? Es scheint, dass es viele Überschneidungen gibt; Ich bin …

11 time-series neural-networks hidden-markov-model rnn

1

Pfeile der zugrunde liegenden Variablen im PCA-Biplot in R.

Auf die Gefahr hin, die Frage softwarespezifisch zu machen, und mit der Entschuldigung ihrer Allgegenwart und Eigenheiten möchte ich nach der Funktion biplot()in R und insbesondere nach der Berechnung und Darstellung der entsprechenden, überlagerten Standardpfeile fragen zu den zugrunde liegenden Variablen. [Um einige der Kommentare zu verstehen, hatten die ursprünglich …

11 r pca biplot

5

Wann wird ein Mischeffektmodell verwendet?

Modelle mit linearen gemischten Effekten sind Erweiterungen von linearen Regressionsmodellen für Daten, die in Gruppen gesammelt und zusammengefasst werden. Der Hauptvorteil ist, dass die Koeffizienten in Bezug auf eine oder mehrere Gruppenvariablen variieren können. Ich habe jedoch Probleme damit, wann ich ein Mischeffektmodell verwenden soll. Ich werde meine Fragen anhand …

11 regression mixed-model random-effects-model linear