Statistiken und Big Data

3

Welche Sprache eignet sich bei Matlab und Python für statistische Analysen?

Welche Sprache eignet sich unter Matlab und Python für die allgemeine statistische Datenanalyse? Was sind die Vor- und Nachteile außer der Barrierefreiheit für jeden?

17 matlab python

5

Poisson-Regression bei großen Datenmengen: Ist es falsch, die Maßeinheit zu ändern?

Aufgrund der Fakultät in einer Poisson-Verteilung wird es unpraktisch, Poisson-Modelle (beispielsweise unter Verwendung der maximalen Wahrscheinlichkeit) zu schätzen, wenn die Beobachtungen groß sind. Wenn ich zum Beispiel versuche, ein Modell zu schätzen, um die Anzahl der Selbstmorde in einem bestimmten Jahr zu erklären (es sind nur jährliche Daten verfügbar) und …

17 modeling poisson-distribution large-data

7

Was ist der einfachste Weg, um Plots in Publikationsqualität unter Linux zu erstellen?

Wir können davon ausgehen, dass wir eine CSV-Datei haben und ein sehr einfaches Liniendiagramm mit mehreren Linien auf einem Plot und einer einfachen Legende wollen.

17 data-visualization

2

Wenn ein auto-regressives Zeitreihenmodell nicht linear ist, muss es dennoch stationär sein?

Denken Sie darüber nach, wiederkehrende neuronale Netze für die Vorhersage von Zeitreihen zu verwenden. Im Gegensatz zu ARMA- und ARIMA-Modellen, die lineare Auto-Regression verwenden, implementieren sie im Grunde genommen eine Art generalisierte nichtlineare Auto-Regression. Wenn wir eine nichtlineare Auto-Regression durchführen, muss die Zeitreihe dennoch stationär sein, und müssen wir eine …

17 time-series autoregressive nonlinear stationarity

1

Robuster PCA vs. robuster Mahalanobis-Abstand zur Erkennung von Ausreißern

Robustes PCA (wie von Candes et al. 2009 oder besser Netrepalli et al. 2014 entwickelt ) ist eine beliebte Methode für die multivariate Ausreißererkennung. Aufgrund einer robusten, regulierten Schätzung der Kovarianzmatrix kann der Mahalanobis-Abstand jedoch auch für die Ausreißererkennung verwendet werden . Ich bin neugierig auf die (negativen) Vorteile einer …

17 pca outliers covariance-matrix robust anomaly-detection

2

Kann mir jemand NUTS auf Englisch erklären?

Ich verstehe den Algorithmus wie folgt: No U-Turn Sampler (NUTS) ist eine Hamilton-Monte-Carlo-Methode. Dies bedeutet, dass es sich nicht um eine Markov-Kettenmethode handelt und dieser Algorithmus daher den Random-Walk-Teil vermeidet, der häufig als ineffizient und langsam konvergierend angesehen wird. Anstatt den Zufallsrundgang zu machen, macht NUTS Sprünge der Länge x. …

17 bayesian monte-carlo markov-process

3

Verwendung der Regularisierung bei statistischen Inferenzen

Ich kenne die Vorteile der Regularisierung bei der Erstellung von Vorhersagemodellen (Bias vs. Varianz, Vermeidung von Überanpassung). Aber ich frage mich, ob es eine gute Idee ist, auch Regularisierungen durchzuführen (Lasso, Grat, elastisches Netz), wenn der Hauptzweck des Regressionsmodells darin besteht, auf die Koeffizienten zu schließen (zu sehen, welche Prädiktoren …

17 inference lasso ridge-regression elastic-net selectiveinference

3

Inferenz nach Verwendung von Lasso zur Variablenauswahl

Ich verwende Lasso für die Merkmalsauswahl in einer relativ niedrigen Maßeinstellung (n >> p). Nach dem Anpassen eines Lasso-Modells möchte ich die Kovariaten mit Koeffizienten ungleich Null verwenden, um ein Modell ohne Abzug anzupassen. Ich mache das, weil ich unvoreingenommene Schätzungen haben möchte, die Lasso mir nicht geben kann. Ich …

17 regression feature-selection lasso unbiased-estimator

2

Unterschied zwischen Abtastwerten, Zeitschritten und Merkmalen im neuronalen Netz

Ich gehe den folgenden Blog im neuronalen LSTM-Netzwerk durch: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ Der Autor formt den Eingabevektor X als [Beispiele, Zeitschritte, Merkmale] für unterschiedliche Konfigurationen von LSTMs um. Der Autor schreibt In der Tat sind die Buchstabenfolgen Zeitschritte eines Merkmals und keine Zeitschritte einzelner Merkmale. Wir haben dem Netzwerk mehr Kontext gegeben, …

17 neural-networks lstm rnn tensorflow tensor

3

Welche Algorithmen benötigen neben SVM eine Feature-Skalierung?

Ich arbeite mit vielen Algorithmen: RandomForest, DecisionTrees, NaiveBayes, SVM (Kernel = linear und rbf), KNN, LDA und XGBoost. Alle bis auf SVM waren ziemlich schnell. Dann wurde mir klar, dass die Feature-Skalierung erforderlich ist, um schneller arbeiten zu können. Dann begann ich mich zu fragen, ob ich dasselbe für die …

17 machine-learning svm random-forest naive-bayes xgboost

1

Wie erstelle ich das endgültige Modell und optimiere den Wahrscheinlichkeitsschwellenwert nach einer verschachtelten Kreuzvalidierung?

Erstens, Entschuldigung für das Posten einer Frage, die hier , hier , hier , hier , hier bereits ausführlich besprochen wurde, und zum Aufwärmen eines alten Themas. Ich weiß, dass @DikranMarsupial ausführlich über dieses Thema in Beiträgen und Fachzeitschriften geschrieben hat, aber ich bin immer noch verwirrt, und der Anzahl …

17 machine-learning cross-validation model-selection glmnet hyperparameter

1

k-NN Rechenkomplexität

Was ist die zeitliche Komplexität des k -NN-Algorithmus mit naivem Suchansatz (kein kd-Baum oder ähnliches)? Mich interessiert die zeitliche Komplexität auch unter Berücksichtigung des Hyperparameters k . Ich habe widersprüchliche Antworten gefunden: O (nd + kn), wobei n die Kardinalität des Trainingssatzes und d die Dimension jeder Stichprobe ist. [1] …

17 k-nearest-neighbour time-complexity

3

Reicht eine Kreuzvalidierung aus, um eine Überanpassung zu verhindern?

Wenn ich Daten habe und eine Klassifizierung (sagen wir zufällige Gesamtstruktur für diese Daten) mit Kreuzvalidierung (sagen wir 5-fach) durchführe, kann ich dann den Schluss ziehen, dass meine Methode keine Überanpassung aufweist?

17 cross-validation overfitting

1

Warum ist der Rang der Kovarianzmatrix höchstens

Wie in dieser Frage festgestellt , ist der maximale Rang der Kovarianzmatrix wobei die Stichprobengröße ist. Wenn die Dimension der Kovarianzmatrix also der Stichprobengröße entspricht, wäre sie singulär. Ich kann nicht verstehen, warum wir vom maximalen Rang der Kovarianzmatrix subtrahieren .n 1 nn−1n−1n-1nnn111nnn

17 covariance-matrix linear-algebra

3

Idee und Intuition hinter Quasi Maximum Likelihood Estimation (QMLE)

Frage (n): Welche Idee und Intuition steckt hinter der Quasi-Maximum-Likelihood-Schätzung (QMLE; auch als Pseudo-Maximum-Likelihood-Schätzung (PMLE) bezeichnet)? Was bewirkt, dass der Schätzer funktioniert, wenn die tatsächliche Fehlerverteilung nicht mit der angenommenen Fehlerverteilung übereinstimmt? Die Wikipedia-Seite für QMLE ist in Ordnung (kurz, intuitiv, auf den Punkt gebracht), aber ich könnte etwas mehr …

17 maximum-likelihood references intuition quasi-likelihood