Statistiken und Big Data

4

Ob Fälle, die von statistischer Software als Ausreißer gekennzeichnet wurden, gelöscht werden sollen, wenn mehrere Regressionen durchgeführt werden?

Ich führe mehrere Regressionsanalysen durch und bin nicht sicher, ob Ausreißer in meinen Daten gelöscht werden sollen. Die Daten, um die ich besorgt bin, werden in den SPSS-Boxplots als "Kreise" angezeigt, es gibt jedoch keine Sternchen (weshalb ich denke, dass sie nicht "so schlecht" sind). Die Fälle, um die ich …

23 regression outliers

3

Wie berechnet man den p-Wert von Parametern für das ARIMA-Modell in R?

Bei der Zeitreihenrecherche in R stellte ich fest, dass arima nur die Koeffizientenwerte und ihre Standardfehler des angepassten Modells angegeben werden. Ich möchte aber auch den p-Wert der Koeffizienten erhalten. Ich habe keine Funktion gefunden, die die Bedeutung von coef liefert. Ich möchte es also selbst berechnen, kenne aber den …

23 r time-series chi-squared arima parametric

2

Modelle für räumliche Statistiken: CAR vs SAR

Wann würde man es vorziehen, ein bedingtes autoregressives Modell gegenüber einem simultanen autoregressiven Modell zu verwenden, wenn autokorrelierte georeferenzierte Luftdaten modelliert werden?

23 modeling spatial

2

Clustering von Variablen basierend auf Korrelationen zwischen ihnen

Fragen: Ich habe eine große Korrelationsmatrix. Anstatt einzelne Korrelationen zu gruppieren, möchte ich Variablen anhand ihrer Korrelationen miteinander gruppieren. Wenn also Variable A und Variable B ähnliche Korrelationen zu Variablen C bis Z aufweisen, sollten A und B Teil desselben Clusters sein. Ein gutes Beispiel aus der Praxis sind verschiedene …

23 correlation clustering correlation-matrix

5

Alternativen zu Klassifizierungsbäumen mit besserer Prognoseleistung (z. B. Lebenslauf)?

Ich suche nach einer Alternative zu Klassifikationsbäumen, die eine bessere Vorhersagekraft bietet. Die Daten, mit denen ich mich befasse, haben Faktoren sowohl für die erklärenden als auch für die erklärenden Variablen. Ich erinnere mich, dass ich in diesem Zusammenhang auf zufällige Wälder und neuronale Netze gestoßen bin, obwohl ich sie …

23 r machine-learning classification cart

2

Statistische Forensik: Benford und darüber hinaus

Welche umfassenden Methoden gibt es, um Betrug, Anomalien, Fudging usw. in wissenschaftlichen Werken von Dritten aufzuspüren? (Ich war durch die kürzliche Affäre mit Marc Hauser motiviert, dies zu erfragen .) Normalerweise wird für Wahl- und Rechnungslegungsbetrug eine Variante von Benfords Gesetz zitiert. Ich bin mir nicht sicher, wie dies zB …

23 meta-analysis fraud

5

Was ist falsch an diesem "naiven" Mischalgorithmus?

Dies ist eine Folgefrage zu einer Stackoverflow- Frage zum zufälligen Mischen eines Arrays . Es gibt etablierte Algorithmen (wie das Knuth-Fisher-Yates-Shuffle ), mit denen man ein Array mischen sollte, anstatt sich auf "naive" Ad-hoc-Implementierungen zu verlassen. Ich bin jetzt daran interessiert zu beweisen (oder zu widerlegen), dass mein naiver Algorithmus …

23 combinatorics randomness

9

Zeitreihen für Zähldaten mit Zählwerten <20

Ich habe vor kurzem angefangen, für eine Tuberkulose-Klinik zu arbeiten. Wir treffen uns regelmäßig, um die Anzahl der TB-Fälle, die wir derzeit behandeln, die Anzahl der durchgeführten Tests usw. zu besprechen. Ich möchte mit der Modellierung dieser Zählungen beginnen, um nicht nur zu erraten, ob etwas ungewöhnlich ist oder nicht. …

23 r time-series poisson-distribution count-data epidemiology

1

Erklärung von min_child_weight im xgboost-Algorithmus

Die Definition des Parameters min_child_weight in xgboost lautet wie folgt: Mindestinstanzgewicht (hessisch), das ein Kind benötigt. Wenn der Baumpartitionsschritt zu einem Blattknoten führt, dessen Instanzgewicht kleiner als min_child_weight ist, gibt der Erstellungsprozess die weitere Partitionierung auf. Im linearen Regressionsmodus entspricht dies einfach der minimalen Anzahl von Instanzen, die in jedem …

23 machine-learning xgboost hessian

1

Was genau sind Aufmerksamkeitsmechanismen?

In den letzten Jahren wurden in verschiedenen Deep-Learning-Artikeln Aufmerksamkeitsmechanismen eingesetzt. Ilya Sutskever, Forschungsleiter bei Open AI, hat sie begeistert gelobt: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello von der Purdue University hat gefordert, dass RNNs und LSTMs zugunsten rein auf Aufmerksamkeit basierender neuronaler Netze aufgegeben werden sollten: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Dies scheint übertrieben, aber es ist …

23 time-series deep-learning lstm rnn attention

1

Hamiltonian Monte Carlo gegen sequentielles Monte Carlo

Ich versuche, ein Gefühl für die relativen Vor- und Nachteile sowie für die unterschiedlichen Anwendungsbereiche dieser beiden MCMC-Schemata zu bekommen. Wann würden Sie welche und warum verwenden? Wann könnte einer scheitern, der andere nicht (z. B. wo ist HMC anwendbar, SMC jedoch nicht und umgekehrt) Könnte man, sehr naiv zugestanden, …

23 mcmc random-walk particle-filter probabilistic-programming hmc

2

Warum gibt es zwei verschiedene Formulierungen / Notationen für logistische Verluste?

Ich habe zwei Arten von Formulierungen für logistische Verluste gesehen. Wir können leicht zeigen, dass sie identisch sind, der einzige Unterschied ist die Definition der Bezeichnung .yyy Formulierung / Notation 1, :y∈{0,+1}y∈{0,+1}y \in \{0, +1\} L(y,βTx)=−ylog(p)−(1−y)log(1−p)L(y,βTx)=−ylog⁡(p)−(1−y)log⁡(1−p) L(y,\beta^Tx)=-y\log(p)-(1-y)\log(1-p) Dabei ist p=11+exp(−βTx)p=11+exp⁡(−βTx)p=\frac 1 {1+\exp(-\beta^Tx)} , wobei die logistische Funktion eine reelle Zahl …

23 logistic generalized-linear-model notation loss-functions

3

Ist ein hohes

Diese Frage wurde von Stack Overflow migriert, da sie bei Cross Validated beantwortet werden kann. Vor 3 Jahren migriert . In der Statistik machen wir lineare Regressionen, deren Anfang. Im Allgemeinen wissen wir, dass je höher besser ist. Aber gibt es jemals ein Szenario, in dem ein hohes ein unbrauchbares …

23 regression r-squared

2

Was ist eine Region mit der höchsten Dichte (HDR)?

In der statistischen Folgerung wird in Problem 9.6b ein "Highest Density Region (HDR)" erwähnt. Die Definition dieses Begriffs fand ich jedoch nicht im Buch. Ein ähnlicher Begriff ist die höchste hintere Dichte (Highest Posterior Density, HPD). Aber es passt nicht in diesen Kontext, da in 9.6b nichts über einen Prior …

23 confidence-interval estimation definition credible-interval highest-density-region

3

Koordinate vs. Gefälle

Ich habe mich gefragt, was die verschiedenen Anwendungsfälle für die beiden Algorithmen Koordinatensinkflug und Gradientensinkflug sind . Ich weiß, dass der Koordinatenabstieg Probleme mit nicht glatten Funktionen hat, aber er wird in gängigen Algorithmen wie SVM und LASSO verwendet. Gradientenabstieg wird jedoch meiner Meinung nach häufiger eingesetzt, insbesondere bei der …

23 optimization gradient-descent