Statistiken und Big Data

1

Was verursacht ein U-förmiges Muster im räumlichen Korrelogramm?

Ich habe in meiner eigenen Arbeit dieses Muster bemerkt, als ich ein räumliches Korrelogramm in unterschiedlichen Abständen untersuchte und ein U-förmiges Muster in den Korrelationen auftauchte. Insbesondere nehmen starke positive Korrelationen in kleinen Entfernungsbehältern mit der Entfernung ab, erreichen dann eine Grube an einem bestimmten Punkt und klettern dann wieder …

12 autocorrelation spatial

1

Wie erstelle ich eine Precision-Recall-Kurve, wenn ich nur einen Wert für PR habe?

Ich habe eine Data Mining-Aufgabe, bei der ich ein inhaltsbasiertes Bildabrufsystem erstelle. Ich habe 20 Bilder von 5 Tieren. Also insgesamt 100 Bilder. Mein System gibt die 10 relevantesten Bilder an ein Eingabebild zurück. Jetzt muss ich die Leistung meines Systems mit einer Precision-Recall-Kurve bewerten. Ich verstehe jedoch das Konzept …

12 data-mining matlab precision-recall curves computer-vision

2

Probit zweistufige kleinste Quadrate (2SLS)

Mir wurde gesagt, dass es möglich ist, eine zweistufige IV-Regression durchzuführen, bei der die erste Stufe ein Probit und die zweite Stufe eine OLS ist. Ist es möglich, 2SLS zu verwenden, wenn die erste Stufe ein Probit ist, die zweite Stufe jedoch ein Probit / Poisson-Modell?

12 binary-data instrumental-variables probit 2sls

1

Testen eines großen Datensatzes auf Normalität - wie und ist er zuverlässig?

Ich untersuche einen Teil meines Datensatzes mit 46840 Doppelwerten zwischen 1 und 1690, die in zwei Gruppen zusammengefasst sind. Um die Unterschiede zwischen diesen Gruppen zu analysieren, habe ich zunächst die Verteilung der Werte untersucht, um den richtigen Test auszuwählen. Nach einer Anleitung zum Testen auf Normalität habe ich ein …

12 r normal-distribution normality-assumption large-data

3

Entwicklung eines geeigneten Zeitreihenmodells zur Vorhersage des Umsatzes basierend auf dem Rekord des letzten Monats

Ich betreibe jetzt seit zwei Jahren in Folge ein Online-Geschäft, daher habe ich meine monatlichen Verkaufsdaten seit ungefähr zwei Jahren. Mein Geschäft für jeden Monat wird sicherlich von saisonalen Schwankungen (bessere Ergebnisse zu Weihnachten usw.) und wahrscheinlich einigen anderen Faktoren beeinflusst, die mir nicht bekannt sind. Um zukünftige Verkäufe besser …

12 time-series forecasting

3

Relative Größe der p-Werte bei verschiedenen Stichprobengrößen

Wie ändert sich die relative Größe des ap-Werts bei verschiedenen Stichprobengrößen? Wenn Sie beispielsweise bei n = 45 für eine Korrelation und dann bei n = 120 den gleichen p-Wert von 0,20 erhalten, was wäre die relative Größe des p-Werts für den zweiten Test im Vergleich zum ursprünglichen p-Wert wenn …

12 p-value sample-size

3

Was sind die Definitionen von halbkonjugierten und bedingten konjugierten Priors?

Was sind die Definitionen von halbkonjugierten Priors und von bedingten konjugierten Priors ? Ich habe sie in Gelmans Bayesian Data Analysis gefunden , aber ich konnte ihre Definitionen nicht finden.

12 bayesian

2

MCMC-Methoden - Proben brennen?

Bei MCMC- Methoden lese ich immer wieder über die burn-inZeit oder die Anzahl der Proben "burn". Was ist das genau und warum wird es benötigt? Aktualisieren: Bleibt MCMC stabil, sobald es sich stabilisiert hat? Wie hängt der Zeitbegriff burn-inmit dem der Mischzeit zusammen?

12 sampling mcmc

4

PCA nur mit einer Distanzmatrix durchführen

Ich möchte einen massiven Datensatz gruppieren, für den ich nur die paarweisen Abstände habe. Ich habe einen k-medoids-Algorithmus implementiert, dessen Ausführung jedoch zu lange dauert. Daher möchte ich zunächst die Dimension meines Problems durch Anwendung von PCA reduzieren. Die einzige Möglichkeit, diese Methode durchzuführen, ist die Verwendung der Kovarianzmatrix, die …

12 pca dimensionality-reduction multidimensional-scaling

1

Vergleich der Regressionskoeffizienten desselben Modells über verschiedene Datensätze hinweg

Ich bewerte zwei (2) Kältemittel (Gase), die im selben Kühlsystem verwendet wurden. Ich habe gesättigte Saugtemperatur ( ), Kondensationstemperatur ( D ) und Stromstärke ( Y ) für die Auswertung. Es gibt zwei (2) Datensätze; 1. Kältemittel ( R 1 ) & 2. Kältemittel ( R 2 ). Ich verwende …

12 regression regression-coefficients

1

Intuitive Beispiele für wichtige Stichproben

Mein Hintergrund ist Informatik. Ich bin ziemlich neu in Monte-Carlo-Stichprobenverfahren, und obwohl ich die Mathematik verstehe, fällt es mir schwer, intuitive Beispiele für wichtige Stichproben zu finden. Genauer gesagt, könnte jemand Beispiele nennen für: Eine ursprüngliche Verteilung, aus der man keine Stichprobe ziehen kann, die man aber schätzen kann eine …

12 probability distributions sampling importance-sampling

2

Best Practices zum Erstellen von "ordentlichen Daten"

Hadley Wickham schrieb im vergangenen Jahr in JSS einen herausragenden Artikel mit dem Titel "Tidy Data" ( Link ) über Datenmanipulation und das Versetzen der Daten in einen "optimalen" Zustand, um eine Analyse durchzuführen. Ich habe mich jedoch gefragt, welche Best Practices für die Darstellung von Tabellendaten in einer Arbeitsumgebung …

12 dataset tables

3

Normale Annäherung an die Poisson-Verteilung

Hier in Wikipedia heißt es: Für ausreichend große Werte von λλλ (sagen wir λ>1000λ>1000λ>1000 ) ist die Normalverteilung mit dem Mittelwert λλλ und der Varianz λλλ (Standardabweichung ) eine hervorragende Annäherung an die Poisson-Verteilung. Wenn größer als ungefähr 10 ist, ist die Normalverteilung eine gute Annäherung, wenn eine geeignete Kontinuitätskorrektur …

12 normal-distribution poisson-distribution approximation

2

Warum fand Thomas Bayes den Satz von Bayes so herausfordernd?

Dies ist eher eine Frage der Wissenschaftsgeschichte, aber ich hoffe, dass sie hier zum Thema gehört. Ich habe gelesen, dass es Thomas Bayes nur gelungen ist, den Satz von Bayes für den Sonderfall eines Uniformprior zu entdecken, und selbst dann hatte er anscheinend damit zu kämpfen. In Anbetracht dessen, wie …

12 bayesian bayes history

1

Ist eine Vorverarbeitung vor der Vorhersage mit FinalModel von RandomForest mit Caret-Paket erforderlich?

Ich verwende das Caret-Paket zum Trainieren eines randomForest-Objekts mit 10x10CV. library(caret) tc <- trainControl("repeatedcv", number=10, repeats=10, classProbs=TRUE, savePred=T) RFFit <- train(Defect ~., data=trainingSet, method="rf", trControl=tc, preProc=c("center", "scale")) Danach teste ich den randomForest auf einem testSet (neue Daten) RF.testSet$Prediction <- predict(RFFit, newdata=testSet) Die Verwirrungsmatrix zeigt mir, dass das Modell nicht so …

12 r random-forest prediction caret