Statistiken und Big Data

Welche Methoden stehen für die Auswahl von Prädiktoren in multivariater linearer Regression mit geeigneten Prädiktoren zur Verfügung, um eine "optimale" Teilmenge der Prädiktoren zu finden, ohne alle 2 p Teilmengen explizit zu testen ? In 'Applied Survival Analysis' beziehen sich Hosmer & Lemeshow auf Kuks Methode, aber ich kann das …

9 modeling  regression  multivariable  model-selection  feature-selection 

Ich habe zwei Implementierungen eines genetischen Algorithmus, die sich gleichwertig verhalten sollen. Aufgrund technischer Einschränkungen, die nicht gelöst werden können, ist ihre Ausgabe bei gleicher Eingabe jedoch nicht exakt gleich. Trotzdem möchte ich zeigen, dass es keinen signifikanten Leistungsunterschied gibt. Ich habe 20 Läufe mit der gleichen Konfiguration für jeden …

9 hypothesis-testing  genetic-algorithms 

Trotz mehrerer Versuche, über Bootstrapping zu lesen, scheine ich immer gegen eine Mauer zu stoßen. Ich frage mich, ob jemand eine einigermaßen nicht-technische Definition von Bootstrapping geben kann. Ich weiß, dass es in diesem Forum nicht möglich ist, genügend Details bereitzustellen, damit ich es vollständig verstehen kann, aber ein sanfter …

9 nonparametric  bootstrap  intuition 

Ich versuche, ein Zeitreihen-Regressionsprognosemodell für eine Ergebnisvariable in US-Dollar in Bezug auf andere Prädiktoren / Eingabevariablen und autokorrelierte Fehler zu erstellen. Diese Art von Modell wird auch als dynamisches Regressionsmodell bezeichnet. Ich muss lernen, wie man Übertragungsfunktionen für jeden Prädiktor identifiziert, und würde gerne von Ihnen hören, wie Sie genau …

9 time-series  forecasting  dynamic-regression 

Was ist der Unterschied zwischen statistisch signifikantem Wert (z. B. einem Unterschied zwischen zwei Stichproben) und der Angabe, ob eine Gruppe von Zahlen unabhängig oder abhängig ist?

9 statistical-significance  independence 

Schöne Grüße, Derzeit mache ich folgendes in R: require(zoo) data <- read.csv(file="summary.csv",sep=",",head=TRUE) cum = zoo(data$dcomp, as.Date(data$date)) data = zoo(data$compressed, as.Date(data$date)) data <- aggregate(data, identity, tail, 1) cum <- aggregate(cum, identity, sum, 1) days = seq(start(data), end(data), "day") data2 = na.locf(merge(data, zoo(,days))) plot(data2,xlab='',ylab='compressed bytes',col=rgb(0.18,0.34,0.55)) lines(cum,type="h",col=rgb(0,0.5,0)) Ausschnitt aus summary.csv: date,revision,file,lines,nclass,nattr,nrel,bytes,compressed,diff,dcomp 2007-07-25,16,model.xml,96,11,22,5,4035,991,0,0 2007-07-27,17,model.xml,115,16,26,6,4740,1056,53,777 …

9 r  time-series  data-visualization  entropy 

Ich habe Schwierigkeiten, den richtigen Weg zur Visualisierung von Daten auszuwählen. Nehmen wir an, wir haben Buchhandlungen , die Bücher verkaufen , und jedes Buch hat mindestens eine Kategorie . Wenn wir für eine Buchhandlung alle Kategorien von Büchern zählen, erhalten wir ein Histogramm, das die Anzahl der Bücher anzeigt, …

9 pca  data-visualization  histogram  barplot 

Ich habe ein lineares Regressionsmodell mit der Stichprobe und den variablen Beobachtungen und möchte wissen: Gibt an, ob eine bestimmte Variable signifikant genug ist, um im Modell enthalten zu bleiben. Ob eine andere Variable (mit Beobachtungen) in das Modell aufgenommen werden soll. Welche Statistiken können mir helfen? Wie können sie …

9 regression 

Was ist der Unterschied zwischen Operations Research und statistischer Analyse?

9 operations-research 

Ich habe einen Detektor, der ein Ereignis mit einer gewissen Wahrscheinlichkeit p erkennt . Wenn der Detektor angibt, dass ein Ereignis aufgetreten ist, ist dies immer der Fall, sodass keine Fehlalarme vorliegen. Nachdem ich es einige Zeit ausgeführt habe, werden k Ereignisse erkannt. Ich möchte berechnen, wie viele Ereignisse insgesamt …

9 probability  confidence-interval 

Ein bisschen vereinfacht, ich habe ungefähr eine Million Datensätze, die die Eintritts- und Austrittszeit von Personen in einem System aufzeichnen, das sich über ungefähr zehn Jahre erstreckt. Jeder Datensatz hat eine Eintrittszeit, aber nicht jeder Datensatz hat eine Austrittszeit. Die mittlere Zeit im System beträgt ~ 1 Jahr. Die fehlenden …

9 survival  missing-data 

In einer Antwort auf diese Frage zur Behandlung kategorialer Daten als kontinuierliche , optimale Skalierung wurde erwähnt. Wie funktioniert diese Methode und wie wird sie angewendet?

9 categorical-data  data-transformation  optimal-scaling 

Ich habe gehört, dass viele Mengen, die in der Natur vorkommen, normal verteilt sind. Dies wird normalerweise mit dem zentralen Grenzwertsatz gerechtfertigt, der besagt, dass Sie eine Normalverteilung erhalten, wenn Sie eine große Anzahl von iid-Zufallsvariablen mitteln. So kann beispielsweise ein Merkmal, das durch die additive Wirkung einer großen Anzahl …

9 data-transformation  normality-assumption 

Bereitstellung einer Stichprobengröße "N", die ich zur Vorhersage von Daten verwenden möchte. Wie kann ich die Daten so unterteilen, dass ich einige davon zum Erstellen eines Modells und die restlichen Daten zum Validieren des Modells verwende? Ich weiß, dass es keine Schwarz-Weiß-Antwort darauf gibt, aber es wäre interessant, einige "Faustregeln" …

9 machine-learning  modeling  sample  validation 

Wie Sie wissen, gibt es zwei beliebte Arten der Kreuzvalidierung: K-fach und zufällige Unterabtastung (wie in Wikipedia beschrieben ). Trotzdem weiß ich, dass einige Forscher Artikel erstellen und veröffentlichen, in denen etwas, das als K-facher Lebenslauf bezeichnet wird, tatsächlich eine zufällige Unterabtastung ist. In der Praxis wissen Sie also nie, …

9 machine-learning  cross-validation