Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

1
Aktualisierung des Lassos mit neuen Beobachtungen
Ich passe eine L1-regulierte lineare Regression an einen sehr großen Datensatz an (mit n >> p.). Die Variablen sind im Voraus bekannt, aber die Beobachtungen treffen in kleinen Stücken ein. Ich möchte das Lasso nach jedem Stück fit halten. Ich kann natürlich das gesamte Modell nach jedem neuen Satz von …
12 regression  lasso 
3
Fragebögen validieren
Ich entwerfe einen Fragebogen für meine Dissertation. Ich bin dabei, den Fragebogen zu validieren, den ich mit einem Cronbach-Alpha-Test für die Erstmustergruppe erstellt habe. Die Beantwortung des Fragebogens erfolgt auf einer Likert-Skala. Kann jemand weitere Tests vorschlagen, um die Gültigkeit zu testen. Ich bin kein Statistikexperte, daher wäre jede Hilfe …
2
Artikelanalyse für einen R-Neuling
Ich versuche, einen 20-Punkte-Multiple-Choice-Test zu bewerten. Ich möchte eine Artikelanalyse durchführen, wie sie in diesem Beispiel zu finden ist . Ich möchte also für jede Frage den P-Wert und die Korrelation mit der Gesamtsumme sowie die Verteilung der ausgewählten Optionen. Ich weiß nichts über die verschiedenen statistischen Softwarepakete, aber ich …
3
Adaptive Kernel-Dichteschätzer?
Kann jemand über seine Erfahrungen mit einem adaptiven Kernel-Dichteschätzer berichten? (Es gibt viele Synonyme: adaptive | variable | variable-width, KDE | histogram | interpolator ...) Die variable Schätzung der Kerneldichte besagt, dass "wir die Breite des Kernels in verschiedenen Regionen des Probenraums variieren. Es gibt zwei Methoden ..." tatsächlich mehr: …
4
Wie wende ich die Methode der iterativ neu gewichteten kleinsten Quadrate (IRLS) auf das LASSO-Modell an?
Ich habe eine logistische Regression mit dem IRLS-Algorithmus programmiert . Ich möchte eine LASSO-Bestrafung anwenden , um automatisch die richtigen Funktionen auszuwählen. Bei jeder Iteration wird Folgendes gelöst: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Sei eine nicht negative reelle Zahl. Ich bestrafe nicht den in The Elements of. Statistisches Lernen . Das Gleiche gilt …
2
Parametrische Probengrößenberechnung und nicht parametrische Analyse
Ich bin gespannt, ob jemand eine bestimmte Referenz (Text oder einen Zeitschriftenartikel) hat, um die in der medizinischen Literatur übliche Praxis der Berechnung der Probengröße mit parametrischen Methoden (dh unter der Annahme einer Normalverteilung und einer bestimmten Varianz der Messungen) zu unterstützen. wenn die Analyse des primären Versuchsergebnisses mit nichtparametrischen …
2
Wie parametriere ich das Verhältnis zweier normalverteilter Variablen oder die Umkehrung einer Variablen?
Problem: Ich parametrisiere Verteilungen zur Verwendung als Prioritäten und Daten in einer Bayes'schen Metaanalyse. Die Daten werden in der Literatur als zusammenfassende Statistiken bereitgestellt, von denen fast ausschließlich angenommen wird, dass sie normal verteilt sind (obwohl keine der Variablen <0 sein kann, einige Verhältnisse sind, andere Massen sind und usw.). …
3
Techniken für den Umgang mit unvollständigen / fehlenden Daten
Meine Frage bezieht sich auf Techniken zum Umgang mit unvollständigen Daten während des Klassifikators / Modelltrainings / Anpassens. In einem Datensatz mit einigen hundert Zeilen, wobei jede Zeile beispielsweise fünf Dimensionen und eine Klassenbezeichnung als letztes Element aufweist, sehen die meisten Datenpunkte folgendermaßen aus: [0,74, 0,39, 0,14, 0,33, 0,34, 0] …
5
Was sagen ROC-Kurven Ihnen, dass traditionelle Inferenz nicht würde?
Wann tendieren Sie dazu, ROC-Kurven gegenüber anderen Tests zu verwenden, um die Vorhersagefähigkeit einiger Messungen für ein Ergebnis zu bestimmen? Was macht ROC-Kurven im Umgang mit diskreten Ergebnissen (lebendig / tot, gegenwärtig / abwesend) leistungsfähiger oder weniger leistungsfähig als so etwas wie ein Chi-Quadrat?
12 regression  roc 
1
T-Test mit zwei Stichproben mit gewichteten Daten
Ich möchte einen T-Test mit zwei Stichproben durchführen, um die Differenz zwischen zwei unabhängigen Stichproben zu testen, wobei jede Stichprobe den Annahmen des T-Tests entspricht (wobei angenommen werden kann, dass jede Verteilung unabhängig und identisch als normal mit gleicher Varianz verteilt ist). . Die einzige Komplikation des T-Tests mit zwei …
12 t-test 
2
Statistischer Test für nxm-Kontingenztabellen
Ich habe einen Datensatz bestehend aus Elementen aus drei Gruppen, nennen wir sie G1, G2 und G3. Ich habe bestimmte Eigenschaften dieser Elemente analysiert und sie in drei Arten von "Verhalten" T1, T2 und T3 unterteilt (dazu habe ich die Clusteranalyse verwendet). So, jetzt habe ich eine 3 x 3-Kontingenztabelle …
3
Fisher's Exact Test mit Gewichten?
Kennt jemand eine Variation von Fisher's Exact Test, die Gewichte berücksichtigt? Zum Beispiel Stichprobengewichte . Anstelle der üblichen 2x2-Kreuztabelle hat jeder Datenpunkt einen Wert für "Masse" oder "Größe", der den Punkt wiegt. Beispieldaten: A B weight N N 1 N N 3 Y N 1 Y N 2 N Y …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.