Statistiken und Big Data

3

Ich habe vor kurzem angefangen, etwas über verallgemeinerte lineare gemischte Modelle zu lernen, und habe R verwendet, um herauszufinden, welchen Unterschied es macht, die Gruppenmitgliedschaft entweder als festen oder als zufälligen Effekt zu behandeln. Insbesondere betrachte ich den hier diskutierten Beispieldatensatz: http://www.ats.ucla.edu/stat/mult_pkg/glmm.htm http://www.ats.ucla.edu/stat/r/dae/melogit.htm Wie in diesem Tutorial beschrieben, ist der …

10 r random-effects-model glmm

1

Welches ist genauer glm oder glmnet?

R glm und glmnet verwenden unterschiedliche Algorithmen. Ich bemerke nicht triviale Unterschiede zwischen den geschätzten Koeffizienten, wenn ich beide verwende. Ich bin daran interessiert, wann eines genauer ist als das andere und wann die Zeit zum Lösen / zur Genauigkeit abgewogen wird. Insbesondere beziehe ich mich auf den Fall, in …

10 r generalized-linear-model glmnet

2

Welche Beziehung besteht zwischen kausaler Folgerung und Vorhersage?

Welche Beziehungen und Unterschiede bestehen zwischen kausaler Inferenz und Vorhersage (sowohl Klassifikation als auch Regression)? Im Vorhersagekontext haben wir die Prädiktor- / Eingangsvariablen und die Antwort- / Ausgangsvariablen. Bedeutet das, dass es einen kausalen Zusammenhang zwischen Eingabe- und Ausgabevariablen gibt? Gehört Vorhersage also zur kausalen Folgerung? Wenn ich das richtig …

10 prediction causality definition

1

Wie wählt LASSO unter kollinearen Prädiktoren aus?

Ich suche nach einer intuitiven Antwort, warum ein GLM LASSO-Modell einen bestimmten Prädiktor aus einer Gruppe stark korrelierter auswählt und warum dies anders ist als die Auswahl der besten Teilmengenfunktionen. Aus der in Abb. 2 in Tibshirani 1996 gezeigten Geometrie des LASSO gehe ich davon aus, dass LASSO den Prädiktor …

10 feature-selection lasso

2

Warum ist der Variationskoeffizient bei Verwendung von Daten mit positiven und negativen Werten nicht gültig?

Ich kann anscheinend keine endgültige Antwort auf meine Frage finden. Meine Daten bestehen aus mehreren Darstellungen mit gemessenen Mittelwerten zwischen 0,27 und 0,57. In meinem Fall sind alle Datenwerte positiv, aber die Messung selbst basiert auf einem Verhältnis von Reflexionswerten, das von -1 bis +1 reichen kann. Die Diagramme stellen …

10 descriptive-statistics

2

Finden einer bekannten Anzahl von Kreismittelpunkten, die die Anzahl von Punkten innerhalb eines festen Abstands maximieren

Ich habe einen Satz von 2D-Daten, in denen ich die Zentren einer bestimmten Anzahl von Kreismittelpunkten ( ) finden möchte , die die Gesamtzahl der Punkte innerhalb eines bestimmten Abstands ( ) maximieren .NNNRRR Ich habe zB 10.000 Datenpunkte und möchte die Zentren von Kreisen finden, die so viele Punkte …

10 r clustering distance

1

Histogramm mit einheitlichen und ungleichmäßigen Behältern

Diese Frage beschreibt den grundlegenden Unterschied zwischen einem einheitlichen und einem ungleichmäßigen Histogramm. In dieser Frage wird die Faustregel für die Auswahl der Anzahl der Fächer eines einheitlichen Histogramms erörtert, mit der (in gewissem Sinne) der Grad optimiert wird, in dem das Histogramm die Verteilung darstellt, aus der die Datenproben …

10 nonparametric outliers histogram rule-of-thumb

1

Diskrete Zeitrisikomodelle (Cloglog) in R.

Das survivalPaket in Rscheint sich auf kontinuierliche zeitliche Überlebensmodelle zu konzentrieren. Ich bin daran interessiert, eine zeitdiskrete Version eines proportionalen Gefährdungsmodells, des komplementären Log-Log-Modells, zu schätzen. Ich habe ein ziemlich einfaches Überlebensmodell mit einfacher richtiger Zensur. Ich weiß, dass eine Möglichkeit, dieses Modell zu schätzen, darin besteht, einen Datensatz zu …

10 r survival

5

Wie entscheiden Sie, wie hoch Ihre Zug-, Validierungs- und Testprozentsätze sind?

Bei der Aufteilung meiner beschrifteten Daten in Trainings-, Validierungs- und Testsätze habe ich alles vom 25.05.25 bis zum 05.05.10 gehört. Ich bin sicher, dass dies davon abhängt, wie Sie Ihr Modell verwenden und wie anfällig es ist, Ihren Lernalgorithmus zu überanpassen. Gibt es eine Möglichkeit zu entscheiden oder ist alles …

10 machine-learning cross-validation

1

Extrahieren / Berechnen der Hebelwirkung und der Cook-Abstände für lineare Modelle mit gemischten Effekten

Weiß jemand, wie man Hebelwirkung und Cooks Abstände für ein merKlassenobjekt berechnet (oder extrahiert) (erhalten durch lme4Paket)? Ich möchte diese für eine Residuenanalyse zeichnen.

10 r mixed-model linear-model residuals leverage

3

Ein ernstes Problem der Wahrscheinlichkeiten für das Umwerfen von Münzen

Nehmen wir an, ich mache 10.000 Münzwürfe. Ich würde gerne wissen, wie wahrscheinlich es ist, wie viele Flips nötig sind, um 4 oder mehr aufeinanderfolgende Köpfe hintereinander zu erhalten. Die Zählung würde wie folgt funktionieren: Sie würden eine aufeinanderfolgende Runde von Flips als nur Köpfe (4 Köpfe oder mehr) zählen. …

10 probability distributions self-study conditional-probability

1

Warum muss ein Schätzer unabhängig vom Parameter sein?

Dies ist ein Auszug aus "Moderne mathematische Statistik mit Anwendungen" von Devore et al. Was mich verwundert ist, dass der Schätzer nicht anders kann, als von abhängig zu sein , da die Stichprobe vom Parameter abhängt.θθ\theta

10 estimation

3

Zeitlinienanalyse

Ich untersuche die Beziehung zwischen der Geburtsordnung einer Person und dem späteren Risiko von Fettleibigkeit anhand von Daten aus mehreren 1-Jahres-Geburtskohorten (z . B. http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2908417/ ). Eine zentrale Herausforderung besteht darin, dass die Reihenfolge der Geburt mit anderen Merkmalen wie dem Alter der Mutter, der Anzahl der jüngeren und / …

10 timelines

3

Visualisierung der Bayes'schen Anpassungsgüte für die logistische Regression

Für ein Bayes'sches logistisches Regressionsproblem habe ich eine posteriore prädiktive Verteilung erstellt. Ich nehme eine Stichprobe aus der Vorhersageverteilung und erhalte für jede meiner Beobachtungen Tausende von Stichproben von (0,1). Die Visualisierung der Anpassungsgüte ist weniger als interessant, zum Beispiel: Dieses Diagramm zeigt die 10 000 Proben + den beobachteten …

10 bayesian data-visualization classification goodness-of-fit binary-data

3

Zuweisen von Klassenbezeichnungen zu k-means-Clustern

Ich habe eine sehr grundlegende Frage zum Clustering. Wie interpretiere ich die Klassen der Datenpunkte, die ich geclustert habe (nachdem ich jedem Cluster aussagekräftige Klassenbezeichnungen zugewiesen habe), nachdem ich k Cluster mit ihren Schwerpunkten gefunden habe? Ich spreche nicht von der Validierung der gefundenen Cluster. Kann dies bei einem kleinen …

10 k-means