Statistiken und Big Data

4

Wie kann man objektiv ("algorithmisch" gelesen) ein geeignetes Modell für eine einfache lineare Regression der kleinsten Quadrate mit zwei Variablen auswählen? Angenommen, die Daten scheinen einen quadratischen Trend zu zeigen, und es wird eine Parabel generiert, die recht gut zu den Daten passt. Wie rechtfertigen wir es, dies zur Regression …

8 regression forecasting model-selection prediction

2

Gesamterwartungssatz für Poisson-Prozesse

Ich habe zwei unabhängige Poisson-Prozesse und mit den Ankunftsraten bzw. . Die erwartete Zeit für das Eintreffen des nächsten Elements für den zusammengeführten Prozess sollte nun .AAABBBλAλA\lambda_AλBλB\lambda_B1λA+λB1λA+λB\frac {1}{\lambda_A+\lambda_B} Angenommen, ist die Ankunftszeit für das nächste Element des kombinierten Prozesses und oder als Ereignisse, bei denen die Elemente aus den Prozessen …

8 conditional-probability poisson-process

1

Simulieren Sie Regressionsdaten, wobei die abhängige Variable nicht normal verteilt ist

Für die Regressionsanalyse ist es häufig hilfreich, den Datengenerierungsprozess zu kennen, um zu überprüfen, wie die verwendete Methode funktioniert. Während es für eine einfache lineare Regression ziemlich einfach ist, dies zu tun, ist dies nicht der Fall, wenn die abhängige Variable einer bestimmten Verteilung folgen muss. Betrachten Sie eine einfache …

8 r regression simulation random-generation

1

Wann sollte ich jede dieser Methoden verwenden, um die Korrelation zu berechnen?

Ich benutze R für die Datenanalyse. R liefert eine corrFunktion zur Berechnung der Korrelation. Diese Funktion bietet drei verschiedene Ansätze / Algorithmen zur Schätzung der corrPearson, Spearman und Kendall. Wann sollte ich jede dieser Methoden anwenden? Welche Faktoren bestimmen, welche Methode angewendet werden soll?

8 correlation r

1

Ausreißererkennung in Beta-Distributionen

Angenommen, ich habe eine große Stichprobe von Werten in [0,1][0,1][0,1] . Ich möchte die zugrunde liegende Beta(α,β)Beta(α,β)\text{Beta}(\alpha, \beta) -Verteilung schätzen . Der Großteil der Proben stammt aus dieser angenommenen Beta(α,β)Beta(α,β)\text{Beta}(\alpha, \beta) -Verteilung, während der Rest Ausreißer sind, die ich bei der Schätzung von αα\alpha und ignorieren möchte ββ\beta. Was ist …

8 outliers pymc beta-distribution

2

Wie kann man die in King und Zeng (2001) beschriebenen Korrekturen für seltene Ereignisse vornehmen?

Ich habe einen Datensatz mit einer binären (Überlebens-) Antwortvariablen und 3 erklärenden Variablen ( A= 3 Ebenen, B= 3 Ebenen, C= 6 Ebenen). In diesem Datensatz sind die Daten mit 100 Personen pro ABCKategorie ausgewogen . Ich studierte bereits die Wirkung von diesen A, Bund CVariablen , die mit diesem …

8 logistic unbalanced-classes weighted-regression rare-events case-control-study

2

Interpretation logistischer Regressionskoeffizienten mit einem Regularisierungsterm

Ich verstehe, dass die Koeffizienten einer logistischen Gleichung als ungerades Verhältnis interpretiert werden können. Wie ändert sich die Interpretation der Koeffizienten, wenn ein Regularisierungsterm zur Kontrolle der Überanpassung hinzugefügt wird?

8 logistic interpretation regression-coefficients regularization odds-ratio

1

Intervallzensur

Ich habe eine Intervallzensur-Überlebenskurve mit R, JMP und SAS durchgeführt. Beide gaben mir identische Grafiken, aber die Tabellen unterschieden sich ein wenig. Dies ist die Tabelle, die JMP mir gegeben hat. Start Time End Time Survival Failure SurvStdErr . 14.0000 1.0000 0.0000 0.0000 16.0000 21.0000 0.5000 0.5000 0.2485 28.0000 36.0000 …

8 r survival sas jmp interval-censoring

1

Wann / warum unterscheidet sich die zentrale Tendenz einer Resampling-Simulation deutlich vom beobachteten Wert?

Sollte man immer erwarten, dass die zentrale Tendenz (dh der Mittelwert und / oder der Median) einer Bootstrap-Probe dem beobachteten Wert ähnlich ist? In diesem speziellen Fall habe ich Antworten, die für Probanden unter zwei Bedingungen exponentiell verteilt sind (ich habe das Experiment nicht durchgeführt, ich habe nur die Daten). …

8 bootstrap simulation effect-size cohens-d

3

Vorhersage der kontinuierlichen Variablen mit dem Paket „bnlearn“ in R.

Ich verwende das bnlearn-Paket in R, um die Struktur meines Bayes'schen Netzwerks und seine Parameter zu lernen. Was ich tun möchte, ist, den Wert eines Knotens anhand des Werts anderer Knoten als Beweis "vorherzusagen" (offensichtlich mit Ausnahme des Knotens, dessen Werte wir vorhersagen). Ich habe kontinuierliche Variablen. library(bnlearn) # Load …

8 r machine-learning prediction bayesian-network

3

Wie kann eine parallele Analyse in der exploratorischen Faktoranalyse richtig interpretiert werden?

Einige wissenschaftliche Arbeiten berichten über Ergebnisse der parallelen Analyse der Hauptachsenfaktoranalyse in einer Weise, die nicht mit meinem Verständnis der Methodik vereinbar ist. Was vermisse ich? Bin ich falsch oder sind sie. Beispiel: Daten: Die Leistung von 200 einzelnen Menschen wurde bei 10 Aufgaben beobachtet. Für jede Person und jede …

8 factor-analysis psychometrics parallel-analysis

1

Warum wird die Variabilität relativ zu einem Punkt gemessen?

Warum werden Dispersionsmaße relativ zu einem zentralen Punkt berechnet? Warum wären beispielsweise nicht alle möglichen nicht wiederholten paarweisen Unterschiede im Datensatz ein gültiges Maß für die Streuung?

8 dataset standard-deviation theory variability

4

Was ist eine gute OOB-Punktzahl für zufällige Wälder mit einer Drei-Klassen-Klassifizierung von sklearn? [Duplikat]

Diese Frage hat hier bereits Antworten : Ist mein Modell basierend auf dem Wert der Diagnosemetrik ( / AUC / Genauigkeit / RMSE usw.) gut? R.2R2R^2 (3 Antworten) Geschlossen vor 7 Monaten . Ich habe Lerndaten, die aus ~ 45.000 Stichproben bestehen, jede hat 21 Funktionen. Ich versuche, einen zufälligen …

8 classification random-forest out-of-sample

1

Interpretation der Dendrogrammhöhe für die Clusterbildung durch Korrelation

Angesichts des folgenden Datenrahmens: df <- data.frame(x1 = c(26, 28, 19, 27, 23, 31, 22, 1, 2, 1, 1, 1), x2 = c(5, 5, 7, 5, 7, 4, 2, 0, 0, 0, 0, 1), x3 = c(8, 6, 5, 7, 5, 9, 5, 1, 0, 1, 0, 1), x4 = …

8 r correlation hierarchical-clustering

2

Normalisierung von Dummy-Variablen

Meine Daten bestehen aus mehreren kontinuierlichen Messungen und einigen Dummy-Variablen, die die Jahre darstellen, in denen die Messungen durchgeführt wurden. Jetzt möchte ich ein neuronales Netzwerk mit den Daten lernen. Daher normalisiere ich zScore alle Variablen, einschließlich der Dummy-Variablen. Ich frage mich jedoch, ob dies ein vernünftiger Ansatz ist, da …

8 categorical-data normalization