Statistiken und Big Data categorical-data

2

Was ist die Rechtfertigung für eine unbeaufsichtigte Diskretisierung kontinuierlicher Variablen?

Eine Reihe von Quellen deuten darauf hin, dass die Diskretisierung (Kategorisierung) kontinuierlicher Variablen vor der statistischen Analyse viele negative Folgen hat (Referenzbeispiel [1] - [4] unten). Umgekehrt [5] wird vermutet, dass einige Techniken des maschinellen Lernens bekanntermaßen bessere Ergebnisse liefern, wenn kontinuierliche Variablen diskretisiert werden (wobei auch zu beachten ist, …

8 machine-learning generalized-linear-model categorical-data binning

2

Clustering von Daten mit einer Mischung aus kontinuierlichen und kategorialen Variablen

Ich habe Daten, die einen Aspekt des menschlichen Verhaltens darstellen. Ich möchte es (unbeaufsichtigt) in irgendeine Art von Verhaltensprofilen gruppieren. Jetzt sind einige meiner Variablen kategorisch (mit 2 oder mehr Kategorien) und einige sind kontinuierlich (die meisten sind Prozentsätze). Einige Variablen sind noch komplexer, da eine Kategorie weiter kontinuierlich ist …

8 r clustering categorical-data continuous-data

2

Normalisierung von Dummy-Variablen

Meine Daten bestehen aus mehreren kontinuierlichen Messungen und einigen Dummy-Variablen, die die Jahre darstellen, in denen die Messungen durchgeführt wurden. Jetzt möchte ich ein neuronales Netzwerk mit den Daten lernen. Daher normalisiere ich zScore alle Variablen, einschließlich der Dummy-Variablen. Ich frage mich jedoch, ob dies ein vernünftiger Ansatz ist, da …

8 categorical-data normalization

2

Warum würde ein statistisches Modell bei einem riesigen Datensatz überanpassen?

Für mein aktuelles Projekt muss ich möglicherweise ein Modell erstellen, um das Verhalten einer bestimmten Personengruppe vorherzusagen. Der Trainingsdatensatz enthält nur 6 Variablen (ID dient nur zu Identifikationszwecken): id, age, income, gender, job category, monthly spend in dem monthly spendist die Antwortvariable. Der Trainingsdatensatz enthält jedoch ungefähr 3 Millionen Zeilen, …

8 modeling large-data overfitting clustering algorithms error spatial r regression predictive-models linear-model average measurement-error weighted-mean error-propagation python standard-error weighted-regression hypothesis-testing time-series machine-learning self-study arima regression correlation anova statistical-significance excel r regression distributions statistical-significance contingency-tables regression optimization measurement-error loss-functions image-processing java panel-data probability conditional-probability r lme4-nlme model-comparison time-series probability probability conditional-probability logistic multiple-regression model-selection r regression model-based-clustering svm feature-selection feature-construction time-series forecasting stationarity r distributions bootstrap r distributions estimation maximum-likelihood garch references probability conditional-probability regression logistic regression-coefficients model-comparison confidence-interval r regression r generalized-linear-model outliers robust regression classification categorical-data r association-rules machine-learning distributions posterior likelihood r hypothesis-testing normality-assumption missing-data convergence expectation-maximization regression self-study categorical-data regression simulation regression self-study self-study gamma-distribution modeling microarray synthetic-data

2

Vorhersage kategorialer Antwortvariablen

Ich habe die folgenden Daten (in R codiert): v.a = c('cat', 'dog', 'dog', 'goat', 'cat', 'goat', 'dog', 'dog') v.b = c(1, 2, 1, 2, 1, 2, 1, 2) v.c = c('blue', 'red', 'blue', 'red', 'red', 'blue', 'yellow', 'yellow') set.seed(12) v.d = rnorm(8) aov(v.a ~ v.b + v.c + v.d) # …

8 r logistic anova categorical-data multinomial

2

Gruppieren Sie kategoriale Variablen in glmnet

Betrachten Sie die folgende Passform: fit3a=glmnet(x,g4,family="multinomial",type.multinomial="grouped") Wie gebe ich an, welche Spalten xkategorisch / multinomial sind? Gibt es eine Option, um den Index der gruppierten Variablen anzugeben? In der Dokumentation wird die Option type.multinomialwie folgt beschrieben: Wenn "gruppiert", wird eine gruppierte Lasso-Strafe für die multinomialen Koeffizienten für eine Variable verwendet. …

8 categorical-data glmnet

1

Dummy-Codierung für Kontraste: 0,1 vs. 1, -1

Ich bitte Sie um Ihre Hilfe, um den Unterschied zwischen zwei verschiedenen Kontrasten für dichotome Variablen zu verstehen. Auf dieser Seite: http://www.psychstat.missouristate.edu/multibook/mlt08.htm unter "Dichotome Prädiktorvariablen" gibt es zwei Möglichkeiten, dichotome Prädiktoren zu codieren: Verwenden des Kontrasts 0,1 oder des Kontrasts 1, -1 . Ich verstehe die Unterscheidung hier irgendwie (0,1 …

8 multiple-regression categorical-data categorical-encoding

3

Wie kann ich dieselbe kategoriale Variable in zwei Populationen testen?

Ich habe Daten, die ungefähr so aussehen: ID Status 01 A 02 G 03 E ... ... 100 G Sie haben die Idee, denke ich. Ich habe diese Daten aus zwei verschiedenen Populationen (Kohorten) und möchte die Verteilung der Statusvariablen in einer Population mit der Verteilung in einer anderen vergleichen. …

8 r hypothesis-testing categorical-data chi-squared

4

R: Berechnung des Mittelwerts und des Standardfehlers des Mittelwerts für Faktoren mit lm () vs. direkte Berechnung - bearbeitet

Beim Umgang mit Daten mit Faktoren kann R verwendet werden, um die Mittelwerte für jede Gruppe mit der Funktion lm () zu berechnen. Dies gibt auch die Standardfehler für die geschätzten Mittelwerte an. Dieser Standardfehler unterscheidet sich jedoch von dem, was ich aus einer manuellen Berechnung erhalte. Hier ist ein …

8 r categorical-data mean lm

3

Post-hoc-Test in einer 2x3-ANOVA mit gemischtem Design unter Verwendung von SPSS?

Ich habe zwei Gruppen von 10 Teilnehmern, die während eines Experiments dreimal bewertet wurden. Um die Unterschiede zwischen den Gruppen und zwischen den drei Bewertungen zu testen, führte ich eine 2 × 3-ANOVA mit gemischtem Design mit group(Kontrolle, experimentell), time(erste, zweite, drei) und group x time. Beides timeund groupErgebnis signifikant, …

8 anova mixed-model spss post-hoc bonferroni time-series unevenly-spaced-time-series classification normal-distribution discriminant-analysis probability normal-distribution estimation sampling classification svm terminology pivot-table random-generation self-study estimation sampling estimation categorical-data maximum-likelihood excel least-squares instrumental-variables 2sls total-least-squares correlation self-study variance unbiased-estimator bayesian mixed-model ancova statistical-significance references p-value fishers-exact probability monte-carlo particle-filter logistic predictive-models modeling interaction survey hypothesis-testing multiple-regression regression variance data-transformation residuals minitab r time-series forecasting arima garch correlation estimation least-squares bias pca predictive-models genetics sem partial-least-squares nonparametric ordinal-data wilcoxon-mann-whitney bonferroni wilcoxon-signed-rank traminer regression econometrics standard-error robust misspecification r probability logistic generalized-linear-model r-squared effect-size gee ordered-logit bayesian classification svm kernel-trick nonlinear bayesian pca dimensionality-reduction eigenvalues probability distributions mathematical-statistics estimation nonparametric kernel-smoothing expected-value filter mse time-series correlation data-visualization clustering estimation predictive-models recommender-system sparse hypothesis-testing data-transformation parametric probability summations correlation pearson-r spearman-rho bayesian replicability dimensionality-reduction discriminant-analysis outliers weka

3

Testen gepaarter Frequenzen auf Unabhängigkeit

Ich hoffe, das ist nicht viel zu einfach oder überflüssig. Ich habe mich nach Rat umgesehen, bin mir aber bisher noch nicht sicher, wie ich vorgehen soll. Meine Daten bestehen aus Zählungen einer bestimmten Struktur, die in Gesprächen zwischen Gesprächspartnerpaaren verwendet werden. Die Hypothese, die ich testen möchte, lautet wie …

8 categorical-data independence

3

Varianz einer Verteilung von mehrstufigen kategorialen Daten

Ich analysiere derzeit große Datenmengen mit verschiedenen Merkmalen (z. B. Stadt). Ich wollte ein Maß finden, das im Wesentlichen sagt, wie viel oder wie wenig Abweichung zwischen den Daten besteht. Dies wäre viel nützlicher, als nur die Anzahl der verschiedenen Elemente zu ermitteln. Betrachten Sie beispielsweise die folgenden Daten: City …

8 distributions categorical-data variance ecology

1

Warum verbessert die Reduzierung eines Regressionsmodells in ein Klassifizierungsmodell durch Ausgabediskretisierung ein Modell?

Wenn bei Regressionsproblemen die Ausgabe in Bins / Kategorien / Cluster diskretisiert und als Beschriftungen verwendet wird, wird das Modell auf ein Klassifizierungsmodell reduziert. Meine Frage ist: Was ist die theoretische oder angewandte Motivation für diese Reduzierung? In meinen speziellen Experimenten zur Vorhersage des Standorts anhand von Text habe ich …

7 regression classification categorical-data continuous-data

3

Ganzzahlige Daten: kategorisch oder kontinuierlich?

Ich frage mich, ob ganzzahlige Prädiktordaten als kategorisch (daher codierungsbedürftig) oder kontinuierlich behandelt werden sollten. Wenn der Bereich eines bestimmten Prädiktors Xbeispielsweise alle Ganzzahlen zwischen 1 und 230 sind, kann ich ihn dann als kontinuierliche Variable behandeln oder sollte ich ihn codieren, um 230 (oder vielleicht 229) neue Dummy-Variablen zu …

7 regression classification categorical-data continuous-data

Als «categorical-data» getaggte Fragen