Statistiken und Big Data dataset

2

Trainingsdaten sind unausgewogen - aber sollte mein Validierungssatz auch sein?

Ich habe Daten beschriftet, die aus 10000 positiven und 50000 negativen Beispielen bestehen, was insgesamt 60000 Beispiele ergibt. Offensichtlich sind diese Daten unausgewogen. Nehmen wir nun an, ich möchte meinen Validierungssatz erstellen und dazu 10% meiner Daten verwenden. Meine Frage lautet wie folgt: Sollte ich sicherstellen, dass mein Validierungssatz AUCH …

9 machine-learning neural-networks cross-validation dataset unbalanced-classes

5

Ist nominal, ordinal und binär für quantitative Daten, qualitative Daten oder beides?

Ich beschäftige mich mit Datentypen und brauche Hilfe: Wenn Sie sich das Bild oben ansehen (von hier aus aufgenommen ), hat es folgende Datentypen: Quantitativ (diskret, kontinuierlich) Qualitativ (Nominal (N), Ordinal (O), Binär (B)). Aber wenn Sie sich dieses nächste Bild (von hier ) ansehen , sind die Kategorien: Quantitativ …

9 categorical-data dataset ordinal-data binary-data

1

Warum bekomme ich von dieser ANOVA in R keinen p-Wert?

Hier sind die Daten: > tires <- data.frame(Wear = c(17, 14, 12, 13, 14, 14, 12, 11, 13, 13, 10, 11, 13, 8, 9, 9), Brand = rep(LETTERS[1:4], 4), Car = as.character(as.roman(rep(1:4, each = 4)))) > tires Wear Brand Car 1 17 A I 2 14 B I 3 12 …

9 r anova dataset degrees-of-freedom

1

Best Practices zum Messen und Vermeiden von Überanpassungen?

Ich entwickle automatisierte Handelssysteme für die Börse. Die große Herausforderung war die Überanpassung. Können Sie einige Ressourcen empfehlen, die Methoden zur Messung und Vermeidung von Überanpassungen beschreiben? Ich habe mit Trainings- / Validierungssätzen begonnen, aber der Validierungssatz wird immer verschmutzt. Außerdem ändern sich die Zeitreihendaten ständig, da sich der Markt …

9 time-series machine-learning dataset data-mining validation

1

Würden Sie diese Daten als betrügerisch kennzeichnen?

Angenommen, Sie haben einige Daten aus einem randomisierten Blockdesign mit 4 Wiederholungen und 23 Behandlungen erhalten. Nach einer ersten Überprüfung der Daten stellen Sie fest, dass bei 8 Behandlungen alle Wiederholungen identisch sind, was offensichtlich falsch ist. Nachdem Sie das Problem gemeldet haben, wird Ihnen mitgeteilt, dass es auf eine …

8 probability anova dataset fraud

2

Probleme mit der Ausreißererkennung

In einem Blogbeitrag schreibt Andrew Gelman : Die schrittweise Regression ist eines dieser Dinge, wie die Erkennung von Ausreißern und Kreisdiagramme, die bei Nicht-Statistikern beliebt zu sein scheinen, von Statistikern jedoch als Scherz angesehen werden. Ich verstehe den Verweis auf Kreisdiagramme, aber warum wird laut Gelman die Statistik der Ausreißer …

8 dataset outliers quality-control

2

Analyse der Rotationsdaten des Hamsterrades

Bevor ich diese Frage gestellt habe, habe ich andere Fragen zu diesem Stapel durchgesehen, und dies wird wahrscheinlich ein Spaziergang im Park für jeden sein, der sie liest! Die Beschreibung dieses Stacks beinhaltet jedoch Datenanalyse und -visualisierung. Ich hoffe, dass dies der richtige Ort ist! </ präpologie> Ich benutze einen …

8 data-visualization dataset

1

Warum wird die Variabilität relativ zu einem Punkt gemessen?

Warum werden Dispersionsmaße relativ zu einem zentralen Punkt berechnet? Warum wären beispielsweise nicht alle möglichen nicht wiederholten paarweisen Unterschiede im Datensatz ein gültiges Maß für die Streuung?

8 dataset standard-deviation theory variability

2

Wahrscheinlichkeitsfunktion von abgeschnittenen Daten

Ich habe ein wenig Probleme, das Konzept und die Ableitung der Wahrscheinlichkeit von Datenkürzungen zu verstehen. Wenn ich zum Beispiel die Wahrscheinlichkeitsfunktion basierend auf einer Stichprobe aus einer Verteilung finden möchte, aber wenn ich eine Stichprobe aus der Verteilung nehme, beobachte ich die abgeschnittenen Werte (wobei es einen Grenzwert für …

8 dataset likelihood

1

Konfidenzintervalle bei Verwendung des Bayes-Theorems

Ich berechne einige bedingte Wahrscheinlichkeiten und zugehörige 95% -Konfidenzintervalle. In vielen meiner Fälle habe ich eine einfache Anzahl von xErfolgen aus nVersuchen (aus einer Kontingenztabelle), sodass ich ein Binomial-Konfidenzintervall verwenden kann, wie es binom.confint(x, n, method='exact')in in angegeben ist R. In anderen Fällen habe ich solche Daten jedoch nicht, daher …

8 r bayesian confidence-interval conditional-probability hidden-markov-model segmentation hypothesis-testing statistical-significance multiple-comparisons multiple-regression r regression survey sample finite-population pca model-selection dataset partitioning clustering time-series least-squares regression standard-error causality r time-series outliers missing-data machine-learning svm hypothesis-testing discrete-data r data-visualization survey likert finance regression pca feature-selection stepwise-regression underdetermined svm natural-language

1

Wie erstelle ich eine schöne Übersichtstabelle?

Ich möchte, dass R die Daten, die es mir von der summary()Funktion gibt, in einer Tabelle anzeigt, damit ich diese problemlos teilen kann. Ich mache gerade summary()in der Konsole und mache dann einen Screenshot, aber ich würde dies lieber als eine schöne Tabelle generieren lassen, genau wie alle meine Grafiken. …

8 r dataset descriptive-statistics tables

1

Was bedeutet diese Unschärfe um die Linie in diesem Diagramm?

Ich habe mit ggplot2 mit den folgenden Befehlen herumgespielt, um eine Zeile an meine Daten anzupassen: ggplot(data=datNorm, aes(x=Num, y=Val)) + geom_point() + stat_summary(fun.data = "mean_cl_boot", geom="errorbar", colour="red", width=0.8) + stat_sum_single(median) + stat_sum_single(mean, colour="blue") + geom_smooth(level = 0.95, aes(group=1), method="lm") Die roten Punkte sind Medianwerte, blau sind die Mittelwerte und die …

8 r modeling dataset data-mining ggplot2

2

Computerspiel-Datensätze

Ich habe nach Datensätzen für Computerspiele gesucht, aber bisher konnte ich nur den Datensatz "Avatar-Verlauf" für WoW finden. Gibt es noch andere interessante Datensätze, möglicherweise für andere Genres?

8 data-mining dataset

1

Höhere Überanpassung durch Datenerweiterung mit Rauschen?

Ich trainiere ein neuronales Netzwerk für die Audioklassifizierung. Ich habe es auf dem UrbanSound8K-Datensatz (Modell 1) trainiert und wollte dann bewerten, wie unterschiedliche Pegel des zusätzlichen Rauschens zu den Eingaben die Vorhersagegenauigkeit beeinflussen. Basisgenauigkeit Modell1 = 65% Wie erwartet führten höhere Geräuschpegel zu einer geringeren Genauigkeit. Dann entschied ich mich …

8 classification neural-networks dataset overfitting

2

Zusammenfassung des GAM-Modells: Was versteht man unter „Bedeutung glatter Begriffe“?

Ich habe einen Datensatz, für den ich ein GAM-Modell erstelle, mit einer Reihe von Faktoren, die die abhängige Variable vorhersagen. Wenn ich eine Zusammenfassung des Modells mache, erhalte ich ein Diagramm, das die "Bedeutung von glatten Begriffen" angibt (was ziemlich bedeutsam ist). Was bedeutet das? Hier ist ein Beispiel einiger …

8 r dataset regression gam

Als «dataset» getaggte Fragen