Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

3
Was bedeutet Bayesian Hypothesis Testing im Rahmen der Inferenz- und Entscheidungstheorie?
Mein Hintergrund liegt hauptsächlich im maschinellen Lernen und ich habe versucht zu lernen, was das Testen der Bayes'schen Hypothese bedeutet. Ich bin mit der Bayes'schen Interpretation der Wahrscheinlichkeit einverstanden und im Kontext probabilistischer grafischer Modelle damit vertraut. Was mich jedoch verwirrt, ist die Bedeutung des Wortes "Hypothese" im Zusammenhang mit …
4
Wie entwickelt man Intuition für bedingte Wahrscheinlichkeit?
In den Videovorträgen von Harvards Statistikkurs 110: Wahrscheinlichkeitsrechnung , die auf iTunes und YouTube zu finden sind, bin ich auf dieses Problem gestoßen . Ich habe versucht, es hier zusammenzufassen: Angenommen, wir erhalten eine zufällige Zwei-Karten-Hand aus einem Standardstapel. Wie groß ist die Wahrscheinlichkeit, dass beide Karten Asse sind, vorausgesetzt, …
2
Simulation von Zügen aus einer Gleichverteilung mit Zügen aus einer Normalverteilung
Ich habe kürzlich eine Data Science-Interviewressource gekauft, in der eine der Wahrscheinlichkeitsfragen wie folgt lautete: Wie kann man bei gegebenen Ziehungen aus einer Normalverteilung mit bekannten Parametern Ziehungen aus einer Gleichverteilung simulieren? Mein ursprünglicher Denkprozess war, dass wir für eine diskrete Zufallsvariable die Normalverteilung in K eindeutige Unterabschnitte aufteilen könnten, …
1
Sollte ich T-Test für stark verzerrte Daten verwenden? Wissenschaftlicher Beweis, bitte?
Ich habe Stichproben aus einem stark verzerrten Datensatz (der wie eine Exponentialverteilung aussieht) über die Teilnahme von Benutzern (z. B. Anzahl der Beiträge), die unterschiedliche Größen haben (aber nicht weniger als 200), und ich möchte deren Mittelwert vergleichen. Dafür verwende ich ungepaarte T-Tests mit zwei Stichproben (und T-Tests mit dem …
2
P-Werte im Permutationstest gleich 0
Ich habe zwei Datensätze und möchte wissen, ob sie sich erheblich unterscheiden oder nicht (dies kommt von " Zwei Gruppen unterscheiden sich erheblich? Test zu verwenden "). Ich habe mich für einen Permutationstest entschieden und in R Folgendes durchgeführt: permutation.test <- function(coding, lncrna) { coding <- coding[,1] # dataset1 lncrna …
4
Behobener Effekt gegen zufälligen Effekt, wenn alle Möglichkeiten in einem gemischten Effektmodell enthalten sind
In einem Modell mit gemischten Effekten wird empfohlen, einen Parameter anhand eines festen Effekts zu schätzen, wenn alle möglichen Werte enthalten sind (z. B. sowohl Männer als auch Frauen). Es wird weiterhin empfohlen, einen Zufallseffekt zu verwenden, um eine Variable zu berücksichtigen, wenn die enthaltenen Werte nur eine Zufallsstichprobe aus …
2
Anpassen des Mischungsmodells für das Clustering
Ich habe zwei Variablen - X und Y und ich muss den Cluster maximal (und optimal) = 5 machen. Der ideale Plot von Variablen sieht folgendermaßen aus: Ich würde gerne 5 Cluster daraus machen. Etwas wie das: Daher denke ich, dass dies ein Mischungsmodell mit 5 Clustern ist. Jeder Cluster …
1
Regression in der Einstellung : Wie wird die Regularisierungsmethode gewählt (Lasso, PLS, PCR, Ridge)?
Ich versuche herauszufinden , ob Ridge Regression , LASSO , Principal Component Regression (PCR) oder Partial Least Squares (PLS) in einer Situation mit einer großen Anzahl von Variablen / Merkmalen ( ) und einer geringeren Anzahl von Stichproben ( ), und mein Ziel ist die Vorhersage.pppn<pn<pn n , meistens ;p>10np>10np>10n …
2
Herleitung der Normalisierungstransformation für GLMs
\newcommand{\E}{\mathbb{E}} Wie lautet die -Normalisierungstransformation für die Exponentialfamilie? abgeleitet? A ( ⋅ ) = ∫ d uV 1 / 3 ( μ )A(⋅)=∫duV1/3(μ)A(\cdot) = \displaystyle\int\frac{du}{V^{1/3}(\mu)} Genauer gesagt : Ich habe versucht, der Taylor-Erweiterungsskizze auf Seite 3, Folie 1, zu folgen, habe aber mehrere Fragen. Mit aus einer Exponentialfamilie, Transformation und …
4
Wie merkwürdig ist eine Ansammlung von Flugzeugunfällen?
Originalfrage (25.07.14): Ist dieses Zitat aus den Nachrichtenmedien sinnvoll, oder gibt es eine bessere statistische Sichtweise auf die jüngsten Flugzeugunfälle? Barnett macht jedoch auch auf die Theorie der Poisson-Verteilung aufmerksam, wonach kurze Absturzintervalle wahrscheinlicher sind als lange. "Nehmen wir an, es gibt durchschnittlich einen tödlichen Unfall pro Jahr, was bedeutet, …
2
Gratregression - Bayesianische Interpretation
Ich habe gehört, dass die Gratregression als Mittelwert einer posterioren Verteilung abgeleitet werden kann, wenn der Prior angemessen gewählt wird. Ist die Intuition, dass die Einschränkungen, die für die Regressionskoeffizienten durch den Prior festgelegt wurden (z. B. Standardnormalverteilungen um 0), identisch sind / ersetzen die Strafe, die für die quadratische …
11
Anzeige von drei Informationen in einem Diagramm
Hinweis: Es werden jetzt 50 Rohdatenpunkte angehängt. Ich möchte anzeigen, wie viel und wie viele Seiten ich im Laufe der Woche nach Tagen aufgeteilt und wie unten gezeigt absolviert habe: Die Leute haben mir gesagt, dass sie die Grafiken nicht verstehen können, aber ich habe keine Ahnung, wie ich sie …
1
Thesaurus für Statistik und Maschinelles Lernen
Gibt es einen Referenzthesaurus für Statistiken und Begriffe des maschinellen Lernens? Ich weiß, dass Wikipedia-Artikel häufig Synonyme enthalten, aber ich hätte gerne einen bloßen Thesaurus, den ich einfach durchgehen könnte (im Gegensatz zu einer vollständigen Enzyklopädie), um sicherzustellen, dass ich den gesamten Jargon kenne.
3
Vorschläge für kostensensitives Lernen in einem sehr unausgewogenen Umfeld
Ich habe einen Datensatz mit einigen Millionen Zeilen und ~ 100 Spalten. Ich möchte ungefähr 1% der Beispiele im Datensatz erkennen, die zu einer gemeinsamen Klasse gehören. Ich habe eine minimale Genauigkeitsbeschränkung, aber aufgrund der sehr asymmetrischen Kosten bin ich nicht besonders an einem bestimmten Rückruf interessiert (solange mir nicht …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.