Statistiken und Big Data

7

Warum ist es schlecht, den Schülern beizubringen, dass p-Werte die Wahrscheinlichkeit sind, dass Befunde zufällig sind?

Kann jemand bitte eine nette kurze Erklärung anbieten, warum es keine gute Idee ist, den Schülern beizubringen, dass ein p-Wert das Problem ist (ihre Ergebnisse sind zufällig). Ich verstehe, dass ein p-Wert das Problem ist (extremere Daten erhalten | Nullhypothese ist wahr). Mein wirkliches Interesse ist, was es schadet , …

34 p-value randomness teaching

4

X und Y sind nicht korreliert, aber X ist ein signifikanter Prädiktor für Y bei multipler Regression. Was heißt das?

X und Y sind nicht korreliert (-.01); Wenn ich jedoch X in eine multiple Regression lege, die Y vorhersagt, sind neben drei (A, B, C) anderen (verwandten) Variablen auch X und zwei andere Variablen (A, B) signifikante Prädiktoren für Y. Beachten Sie, dass die beiden anderen ( A, B) Variablen …

34 regression correlation interpretation causality

3

Welche Beziehung besteht zwischen hierarchischen Modellen, neuronalen Netzwerken, grafischen Modellen und bayesianischen Netzwerken?

Sie scheinen alle Zufallsvariablen durch die Knoten und (in) Abhängigkeit über die (möglicherweise gerichteten) Kanten darzustellen. Mich interessiert vor allem die Sichtweise eines Bayesianers.

34 causality neural-networks multilevel-analysis graphical-model

4

Wie interpretiere ich den Mittelwert der Silhouette?

Ich versuche, Silhouette Plot zu verwenden, um die Anzahl der Cluster in meinem Datensatz zu bestimmen. Angesichts des Datensatzes Train habe ich den folgenden Matlab-Code verwendet Train_data = full(Train); Result = []; for num_of_cluster = 1:20 centroid = kmeans(Train_data,num_of_cluster,'distance','sqeuclid'); s = silhouette(Train_data,centroid,'sqeuclid'); Result = [ Result; num_of_cluster mean(s)]; end plot( …

34 data-visualization clustering matlab

3

Wie überwindet die Kreuzvalidierung das Problem der Überanpassung?

Warum löst ein Kreuzvalidierungsverfahren das Problem der Überanpassung eines Modells?

34 regression model-selection cross-validation

3

Warum wird t-SNE nicht als Dimensionsreduktionstechnik für Clustering oder Klassifizierung verwendet?

In einer kürzlich durchgeführten Aufgabe wurde uns befohlen, PCA für die MNIST-Ziffern zu verwenden, um die Abmessungen von 64 (8 x 8 Bilder) auf 2 zu reduzieren. Anschließend mussten wir die Ziffern mit einem Gaußschen Mischungsmodell gruppieren. PCA, das nur zwei Hauptkomponenten verwendet, ergibt keine eindeutigen Cluster, weshalb das Modell …

34 classification clustering pca dimensionality-reduction tsne

3

Interpretation der mittleren Abnahme der Genauigkeit und der mittleren Abnahme des GINI in Random Forest-Modellen

Ich habe einige Schwierigkeiten zu verstehen, wie die Ausgabe mit variabler Wichtigkeit aus dem Random Forest-Paket interpretiert wird. Die mittlere Abnahme der Genauigkeit wird normalerweise als "die Abnahme der Modellgenauigkeit durch Permutieren der Werte in jedem Merkmal" beschrieben. Handelt es sich um eine Aussage über das gesamte Feature oder um …

34 r machine-learning classification random-forest

5

Was genau ist ein Bayes'sches Modell?

Kann ich ein Modell, in dem der Bayes'sche Satz verwendet wird, als "Bayes'sches Modell" bezeichnen? Ich fürchte, eine solche Definition könnte zu weit gefasst sein. Was genau ist ein Bayes'sches Modell?

34 machine-learning bayesian

2

Warum wird ein Likelihood-Ratio-Test im Chi-Quadrat verteilt?

Warum ist die Teststatistik eines Likelihood-Ratio-Tests im Chi-Quadrat verteilt? 2 ( ln La l t m o d e l - In Ln u l l m o d e l ) ~ Χ2dfa l t- dfn u l l2(ln⁡ Lalt model−ln⁡ Lnull model)∼χdfalt−dfnull22(\ln \text{ L}_{\rm alt\ model} - \ln …

34 distributions chi-squared likelihood-ratio

5

Finden Sie den erwarteten Wert mit CDF

Ich beginne damit, dass dies direkt aus dem Buch heraus ein Problem mit den Hausaufgaben ist. Ich habe ein paar Stunden damit verbracht, nach den erwarteten Werten zu suchen, und festgestellt, dass ich nichts verstehe. Lassen Sie XXX die CDF . Suchen Sie für die Werte von für die existiert.F(x)=1−x−α,x≥1F(x)=1-x-α,x≥1F(x) …

34 self-study expected-value

3

Warum gibt es einen Unterschied zwischen der manuellen Berechnung eines Konfidenzintervalls für eine logistische Regression von 95% und der Verwendung der Funktion confint () in R?

Sehr geehrte Damen und Herren, mir ist etwas Merkwürdiges aufgefallen, das ich Ihnen nicht erklären kann. Zusammenfassend lässt sich sagen, dass der manuelle Ansatz zur Berechnung eines Konfidenzintervalls in einem logistischen Regressionsmodell und die R-Funktion confint()unterschiedliche Ergebnisse liefern. Ich habe die angewandte logistische Regression von Hosmer & Lemeshow (2. Auflage) …

34 r regression logistic confidence-interval profile-likelihood correlation mcmc error mixture measurement data-augmentation r logistic goodness-of-fit r time-series exponential descriptive-statistics average expected-value data-visualization anova teaching hypothesis-testing multivariate-analysis r r mixed-model clustering categorical-data unsupervised-learning r logistic anova binomial estimation variance expected-value r r anova mixed-model multiple-comparisons repeated-measures project-management r poisson-distribution control-chart project-management regression residuals r distributions data-visualization r unbiased-estimator kurtosis expected-value regression spss meta-analysis r censoring regression classification data-mining mixture

6

Data Mining: Wie soll ich vorgehen, um das funktionale Formular zu finden?

Ich bin gespannt auf wiederholbare Verfahren , die verwendet werden können , die funktionale Form der Funktion zu entdecken , y = f(A, B, C) + error_termwo meine einzige Eingabe eine Reihe von Beobachtungen ist ( y, A, Bund C). Bitte beachten Sie, dass die Funktionsform funbekannt ist. Betrachten Sie …

34 regression machine-learning algorithms model-selection data-mining

4

Was ist die schwache Seite von Entscheidungsbäumen?

Entscheidungsbäume scheinen eine sehr verständliche Methode des maschinellen Lernens zu sein. Einmal erstellt, kann es leicht von einem Menschen inspiziert werden, was bei einigen Anwendungen von großem Vorteil ist. Was sind die praktischen Schwächen von Entscheidungsbäumen?

34 machine-learning nonparametric cart

3

Gibt es ein Supervised-Learning-Problem, bei dem (tiefe) neuronale Netze offensichtlich keine anderen Methoden übertreffen konnten?

Ich habe gesehen, dass die Leute SVM und Kernel sehr genau unter die Lupe genommen haben und als Einsteiger in das maschinelle Lernen ziemlich interessant aussehen. Aber wenn wir erwarten, dass wir in Bezug auf (tiefes) neuronales Netzwerk fast immer eine überdurchschnittliche Lösung finden, was bedeutet es dann, in dieser …

33 machine-learning svm kernel-trick supervised-learning

2

Ist dies die neueste Regressionsmethode?

Ich verfolge schon seit langer Zeit Kaggle-Wettbewerbe und stelle fest, dass viele Gewinnstrategien mindestens einen der "großen Dreier" beinhalten: Absacken, Boosten und Stapeln. Bei Regressionen scheint es nicht sinnvoll zu sein, ein bestmögliches Regressionsmodell zu erstellen, sondern mehrere Regressionsmodelle wie (verallgemeinerte) lineare Regression, Zufallswald-, KNN-, NN- und SVM-Regressionsmodelle zu erstellen …

33 predictive-models boosting bagging stacking model-averaging