Statistiken und Big Data

1

Warum kann eine einzelne ReLU keine ReLU lernen?

Als Folge dessen, dass mein neuronales Netzwerk nicht einmal die euklidische Distanz lernen kann, vereinfachte ich noch mehr und versuchte, eine einzelne ReLU (mit zufälliger Gewichtung) zu einer einzelnen ReLU zu trainieren. Dies ist das einfachste Netzwerk, das es gibt, und dennoch scheitert die Konvergenz in der Hälfte der Zeit. …

15 machine-learning neural-networks optimization keras

2

Berechnung der Konfidenzintervalle für eine logistische Regression

Ich verwende eine binomiale logistische Regression, um zu ermitteln, ob ein Benutzer mit der Wahrscheinlichkeit auf etwas klickt has_xoder es has_ybeeinträchtigt. Mein Modell ist das folgende: fit = glm(formula = has_clicked ~ has_x + has_y, data=df, family = binomial()) Dies ist die Ausgabe von meinem Modell: Call: glm(formula = has_clicked …

15 regression logistic standard-error logit

4

Akzeptanz der Nullhypothese

Dies ist eine Diskussionsfrage zum Schnittpunkt von Statistik und anderen Wissenschaften. Ich stehe oft vor dem gleichen Problem: Forscher auf meinem Gebiet neigen dazu zu sagen, dass es keinen Effekt gibt, wenn der p-Wert nicht unter dem Signifikanzniveau liegt. Anfangs habe ich oft geantwortet, dass dies nicht die Funktionsweise von …

15 hypothesis-testing

2

Was ist Bayes Error beim maschinellen Lernen?

http://www.deeplearningbook.org/contents/ml.html In diesem Abschnitt wird der Bayes-Fehler wie folgt erläutert Das ideale Modell ist ein Orakel, das einfach die wahre Wahrscheinlichkeitsverteilung kennt, die die Daten erzeugt. Sogar ein solches Modell wird bei vielen Problemen immer noch Fehler verursachen, da möglicherweise immer noch Rauschen in der Verteilung vorhanden ist. Im Fall …

15 machine-learning deep-learning terminology

3

Methoden, um das Problem fehlender Daten beim maschinellen Lernen zu umgehen

Nahezu jede Datenbank, die wir mithilfe von Algorithmen für maschinelles Lernen vorhersagen möchten, findet für einige der Merkmale fehlende Werte. Es gibt verschiedene Ansätze, um dieses Problem zu lösen und Zeilen mit fehlenden Werten auszuschließen, bis sie mit den Mittelwerten der Merkmale gefüllt sind. Ich würde gerne einen etwas robusteren …

15 machine-learning scikit-learn data-imputation

2

Was ist "Grundlinie" in der Präzisionsrückrufkurve

Ich versuche, die Genauigkeits-Rückrufkurve zu verstehen. Ich verstehe, was Präzision und Rückruf sind, aber das, was ich nicht verstehe, ist der "Grundlinien" -Wert. Ich habe diesen Link gelesen https://classeval.wordpress.com/introduction/introduction-to-the-precision-recall-plot/ und ich verstehe den in "Eine Präzisions-Rückruf-Kurve eines perfekten Klassifikators" gezeigten Grundlinienteil nicht. Was macht es? und wie berechnen wir das? …

15 r machine-learning classification precision-recall

3

Wie schätzt "predict.randomForest" Klassenwahrscheinlichkeiten?

Wie randomForestschätzt das Paket Klassenwahrscheinlichkeiten, wenn ich verwende predict(model, data, type = "prob")? Ich habe rangerzufällige Gesamtstrukturen mit dem probability = TArgument trainiert , um Wahrscheinlichkeiten vorherzusagen. rangerIn der Dokumentation heißt es: Bauen Sie einen Wahrscheinlichkeitswald wie in Malley et al. (2012). Ich habe einige Daten simuliert und beide Pakete …

15 r random-forest prediction

1

Welche Mehrfachvergleichsmethode kann für ein älteres Modell verwendet werden: lsmeans oder glht?

Ich analysiere einen Datensatz unter Verwendung eines gemischten Effektmodells mit einem festen Effekt (Bedingung) und zwei zufälligen Effekten (Teilnehmer aufgrund des innerhalb des Motivs und des Paares). Das Modell wurde mit dem erzeugten lme4Paket: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Als nächstes führte ich einen Likelihood-Ratio-Test dieses Modells gegen das Modell ohne festen Effekt (Bedingung) …

15 r repeated-measures multiple-comparisons post-hoc lsmeans bayesian posterior marginal integral anova time-series regularization machine-learning pca computational-statistics references inference regression cross-validation python random-forest chi-squared spearman-rho r machine-learning confidence-interval bagging clustering feature-selection model-selection bic hypothesis-testing kurtosis r regression residuals terminology

3

Nützlichkeit des Frisch-Waugh-Theorems

Ich soll den Satz von Frish Waugh in Ökonometrie unterrichten, den ich nicht studiert habe. Ich habe die Mathematik dahinter verstanden und hoffe auch, dass "der Koeffizient, den Sie für einen bestimmten Koeffizienten aus einem multiplen linearen Modell erhalten, dem Koeffizienten des einfachen Regressionsmodells entspricht, wenn Sie den Einfluss der …

15 regression econometrics least-squares projection decomposition

2

Durchschnittlicher ROC für die wiederholte 10-fache Kreuzvalidierung mit Wahrscheinlichkeitsschätzungen

Ich plane, eine wiederholte (10-mal) geschichtete 10-fache Kreuzvalidierung für etwa 10.000 Fälle mithilfe eines Algorithmus für maschinelles Lernen durchzuführen. Jedes Mal wird die Wiederholung mit verschiedenen zufälligen Samen durchgeführt. In diesem Prozess erstelle ich 10 Instanzen von Wahrscheinlichkeitsschätzungen für jeden Fall. 1 Instanz der Wahrscheinlichkeitsschätzung für jede der 10 Wiederholungen …

15 roc

1

Zufälliges Parameterproblem

Ich bemühe mich immer, die wahre Essenz des Problems der zufälligen Parameter zu finden. Ich habe mehrmals gelesen, dass die Fixeffektschätzer von nichtlinearen Paneldatenmodellen aufgrund des "bekannten" zufälligen Parameterproblems stark verzerrt sein können. Wenn ich nach einer klaren Erklärung für dieses Problem frage, lautet die typische Antwort: Angenommen, die Paneldaten …

15 nonlinear-regression fixed-effects-model bias

1

Einschließlich Interaktionsbegriffe in zufälliger Gesamtstruktur

Angenommen, wir haben eine Antwort Y und Prädiktoren X1, ...., Xn. Wenn wir versuchen würden, Y über ein lineares Modell von X1, ..., Xn anzupassen, und es wäre einfach so, dass die wahre Beziehung zwischen Y und X1, ..., Xn nicht linear wäre, könnten wir in der Lage sein um …

15 machine-learning random-forest

1

Was ist "Zielgerichtete maximale Wahrscheinlichkeitserwartung"?

Ich versuche einige Artikel von Mark van der Laan zu verstehen. Er ist ein theoretischer Statistiker in Berkeley, der an Problemen arbeitet, die sich erheblich mit maschinellem Lernen überschneiden. Ein Problem für mich (neben der tiefen Mathematik) ist, dass er häufig bekannte Ansätze des maschinellen Lernens mit einer völlig anderen …

15 mathematical-statistics estimation nonparametric autocorrelation censoring

3

Testen Sie, ob mehrdimensionale Verteilungen gleich sind

Nehmen wir an, ich habe zwei oder mehr Stichprobenpopulationen von n-dimensionalen Vektoren mit kontinuierlichem Wert. Gibt es eine nichtparametrische Möglichkeit zu testen, ob diese Proben von derselben Verteilung stammen? Wenn ja, gibt es dafür eine Funktion in R oder Python?

15 r distributions nonparametric python

2

Warum ist die Skalierung für die lineare SVM-Klassifizierung wichtig?

Bei der Durchführung der linearen SVM-Klassifizierung ist es häufig hilfreich, die Trainingsdaten zu normalisieren, indem beispielsweise der Mittelwert subtrahiert und durch die Standardabweichung dividiert wird, und anschließend die Testdaten mit dem Mittelwert und der Standardabweichung der Trainingsdaten zu skalieren. Warum ändert dieser Prozess die Klassifizierungsleistung dramatisch?

15 machine-learning svm standardization