Statistiken und Big Data

3

Warum schätzen wir den Mittelwert mithilfe von MLE, wenn wir bereits wissen, dass der Mittelwert der Durchschnitt der Daten ist?

Ich bin auf ein Problem im Lehrbuch gestoßen, um den Mittelwert abzuschätzen. Das Lehrbuchproblem ist wie folgt: Es sei angenommen, dass N.N.N Datenpunkte x1x1x_1 , x2x2x_2 ,. . . , xN.xN.x_N , wurden durch ein eindimensionales Gaußsches PDF mit unbekanntem Mittelwert, aber bekannter Varianz erzeugt. Leiten Sie die ML-Schätzung des …

11 self-study normal-distribution maximum-likelihood

1

Standardisierte VS-zentrierte Variablen

Ich habe auf stats.stackexchange.com viele nützliche Beiträge zu standardisierten unabhängigen Variablen und zentrierten unabhängigen Variablen gefunden, bin aber immer noch etwas verwirrt. Ich bitte Sie um eine Bewertung dessen, was ich verstanden habe. Wenn das Folgende nicht korrekt ist, können Sie mich bitte korrigieren? Wie man standardisiert. Standardisierte Variablen werden …

11 regression data-transformation interpretation standardization centering

1

Anzahl der Hauptkomponenten bei der Vorverarbeitung mit PCA im Caret-Paket in R.

Ich verwende das caretPaket in Rfür das Training von binären SVM-Klassifikatoren. Zur Reduzierung von Funktionen verarbeite ich mit PCA die integrierte Funktion, preProc=c("pca")wenn ich anrufe train(). Hier sind meine Fragen: Wie wählt Caret Hauptkomponenten aus? Gibt es eine feste Anzahl von Hauptkomponenten, die ausgewählt werden? Werden Hauptkomponenten durch einen gewissen …

11 r machine-learning pca cross-validation caret

1

Fragen zu PCA: Wann sind PCs unabhängig? Warum reagiert PCA empfindlich auf Skalierung? Warum müssen PCs orthogonal sein?

Ich versuche einige Beschreibungen von PCA zu verstehen (die ersten beiden stammen aus Wikipedia), Hervorhebung hinzugefügt: Hauptkomponenten sind nur dann garantiert unabhängig , wenn der Datensatz gemeinsam normalverteilt ist . Ist die Unabhängigkeit der Hauptkomponenten sehr wichtig? Wie kann ich diese Beschreibung verstehen? PCA reagiert empfindlich auf die relative Skalierung …

11 pca dimensionality-reduction

4

Ein Dirichlet-Prozessmodell verstehen und implementieren

Ich versuche, einen Dirichlet-Prozess zu implementieren und zu lernen, um meine Daten zu gruppieren (oder während die Leute beim maschinellen Lernen sprechen, schätzen Sie die Dichte). Ich habe viel Papier zu diesem Thema gelesen und bin irgendwie auf die Idee gekommen. Aber ich bin immer noch verwirrt; Hier sind eine …

11 machine-learning clustering dirichlet-process

2

Invarianzeigenschaft von MLE: Was ist die MLE von

Invarianzeigenschaft von MLE: if die MLE ist von , dann für eine beliebige Funktion , die MLE von ist . θf(θ)f(θ)f( θ )θ^θ^\hat{\theta}θθ\thetaf( θ )f(θ)f(\theta)f( θ )f(θ)f(\theta)f( θ^)f(θ^)f(\hat{\theta}) Außerdem muss eine Eins-zu-Eins-Funktion sein.fff Das Buch sagt: "Um beispielsweise , das Quadrat eines normalen Mittelwerts , zu schätzen , ist die …

11 maximum-likelihood point-estimation

1

Fehler "Der führende Minderjährige der Ordnung 1 ist nicht positiv definitiv" unter Verwendung von 2l.norm bei Mäusen

Ich habe ein Problem mit der 2l.normMethode der mehrstufigen Imputation in mice. Leider kann ich aufgrund der Größe meiner Daten kein reproduzierbares Beispiel veröffentlichen. Wenn ich die Größe reduziere, verschwindet das Problem. miceErzeugt für eine bestimmte Variable die folgenden Fehler und Warnungen: Error in chol.default(inv.sigma2[class] * X.SS[[class]] + inv.psi) : …

11 r missing-data multiple-imputation mice

3

Verteilungsklassen unter maximal geschlossen

Sei eine Klasse von Wahrscheinlichkeitsverteilungen auf nicht negativen Realzahlen, die durch parametrisiert sind , so dass Ich frage mich, welche bekannten Verteilungsklassen unter der Annahme des Maximums geschlossen werden und dh ob und sind unabhängig dann .QpQpQ_ppppQp([0,∞))=1.Qp([0,∞))=1. Q_p([0,\infty)) = 1. X1∼Qp1X1∼Qp1X_1\sim Q_{p_1}X2∼Qp2X2∼Qp2X_2\sim Q_{p_2}max(X1,X2)∼Qp3max(X1,X2)∼Qp3\max(X_1,X_2)\sim Q_{p_3}

11 distributions

2

So projizieren Sie einen Hash gleichmäßig auf eine feste Anzahl von Buckets

Hallo Statistiker, Ich habe eine Quelle, die Hashes generiert (z. B. das Berechnen eines Strings mit einem Zeitstempel und anderen Informationen und das Hashing mit md5) und ich möchte es in eine feste Anzahl von Buckets projizieren (z. B. 100). Beispiel-Hash: 0fb916f0b174c66fd35ef078d861a367 Was ich zuerst dachte, war, nur das erste …

11 uniform

2

Interpretation der Schrittausgabe in R.

In R soll der stepBefehl Ihnen helfen, die Eingabevariablen für Ihr Modell auszuwählen, oder? Folgendes kommt von example(step)#-> swiss& step(lm1) > step(lm1) Start: AIC=190.69 Fertility ~ Agriculture + Examination + Education + Catholic + Infant.Mortality Df Sum of Sq RSS AIC - Examination 1 53.03 2158.1 189.86 <none> 2105.0 190.69 …

11 r self-study stepwise-regression

4

Erhalten Sie alle Antworten richtig, indem Sie die gleiche Prüfung einige Male ablegen

Regen lernt nie, deshalb ist sie mittelfristig völlig ahnungslos, obwohl es nur aus Ja / Nein-Fragen besteht. Glücklicherweise erlaubt Rain's Professor ihr, die gleiche Halbzeit so oft zu wiederholen, wie sie will, aber er meldet nur die Punktzahl, sodass Rain nicht weiß, welche Probleme sie falsch gemacht hat. Wie kann …

11 probability distributions self-study entropy decision-theory

1

Was ist der Unterschied zwischen univariaten und multivariaten Zeitreihen?

Ich habe folgende Zeitreihendaten: index Time value_1 value_2 value_3 0 2016-04-01 06:00:10 1 5 2 1 2016-04-01 06:00:20 2 9 8 2 2016-04-01 06:00:30 3 5 1 3 2016-04-01 06:00:40 4 4 4 4 2016-04-01 06:00:50 3 4 5 6 2016-04-01 06:01:00 4 3 2 Ist das eine univariate oder …

11 time-series multivariate-analysis definition differences

3

Warum schwankt der Verlust / die Genauigkeit während des Trainings? (Keras, LSTM)

Ich benutze das LSTM-Netzwerk in Keras. Während des Trainings schwankt der Verlust stark und ich verstehe nicht, warum das passieren würde. Hier ist das NN, das ich ursprünglich verwendet habe: Und hier sind der Verlust und die Genauigkeit während des Trainings: (Beachten Sie, dass die Genauigkeit letztendlich tatsächlich 100% erreicht, …

11 lstm rnn keras

2

Balancing Reconstruction vs KL Loss Variational Autoencoder

Ich trainiere einen bedingten Variations-Autoencoder für einen Datensatz von Gesichtern. Wenn ich meinen KLL-Verlust gleich meinem Rekonstruktionsverlust-Term setze, scheint mein Autoencoder nicht in der Lage zu sein, verschiedene Proben zu produzieren. Ich bekomme immer die gleichen Arten von Gesichtern: Diese Proben sind schrecklich. Wenn ich jedoch das Gewicht des KLL-Verlusts …

11 machine-learning computer-vision autoencoders

1

Warum führt Entropie als Fehlermaß zu einer Überanpassung?

In diesem Beitrag zu KDnuggets, in dem der Beitrag von John Langford zitiert wird, heißt es, dass Entropie und gegenseitige Information, wenn sie als Fehlermaßnahmen verwendet werden, zu einer Überanpassung führen können. Könnten Sie näher darauf eingehen?

11 machine-learning error overfitting entropy