Statistiken und Big Data

1

Pooling von Kalibrierungsplots nach mehrfacher Imputation

Ich möchte Ratschläge zum Zusammenfassen der Kalibrierungsdiagramme / -statistiken nach mehrfacher Imputation. Bei der Entwicklung statistischer Modelle zur Vorhersage eines zukünftigen Ereignisses (z. B. Verwendung von Daten aus Krankenhausakten zur Vorhersage des Überlebens oder von Ereignissen nach der Entlassung aus dem Krankenhaus) kann man sich vorstellen, dass einige zu viele …

15 data-visualization data-imputation multiple-imputation pooling calibration

2

Wie kann die logistische Regression Kurven erzeugen, die keine herkömmlichen Funktionen sind?

Ich glaube, ich habe einige grundsätzliche Verwirrung darüber, wie die Funktionen in der logistischen Regression funktionieren (oder vielleicht nur als Ganzes funktionieren). Wie kommt es, dass die Funktion h (x) die Kurve links im Bild erzeugt? Ich sehe, dass dies eine Darstellung von zwei Variablen ist, aber dann sind diese …

15 logistic data-visualization function

5

Was bedeutet "eigentlich" gepoolte Varianz?

Ich bin ein Noob in der Statistik, also könntet ihr mir bitte hier raushelfen. Meine Frage lautet: Was bedeutet eigentlich gepoolte Varianz ? Wenn ich im Internet nach einer Formel für gepoolte Varianz suche, finde ich viel Literatur mit der folgenden Formel (zum Beispiel hier: http://math.tntech.edu/ISR/Mathematical_Statistics/Introduction_to_Statistical_Tests/thispage/newnode19.html) ): S2p=S21(n1−1)+S22(n2−1)n1+n2−2Sp2=S12(n1−1)+S22(n2−1)n1+n2−2\begin{equation} \label{eq:stupidpooledvar} \displaystyle …

15 variance mean pooling

2

Warum ist die Maximierung der Erwartungen für Mischmodelle wichtig?

Es gibt viele Literaturstellen, in denen die Expectation Maximization-Methode für Mischmodelle (Mischung aus Gauß-Modell, Hidden-Markov-Modell usw.) im Vordergrund steht. Warum ist EM wichtig? EM ist nur eine Möglichkeit zur Optimierung und wird nicht häufig als gradientenbasierte Methode (Gradient Decent oder Newton's / Quasi-Newton-Methode) oder als andere gradientenfreie Methode verwendet, die …

15 machine-learning optimization expectation-maximization gaussian-mixture

2

Was ist eine gute Methode für das Kurztext-Clustering?

Ich arbeite an einem Text-Clustering-Problem. Die Daten enthalten mehrere Sätze. Gibt es einen guten Algorithmus, der bei kurzen Texten eine hohe Genauigkeit erzielt? Können Sie gute Referenzen vorlegen? Algorithmen wie KMeans und Spectral Clustering funktionieren für dieses Problem nicht gut.

15 machine-learning clustering text-mining

5

Betrügt es, die Ausreißer auf der Grundlage des Boxplots des mittleren absoluten Fehlers zu löschen, um ein Regressionsmodell zu verbessern?

Ich habe ein Vorhersagemodell mit vier Methoden getestet, wie Sie in der Boxplot-Abbildung unten sehen können. Das vom Modell vorhergesagte Attribut liegt im Bereich von 0 bis 8. Möglicherweise stellen Sie fest, dass bei allen Methoden ein Ausreißer mit Obergrenze und drei Ausreißer mit Untergrenze angegeben sind. Ich frage mich, …

15 regression machine-learning multiple-regression predictive-models outliers

1

Was ist der Unterschied zwischen regulärer PCA und probabilistischer PCA?

Ich weiß, dass reguläre PCA nicht dem Wahrscheinlichkeitsmodell für beobachtete Daten folgt. Was ist der grundlegende Unterschied zwischen PCA und PPCA ? In PPCA enthält das latente Variablenmodell zum Beispiel beobachtete Variablen , latente (nicht beobachtete Variablen ) und eine Matrix , die nicht wie bei regulären PCA orthonormal sein …

15 pca

2

Wie fülle ich fehlende Daten in Zeitreihen ein?

Ich habe eine große Anzahl von Verschmutzungsdaten, die im Laufe von 2 Jahren alle 10 Minuten aufgezeichnet wurden, es gibt jedoch eine Reihe von Lücken in den Daten (einschließlich einiger, die sich über mehrere Wochen erstrecken). Die Daten scheinen ziemlich saisonal zu sein und es gibt tagsüber eine große Variation …

15 time-series missing-data data-imputation

5

Approximationsfehler des Konfidenzintervalls für den Mittelwert, wenn

Sei eine Familie von iid Zufallsvariablen, die Werte in annehmen und einen Mittelwert und eine Varianz . Ein einfaches Konfidenzintervall für den Mittelwert unter Verwendung von ist gegeben durch {Xi}ni=1{Xich}ich=1n\{X_i\}_{i=1}^n[0,1][0,1][0,1]μμ\muσ2σ2\sigma^2σσ\sigmaP(|X¯−μ|>ε)≤σ2nε2≤1nε2(1).P(|X¯-μ|>ε)≤σ2nε2≤1nε2(1). P( | \bar X - \mu| > \varepsilon) \le \frac{\sigma^2}{n\varepsilon^2} \le\frac{1}{n \varepsilon^2} \qquad (1). Da als normale Zufallsvariable asymptotisch verteilt …

15 normal-distribution confidence-interval references asymptotics approximation

2

Gute Genauigkeit trotz hohem Verlustwert

Während des Trainings eines einfachen Binärklassifikators für neuronale Netze erhalte ich einen hohen Verlustwert unter Verwendung von Kreuzentropie. Trotzdem ist die Genauigkeit des Validierungssatzes recht gut. Hat es eine Bedeutung? Gibt es keine strikte Korrelation zwischen Verlust und Genauigkeit? Ich habe auf Training und Validierung diese Werte: 0.4011 - acc: …

15 neural-networks accuracy

1

Ein unvoreingenommener Schätzer des Verhältnisses zweier Regressionskoeffizienten?

Angenommen, Sie passen eine lineare / logistische Regression mit dem Ziel einer unverzerrten Schätzung von . Sie sind sehr zuversichtlich, dass sowohl als auch in Bezug auf das Rauschen in ihren Schätzungen sehr positiv sind.a 1G( y) = a0+ a1⋅ x1+ a2⋅ x2g(y)=a0+a1⋅x1+a2⋅x2g(y) = a_0 + a_1\cdot x_1 + a_2\cdot …

15 regression regression-coefficients unbiased-estimator ratio

2

Für iid Zufalls varianbles

Gibt es eine Verteilung für zwei iid Zufallsvariablen bei der die gemeinsame Verteilung von X - Y über die Unterstützung gleichmäßig ist [0,1]?X, YX,Y.X,YX- YX-Y.X-Y

15 distributions random-variable

1

Wie kann der stochastische Gradientenabstieg im Vergleich zum normalen Gradientenabstieg Zeit sparen?

Standardgradientenabstieg berechnet den Gradienten für den gesamten Trainingsdatensatz. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Für eine vordefinierte Anzahl von Epochen berechnen wir zunächst den Gradientenvektor Weight_Grad der Verlustfunktion für den gesamten Datensatz mit unseren Parametervektorparametern. Im Gegensatz dazu führt der …

15 machine-learning optimization gradient-descent computational-statistics sgd

4

In welchen realen Situationen können wir einen mehrarmigen Banditenalgorithmus verwenden?

Multi-Arm-Banditen funktionieren gut in Situationen, in denen Sie die Wahl haben und nicht sicher sind, welche Banditen Ihr Wohlbefinden maximieren. Sie können den Algorithmus für einige reale Situationen verwenden. Lernen kann zum Beispiel ein gutes Feld sein: Wenn ein Kind Tischlerei lernt und es schlecht darin ist, sagt ihm der …

15 algorithms reinforcement-learning multiarmed-bandit

1

Herleitung der Änderung von Variablen einer Wahrscheinlichkeitsdichtefunktion?

In dem Buch Mustererkennung und maschinelles Lernen (Formel 1.27) gibt es Dabei istx=g(y),px(x)das PDF, das inBezug auf die Änderung der Variablenpy(y)entspricht.py(y)=px(x)∣∣∣dxdy∣∣∣=px(g(y))|g′(y)|py(y)=px(x)|dxdy|=px(g(y))|g′(y)|p_y(y)=p_x(x) \left | \frac{d x}{d y} \right |=p_x(g(y)) | g'(y) |x=g(y)x=g(y)x=g(y)px(x)px(x)p_x(x)py(y)py(y)p_y(y) In den Büchern heißt es, dass Beobachtungen, die in den Bereich , für kleine Werte von δ x in …

15 machine-learning probability self-study derivative jacobian