Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

3
Unterschied zwischen MLE und Baum Welch bei der HMM-Anpassung
In dieser beliebten Frage trennen sich MLE und Baum Welch aufgrund der hoch bewerteten Antwort in der HMM-Anpassung. Für Trainingsprobleme können wir die folgenden 3 Algorithmen verwenden: MLE (Maximum Likelihood Estimation), Viterbi-Training (NICHT mit Viterbi-Decodierung verwechseln), Baum Welch = Vorwärts-Rückwärts-Algorithmus ABER in Wikipedia heißt es Der Baum-Welch-Algorithmus verwendet den bekannten …


1
Wie sind SVMs = Template Matching?
Ich habe über SVMs gelesen und festgestellt, dass sie ein Optimierungsproblem lösen und die Idee der maximalen Gewinnspanne sehr vernünftig war. Jetzt können sie mithilfe von Kerneln sogar nichtlineare Trennungsgrenzen finden, was großartig war. Bisher habe ich wirklich keine Ahnung, wie SVMs (eine spezielle Kernelmaschine) und Kernelmaschinen mit neuronalen Netzen …


2
Statistische Inferenz unter Modellfehlspezifikation
Ich habe eine allgemeine methodologische Frage. Möglicherweise wurde es bereits beantwortet, aber ich kann den entsprechenden Thread nicht finden. Ich werde Hinweise auf mögliche Duplikate schätzen. ( Hier ist eine ausgezeichnete, aber ohne Antwort. Dies ist auch im Geist ähnlich, selbst mit einer Antwort, aber letztere ist aus meiner Sicht …

1
Wie kann ich verrauschte Patches in einer Zeitreihe hervorheben?
Ich habe viele Zeitreihendaten - Wasserstände und Geschwindigkeiten gegen die Zeit. Es ist die Ausgabe einer hydraulischen Modellsimulation. Als Teil des Überprüfungsprozesses, um zu bestätigen, dass das Modell die erwartete Leistung erbringt, muss ich jede Zeitreihe zeichnen, um sicherzustellen, dass die Daten keine "Wackelbewegungen" enthalten (siehe Beispiel für geringfügiges Wackeln …

4
Das Training eines neuronalen Netzwerks für die Regression sagt immer den Mittelwert voraus
Ich trainiere ein einfaches Faltungs-Neuronales Netzwerk für die Regression, wobei die Aufgabe darin besteht, die (x, y) Position einer Box in einem Bild vorherzusagen, z. Die Ausgabe des Netzwerks hat zwei Knoten, einen für x und einen für y. Der Rest des Netzwerks ist ein Standard-Faltungsnetzwerk. Der Verlust ist ein …

1
Warum wird in Zeitungen selten berichtet, welche Art von Quadratsummen in Anova-Ergebnissen verwendet wird?
Nach meiner kurzen Erfahrung in der Statistik scheint es, dass die Art der Quadratsummen (Typ I, II, III, IV ...), die zum Erhalten von ANOVA-Ergebnissen verwendet werden, einen dramatischen Unterschied bei den Testergebnissen bewirken kann (insbesondere bei Modellen mit Interaktionen und fehlenden Daten). Ich habe jedoch noch kein Papier gesehen, …

3
Verlustfunktion für die semantische Segmentierung
Entschuldigt sich für den Missbrauch von Fachbegriffen. Ich arbeite an einem Projekt zur semantischen Segmentierung über Faltungs-Neuronale Netze (CNNs). Beim Versuch, eine Architektur vom Typ Encoder-Decoder zu implementieren, hat die Ausgabe dieselbe Größe wie die Eingabe. Wie gestalten Sie die Etiketten? Welche Verlustfunktion sollte man anwenden? Besonders in der Situation …

1
Geringere Abdeckung als erwartet für die Stichprobenerhebung mit Simulation
Ich habe versucht, die Frage Integral mit Wichtigkeit Stichprobenmethode in R bewerten zu beantworten . Grundsätzlich muss der Benutzer berechnen ∫π0f(x)dx=∫π01cos(x)2+x2dx∫0πf(x)dx=∫0π1cos⁡(x)2+x2dx\int_{0}^{\pi}f(x)dx=\int_{0}^{\pi}\frac{1}{\cos(x)^2+x^2}dx Verwenden der Exponentialverteilung als Wichtigkeitsverteilung q(x)=λ exp−λxq(x)=λ exp−λxq(x)=\lambda\ \exp^{-\lambda x} und finde den Wert von der die bessere Annäherung an das Integral (es ist ) ergibt . Ich formuliere …

2
Adjusted Rand Index vs Adjusted Mutual Information
Ich versuche, die Clusterleistung zu bewerten. Ich habe die Skiscit-Learn-Dokumentation zu Metriken gelesen . Ich verstehe den Unterschied zwischen ARI und AMI nicht. Es scheint mir, dass sie dasselbe auf zwei verschiedene Arten tun. Zitieren aus der Dokumentation: Angesichts der Kenntnis der Zuordnungen der Grundwahrheitsklassen Labels_true und unserer Clustering-Algorithmus-Zuweisungen derselben …

2
Wie lässt sich der durchschnittliche Behandlungseffekt in einer Längsschnittstudie am besten abschätzen?
In einer Längsschnittstudie werden die Ergebnisse der Einheiten zu Zeitpunkten mit insgesamt festen Messanlässen wiederholt gemessen (fest = Messungen an Einheiten werden gleichzeitig durchgeführt). i t mY.i tYitY_{it}ichiitttmmm Die Einheiten werden zufällig entweder einer Behandlung oder einer Kontrollgruppe . Ich möchte den durchschnittlichen Effekt der Behandlung abschätzen und testen, dh …


1
Grundlegendes zur LSTM-Topologie
Wie viele andere fand ich die Ressourcen hier und hier äußerst nützlich für das Verständnis von LSTM-Zellen. Ich bin zuversichtlich, dass ich verstehe, wie Werte fließen und aktualisiert werden, und ich bin zuversichtlich, dass ich auch die genannten "Gucklochverbindungen" usw. hinzufügen kann. In meinem Beispiel habe ich zu jedem Zeitpunkt …

2
Warum kann ich keine gültige SVD von X durch Eigenwertzerlegung von XX 'und X'X erhalten?
Ich versuche SVD von Hand zu machen: m<-matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3) U=eigen(m%*%t(m))$vector V=eigen(t(m)%*%m)$vector D=sqrt(diag(eigen(m%*%t(m))$values)) U1=svd(m)$u V1=svd(m)$v D1=diag(svd(m)$d) U1%*%D1%*%t(V1) U%*%D%*%t(V) Die letzte Zeile kehrt jedoch nicht mzurück. Warum? Es scheint etwas mit Anzeichen dieser Eigenvektoren zu tun zu haben ... Oder habe ich das Verfahren falsch verstanden?
9 r  svd  eigenvalues 

Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.