Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

2
Welche Beziehung besteht zwischen Jeffreys Priors und einer Varianz stabilisierenden Transformation?
Ich habe über die Jeffreys Prior auf Wikipedia gelesen: Jeffreys Prior und gesehen, dass nach jedem Beispiel beschrieben wird, wie eine Varianz-stabilisierende Transformation die Jeffreys Prior in einen einheitlichen Prior verwandelt. Für den Bernoulli-Fall heißt es beispielsweise, dass das Bernoulli-Versuchsmodell für eine Münze mit Wahrscheinlichkeit ergibt, dass Jeffreys Prior für …
1
Versucht BIC, ein echtes Modell zu finden?
Diese Frage ist ein Follow-up oder ein Versuch, mögliche Verwirrung in Bezug auf ein Thema zu beseitigen, das ich und viele andere aufgrund des Unterschieds zwischen AIC und BIC als etwas schwierig empfinde. In einer sehr netten Antwort von @ Dave Kellen zu diesem Thema ( /stats//a/767/30589 ) lesen wir: …
4
Gibt es in realen Daten wirklich einen „Fluch der Dimensionalität“?
Ich verstehe, was "Fluch der Dimensionalität" ist, und ich habe einige hochdimensionale Optimierungsprobleme gelöst und kenne die Herausforderung der exponentiellen Möglichkeiten. Ich bezweifle jedoch, dass der "Fluch der Dimensionalität" in den meisten Daten der realen Welt existiert (also lassen Sie uns Bilder oder Videos für einen Moment beiseite, ich denke …
5
Verstehen, welche Funktionen für die logistische Regression am wichtigsten waren
Ich habe einen logistischen Regressionsklassifikator erstellt, der für meine Daten sehr genau ist. Jetzt möchte ich besser verstehen, warum es so gut funktioniert. Im Einzelnen möchte ich klassifizieren, welche Features den größten Beitrag leisten (welche Features am wichtigsten sind) und im Idealfall quantifizieren, wie viel jedes Feature zur Genauigkeit des …
2
Wenn der Epanechnikov-Kernel bei der Kernel-Dichteschätzung theoretisch optimal ist, warum wird er nicht häufiger verwendet?
Ich habe (zum Beispiel hier ) gelesen, dass der Epanechnikov-Kernel zumindest im theoretischen Sinne optimal ist, wenn man eine Kerneldichteschätzung durchführt. Wenn dies zutrifft, warum wird der Gaußsche Kern dann so häufig als Standardkern oder in vielen Fällen als einziger Kern in Bibliotheken zur Dichteschätzung angezeigt?
1
Aktualisieren der SVD-Zerlegung nach dem Hinzufügen einer neuen Zeile zur Matrix
Angenommen, ich habe eine dichte Matrix der Größe und der SVD-ZerlegungIn ich die SVD berechnen sich wie folgt: .EINEIN \textbf{A}m × nm×nm \times nA = U S V⊤.EIN=USV⊤.\mathbf{A}=\mathbf{USV}^\top.Rsvd(A) Wenn eine neue -te Zeile zu hinzugefügt wird , kann man die neue SVD-Zerlegung basierend auf der alten (dh unter Verwendung von …
3
Welcher Optimierungsalgorithmus wird in glm-Funktion in R verwendet?
Mit folgendem Code kann eine logit-Regression in R durchgeführt werden: > library(MASS) > data(menarche) > glm.out = glm(cbind(Menarche, Total-Menarche) ~ Age, + family=binomial(logit), data=menarche) > coefficients(glm.out) (Intercept) Age -21.226395 1.631968 Es sieht so aus, als ob der Optimierungsalgorithmus konvergiert hat - es gibt Informationen über die Schrittanzahl des Fisher-Scoring-Algorithmus: Call: …
2
Ein unmögliches Schätzproblem?
Frage Die Varianz einer negativen Binomialverteilung (NB) ist immer größer als ihr Mittelwert. Wenn der Mittelwert einer Stichprobe größer als ihre Varianz ist, schlägt der Versuch fehl, die Parameter einer NB mit maximaler Wahrscheinlichkeit oder mit Momentschätzung anzupassen (es gibt keine Lösung mit endlichen Parametern). Es ist jedoch möglich, dass …
2
Warum ist die CDF einer Probe gleichmäßig verteilt?
Ich lese hier gegeben , dass eine Probe aus einer stetigen Verteilung mit cdf folgt die zu korrespondierende Stichprobe einer einheitlichen Standardverteilung.X1, X2, . . . , XnX1,X2,...,Xn X_1,X_2,...,X_n U i = F X ( X i )FXFX F_X Uich= FX( Xich)Ui=FX(Xi) U_i = F_X(X_i) Ich habe dies mithilfe von …
17 pdf  uniform  cdf  intuition 
3
Wann sollte ich keinen Ensemble-Klassifikator verwenden?
Wann sollte ich bei einem Klassifizierungsproblem, bei dem das Ziel darin besteht, die Zugehörigkeit zu einer außerhalb der Stichprobe liegenden Klasse genau vorherzusagen, im Allgemeinen keinen Ensemble-Klassifizierer verwenden? Diese Frage steht in engem Zusammenhang mit Warum nicht immer Ensemble-Lernen? . Diese Frage fragt, warum wir nicht die ganze Zeit Ensembles …
5
Sollten wir Kurtosis in einem Kurs für angewandte Statistik unterrichten? Wenn das so ist, wie?
Zentrale Tendenz, Ausbreitung und Schiefe lassen sich zumindest intuitiv relativ gut definieren; Die mathematischen Standardmaße dieser Dinge entsprechen auch relativ gut unseren intuitiven Vorstellungen. Aber Kurtosis scheint anders zu sein. Es ist sehr verwirrend und passt nicht gut zu jeder Intuition über die Verteilungsform. Eine typische Erklärung für Kurtosis in …
2
Unterschied zwischen Regressionsanalyse und Kurvenanpassung
Kann mir bitte jemand den tatsächlichen Unterschied zwischen Regressionsanalyse und Kurvenanpassung (linear und nichtlinear) erklären, wenn möglich anhand eines Beispiels? Es scheint, dass beide versuchen, eine Beziehung zwischen zwei Variablen (abhängig und unabhängig) zu finden und dann den Parameter (oder Koeffizienten) zu bestimmen, der den vorgeschlagenen Modellen zugeordnet ist. Zum …
2
Clustering - Intuition hinter Kleinbergs Unmöglichkeitssatz
Ich habe darüber nachgedacht, einen Blogbeitrag zu dieser interessanten Analyse von Kleinberg (2002) zu schreiben , in dem die Schwierigkeit der Clusterbildung untersucht wird. Kleinberg skizziert drei scheinbar intuitive Desiderata für eine Clustering-Funktion und beweist dann, dass keine solche Funktion existiert. Es gibt viele Cluster-Algorithmen, die zwei der drei Kriterien …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.