Statistiken und Big Data

3

(Warum) Ist Kohonen-SOM in Ungnade gefallen?

Soweit ich das beurteilen kann, hatten SOMs im Kohonen-Stil um 2005 einen Höhepunkt und sahen in letzter Zeit nicht so viel Gefallen. Ich habe keine Veröffentlichung gefunden, die besagt, dass SOMs durch eine andere Methode subsumiert wurden oder mit etwas anderem gleichwertig sind (jedenfalls in höheren Dimensionen). Aber es scheint, …

33 clustering self-organizing-maps

3

Pre-Training in tiefen Faltungs neuronalen Netzwerk?

Hat jemand Literatur über Pre-Training in Deep Convolutional Neural Network gesehen? Ich habe nur unbeaufsichtigtes Pre-Training in Autoencoder oder eingeschränkten Boltzman-Maschinen gesehen.

33 machine-learning neural-networks deep-learning conv-neural-network autoencoders

8

Ist es in Ordnung, Ausreißer aus Daten zu entfernen?

Ich habe nach einer Möglichkeit gesucht, Ausreißer aus einem Datensatz zu entfernen, und diese Frage gefunden . In einigen Kommentaren und Antworten auf diese Frage wurde jedoch darauf hingewiesen, dass es keine gute Praxis ist, Ausreißer aus den Daten zu entfernen. In meinem Datensatz habe ich mehrere Ausreißer, die sehr …

33 outliers

1

Was ist der intuitive Grund für das Ausführen von Rotationen in Factor Analysis / PCA und wie wählt man eine geeignete Rotation aus?

Meine Fragen Was ist der intuitive Grund für die Rotation von Faktoren in der Faktorenanalyse (oder von Komponenten in der PCA)? Mein Verständnis ist, dass es offensichtlich schwierig ist, die Komponenten zu unterscheiden, wenn Variablen in den obersten Komponenten (oder Faktoren) fast gleich geladen sind. In diesem Fall könnte man …

33 pca interpretation factor-analysis dimensionality-reduction factor-rotation

2

Finden von Quartilen in R

Ich arbeite gerade an einem Statistiklehrbuch, während ich R lerne, und bin auf ein Stolperstein im folgenden Beispiel gestoßen: Nach dem Betrachten habe ?quantileich versucht, dies in R mit den folgenden neu zu erstellen: > nuclear <- c(7, 20, 16, 6, 58, 9, 20, 50, 23, 33, 8, 10, 15, …

33 r quantiles

2

Unterschiede zwischen Bhattacharyya Abstand und KL Abweichung

Ich suche eine intuitive Erklärung für die folgenden Fragen: Was ist in der Statistik und der Informationstheorie der Unterschied zwischen der Bhattacharyya-Distanz und der KL-Divergenz als Maß für den Unterschied zwischen zwei diskreten Wahrscheinlichkeitsverteilungen? Haben sie überhaupt keine Beziehungen und messen sie den Abstand zwischen zwei Wahrscheinlichkeitsverteilungen auf völlig unterschiedliche …

33 mathematical-statistics information-theory kullback-leibler bhattacharyya

2

Freiheitsgrade von

Die Teststatistik für den Hosmer-Lemeshow- Test (HLT) für die Anpassungsgüte (GOF) eines logistischen Regressionsmodells ist wie folgt definiert: Die Stichprobe wird dann in Dezile, , aufgeteilt. Pro Dezil werden die folgenden Größen berechnet:d=10d=10d=10D1,D2,…,DdD1,D2,…,DdD_1, D_2, \dots , D_{d} D dO1d=∑i∈DdyiO1d=∑i∈DdyichO_{1d}=\displaystyle \sum_{i \in D_d} y_i , dh die beobachtete Anzahl positiver Fälle …

33 regression logistic goodness-of-fit degrees-of-freedom hosmer-lemeshow-test

7

Geburtstagsparadoxon mit (großer) Wendung: Wahrscheinlichkeit, dass genau dasselbe Geburtsdatum mit dem Partner geteilt wird?

Ich habe dasselbe Geburtsdatum wie mein Freund, dasselbe Datum, aber auch dasselbe Jahr. Unsere Geburten sind nur ungefähr 5 Stunden voneinander entfernt. Ich weiß, dass die Chancen, jemanden zu treffen, der am selben Tag geboren wurde wie ich, ziemlich hoch sind und ich kenne ein paar Leute, mit denen ich …

33 probability birthday-paradox

4

(Warum) neigen überausgerüstete Modelle dazu, große Koeffizienten zu haben?

Ich stelle mir vor, je größer ein Koeffizient für eine Variable ist, desto größer ist die Fähigkeit des Modells, in dieser Dimension zu "schwingen", was eine größere Möglichkeit bietet, Rauschen anzupassen. Obwohl ich denke, dass ich ein vernünftiges Gespür für die Beziehung zwischen der Varianz im Modell und großen Koeffizienten …

33 regression variance linear-model bias regularization

5

Ist eine Sample-Kovarianzmatrix immer symmetrisch und eindeutig positiv?

Wird dann bei der Berechnung der Kovarianzmatrix einer Stichprobe garantiert eine symmetrische und positiv definierte Matrix erhalten? Derzeit hat mein Problem eine Stichprobe von 4600 Beobachtungsvektoren und 24 Dimensionen.

33 sampling covariance

4

Was ist der Unterschied zwischen endlicher und unendlicher Varianz?

Was ist der Unterschied zwischen endlicher und unendlicher Varianz? Meine Statistikkenntnisse sind eher grundlegend. Wikipedia / Google hat hier nicht viel geholfen.

33 variance intuition partial-moments

3

Sind die Ziffern von statistisch zufällig?

Angenommen, Sie beobachten die Reihenfolge: 7, 9, 0, 5, 5, 4, 8, 0, 6, 9, 5, 3, 8, 7, 8, 5, 4, 0, 6, 6, 4, 5, 3, 3, 7, 5, 9, 8, 1, 8, 6, 2, 8, 4, 6, 4, 1, 9, 9, 0, 5, 2, 2, 0, 4, …

33 random-generation randomness

3

Restdiagnoseplots für glm-Modelle interpretieren?

Ich suche nach Richtlinien zur Interpretation von Residuendiagrammen von glm-Modellen. Insbesondere Poisson-, Negativ-Binomial- und Binomial-Modelle. Was können wir von diesen Darstellungen erwarten, wenn die Modelle "korrekt" sind? (Wir erwarten beispielsweise, dass die Varianz mit zunehmendem prognostizierten Wert zunimmt, wenn es sich um ein Poisson-Modell handelt.) Ich weiß, dass die Antworten …

33 generalized-linear-model diagnostic residuals

4

Entstehung der 5- Schwelle für die Annahme von Beweisen in der Teilchenphysik?

Berichten zufolge wird das CERN morgen bekannt geben, dass das Higgs-Boson experimentell mit 5- Beweisen nachgewiesen wurde. In diesem Artikel heißt es:σσ\sigma 5 entspricht einer Wahrscheinlichkeit von 99,99994%, dass die Daten, die die CMS- und ATLAS-Detektoren sehen, nicht nur zufälliges Rauschen sind - und einer Wahrscheinlichkeit von 0,00006%, dass sie …

33 hypothesis-testing p-value history

1

Wie trainiere und validiere ich ein neuronales Netzwerkmodell in R?

Ich bin neu in der Modellierung mit neuronalen Netzwerken, aber es ist mir gelungen, ein neuronales Netzwerk mit allen verfügbaren Datenpunkten einzurichten, das gut zu den beobachteten Daten passt. Das neuronale Netzwerk wurde in R mit dem nnet-Paket erstellt: require(nnet) ##33.8 is the highest value mynnet.fit <- nnet(DOC/33.80 ~ ., …

33 r neural-networks