Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

4
Was können wir aus künstlichen neuronalen Netzen über das menschliche Gehirn lernen?
Ich weiß, dass meine Frage / mein Titel nicht sehr spezifisch ist, deshalb werde ich versuchen, es zu klären: Künstliche neuronale Netze sind relativ streng aufgebaut. Natürlich werden sie im Allgemeinen von der Biologie beeinflusst und versuchen, ein mathematisches Modell realer neuronaler Netze zu erstellen, aber unser Verständnis realer neuronaler …
3
Warum werden beim maschinellen Lernen keine Leistungs- oder Protokolltransformationen gelehrt?
Maschinelles Lernen (ML) verwendet stark lineare und logistische Regressionstechniken. Es stützt sich auch auf Feature - Engineering - Techniken ( feature transform, kernelusw.). Warum wird in ML nichts über variable transformation(zB power transformation) erwähnt? (Ich höre zum Beispiel nie davon, Stamm- oder Protokolldaten für Features zu verwenden, normalerweise werden nur …
4
Algorithmen zur Erkennung von Zeitreihenanomalien
Ich verwende derzeit Twitter's AnomalyDetection in R: https://github.com/twitter/AnomalyDetection . Dieser Algorithmus ermöglicht die Erkennung von Zeitreihenanomalien für Daten mit Saisonalität. Frage: Gibt es ähnliche Algorithmen (die Kontrolle der Saisonalität spielt keine Rolle)? Ich versuche, so viele Zeitreihenalgorithmen wie möglich mit meinen Daten zu bewerten, damit ich das beste / Ensemble …
2
Bayesianisches Lasso gegen gewöhnliches Lasso
Für Lasso stehen verschiedene Implementierungssoftware zur Verfügung . Ich kenne eine Menge Diskussionen über Bayes-Ansätze im Vergleich zu frequentistischen Ansätzen in verschiedenen Foren. Meine Frage ist sehr spezifisch für Lasso - Was sind die Unterschiede oder Vorteile von Bay-Lasso gegenüber regulärem Lasso ? Hier sind zwei Beispiele für die Implementierung …
1
Geometrische Interpretation des multiplen Korrelationskoeffizienten
Ich interessiere mich für die geometrische Bedeutung der Mehrfachkorrelation RRR und des Bestimmungskoeffizienten R2R2R^2 in der Regression yi=β1+β2x2,i+⋯+βkxk,i+ϵiyi=β1+β2x2,i+⋯+βkxk,i+ϵiy_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i oder für die Vektorschreibweise , y=Xβ+ϵy=Xβ+ϵ\mathbf{y} = \mathbf{X \beta} + \mathbf{\epsilon} Hier ist die Designmatrix XX\mathbf{X} hat nnn Zeilen und …
1
Kann ein Multinomial (1 / n,…, 1 / n) als diskretisiertes Dirichlet (1, .., 1) charakterisiert werden?
Diese Frage ist also etwas chaotisch, aber ich werde bunte Grafiken einfügen, um das auszugleichen! Zuerst der Hintergrund, dann die Frage (n). Hintergrund Angenommen, Sie haben eine nnn dimensionale multinomiale Verteilung mit gleichen Wahrscheinlichkeitswerten über die nnn Kategorien. Sei π=(π1,…,πn)π=(π1,…,πn)\pi = (\pi_1, \ldots, \pi_n) die normierten Zählwerte ( ccc ) …
2
Autoencoder können keine sinnvollen Funktionen lernen
Ich habe 50.000 Bilder wie diese beiden: Sie zeigen Diagramme von Daten. Ich wollte Funktionen aus diesen Bildern extrahieren, also verwendete ich den von Theano (deeplearning.net) bereitgestellten Autoencoder-Code. Das Problem ist, dass diese Autoencoder anscheinend keine Funktionen kennen. Ich habe RBM ausprobiert und es ist das gleiche. MNIST-Dataset bietet nette …
5
Beispiele für PCA, bei denen PCs mit geringer Varianz "nützlich" sind
Normalerweise werden bei der Hauptkomponentenanalyse (PCA) die ersten PCs verwendet und die PCs mit niedriger Varianz fallen gelassen, da sie nicht viel von der Variation der Daten erklären. Gibt es jedoch Beispiele, bei denen die PCs mit geringen Abweichungen nützlich sind (dh im Kontext der Daten verwendet werden, eine intuitive …
24 pca 
2
Warum konvergiert der Expectation Maximization-Algorithmus garantiert gegen ein lokales Optimum?
Ich habe einige Erklärungen zum EM-Algorithmus gelesen (z. B. aus Bishops Mustererkennung und maschinellem Lernen sowie aus dem ersten Kurs von Roger und Gerolami über maschinelles Lernen). Die Ableitung von EM ist in Ordnung, ich verstehe es. Ich verstehe auch, warum der Algorithmus etwas überdeckt: Bei jedem Schritt verbessern wir …
3
Ausreißererkennung bei verzerrten Verteilungen
Bei einer klassischen Definition eines Ausreißers als Datenpunkt außerhalb des 1,5 * IQR aus dem oberen oder unteren Quartil wird von einer nicht verzerrten Verteilung ausgegangen. Ist die beste Methode zum Erkennen eines Ausreißers durch Analysieren einer Transformation der ursprünglichen Funktion für verzerrte Verteilungen (Exponential, Poisson, Geometrisch usw.)? Zum Beispiel …
5
Was bringt es, einen Faktor in einem gemischten Modell als zufällig zu behandeln?
Ich habe aus einigen Gründen ein Problem damit, die Vorteile der Kennzeichnung eines Modellfaktors als zufällig zu betrachten. Für mich scheint es in fast allen Fällen die optimale Lösung zu sein, alle Faktoren als fest zu behandeln. Erstens ist die Unterscheidung zwischen fest und zufällig ziemlich willkürlich. Die übliche Erklärung …
4
Ist Shapiro-Wilk der beste Normalitätstest? Warum ist es vielleicht besser als andere Tests wie Anderson-Darling?
Ich habe irgendwo in der Literatur gelesen, dass der Shapiro-Wilk-Test als der beste Normalitätstest angesehen wird, weil bei einem gegebenen Signifikanzniveau, , die Wahrscheinlichkeit, die Nullhypothese abzulehnen, wenn sie falsch ist, höher ist als im Fall des anderen Normalitätstests.αα\alpha Können Sie mir bitte mit mathematischen Argumenten erklären, wie genau dies …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.