Statistiken und Big Data

PCA wird jedoch als lineares Verfahren angesehen: PCA(X)≠PCA(X1)+PCA(X2)+…+PCA(Xn),PCA(X)≠PCA(X1)+PCA(X2)+…+PCA(Xn),\mathrm{PCA}(X)\neq \mathrm{PCA}(X_1)+\mathrm{PCA}(X_2)+\ldots+\mathrm{PCA}(X_n), Dabei ist . Dies bedeutet, dass die von den PCAs auf den Datenmatrizen erhaltenen Eigenvektoren sich nicht zu den von der PCA auf der Summe der Datenmatrizen erhaltenen Eigenvektoren summieren . Aber ist die Definition einer linearen Funktion :X i X …

35 pca  linear 

Beim Erlernen von Gradient Boosting sind mir keine Einschränkungen in Bezug auf die Eigenschaften eines "schwachen Klassifikators" bekannt, mit dem die Methode ein Modell erstellt und zusammensetzt. Ich konnte mir jedoch keine Anwendung eines GB vorstellen, bei der lineare Regression verwendet wird, und tatsächlich funktioniert dies nicht, wenn ich einige …

35 regression  machine-learning  boosting  ensemble  gradient 

Eines der größten Probleme bei der Clusteranalyse ist, dass wir möglicherweise unterschiedliche Schlussfolgerungen ziehen müssen, wenn wir auf unterschiedlichen verwendeten Clustering-Methoden (einschließlich unterschiedlicher Verknüpfungsmethoden bei hierarchischem Clustering) basieren. Ich möchte Ihre Meinung dazu wissen - welche Methode Sie wählen, und wie. Man könnte sagen "Die beste Methode zum Clustering ist …

35 clustering  validation  model-evaluation  hierarchical-clustering 

Ich schaue mir einige Vorlesungsfolien zu einem datenwissenschaftlichen Kurs an, die hier zu finden sind: https://github.com/cs109/2015/blob/master/Lectures/01-Introduction.pdf Ich kann das Video für diesen Vortrag leider nicht sehen und an einer Stelle auf der Folie hat der Vortragende den folgenden Text: Einige Grundprinzipien Denken Sie wie ein Bayesianer, überprüfen Sie wie ein …

35 bayesian  data-mining  frequentist 

Wird die elastische Netz-Regularisierung immer Lasso & Ridge vorgezogen, da sie die Nachteile dieser Methoden zu beseitigen scheint? Was ist die Intuition und was ist die Mathematik hinter dem elastischen Netz?

35 regression  lasso  regularization  ridge-regression  elastic-net 

Ich generiere 8 zufällige Bits (entweder eine 0 oder eine 1) und verkette sie zu einer 8-Bit-Zahl. Eine einfache Python-Simulation ergibt eine gleichmäßige Verteilung auf der diskreten Menge [0, 255]. Ich versuche zu rechtfertigen, warum das in meinem Kopf Sinn macht. Wenn ich das mit dem Umwerfen von 8 Münzen …

35 binomial  random-generation  uniform 

LSTM wurde speziell erfunden, um das Problem des verschwindenden Gradienten zu vermeiden. Dies soll mit dem Constant Error Carousel (CEC) geschehen, das in der folgenden Abbildung (von Greff et al. ) Der Schleife um die Zelle entspricht . (Quelle: deeplearning4j.org ) Und ich verstehe, dass dieser Teil als eine Art …

35 neural-networks  lstm 

Ich hoffe ich mache mit dem Titel Sinn. Oft wird die Nullhypothese mit der Absicht gebildet, sie abzulehnen. Gibt es einen Grund dafür oder ist es nur eine Konvention?

35 hypothesis-testing 

Gibt es eine Simulationsmethode, die nicht Monte Carlo ist? Bei allen Simulationsmethoden werden Zufallszahlen in die Funktion eingesetzt, um einen Wertebereich für die Funktion zu finden. Sind also alle Simulationsmethoden im Wesentlichen Monte-Carlo-Methoden?

35 monte-carlo 

Es wäre wünschenswert, wenn die folgenden Beispiele gegeben werden könnten: Eine Verteilung mit unendlichem Mittelwert und unendlicher Varianz. Eine Verteilung mit unendlicher mittlerer und endlicher Varianz. Eine Verteilung mit endlichem Mittelwert und unendlicher Varianz. Eine Verteilung mit endlichem Mittelwert und endlicher Varianz. Es kommt von mir, dass ich diese ungewohnten …

35 distributions  variance  mean 

Ich habe einen Datensatz, für den ich mehrere Sätze von binären Bezeichnungen habe. Für jeden Etikettensatz trainiere ich einen Klassifikator und bewerte ihn durch Kreuzvalidierung. Ich möchte die Dimensionalität mithilfe der Hauptkomponentenanalyse (PCA) reduzieren. Meine Frage ist: Ist es möglich, die PCA einmal für den gesamten Datensatz durchzuführen und dann …

35 machine-learning  classification  pca  cross-validation 

Was ist die genaue Formel, die in R lm() für das angepasste R-Quadrat verwendet wird? Wie kann ich das interpretieren? Angepasste R-Quadrat-Formeln Es scheinen verschiedene Formeln zur Berechnung des bereinigten R-Quadrats zu existieren. Wherry-Formel: 1−(1−R2)(n−1)(n−v)1−(1−R2)(n−1)(n−v)1-(1-R^2)\frac{(n-1)}{(n-v)} McNemars Formel:1−(1−R2)(n−1)(n−v−1)1−(1−R2)(n−1)(n−v−1)1-(1-R^2)\frac{(n-1)}{(n-v-1)} Gottes Formel:1−(1−R2)(n+v−1)(n−v−1)1−(1−R2)(n+v−1)(n−v−1)1-(1-R^2)\frac{(n+v-1)}{(n-v-1)} Steins Formel:1−[(n−1)(n−k−1)(n−2)(n−k−2)(n+1)n](1−R2)1−[(n−1)(n−k−1)(n−2)(n−k−2)(n+1)n](1−R2)1-\big[\frac{(n-1)}{(n-k-1)}\frac{(n-2)}{(n-k-2)}\frac{(n+1)}{n}\big](1-R^2) Lehrbuchbeschreibungen Laut Field's Lehrbuch, Discovering Statistics Using R (2012, …

35 r  regression  r-squared  lm  shrinkage 

Die summary.rqFunktion aus der Quantreg-Vignette bietet eine Vielzahl von Auswahlmöglichkeiten für Standardfehlerschätzungen von Quantilregressionskoeffizienten . In welchen speziellen Szenarien wird jedes dieser Szenarien optimal / wünschenswert? "rank", das Konfidenzintervalle für die geschätzten Parameter erzeugt, indem ein Rangtest wie in Koenker (1994) beschrieben invertiert wird. Die Standardoption setzt voraus, dass die …

35 r  standard-error  quantile-regression  estimators 

Ich bin es gewohnt, dass der Ljung-Box-Test häufig zum Testen der Autokorrelation in Rohdaten oder in Modellresten verwendet wird. Ich hatte fast vergessen, dass es einen anderen Test für die Autokorrelation gibt, nämlich den Breusch-Godfrey-Test. Frage: Was sind die Hauptunterschiede und Gemeinsamkeiten der Ljung-Box- und Breusch-Godfrey-Tests und wann sollte man …

35 time-series  hypothesis-testing  autocorrelation 

Was ist der Zweck der Verknüpfungsfunktion als Bestandteil des verallgemeinerten linearen Modells? Warum brauchen wir das? Wikipedia besagt: Es kann zweckmäßig sein, die Domäne der Verknüpfungsfunktion an den Bereich des Mittelwerts der Verteilungsfunktion anzupassen Was ist der Vorteil davon?

35 regression  generalized-linear-model  link-function  irls