Statistiken und Big Data

5

Grundlegendes zu LSTM-Einheiten im Vergleich zu Zellen

Ich habe LSTMs für eine Weile studiert. Ich verstehe auf hohem Niveau, wie alles funktioniert. Als ich sie jedoch mit Tensorflow implementieren wollte, bemerkte ich, dass BasicLSTMCell eine Reihe von Einheiten (dh num_units) benötigt. Aus dieser sehr gründlichen Erklärung von LSTMs habe ich herausgefunden, dass eine einzelne LSTM-Einheit eine der …

32 neural-networks terminology lstm rnn tensorflow

9

Ableiten der Bellman-Gleichung beim Reinforcement Learning

Ich sehe die folgende Gleichung in " In Reinforcement Learning. Eine Einführung ", folge aber nicht ganz dem Schritt, den ich unten in Blau hervorgehoben habe. Wie genau leitet sich dieser Schritt ab?

32 expected-value reinforcement-learning

1

Konsequenzen der Gaußschen Korrelationsungleichung für die Berechnung gemeinsamer Konfidenzintervalle

Gemäß diesem sehr interessanten Artikel im Quanta Magazine: "Ein lang ersehnter Beweis, gefunden und fast verloren" - wurde bewiesen, dass ein gegebener Vektor eine multivariate Gaußsche Verteilung hat, und gegebenen Intervallen I 1 , ... , I n , die mittels der entsprechenden Komponenten zentriert um x , dannx =( …

31 normal-distribution confidence-interval multivariate-normal

2

Durchführen eines statistischen Tests nach der Datenvisualisierung - Datenbaggerung?

Ich werde diese Frage anhand eines Beispiels vorschlagen. Angenommen, ich habe einen Datensatz, z. B. den Preisdatensatz für Wohnimmobilien in Boston, in dem ich kontinuierliche und kategoriale Variablen habe. Hier haben wir eine "Qualitäts" -Variable von 1 bis 10 und den Verkaufspreis. Ich kann die Daten in Häuser mit "niedriger", …

31 hypothesis-testing data-visualization p-value dataset inference

4

Ist das Ergebnis einer Prüfung ein Binomial?

Hier ist eine einfache Statistikfrage, die mir gestellt wurde. Ich bin mir nicht sicher, ob ich das verstehe. X = Anzahl der in einer Prüfung erworbenen Punkte (Multiple Choice und richtige Antwort sind ein Punkt). Ist X-Binomial verteilt? Die Antwort des Professors war: Ja, weil es nur richtige oder falsche …

31 self-study binomial

2

Logistische Regression: Scikit Learn gegen Statsmodels

Ich versuche zu verstehen, warum die Ergebnisse der logistischen Regression dieser beiden Bibliotheken unterschiedliche Ergebnisse liefern. Ich verwende den Datensatz von der UCLA idre Tutorial , die Vorhersage admitbasiert auf gre, gpaund rank. rankwird als kategoriale Variable behandelt, daher wird sie zuerst mit rank_1drop in eine Dummy-Variable konvertiert . Eine …

31 regression logistic python scikit-learn statsmodels

2

Kostenfunktion in der linearen OLS-Regression

Ich bin ein bisschen verwirrt mit einem Vortrag über lineare Regression von Andrew Ng über Coursera über maschinelles Lernen. Dort gab er eine Kostenfunktion an, die die Quadratsumme wie folgt minimiert: 12m∑i=1m(hθ(X(i))−Y(i))212m∑i=1m(hθ(X(i))−Y(i))2 \frac{1}{2m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 Ich verstehe, woher das kommt. Ich denke, er hat es so gemacht, dass, wenn …

31 regression machine-learning loss-functions

5

Was sagen Konfidenzintervalle über Präzision aus?

Morey et al. (2015) argumentieren, dass Konfidenzintervalle irreführend sind und es mehrere Vorurteile gibt, die mit ihrem Verständnis zusammenhängen. Unter anderem beschreiben sie den Präzisionsfehler wie folgt: Der Genauigkeitsfehler Die Breite eines Konfidenzintervalls zeigt die Genauigkeit unseres Wissens über den Parameter an. Enge Konfidenzintervalle zeigen genaues Wissen, während breite Konfidenzfehler …

31 bayesian confidence-interval frequentist precision

3

Bündelung einer langen Liste von Zeichenfolgen (Wörtern) in Ähnlichkeitsgruppen

Ich habe das folgende Problem zur Hand: Ich habe eine sehr lange Liste von Wörtern, möglicherweise Namen, Nachnamen usw. Ich muss diese Wortliste so gruppieren, dass ähnliche Wörter, zum Beispiel Wörter mit ähnlichem Bearbeitungsabstand (Levenshtein), in der Liste angezeigt werden gleichen Cluster. Zum Beispiel sollten "Algorithmus" und "Alogrithmus" hohe Chancen …

31 clustering k-means pattern-recognition

6

Sollte Sparsamkeit wirklich noch der Goldstandard sein?

Nur ein Gedanke: Sparsame Modelle waren bei der Modellauswahl immer die Standardanwendung, aber inwieweit ist dieser Ansatz veraltet? Ich bin gespannt, wie sehr unsere Neigung zur Sparsamkeit ein Relikt aus einer Zeit von Abakus und Rechenschiebern (oder, im Ernst, nicht modernen Computern) ist. Die heutige Rechenleistung ermöglicht es uns, immer …

31 predictive-models model-selection model

3

Erstellen eines Autoencoders in Tensorflow, um PCA zu übertreffen

Hinton und Salakhutdinov schlugen bei der Reduzierung der Dimensionalität von Daten mit neuronalen Netzen in Science 2006 eine nichtlineare PCA durch die Verwendung eines tiefen Autoencoders vor. Ich habe mehrmals versucht, einen PCA-Autoencoder mit Tensorflow zu bauen und zu trainieren, aber ich konnte nie ein besseres Ergebnis erzielen als mit …

31 pca python deep-learning tensorflow autoencoders

4

Sind kleinere p-Werte überzeugender?

Ich habe mich über Werte, Typ 1-Fehlerraten, Signifikanzniveaus, Leistungsberechnungen, Effektgrößen und die Debatte zwischen Fisher und Neyman-Pearson informiert. Das hat mich ein bisschen überwältigt. Ich entschuldige mich für die Textwand, aber ich hielt es für notwendig, einen Überblick über mein derzeitiges Verständnis dieser Konzepte zu geben, bevor ich zu meinen …

31 hypothesis-testing statistical-significance confidence-interval p-value effect-size

4

Was sind die relativen Vorteile von Winsorizing vs. Trimming-Daten?

Winsorizing Daten Mittel ersetzen die Extremwerte eines Datensatzes mit einem bestimmten Perzentilwert von jedem Ende, während Trimm- oder Abschneiden beinhaltet das Entfernen dieser Extremwerte. Ich sehe beide diskutierten Methoden immer als eine praktikable Option, um die Auswirkung von Ausreißern bei der Berechnung von Statistiken wie dem Mittelwert oder der Standardabweichung …

31 standard-deviation mean truncation trimmed-mean winsorizing

8

Wahrscheinlichkeit, an einem Schalttag geboren zu werden?

Kennt jemand angesichts der Tatsache, dass heute ein Schalttag ist, die Wahrscheinlichkeit, an einem Schalttag geboren zu werden?

31 probability

2

Ist der genaue Wert eines 'p-Wertes' bedeutungslos?

Ich hatte 2009 eine Diskussion mit einem Statistiker, in der er feststellte, dass der genaue Wert eines p-Werts irrelevant ist: Wichtig ist nur, ob er signifikant ist oder nicht. Dh ein Ergebnis kann nicht signifikanter sein als ein anderes; Ihre Proben stammen zum Beispiel entweder aus derselben Population oder nicht. …

31 statistical-significance p-value bonferroni