Statistiken und Big Data

3

Haben negative Wahrscheinlichkeiten / Wahrscheinlichkeitsamplituden Anwendungen außerhalb der Quantenmechanik?

Die Quantenmechanik hat die Wahrscheinlichkeitstheorie auf negative / imaginäre Zahlen verallgemeinert, hauptsächlich, um Interferenzmuster, Wellen / Teilchen-Dualität und im Allgemeinen seltsame Dinge wie diese zu erklären. Es kann jedoch abstrakter gesehen werden als eine nichtkommutative Verallgemeinerung der Bayes'schen Wahrscheinlichkeit (Zitat von Terrence Tao). Ich bin neugierig auf diese Dinge, aber …

27 probability

9

Software-Tools für Statistik und Data Mining für den Umgang mit großen Datenmengen

Derzeit muss ich ungefähr 20 Millionen Datensätze analysieren und Vorhersagemodelle erstellen. Bisher habe ich Statistica, SPSS, RapidMiner und R ausprobiert. Unter diesen scheint Statistica am besten für das Data Mining geeignet zu sein, und die RapidMiner-Benutzeroberfläche ist ebenfalls sehr praktisch, aber es scheint, dass Statistica, RapidMiner und SPSS nur für …

27 large-data software data-mining

2

Geht die Korrelation von einer Stationarität der Daten aus?

Die Inter-Market-Analyse ist eine Methode zur Modellierung des Marktverhaltens durch Auffinden von Beziehungen zwischen verschiedenen Märkten. Häufig wird eine Korrelation zwischen zwei Märkten berechnet, z. B. S & P 500 und 30-jährigen US-Treasuries. Diese Berechnungen basieren zumeist auf Preisdaten, was für jedermann offensichtlich ist, dass sie nicht zur Definition von …

27 correlation stationarity

3

Unüberwachtes, überwachtes und halbüberwachtes Lernen

Was ist im Zusammenhang mit maschinellem Lernen der Unterschied zwischen unbeaufsichtigtes Lernen betreutes Lernen und teilüberwachtes Lernen? Und was sind einige der wichtigsten algorithmischen Ansätze?

27 machine-learning unsupervised-learning supervised-learning semi-supervised

5

Kann man aus statistischer Sicht mit einer Beobachtungsstudie auf die Kausalität schließen, indem man die Neigungsbewertungen verwendet?

Frage: Kann man aus der Sicht eines Statistikers (oder eines Praktikers) die Kausalität mit Hilfe von Neigungsbewertungen anhand einer Beobachtungsstudie ( kein Experiment ) ableiten ? Bitte, wollen Sie keinen Flammenkrieg oder eine fanatische Debatte beginnen. Hintergrund: In unserem stat-Promotionsprogramm haben wir nur durch Arbeitsgruppen und einige Themensitzungen auf kausale …

27 causality propensity-scores

4

Wahrscheinlichkeit, dass in Scrabble kein Wort aus einer Buchstabentüte gezogen wird

Angenommen, Sie hatten eine Tüte mit Kacheln, auf denen jeweils ein Buchstabe stand. Es gibt n A- Kacheln mit dem Buchstaben 'A', n B mit 'B' usw. und n ∗ 'Platzhalter'-Kacheln (wir haben n = n A + n B + ... + n Z + n ∗ ). Angenommen, …

27 sampling games probability

6

Beziehung zwischen Binomial- und Beta-Distributionen

Ich bin eher ein Programmierer als ein Statistiker, daher hoffe ich, dass diese Frage nicht zu naiv ist. Dies geschieht bei der Ausführung von Stichprobenprogrammen zu zufälligen Zeiten. Wenn ich N = 10 zufällige Zeitabtastungen des Programmzustands nehme, könnte ich sehen, dass die Funktion Foo beispielsweise für I = 3 …

27 binomial beta-binomial beta-distribution

4

Wie ist es möglich, dass der Validierungsverlust zunimmt und gleichzeitig die Validierungsgenauigkeit zunimmt?

Ich trainiere ein einfaches neuronales Netzwerk mit dem CIFAR10-Datensatz. Nach einiger Zeit begann der Validierungsverlust zuzunehmen, während die Validierungsgenauigkeit ebenfalls zunahm. Der Testverlust und die Testgenauigkeit verbessern sich weiter. Wie ist das möglich? Es scheint, dass die Genauigkeit sinken sollte, wenn der Validierungsverlust zunimmt. PS: Es gibt mehrere ähnliche Fragen, …

27 neural-networks deep-learning conv-neural-network overfitting

6

Warum konvexe Optimierung für theoretisches maschinelles Lernen studieren?

Ich arbeite am theoretischen maschinellen Lernen - Transferlernen, um genau zu sein - für meine Promotion. Warum sollte ich aus Neugier einen Kurs zur konvexen Optimierung belegen? Welche Erkenntnisse aus der konvexen Optimierung kann ich für meine Forschung zum theoretischen maschinellen Lernen nutzen?

27 machine-learning optimization convex transfer-learning

2

Warum entspricht die Lasso-Strafe der doppelten Exponentialzahl (Laplace) vor?

Ich habe in einer Reihe von Referenzen gelesen, dass die Lasso-Schätzung für den Regressionsparametervektor dem posterioren Modus von in dem die vorherige Verteilung für jedes eine doppelte Exponentialverteilung ist (auch als Laplace-Verteilung bekannt).BBBBBBBiBiB_i Ich habe versucht, dies zu beweisen, kann jemand die Details ausarbeiten?

27 regression bayesian lasso prior regularization

2

Fläche unter Precision-Recall-Kurve (AUC der PR-Kurve) und Average Precision (AP)

Ist Average Precision (AP) der Bereich unter Precision-Recall Curve (AUC der PR-Kurve)? BEARBEITEN: Hier ist ein Kommentar zum Unterschied zwischen PR AUC und AP. Die AUC wird durch trapezförmige Interpolation der Präzision erhalten. Eine alternative und in der Regel fast äquivalente Metrik ist die Average Precision (AP), die als info.ap …

27 scikit-learn precision-recall auc average-precision

6

Warum führen kleinere Gewichte zu einfacheren Regularisierungsmodellen?

Ich habe Andrew Ngs Maschinelles Lernen-Kurs vor ungefähr einem Jahr abgeschlossen und schreibe jetzt meine High-School-Mathematikerkunde über die Funktionsweise der logistischen Regression und Techniken zur Leistungsoptimierung. Eine dieser Techniken ist natürlich die Regularisierung. Ziel der Regularisierung ist es, eine Überanpassung zu verhindern, indem die Kostenfunktion um das Ziel der Modellvereinfachung …

27 regression machine-learning optimization regularization overfitting

1

predict () -Funktion für ältere Mixed-Effects-Modelle

Das Problem: Ich habe in anderen Posts gelesen , predictdie für lmerModelle mit gemischten Effekten {lme4} in [R] nicht verfügbar sind . Ich habe versucht, dieses Thema mit einem Spielzeugdatensatz zu untersuchen ... Hintergrund: Der Datensatz ist aus dieser Quelle angepasst und als ... require(gsheet) data <- read.csv(text = gsheet2text('https://docs.google.com/spreadsheets/d/1QgtDcGJebyfW7TJsB8n6rAmsyAnlz1xkT3RuPFICTdk/edit?usp=sharing', …

27 r mixed-model lme4-nlme

4

Ensemble verschiedener Arten von Regressoren, die Scikit-Learn (oder ein anderes Python-Framework) verwenden

Ich versuche die Regressionsaufgabe zu lösen. Ich habe herausgefunden, dass 3 Modelle für verschiedene Teilmengen von Daten gut funktionieren: LassoLARS, SVR und Gradient Tree Boosting. Mir ist aufgefallen, dass ich, wenn ich mit all diesen drei Modellen Vorhersagen mache und dann eine Tabelle mit den tatsächlichen Ergebnissen meiner drei Modelle …

27 regression scikit-learn ensemble

2

Wie werden beim Clustering sowohl binäre als auch kontinuierliche Variablen zusammen verwendet?

Ich muss in k-means binäre Variablen (Werte 0 & 1) verwenden. K-means arbeitet aber nur mit stetigen Variablen. Ich weiß, dass einige Leute diese binären Variablen immer noch in k-means verwenden, ohne die Tatsache zu ignorieren, dass k-means nur für kontinuierliche Variablen ausgelegt ist. Das ist für mich inakzeptabel. Fragen: …

27 r clustering binary-data k-means mixed-type-data