Statistiken und Big Data

1

Wie berechnet die Gradientenverstärkung Wahrscheinlichkeitsschätzungen?

Ich habe versucht, den Gradienten zu verstehen, der das Lesen verschiedener Blogs und Websites fördert, und versucht, meine Antwort zu finden, indem ich zum Beispiel den XGBoost-Quellcode durchgesehen habe. Ich kann jedoch keine verständliche Erklärung dafür finden, wie Algorithmen zur Erhöhung des Gradienten Wahrscheinlichkeitsschätzungen erzeugen. Wie berechnen sie die Wahrscheinlichkeiten?

11 machine-learning classification boosting ensemble xgboost

1

Ist die Bayesian Ridge Regression ein anderer Name der Bayesian Linear Regression?

Ich habe im Internet nach Bayesian Ridge Regression gesucht, aber das meiste Ergebnis, das ich erzielt habe, ist Bayesian Linear Regression. Ich frage mich, ob es beide die gleichen Dinge sind, weil die Formel ziemlich ähnlich aussieht

11 regression bayesian

2

Probleme in der Kausalität aus Judea Pearl Book

Ich fange an, Causal Inference in Statistics, A Primer von Judea Pearl et. al. Ich habe einen Master in Mathematik, aber ich habe noch nie einen Statistikkurs belegt. Ich bin ein bisschen verwirrt von einer der frühen Studienfragen, und es gibt niemanden, den ich danach fragen kann. Ich hoffe, dass …

11 causality

1

Warum nennen wir die Gleichungen der Schätzung der kleinsten Quadrate in der linearen Regression die * normalen Gleichungen *?

Wenn wir Parameter der linearen Regression schätzen wollen, machen wir normale Gleichungen, so viele wie das lineare Modell die Anzahl der Unbekannten enthält. Warum heißen diese Gleichungen Normalgleichungen?

11 regression least-squares terminology linear

2

Einfache lineare Regression in Keras

Nachdem ich mir diese Frage angesehen habe: Beim Versuch, die lineare Regression mit Keras zu emulieren , habe ich versucht, mein eigenes Beispiel nur zu Studienzwecken zu erstellen und meine Intuition zu entwickeln. Ich habe einen einfachen Datensatz heruntergeladen und eine Spalte verwendet, um eine andere vorherzusagen. Die Daten sehen …

11 regression machine-learning neural-networks linear keras

4

Ist Multikollinearität wirklich ein Problem?

Ich arbeite derzeit an einem Vorhersagemodellierungsprojekt: Ich versuche, ein Modell zu lernen und Echtzeitvorhersagen auf der Grundlage des Modells zu treffen, das ich offline gelernt habe. Ich habe kürzlich angefangen, die Ridge-Regression zu verwenden, weil ich gelesen habe, dass Regularisierung dazu beitragen kann, den Effekt der Multikollinearität zu verringern. Allerdings …

11 regression prediction multicollinearity ridge-regression

1

RMSE vs Standardabweichung in der Bevölkerung

RMSE (Root Mean Square Error) und SD (Standardabweichung) haben ähnliche Formeln. Dieser Link sagt Der einzige Unterschied besteht darin, dass Sie durch und nicht durch dividieren, da Sie hier den Stichprobenmittelwert nicht subtrahieren. Der RMSE würde dann \ sigma entsprechen . Daher ist der Populations-RMSE \ sigma und Sie möchten …

11 standard-deviation rms

2

Bessere Leistung mit Random Forest One-Vs-All als mit Random Forest Multiclass?

Ich arbeite an einem Mehrklassenproblem mit 9 möglichen Beschriftungen, für die ich einen Datensatz habe, der aus ~ 50.000 Beispielen und ~ 200 Merkmalen besteht. Jedes Beispiel kann nur zu einer Klasse gehören. Die Daten sind zwischen den verschiedenen Bezeichnungen ziemlich ausgewogen. Aufgrund seiner Robustheit und Skalierbarkeit habe ich mich …

11 random-forest scikit-learn multi-class

1

Hauptkomponentenanalyse Beseitigen Sie Rauschen in den Daten

Beseitigt die Hauptkomponentenanalyse (PCA) das Rauschen im Datensatz? Wenn PCA das Rauschen im Datensatz nicht beseitigt, was macht PCA dann tatsächlich mit dem Datensatz? Kann mir jemand in dieser Angelegenheit helfen?

11 machine-learning neural-networks pca noise

4

Maximum-Likelihood-Funktion für die Verteilung gemischter Typen

Im Allgemeinen maximieren wir eine Funktion L(θ;x1,…,xn)=∏i=1nf(xi∣θ)L(θ;x1,…,xn)=∏i=1nf(xi∣θ) L(\theta; x_1, \ldots, x_n) = \prod_{i=1}^n f(x_i \mid \theta) Dabei ist die Wahrscheinlichkeitsdichtefunktion, wenn die zugrunde liegende Verteilung kontinuierlich ist, und eine Wahrscheinlichkeitsmassenfunktion (mit Summation anstelle des Produkts), wenn die Verteilung diskret ist.fff Wie spezifizieren wir die Wahrscheinlichkeitsfunktion, wenn die zugrunde liegende Verteilung …

11 mathematical-statistics maximum-likelihood likelihood mixture

1

Was ist der Unterschied zwischen Würfel-, Jaccard- und Überlappungskoeffizienten? [geschlossen]

Geschlossen . Diese Frage erfordert Details oder Klarheit . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Fügen Sie Details hinzu und klären Sie das Problem, indem Sie diesen Beitrag bearbeiten . Geschlossen vor 2 Jahren . Ich stoße auf drei verschiedene statistische Maße, um zwei Sätze zu …

11 machine-learning similarities dice segmentation jaccard-similarity

1

Hierarchisches Clustering mit kategorialen Variablen

Können kategoriale Variablen in hierarchischen Clustern verwendet werden? Ich habe gehört, dass nur kontinuierliche Variablen verwendet werden, aber ich habe gesehen, dass Leute, die kategoriale Variablen diskutieren, möglicherweise auch verwendet werden / nicht. Kann jemand Einblick geben?

11 categorical-data hierarchical-clustering

2

Regression: Was ist der Nutzen von R im Quadrat im Vergleich zu RMSE?

Angenommen, ich mache eine Regression mit Trainings-, Validierungs- und Testsätzen. Ich kann RMSE und R im Quadrat (R ^ 2, den Bestimmungskoeffizienten) aus der Ausgabe meiner Software (wie z. B. Rs lm () -Funktion) ermitteln. Mein Verständnis ist, dass der Test-RMSE (oder MSE) das Maß für die Güte der Vorhersage …

11 r regression regression-coefficients r-squared

1

Die Vor- und Nachteile der Glättung Spline

Ich habe eine allgemeine Frage. Kürzlich habe ich gerade Basiserweiterung und Regularisierung gelernt. Es gibt verschiedene interessante Techniken, darunter: kubischer Spline, natürlicher Spline, B-Spline und Glättungs-Spline . Die Frage ist, was sind die Vor- und Nachteile (falls vorhanden) beim Glätten von Spline im Vergleich zu dem "typischen" kubischen und natürlichen …

11 regression smoothing

3

Der Klassifikator „Gut“ hat meine Präzisions-Rückruf-Kurve zerstört. Was ist passiert?

Ich arbeite mit unausgeglichenen Daten, wobei es für jede Klasse = 1 ungefähr 40 Fälle von Klasse = 0 gibt. Ich kann die Klassen anhand einzelner Merkmale vernünftigerweise unterscheiden, und das Training eines naiven Bayes- und SVM-Klassifikators auf 6 Merkmale und ausgewogene Daten ergab eine bessere Unterscheidung (ROC-Kurven unten). Das …

11 classification svm roc naive-bayes precision-recall