Statistiken und Big Data

1

k-fach Kreuzvalidierung des Ensemble-Lernens

Ich bin verwirrt darüber, wie die Daten für die k-fache Kreuzvalidierung des Ensemble-Lernens aufgeteilt werden sollen. Angenommen, ich habe einen Lernrahmen für die Klassifizierung von Ensembles. Meine erste Ebene enthält die Klassifizierungsmodelle, z. B. SVM, Entscheidungsbäume. Meine zweite Ebene enthält ein Abstimmungsmodell, das die Vorhersagen aus der ersten Ebene kombiniert …

20 classification cross-validation ensemble

3

Erwarteter Vorhersagefehler - Ableitung

Es fällt mir schwer, die Ableitung des erwarteten Vorhersagefehlers nach unten (ESL) zu verstehen, insbesondere die Ableitung von 2.11 und 2.12 (Konditionierung, der Schritt zum punktweisen Minimum). Alle Hinweise oder Links sehr geschätzt. Unten melde ich den Auszug aus ESL pg. 18. Die ersten beiden Gleichungen lauten der Reihe nach …

20 regression prediction error

1

Fernüberwachung: überwacht, halb überwacht oder beides?

"Fernüberwachung" ist ein Lernschema, bei dem ein Klassifikator anhand eines schwach gekennzeichneten Trainingssatzes gelernt wird (Trainingsdaten werden automatisch anhand von Heuristiken / Regeln gekennzeichnet). Ich denke, dass sowohl beaufsichtigtes Lernen als auch semi-beaufsichtigtes Lernen eine solche "Fernüberwachung" beinhalten können, wenn ihre beschrifteten Daten heuristisch / automatisch beschriftet sind. Auf dieser …

20 machine-learning data-mining dataset references unsupervised-learning

1

Vergleich zwischen SHAP (Shapley Additive Explanation) und LIME (Local Interpretable Model-Agnostic Explanations)

Ich lese über zwei populäre Post-Hoc-Interpretierbarkeitstechniken: LIME und SHAP Ich habe Probleme, den Hauptunterschied zwischen diesen beiden Techniken zu verstehen. Um Scott Lundberg , den Kopf hinter SHAP, zu zitieren : SHAP-Werte bieten die Vorteile der lokalen Black-Box-Schätzung von LIME, aber auch theoretische Garantien für Konsistenz und lokale Genauigkeit aus …

20 model-interpretation shapley-value lime

4

Ist es eine gute Idee, CNN zur Klassifizierung von 1D-Signalen zu verwenden?

Ich arbeite an der Einstufung des Schlafstadiums. Ich habe einige Forschungsartikel zu diesem Thema gelesen, von denen viele die SVM- oder Ensemble-Methode verwendeten. Ist es eine gute Idee, das eindimensionale EEG-Signal mithilfe eines neuronalen Faltungsnetzwerks zu klassifizieren? Ich bin neu in dieser Art von Arbeit. Verzeihen Sie mir, wenn ich …

20 neural-networks svm conv-neural-network signal-processing

1

Wann würde man Gibbs-Sampling anstelle von Metropolis-Hastings verwenden?

Es gibt verschiedene Arten von MCMC-Algorithmen: Metropolis-Hastings Gibbs Stichprobe von Bedeutung / Ablehnung (in Verbindung stehend). Warum sollte man Gibbs-Sampling anstelle von Metropolis-Hastings verwenden? Ich vermute, dass es Fälle gibt, in denen Rückschlüsse mit Gibbs-Stichproben besser möglich sind als mit Metropolis-Hastings, aber die Einzelheiten sind mir nicht klar.

20 bayesian simulation mcmc gibbs metropolis-hastings

2

Wie und warum verwendet die Batch-Normalisierung gleitende Mittelwerte, um die Genauigkeit des Modells während des Trainings zu verfolgen?

Ich habe das Batch-Normalisierungspapier ( 1) gelesen und nicht verstanden, dass es notwendig ist, gleitende Durchschnitte zu verwenden, um die Genauigkeit des Modells zu verfolgen, und selbst wenn ich akzeptiere, dass dies das Richtige ist, verstehe ich es nicht was sie genau tun. Nach meinem Verständnis (was ich falsch finde) …

20 machine-learning neural-networks deep-learning conv-neural-network batch-normalization

1

Helfen Sie mir, die angepasste Quotenquote in der logistischen Regression zu verstehen

Es fiel mir schwer, die Verwendung der logistischen Regression in einem Papier zu verstehen. Das Papier verfügbar hier verwendet logistische Regression Wahrscheinlichkeit von Komplikationen während der Operation des Grauen Stars zu prognostizieren. Was mich verwirrt, ist, dass das Papier ein Modell vorstellt, das das Odds Ratio von 1 zur Baseline …

20 logistic odds-ratio

1

Vorteile der geschichteten vs zufälligen Stichprobe für die Erzeugung von Trainingsdaten in der Klassifizierung

Ich würde gerne wissen, ob die Verwendung geschichteter Stichproben anstelle von Zufallsstichproben einige Vorteile hat, wenn der ursprüngliche Datensatz in Trainings- und Testsätze für die Klassifizierung aufgeteilt wird. Bringt geschichtete Stichprobe mehr Verzerrung in den Klassifikator als zufällige Stichprobe? Die Anwendung, für die ich eine geschichtete Stichprobe zur Datenaufbereitung verwenden …

20 classification cross-validation random-forest train stratification

1

Diskussion über Überanpassung in xgboost

Mein Setup ist wie folgt: Ich folge den Richtlinien in "Applied Predictive Modeling". Daher habe ich korrelierte Merkmale gefiltert und erhalte am Ende Folgendes: 4900 Datenpunkte im Trainingssatz und 1600 Datenpunkte im Testsatz. Ich habe 26 Funktionen und das Ziel ist eine kontinuierliche Variable. Ich wende eine 5-fache Kreuzvalidierung an, …

20 machine-learning boosting overfitting

2

Konvergenznachweis von k-means

Für eine Aufgabe wurde ich gebeten, einen Beweis zu liefern, dass k-means in einer endlichen Anzahl von Schritten konvergiert. Das habe ich geschrieben: Im Folgenden ist eine Sammlung aller Cluster-Zentren. Definiere eine “Energie” -Funktion Die Energiefunktion ist nicht negativ. Wir sehen, dass die Schritte (2) und (3) des Algorithmus beide …

20 mathematical-statistics k-means

6

Erwarteter Wert der Wartezeit für den ersten der beiden Busse, die alle 10 und 15 Minuten verkehren

Ich bin auf eine Interviewfrage gestoßen: Es gibt einen roten Zug, der alle 10 Minuten kommt. Alle 15 Minuten fährt ein blauer Zug. Beide starten von einer zufälligen Zeit, so dass Sie keinen Zeitplan haben. Wenn Sie zu einer beliebigen Zeit am Bahnhof ankommen und in einen Zug einsteigen, der …

19 probability random-variable expected-value

2

Vorteile der Exponentialfamilie: Warum sollten wir sie studieren und anwenden?

Hier studiere ich also Inferenz. Ich möchte, dass jemand die Vorteile der exponentiellen Familie aufzählen könnte. Mit Exponentialfamilie meine ich die Verteilungen, die gegeben sind als f(x|θ)=h(x)exp{η(θ)T(x)−B(θ)}f(x|θ)=h(x)exp⁡{η(θ)T(x)−B(θ)}\begin{align*} f(x|\theta) = h(x)\exp\left\{\eta(\theta)T(x) - B(\theta)\right\} \end{align*} wessen Unterstützung nicht vom Parameter abhängt . Hier sind einige Vorteile, die ich herausgefunden habe:θθ\theta (a) Es …

19 self-study exponential-family

3

Wie heißt dieses Diagramm, das Zeilen mit zwei verbundenen Punkten enthält?

Ich habe den UVP-Bericht gelesen und diese Handlung hat meine Aufmerksamkeit erregt. Ich möchte jetzt in der Lage sein, die gleiche Art von Handlung zu erstellen. Es zeigt die Entwicklung der Energieproduktivität zwischen zwei Jahren (1990-2015) und addiert den Änderungswert zwischen diesen beiden Zeiträumen. Wie heißt diese Art von Grundstück? …

19 data-visualization terminology excel

3

Wie kann man feststellen, ob eine Freundin die Zukunft erkennen kann (dh Aktien vorhersagen kann)?

Meine Freundin hat kürzlich einen Job als Verkäuferin und Händlerin bei einer großen Bank bekommen. Beflügelt von ihrem neuen Job glaubt sie, vorhersagen zu können, ob die Aktien am Monatsende höher oder niedriger sein werden als die Chance (sie glaubt, dass sie dies sogar mit einer Genauigkeit von 80% tun …

19 probability forecasting finance