Statistiken und Big Data

3

Die erste Hauptkomponente trennt keine Klassen, andere PCs jedoch. wie ist das möglich?

Ich habe PCA mit 17 quantitativen Variablen ausgeführt, um einen kleineren Satz von Variablen zu erhalten, dh Hauptkomponenten, die beim überwachten maschinellen Lernen zur Klassifizierung von Instanzen in zwei Klassen verwendet werden sollen. Nach PCA macht PC1 31% der Varianz in den Daten aus, PC2 17%, PC3 10%, PC4 8%, …

11 machine-learning classification pca dimensionality-reduction

1

Weisen Sie Variablen in der Clusteranalyse Gewichte zu

Ich möchte den Variablen in meiner Clusteranalyse unterschiedliche Gewichte zuweisen, aber mein Programm (Stata) scheint keine Option dafür zu haben, daher muss ich dies manuell tun. Stellen Sie sich 4 Variablen A, B, C, D vor. Die Gewichte für diese Variablen sollten sein w(A)=50% w(B)=25% w(C)=10% w(D)=15% Ich frage mich, …

11 clustering stata

3

Wie überprüfe ich, ob meine Daten zur Normalverteilung des Protokolls passen?

Ich möchte einchecken, Rob meine Daten für Log-Normal- oder Pareto-Distributionen geeignet sind. Wie könnte ich das machen? Vielleicht ks.testkönnte mir das helfen, aber wie könnte ich die Parameter und für die Pareto-Verteilung für meine Daten erhalten?αα\alphakkk

11 r regression distributions lognormal pareto-distribution

1

Training eines neuronalen Faltungsnetzwerks

Ich arbeite derzeit an einer Gesichtserkennungssoftware, die Faltungs-Neuronale Netze verwendet, um Gesichter zu erkennen. Aufgrund meiner Messwerte habe ich festgestellt, dass ein neuronales Faltungsnetzwerk gemeinsame Gewichte hat, um Zeit während des Trainings zu sparen. Aber wie passt man die Backpropagation an, damit sie in einem neuronalen Faltungsnetzwerk verwendet werden kann? …

11 machine-learning neural-networks computer-vision backpropagation conv-neural-network

3

Welche Beispiele für lauernde Variablen in kontrollierten Experimenten gibt es in Veröffentlichungen?

In diesem Papier: Lauernde Variablen: Einige Beispiele Brian L. Joiner Der amerikanische Statistiker Vol. 4, November 1981, 227-233 Brian Joiner behauptet, dass "Randomisierung kein Allheilmittel ist". Dies steht im Widerspruch zu allgemeinen Aussagen wie der folgenden: Ein gut durchdachtes Experiment enthält Entwurfsmerkmale, mit denen Forscher fremde Variablen als Erklärung für …

11 confounding random-allocation

4

Klassifikator für unsichere Klassenbezeichnungen

Angenommen, ich habe eine Reihe von Instanzen mit zugeordneten Klassenbezeichnungen. Es spielt keine Rolle, wie diese Instanzen gekennzeichnet wurden, sondern wie sicher ihre Klassenmitgliedschaft ist. Jeder Instanz gehört genau einer Klasse an. Angenommen, ich kann die Sicherheit jeder Klassenmitgliedschaft mit einem nominalen Attribut von 1 bis 3 quantifizieren (sehr sicher …

11 classification weka uncertainty

3

Abstand zwischen zwei Gaußschen Gemischen zur Bewertung von Clusterlösungen

Ich führe eine schnelle Simulation durch, um verschiedene Clustering-Methoden zu vergleichen, und stoße derzeit auf einen Haken beim Versuch, die Cluster-Lösungen zu bewerten. Ich kenne verschiedene Validierungsmetriken (viele finden sich in cluster.stats () in R), aber ich gehe davon aus, dass diese am besten verwendet werden, wenn die geschätzte Anzahl …

11 clustering kullback-leibler gaussian-mixture

2

Entscheidungsgrenzdiagramm für ein Perzeptron

Ich versuche, die Entscheidungsgrenze eines Perzeptron-Algorithmus zu zeichnen, und bin über einige Dinge wirklich verwirrt. Meine Eingabeinstanzen haben die Form , im Grunde eine 2D-Eingabeinstanz ( x 1 und x 2 ) und einen Binärklassenzielwert ( y ) [1 oder 0].[ ( x1, x2) , y]][(x1,x2),y][(x_{1},x_{2}), y]x1x1x_{1}x2x2x_{2}yyy Mein Gewichtsvektor hat …

11 machine-learning neural-networks python decision-theory perceptron

1

Maximum Likelihood Estimator - Konfidenzintervall

Wie kann ich ein asymptotisches Konfidenzintervall für einen realen Parameter erstellen, beginnend mit dem MLE für diesen Parameter?

11 confidence-interval mathematical-statistics maximum-likelihood inference

1

Motivation hinter zufälligen Waldalgorithmusschritten

Die mir bekannte Methode zum Erstellen einer zufälligen Gesamtstruktur lautet wie folgt: (von http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm ) Um einen Baum im Wald zu bauen, haben wir: Booten Sie eine Stichprobe der Größe N, wobei N die Größe unseres Trainingssatzes ist. Verwenden Sie dieses Bootstrap-Beispiel als Trainingssatz für diesen Baum. Wählen Sie an …

11 machine-learning classification random-forest

3

Kumulative / kumulative Darstellung (oder „Visualisierung einer Lorenzkurve“)

Ich weiß nicht, wie solche Handlungen heißen, und deshalb habe ich dieser Frage nur einen dummen Titel gegeben. Angenommen, ich habe einen geordneten Datensatz wie folgt 4253 4262 4270 4383 4394 4476 4635 ... Jede Zahl entspricht der Anzahl der Beiträge, die ein bestimmter Benutzer zu einer Website beigetragen hat. …

11 r distributions data-visualization

2

Warum erfordern Modelle mit zufälligen Effekten, dass die Effekte nicht mit den Eingabevariablen korreliert sind, während Modelle mit festen Effekten eine Korrelation ermöglichen?

Aus Wikipedia Es gibt zwei gemeinsame Annahmen über den einzelnen spezifischen Effekt, die Annahme zufälliger Effekte und die Annahme fester Effekte. Die Annahme zufälliger Effekte (in einem Zufallseffektmodell gemacht) ist, dass die einzelnen spezifischen Effekte nicht mit den unabhängigen Variablen korreliert sind. Die Annahme eines festen Effekts ist, dass der …

11 random-effects-model fixed-effects-model

2

Warum ist die hintere Dichte proportional zur Wahrscheinlichkeitsfunktion der vorherigen Dichte mal?

Nach dem Bayes'schen Theorem ist . Aber nach meinem ökonometrischen Text heißt es, dass P ( θ | y ) ∝ P ( y | θ ) P ( θ ) . Warum ist es so? Ich verstehe nicht, warum P ( y ) ignoriert wird.P.( y| θ)P.( θ ) …

11 bayesian conditional-probability likelihood

3

Frage zu einem normalen Gleichungsbeweis

Wie können Sie beweisen, dass die normalen Gleichungen: eine oder mehrere Lösungen haben, ohne dass angenommen wird, dass X invertierbar ist?(XTX)β=XTY(XTX)β=XTY(X^TX)\beta = X^TY Meine einzige Vermutung ist, dass es etwas mit generalisierter Umkehrung zu tun hat, aber ich bin total verloren.

11 regression proof

1

So prognostizieren Sie neue Daten mit Spline / Smooth-Regression

Kann jemand helfen, eine konzeptionelle Erklärung dafür zu geben, wie Vorhersagen für neue Daten getroffen werden, wenn Glättungen / Splines für ein Vorhersagemodell verwendet werden? Wie werden beispielsweise bei einem Modell, das mit gamboostdem mboostPaket in R mit p-Splines erstellt wurde, Vorhersagen für neue Daten getroffen? Was wird aus den …

11 regression machine-learning predictive-models splines