Statistiken und Big Data

1

Wie skaliert Lasso mit der Größe der Designmatrix?

Wenn ich ein Design haben Matrix , wobei n die Anzahl der Beobachtungen der Dimension d , was die Komplexität der Lösung für β = argmin β 1X.∈ R.n × dX∈Rn×dX\in\mathcal{R}^{n\times d}nnndddmit LASSO, wrtnundd? Ich denke, die Antwort sollte sich darauf beziehen, wieeineLASSO-Iteration mit diesen Parametern skaliert, und nicht darauf, …

10 optimization lasso regularization time-complexity

3

Interviewfrage eines Datenwissenschaftlers: Lineare Regression niedrig und was würden Sie tun?

Ich stand vor einer Interviewfrage für einen Job, bei dem der Interviewer mich fragte, ob Ihr für ein Preiselastizitätsmodell sehr niedrig ist (zwischen 5 und 10%). Wie würden Sie diese Frage lösen?R2R2R^2 Ich konnte mir nichts anderes vorstellen als die Tatsache, dass ich eine Regressionsdiagnose durchführen werde, um zu sehen, …

10 regression self-study theory

1

Warum erhalte ich unterschiedliche Vorhersagen für die manuelle Polynomerweiterung und verwende die R `poly` -Funktion?

Warum erhalte ich unterschiedliche Vorhersagen für die manuelle Polynomerweiterung und die Verwendung der R- polyFunktion? set.seed(0) x <- rnorm(10) y <- runif(10) plot(x,y,ylim=c(-0.5,1.5)) grid() # xp is a grid variable for ploting xp <- seq(-3,3,by=0.01) x_exp <- data.frame(f1=x,f2=x^2) fit <- lm(y~.-1,data=x_exp) xp_exp <- data.frame(f1=xp,f2=xp^2) yp <- predict(fit,xp_exp) lines(xp,yp) # using …

10 r regression polynomial

2

Effizientes Abtasten einer Beta-Verteilung mit Schwellenwert

Wie soll ich effizient aus der folgenden Verteilung probieren? x ∼ B ( α , β) , x > k x∼B(α,β), x>k x \sim B(\alpha, \beta),\space x > k Wenn nicht zu groß ist, ist die Ablehnungsabtastung vielleicht der beste Ansatz, aber ich bin mir nicht sicher, wie ich vorgehen …

10 random-generation beta-distribution truncation

1

Intuitive Erklärung für die inverse Wahrscheinlichkeit von Behandlungsgewichten (IPTWs) bei der Neigungsbewertung?

Ich verstehe die Mechanik der Gewichte der Berechnung der Neigung unter Verwendung von Partituren : und dann Anwenden der Gewichte in einer Regressionsanalyse, zu der die Gewichte dienen "Kontrolle für" oder Trennung der Wirkungen von Kovariaten in den Populationen der Behandlungs- und Kontrollgruppe mit der Ergebnisvariablen.p(xi)p(xi)p(x_i)wi,j=treatwi,j=control=1p(xi)=11−p(xi)wi,j=treat=1p(xi)wi,j=control=11−p(xi)\begin{align} w_{i, j={\rm treat}} &= …

10 intuition weighted-regression propensity-scores

1

Was ist der Gewichtsverlust?

Ich beginne mit tiefem Lernen und habe eine Frage, deren Antwort ich nicht finden konnte, vielleicht habe ich nicht richtig gesucht. Ich habe diese Antwort gesehen , aber es ist immer noch nicht klar, was der Gewichtsverlust ist und wie er mit der Verlustfunktion zusammenhängt.

10 neural-networks conv-neural-network

1

Warum sind meine zufälligen Waldergebnisse so variabel?

Ich versuche, die Fähigkeit von Random Forest zu testen, Stichproben zwischen zwei Gruppen zu klassifizieren. Es gibt 54 Stichproben und eine unterschiedliche Anzahl von Variablen, die zur Klassifizierung verwendet werden. Ich habe mich gefragt, warum die Out-of-Bag-Schätzungen (OOB) bis zu 5% voneinander abweichen können, selbst wenn ich 50.000 Bäume verwende. …

10 machine-learning random-forest

3

Was bedeuten Statistiker, wenn sie sagen, wir verstehen nicht wirklich, wie die LASSO (Regularisierung) funktioniert?

Ich war kürzlich bei einigen Statistikgesprächen über das Lasso (Regularisierung) und ein Punkt, der immer wieder auftaucht, ist, dass wir nicht wirklich verstehen, warum das Lasso funktioniert oder warum es so gut funktioniert. Ich frage mich, worauf sich diese Aussage bezieht. Natürlich verstehe ich, warum das Lasso technisch funktioniert, um …

10 machine-learning lasso regularization

1

Hat der Gaußsche Prozess (Regression) die universelle Approximationseigenschaft?

Kann eine stetige Funktion auf [a, b], bei der a und b reelle Zahlen sind, durch Gaußsche Prozesse (Regression) angenähert werden oder der Funktion (in einer Norm) willkürlich nahe kommen?

10 gaussian-process approximation

1

Zufällige Waldregression zur Vorhersage von Zeitreihen

Ich versuche, mithilfe der RF-Regression Vorhersagen über die Leistung einer Papierfabrik zu treffen. Ich habe minutenweise Daten für die Eingaben (Rate und Menge des eingedrungenen Holzzellstoffs usw.) sowie für die Leistung der Maschine (produziertes Papier, von der Maschine aufgenommene Leistung) und möchte Vorhersagen für 10 Minuten treffen voraus auf die …

10 time-series forecasting cross-validation random-forest autoregressive

3

Vergleich von 0/10 mit 0/20

Gibt es eine Möglichkeit, bei der Erörterung der Aufgabenerfüllungsraten zu zeigen, dass 0 von 20 Versuchen "schlechter" sind als 0 von 10 Versuchen?

10 probability sampling

2

Wie berechnet Tensorflow `tf.train.Optimizer` Gradienten?

Ich folge dem Tensorflow Mnist-Tutorial ( https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_softmax.py ). Das Tutorial verwendet tf.train.Optimizer.minimize(speziell tf.train.GradientDescentOptimizer). Ich sehe keine Argumente, die irgendwo übergeben werden, um Farbverläufe zu definieren. Verwendet der Tensorfluss standardmäßig eine numerische Differenzierung? Gibt es eine Möglichkeit, Farbverläufe so zu übergeben, wie Sie es können scipy.optimize.minimize?

10 python optimization tensorflow

1

Was rechtfertigt diese Berechnung der Ableitung einer Matrixfunktion?

In Andrew Ngs maschinellem Lernkurs verwendet er diese Formel: ∇EINt r ( A B A.T.C.) = C.A B + C.T.ABT.∇Atr(ABATC)=CAB+CTABT\nabla_A tr(ABA^TC) = CAB + C^TAB^T und er macht einen schnellen Beweis, der unten gezeigt wird: ∇EINt r ( A B A.T.C.)= ∇EINt r ( f( A ) A.T.C.)= ∇∘t r …

10 machine-learning matrix derivative

1

Was bedeuten Doppelbalken und 2 unten in gewöhnlichen kleinsten Quadraten?

Ich habe diese Notation für gewöhnliche kleinste Quadrate hier gesehen . minw∥Xw−y∥22minw‖Xw−y‖22 \min_w \left\| Xw - y \right\|^2_2 Ich habe noch nie die Doppelstangen und die 2 unten gesehen. Was bedeuten diese Symbole? Haben sie eine spezifische Terminologie für sie?

10 regression least-squares linear-model linear-algebra notation

3

Wie wähle ich die beste Metrik aus, um meine Kalibrierung zu messen?

Ich programmiere und mache testgetriebene Entwicklung. Nachdem ich meinen Code geändert habe, führe ich meine Tests aus. Manchmal sind sie erfolgreich und manchmal scheitern sie. Bevor ich einen Test durchführe, schreibe ich eine Zahl von 0,01 bis 0,99 auf, um sicherzugehen, dass der Test erfolgreich sein wird. Ich möchte wissen, …

10 forecasting decision-theory calibration scoring-rules