Statistiken und Big Data

2

Lineare Regression: * Warum * können Sie Quadratsummen aufteilen?

Dieser Beitrag bezieht sich auf ein bivariates lineares Regressionsmodell, . Ich habe immer die Aufteilung der Gesamtsumme der Quadrate (SSTO) in die Summe der Quadrate für Fehler (SSE) und die Summe der Quadrate für das Modell (SSR) auf Glauben genommen, aber als ich anfing, wirklich darüber nachzudenken, verstehe ich nicht …

9 regression sums-of-squares orthogonal

1

Es besteht die Möglichkeit, dass das Bootstrap-Beispiel genau dem Originalbeispiel entspricht

Ich möchte nur einige Argumente überprüfen. Wenn mein Originalmuster die Größe und ich es boote, ist mein Denkprozess wie folgt:nnn 1n1n\frac{1}{n} ist die Wahrscheinlichkeit einer Beobachtung aus der Originalprobe. Um sicherzustellen, dass die nächste Ziehung nicht die zuvor untersuchte Beobachtung ist, beschränken wir die Stichprobengröße auf . So erhalten wir …

9 sampling bootstrap sample-size subsampling

1

Leichte Inkonsistenz zwischen der in Kruskal-Wallis integrierten R-Funktion und der manuellen Berechnung

Das Folgende verwirrt mich und ich konnte die Antwort an keiner anderen Stelle finden. Ich versuche, R zu lernen, während ich einige Statistiken mache, und als Übung versuche ich, die Ergebnisse der eingebauten R-Funktionen zu überprüfen, indem ich diese auch sozusagen 'von Hand' in R mache Für den Kruskal-Wallis-Test erhalte …

9 r kruskal-wallis ties

1

Generieren Sie Zufallszahlen aus der "geneigten Gleichverteilung" aus der mathematischen Theorie

Für einen bestimmten Zweck muss ich Zufallszahlen (Daten) aus einer "geneigten gleichmäßigen" Verteilung generieren. Die "Steigung" dieser Verteilung kann in einem angemessenen Intervall variieren, und dann sollte sich meine Verteilung basierend auf der Steigung von gleichmäßig zu dreieckig ändern. Hier ist meine Ableitung: Machen wir es einfach und generieren Daten …

9 r distributions python random-generation uniform

2

Simulieren Sie lineare Regression mit Heteroskedastizität

Ich versuche, einen Datensatz zu simulieren, der mit meinen empirischen Daten übereinstimmt, bin mir jedoch nicht sicher, wie ich die Fehler in den Originaldaten abschätzen soll. Die empirischen Daten beinhalten Heteroskedastizität, aber ich bin nicht daran interessiert, sie weg zu transformieren, sondern ein lineares Modell mit einem Fehlerterm zu verwenden, …

9 r simulation heteroscedasticity gamlss dglm

1

Beziehung zwischen MLE und kleinsten Quadraten bei linearer Regression

Hastie und Tibshirani erwähnen in Abschnitt 4.3.2 ihres Buches, dass in der linearen Regressionseinstellung der Ansatz der kleinsten Quadrate tatsächlich ein Sonderfall mit maximaler Wahrscheinlichkeit ist. Wie können wir dieses Ergebnis beweisen? PS: Ersparen Sie keine mathematischen Details.

9 regression maximum-likelihood least-squares

1

Farbverläufe für das Skipgramm word2vec

Ich gehe die Probleme in den schriftlichen Aufgabenproblemen der Stanford NLP Deep Learning-Klasse durch http://cs224d.stanford.edu/assignment1/assignment1_soln Ich versuche die Antwort für 3a zu verstehen, wo sie nach der Ableitung zum Vektor für das Mittelwort suchen. Angenommen, Sie erhalten einen vorhergesagten Wortvektor , der dem Mittelwort c für das Sprunggramm entspricht, und …

9 self-study neural-networks backpropagation word2vec

1

Multivariate lineare Regression mit Lasso in r

Ich versuche, ein reduziertes Modell zu erstellen, um viele abhängige Variablen (DV) (~ 450) vorherzusagen, die stark korreliert sind. Meine unabhängigen Variablen (IV) sind ebenfalls zahlreich (~ 2000) und stark korreliert. Wenn ich das Lasso verwende, um ein reduziertes Modell für jede Ausgabe einzeln auszuwählen, wird nicht garantiert, dass ich …

9 r lasso multivariate-regression

3

Funktionsauswahl mit Deep Learning?

Ich möchte die Wichtigkeit jedes Eingabe-Features mithilfe eines tiefen Modells berechnen. Ich fand jedoch nur einen Artikel über die Auswahl von Funktionen mithilfe von Deep Learning - die Auswahl von Funktionen . Sie fügen eine Ebene von Knoten ein, die direkt mit jedem Feature verbunden sind, vor der ersten verborgenen …

9 feature-selection deep-learning deep-belief-networks rbm

1

Was ist der Unterschied zwischen vielfältigem Lernen und nichtlinearer Dimensionsreduktion?

Was ist der Unterschied zwischen vielfältigem Lernen und nichtlinearer Dimensionsreduktion ? Ich habe gesehen, dass diese beiden Begriffe synonym verwendet werden. Beispielsweise: http://www.cs.cornell.edu/~kilian/research/manifold/manifold.html : Manifold Learning (oft auch als nichtlineare Dimensionsreduktion bezeichnet) verfolgt das Ziel, Daten, die ursprünglich in einem hochdimensionalen Raum liegen, in einen Raum mit niedrigeren Dimensionen einzubetten …

9 terminology dimensionality-reduction manifold-learning

1

Modell mit gemischten Effekten und Splines

Ich passe ein Modell mit gemischten Effekten mit einem Spline-Term in einer Anwendung an, bei der der zeitliche Trend bekanntermaßen kurvenlinear ist. Ich möchte jedoch beurteilen, ob der kurvenlineare Trend aufgrund einer individuellen Abweichung von der Linearität auftritt oder ob es sich um einen Effekt auf Gruppenebene handelt, der eine …

9 r splines lme4-nlme

2

Größe der Bootstrap-Beispiele

Ich lerne Bootstrapping als Mittel zur Schätzung der Varianz einer Stichprobenstatistik. Ich habe einen grundsätzlichen Zweifel. Zitat aus http://web.stanford.edu/class/psych252/tutorials/doBootstrapPrimer.pdf : • Wie viele Beobachtungen sollten wir erneut abtasten? Ein guter Vorschlag ist die ursprüngliche Stichprobengröße. Wie können wir so viele Beobachtungen wie in der Originalprobe erneut abtasten? Wenn ich eine …

9 sampling bootstrap resampling

1

Zweifel an der Ableitung von Gaußschen Prozessregressionsgleichungen in einer Arbeit

Ich lese diesen Papiervorabdruck und habe Schwierigkeiten, die Gleichungen für die Gaußsche Prozessregression abzuleiten. Sie verwenden die Einstellung und Notation von Rasmussen & Williams . Somit wird additives, mittleres, stationäres und normalverteiltes Rauschen mit Varianz angenommen:σ2noiseσnoise2\sigma^2_{noise} y=f(x)+ϵ,ϵ∼N(0,σ2noise)y=f(x)+ϵ,ϵ∼N(0,σnoise2)y=f(\mathbf{x})+\epsilon, \quad \epsilon\sim N(0,\sigma^2_{noise}) Für wird ein GP vor dem Mittelwert Null angenommen , …

9 regression bayesian gaussian-process

1

Nomenklatur für die linke und rechte Seite in Regressionsmodellen

y=β0+β1x1+ε0y=β0+β1x1+ε0y = \beta_{0} + \beta_{1}x_{1} + \varepsilon_{0} Die Sprache zur Beschreibung von Regressionsmodellen, wie die oben angegebene sehr einfache lineare Regression, variiert häufig, und solche Variationen weisen häufig geringfügige Bedeutungsverschiebungen auf. Zum Beispiel kann der Teil des Modells auf der linken Seite der Gleichung mit Konnotationen und Bezeichnungen in Klammern …

9 regression terminology

4

Wie soll ich dieses Problem der binären Vorhersage angehen?

Ich habe einen Datensatz mit dem folgenden Format. Es gibt ein binäres Ergebnis Krebs / kein Krebs. Jeder Arzt im Datensatz hat jeden Patienten gesehen und ein unabhängiges Urteil darüber abgegeben, ob der Patient Krebs hat oder nicht. Die Ärzte geben dann ihr Konfidenzniveau von 5 an, dass ihre Diagnose …

9 forecasting binary-data psychometrics