Als «least-squares» getaggte Fragen

Bezieht sich auf eine allgemeine Schätztechnik, bei der der Parameterwert ausgewählt wird, um die quadratische Differenz zwischen zwei Größen zu minimieren, z. B. der beobachtete Wert einer Variablen und der erwartete Wert dieser Beobachtung, abhängig vom Parameterwert. Gaußsche lineare Modelle werden durch kleinste Quadrate angepasst, und kleinste Quadrate sind die Idee, die der Verwendung des mittleren quadratischen Fehlers (MSE) als Methode zur Bewertung eines Schätzers zugrunde liegt.

3
Warum wird die Kantenschätzung durch Hinzufügen einer Konstanten zur Diagonale besser als bei OLS?
Ich verstehe, dass die Grat-Regressionsschätzung das , das die Restsumme des Quadrats und eine Strafe für die Größe von β minimiertββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] Allerdings verstehe ich die Bedeutung der Tatsache, dass sich von dadurch unterscheidet, dass nur eine kleine Konstante …
3
Mittlerer absoluter Fehler ODER quadratischer Mittelfehler?
Warum Root Mean Squared Error (RMSE) anstelle von Mean Absolute Error (MAE) verwenden? Hallo Ich habe den in einer Berechnung generierten Fehler untersucht. Anfangs habe ich den Fehler als Root Mean Normalized Squared Error berechnet. Wenn ich etwas genauer hinschaue, sehe ich, dass das Quadrieren des Fehlers größeren Fehlern mehr …
59 least-squares  mean  rms  mae 
3
Woher kommt der Irrtum, dass Y normalverteilt sein muss?
Scheinbar seriöse Quellen behaupten, dass die abhängige Variable normal verteilt sein muss: Modellannahmen: ist normalverteilt, Fehler sind normalverteilt, und unabhängig, und ist fest und konstante Varianz .YYYei∼N(0,σ2)ei∼N(0,σ2)e_i \sim N(0,\sigma^2)XXXσ2σ2\sigma^2 Penn State, STAT 504 Analyse diskreter Daten Zweitens erfordert die lineare Regressionsanalyse, dass alle Variablen multivariate Normalen sind. StatisticsSolutions, Annahmen der …
5
Regression, wenn die OLS-Residuen nicht normal verteilt sind
Auf dieser Site befinden sich mehrere Threads, in denen erläutert wird, wie ermittelt werden kann, ob die OLS-Residuen asymptotisch normal verteilt sind. Eine weitere Möglichkeit, die Normalität der Residuen mit R-Code zu bewerten, bietet diese hervorragende Antwort . Dies ist eine weitere Diskussion über den praktischen Unterschied zwischen standardisierten und …
4
Warum Sigmoid-Funktion anstelle von irgendetwas anderem?
Warum ist die De-facto-Standard-Sigmoid-Funktion in (nicht-tiefen) neuronalen Netzwerken und logistischen Regressionen so beliebt?11+e−x11+e−x\frac{1}{1+e^{-x}} Warum verwenden wir nicht viele der anderen ableitbaren Funktionen mit einer schnelleren Rechenzeit oder einem langsameren Zerfall (so dass der Gradient weniger verschwindet)? In Wikipedia gibt es nur wenige Beispiele für Sigmoidfunktionen . Einer meiner Favoriten mit …
8
Ist es gültig, eine Basisvariable als Kontrollvariable einzuschließen, wenn die Auswirkung einer unabhängigen Variablen auf die Änderungsergebnisse getestet wird?
Ich versuche eine OLS-Regression durchzuführen: DV: Gewichtsänderung über ein Jahr (Anfangsgewicht - Endgewicht) IV: Ob Sie trainieren oder nicht. Es erscheint jedoch vernünftig, dass schwerere Menschen mehr Gewicht pro Trainingseinheit verlieren als dünnere. Daher wollte ich eine Kontrollvariable einfügen: CV: Anfangsstartgewicht. Das Anfangsgewicht wird jetzt jedoch BEIDE verwendet, um die …
1
Beweis, dass die Koeffizienten in einem OLS-Modell einer t-Verteilung mit (nk) Freiheitsgraden folgen
Hintergrund Angenommen, wir haben ein gewöhnliches Modell der kleinsten Quadrate, in dem wir kkk Koeffizienten in unserem Regressionsmodell haben, y=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} wobei ββ\mathbf{\beta} ein (k×1)(k×1)(k\times1) Koeffizientenvektor ist, ist XX\mathbf{X} die Entwurfsmatrix durch definierte X=⎛⎝⎜⎜⎜⎜⎜⎜11⋮1x11x21xn1x12…⋱………x1(k−1)⋮⋮xn(k−1)⎞⎠⎟⎟⎟⎟⎟⎟X=(1x11x12…x1(k−1)1x21…⋮⋮⋱⋮1xn1……xn(k−1))\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} …
3
Wie führt man eine orthogonale Regression (kleinste Quadrate) über PCA durch?
Ich benutze immer lm()in R, um eine lineare Regression von auf durchzuführen . Diese Funktion gibt einen Koeffizienten so dassyyyxxxββ\betay=βx.y=βx.y = \beta x. Heute habe ich etwas über die kleinsten Fehlerquadrate gelernt und diese princomp()Funktion (Hauptkomponentenanalyse, PCA) kann verwendet werden, um sie auszuführen. Es sollte gut für mich sein (genauer). …
1
Berechnung der Wiederholbarkeit von Effekten aus einem früheren Modell
Ich bin gerade auf diese Arbeit gestoßen , in der beschrieben wird, wie die Wiederholbarkeit (auch bekannt als Zuverlässigkeit, auch bekannt als Intraclass-Korrelation) einer Messung über Mixed-Effects-Modellierung berechnet wird. Der R-Code wäre: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = …
28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 
2
Warum wird RSS Chi-Quadrat-mal np verteilt?
Ich möchte , verstehen , warum unter dem OLS - Modell, die RSS (Restsumme der Quadrate) verteilt wird ( die Anzahl der Parameter in dem Modell ist, die Anzahl der Beobachtungen).χ2⋅(n−p)χ2⋅(n−p)\chi^2\cdot (n-p)pppnnn Ich entschuldige mich dafür, dass ich eine so grundlegende Frage gestellt habe, aber ich kann die Antwort anscheinend …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.