Statistiken und Big Data regression

1

Wenn Sie ein Regressionsmodell mit separaten Modellierungs- / Validierungssätzen erstellen, ist es angemessen, die Validierungsdaten erneut zu verteilen?

Angenommen, ich habe eine 80/20 Aufteilung zwischen Modellierungs- / Validierungsbeobachtungen. Ich habe ein Modell an den Modellierungsdatensatz angepasst und bin mit dem Fehler, den ich im Validierungsdatensatz sehe, einverstanden. Ist es angebracht, die Validierung mit den Modellierungsdaten zu kombinieren, um aktualisierte Parameterschätzungen für die 100% -Daten zu erhalten, bevor ich …

13 regression predictive-models validation

1

Standardisierte abhängige Variable innerhalb einer Gruppe in Paneldatenmodellen?

Ist die Standardisierung einer abhängigen Variablen innerhalb der identifizierenden Gruppe sinnvoll? Das folgende Arbeitspapier (Verlangsamung der Entwaldung im legalen Amazonasgebiet; Preise oder Richtlinien ?, pdf ) verwendet eine standardisierte abhängige Variable, um die Auswirkungen der allgemeinen Richtlinienänderung in Brasilien auf die Entwaldung zu analysieren. Die Standardisierung erfolgt wie folgt: Y.n …

13 regression time-series panel-data standardization fixed-effects-model

2

Wann sollten Sie Ihre Variablen protokollieren / erweitern, wenn Sie Modelle mit zufälligen Gesamtstrukturen verwenden?

Ich mache eine Regression mit Random Forests, um Preise basierend auf mehreren Attributen vorherzusagen. Code wird in Python mit Scikit-learn geschrieben. Wie entscheiden Sie, ob Sie Ihre Variablen mit exp/ transformieren sollen, logbevor Sie sie für das Regressionsmodell verwenden? Ist es notwendig, einen Ensemble-Ansatz wie Random Forest zu verwenden?

13 regression machine-learning predictive-models python random-forest

1

Sind Bootstrapping-Standardfehler und Konfidenzintervalle in Regressionen angemessen, in denen die Annahme der Homoskedastizität verletzt wird?

Wenn in Standard-OLS-Regressionen zwei Annahmen verletzt werden (Normalverteilung von Fehlern, Homoskedastizität), sind Bootstrapping-Standardfehler und Konfidenzintervalle eine geeignete Alternative, um zu aussagekräftigen Ergebnissen hinsichtlich der Signifikanz von Regressorkoeffizienten zu gelangen? Funktionieren Signifikanztests mit Bootstrap-Standardfehlern und Konfidenzintervallen immer noch mit Heteroskedastizität? Wenn ja, welche Konfidenzintervalle können in diesem Szenario verwendet werden (Perzentil, …

13 regression bootstrap least-squares heteroscedasticity

3

Was bedeuten normale Residuen und was sagt mir das über meine Daten?

Ziemlich grundlegende Frage: Was bedeutet eine Normalverteilung von Residuen aus einer linearen Regression? Wie wirkt sich dies auf meine ursprünglichen Daten aus der Regression aus? Ich bin total ratlos, danke Jungs

13 regression residuals

1

Verstehen der Vorhersagen aus der logistischen Regression

Meine Vorhersagen aus einem logistischen Regressionsmodell (glm in R) sind nicht wie erwartet zwischen 0 und 1 begrenzt. Mein Verständnis der logistischen Regression ist, dass Ihre Eingabe- und Modellparameter linear kombiniert werden und die Antwort mithilfe der Logit-Link-Funktion in eine Wahrscheinlichkeit umgewandelt wird. Da die Logit-Funktion zwischen 0 und 1 …

13 r regression logistic generalized-linear-model

2

Mathematik hinter Klassifikations- und Regressionsbäumen

Kann jemand helfen, einige der Mathematik hinter der Klassifizierung in CART zu erklären? Ich möchte verstehen, wie zwei Hauptphasen ablaufen. Zum Beispiel habe ich einen CART-Klassifikator für ein Dataset trainiert und ein Test-Dataset verwendet, um die prädiktive Leistung zu kennzeichnen, aber: Wie wird die ursprüngliche Wurzel des Baumes gewählt? Warum …

13 regression classification data-mining cart

2

Wie interpretiere ich ein Probit-Modell in Stata?

Ich bin nicht sicher, wie ich diese Probit-Regression interpretieren soll, die ich für Stata durchgeführt habe. Die Daten befinden sich in der Kreditgenehmigung und Weiß ist eine Dummy-Variable, die = 1 ist, wenn eine Person weiß war, und = 0 ist, wenn die Person nicht weiß war. Jede Hilfe zum …

13 regression multiple-regression stata

2

Wenn p> n, wählt das Lasso höchstens n Variablen aus

Eine der Beweggründe für das elastische Netz war die folgende Einschränkung von LASSO: Im Fall p>np>np > n wählt das Lasso aufgrund der Art des konvexen Optimierungsproblems höchstens n Variablen aus, bevor es gesättigt wird. Dies scheint ein einschränkendes Merkmal für eine variable Auswahlmethode zu sein. Darüber hinaus ist das …

13 regression optimization feature-selection lasso

5

Schätzung der Prozentsätze als abhängige Variable in der Regression

Ich habe die Rangprozentsätze der Studenten in 38 Prüfungen als abhängige Variable in meinem Studium. Ein Rangprozentsatz wird berechnet durch (Rang eines Schülers / Anzahl von Schülern in einer Prüfung). Diese abhängige Variable ist nahezu gleichmäßig verteilt, und ich möchte die Auswirkungen einiger Variablen auf die abhängige Variable abschätzen. Welchen …

13 regression distributions

2

Lineare Regression, wenn Sie nur

Angenommen , Xβ=YXβ=YX\beta =Y . Wir wissen nicht , YYY genau, nur ihre Korrelation mit jedem Prädiktor, XtYXtYX^\mathrm{t}Y . Die gewöhnliche Lösung der kleinsten Quadrate (OLS) ist β=(XtX)−1XtYβ=(XtX)−1XtY\beta=(X^\mathrm{t} X)^{-1} X^\mathrm{t}Y und es gibt kein Problem. Angenommen, XtXXtXX^\mathrm{t}X ist nahezu singulär (Multikollinearität), und Sie müssen den optimalen Kammparameter schätzen. Alle Methoden …

13 regression multicollinearity

2

Generieren Sie Datenproben aus der Poisson-Regression

Ich habe mich gefragt, wie Sie Daten aus einer Poisson-Regressionsgleichung in R generieren würden. Ich bin irgendwie verwirrt, wie ich das Problem angehen soll. Wenn ich also annehme, dass wir zwei Prädiktoren und X 2 haben, die auf N ( 0 , 1 ) verteilt sindX1X1X_1X2X2X_2N(0,1)N(0,1)N(0,1) . Und der Achsenabschnitt …

13 r regression poisson-distribution simulation

1

Wie erhalte ich eine echte kontinuierliche Ausgabe von Neural Network?

In den meisten Beispielen, die ich bisher für neuronale Netze gesehen habe, wird das Netz zur Klassifizierung verwendet, und die Knoten werden mit einer Sigmoidfunktion transformiert. Ich möchte jedoch ein neuronales Netzwerk verwenden, um einen kontinuierlichen Realwert auszugeben (realistisch wäre die Ausgabe normalerweise im Bereich von -5 bis +5). Meine …

13 regression neural-networks

2

Gradientenabfall vs lm () -Funktion in R?

Ich gehe die Videos in Andrew Ngs kostenlosem Online-Kurs für maschinelles Lernen in Stanford durch. Er beschreibt Gradient Descent als einen Algorithmus zum Lösen linearer Regression und zum Ausführen von Schreibfunktionen in Octave. Vermutlich könnte ich diese Funktionen in R umschreiben, aber meine Frage ist, gibt mir die Funktion lm …

13 r regression machine-learning gradient-descent

3

Übliche Regression vs. Regression, wenn Variablen differenziert werden

Ich versuche nur zu verstehen, welche Beziehung zwischen einer normalen multiplen / einfachen Regression und einer multiplen / einfachen Regression besteht, wenn die Variablen differenziert werden. Zum Beispiel analysiere ich die Beziehung zwischen Einlagensaldo ( ) und Marktzinsen ( R T ). Wenn ich eine einfache lineare Regression durchführe, ist …

13 regression time-series

Als «regression» getaggte Fragen