Statistiken und Big Data

3

Wie trainiere ich eine (logistische?) Regression in R mithilfe der L1-Verlustfunktion?

Ich kann eine logistische Regression in der RVerwendung trainieren glm(y ~ x, family=binomial(logit))) IIUC optimiert dies jedoch für die Protokollwahrscheinlichkeit. Gibt es eine Möglichkeit, das Modell mit der linearen ( ) Verlustfunktion zu trainieren (die in diesem Fall der gesamten Variationsentfernung entspricht )?L1L1L_1 Das heißt, wenn ein numerischer Vektor und …

11 logistic

5

Intuition zur Definition der Kovarianz

Ich habe versucht, die Kovarianz zweier Zufallsvariablen besser zu verstehen und zu verstehen, wie die erste Person, die daran dachte, zu der Definition kam, die routinemäßig in der Statistik verwendet wird. Ich ging zu Wikipedia , um es besser zu verstehen. Aus dem Artikel geht hervor, dass ein gutes Kandidatenmaß …

11 correlation covariance

2

Logistische Regression: Interpretation kontinuierlicher Variablen

Ich hatte einige Fragen zur Interpretation von Quotenverhältnissen für kontinuierliche Variablen in der logistischen Regression. Ich denke, dies sind grundlegende Fragen zur logistischen Regression (und wahrscheinlich zur Regression im Allgemeinen), und obwohl ich mich ein wenig schäme, dass ich die Antworten nicht kenne, werde ich meinen Stolz schlucken und sie …

11 regression logistic

3

Unterschied zwischen ep-SVR und nu-SVR (und SVR der kleinsten Quadrate)

Ich versuche herauszufinden, welcher SVR für diese Art von Daten geeignet ist. Ich kenne 4 Arten von SVRs: Epsilon nu kleinste Quadrate und linear. Ich verstehe, dass linearer SVR mehr oder weniger wie Lasso mit L1 Reg ist. Aber was ist der Unterschied zwischen den verbleibenden 3 Techniken?

11 regression svm

1

Wie prognostizieren wir seltene Ereignisse?

Ich arbeite an der Entwicklung eines Vorhersagemodells für Versicherungsrisiken. Bei diesen Modellen handelt es sich um "seltene Ereignisse" wie No-Show-Vorhersage von Fluggesellschaften, Erkennung von Hardwarefehlern usw. Als ich meinen Datensatz vorbereitete, versuchte ich, eine Klassifizierung anzuwenden, konnte jedoch aufgrund des hohen Anteils negativer Fälle keine nützlichen Klassifizierer erhalten . Ich …

11 classification predictive-models scikit-learn poisson-process

1

So wählen Sie die Grenzwahrscheinlichkeit für eine logistische Regression für seltene Ereignisse

Ich habe 100.000 Beobachtungen (9 Dummy-Indikatorvariablen) mit 1000 positiven. Die logistische Regression sollte in diesem Fall gut funktionieren, aber die Cutoff-Wahrscheinlichkeit verwirrt mich. In der allgemeinen Literatur wählen wir einen Cutoff von 50%, um Einsen und Nullen vorherzusagen. Ich kann dies nicht tun, da mein Modell einen Maximalwert von ~ …

11 regression logistic classification generalized-linear-model roc

1

Signifikanztest basierend auf Präzision / Rückruf / F1

Ist es möglich, einen Signifikanztest durchzuführen, der ausschließlich auf Präzision / Rückruf / F1-Ergebnissen basiert? Wenn Sie beispielsweise in einem Artikel auf zwei Systeme stoßen, für die nur P / R / F1 gemeldet werden (auf demselben Datensatz usw.), können Sie dann einen statistischen Signifikanztest durchführen? Wenn ja, wie geht …

11 statistical-significance precision-recall

4

Einführung in die nichtparametrische Statistik

Ich habe in den letzten zwei Jahren Statistik studiert. Fast alles, was ich gelernt habe, ist über parametrische Statistiken. Jetzt möchte ich mehr über nichtparametrische Statistiken erfahren. Kann jemand eine kurze (vielleicht auch lesbare) Einführung in diesen Bereich vorschlagen?

11 self-study nonparametric references

3

Welchen Algorithmus sollte ich verwenden, um einen großen binären Datensatz in wenige Kategorien zu gruppieren?

Ich habe eine große (650K Zeilen * 62 Spalten) Matrix von Binärdaten (nur 0-1 Einträge). Die Matrix ist meist spärlich: ca. 8% sind gefüllt. Ich möchte es in 5 Gruppen gruppieren - sagen wir von 1 bis 5. Ich habe es mit hierarchischem Clustering versucht und es konnte die Größe …

11 clustering dataset k-means binary-data

1

Rücktransformierte Konfidenzintervalle

Nachdem ich auf diese Diskussion gestoßen bin, stelle ich die Frage nach den Konventionen für rücktransformierte Konfidenzintervalle. Gemäß diesem Artikel beträgt der rücktransformierte CI der nominalen Abdeckung für den Mittelwert einer logarithmisch normalen Zufallsvariablen: LCL(X)=exp(Y+var(Y) U.C.L ( X.) = exp( Y.+ var ( Y.)2+ zvar ( Y.)n+ var ( Y.)22 …

11 confidence-interval data-transformation back-transformation

1

Parameterschätzungen für die Schrägnormalverteilung

Was sind die formelhaften Parameterschätzungen für die Schrägnormalen? Wenn Sie können, wäre die Ableitung über MLE oder Mom auch großartig. Vielen Dank Bearbeiten . Ich habe einen Datensatz, für den ich visuell anhand von Plots erkennen kann, die leicht nach links geneigt sind. Ich möchte den Mittelwert und die Varianz …

11 normal-distribution maximum-likelihood skewness skew-normal

2

Bedeutung des durchschnittlichen Korrelationskoeffizienten

Haftungsausschluss: Wenn Sie feststellen, dass diese Frage einer anderen zu ähnlich ist, freue ich mich, dass sie zusammengeführt wird. Ich habe jedoch nirgendwo anders eine zufriedenstellende Antwort gefunden (und habe noch nicht den "Ruf", Kommentare abzugeben oder zu stimmen), daher dachte ich, es wäre am besten, selbst eine neue Frage …

11 correlation statistical-significance fisher-transform

3

Wann wären kleinste Quadrate eine schlechte Idee?

Wenn ich ein Regressionsmodell habe: wobei und ,Y.= X.β+ εY=Xβ+ε Y = X\beta + \varepsilon V[ε]=Id∈Rn×nV[ε]=Id∈Rn×n\mathbb{V}[\varepsilon] = Id \in \mathcal{R} ^{n \times n}E[ε]=(0,…,0)E[ε]=(0,…,0)\mathbb{E}[\varepsilon]=(0, \ldots , 0) Wann wäre die Verwendung von , dem gewöhnlichen Schätzer der kleinsten Quadrate von , eine schlechte Wahl für einen Schätzer?βOLSβOLS\beta_{\text{OLS}}ββ\beta Ich versuche ein Beispiel …

11 regression distributions least-squares

1

Ignoriert SurveyMonkey die Tatsache, dass Sie eine nicht zufällige Stichprobe erhalten?

SurveyMonkey verfügt über Schritte und ein Diagramm, mit denen Sie anhand Ihrer Bevölkerungsgröße herausfinden können, welche Stichprobengröße Sie für eine bestimmte Fehlerquote oder ein bestimmtes Konfidenzintervall benötigen. SurveyMonkey-Stichprobengröße Ignoriert diese Tabelle einfach die Tatsache, dass Sie keine Zufallsstichprobe erhalten, da Sie nur die Personen erhalten, die sich die Mühe machen, …

11 confidence-interval sample-size survey sample

4

Hauptkomponentenanalyse und Regression in Python

Ich versuche herauszufinden, wie ich in Python einige Arbeiten reproduzieren kann, die ich in SAS ausgeführt habe. Mit diesem Datensatz , bei dem Multikollinearität ein Problem darstellt, möchte ich eine Hauptkomponentenanalyse in Python durchführen. Ich habe mir Scikit-Learn- und Statistikmodelle angesehen, bin mir aber nicht sicher, wie ich ihre Ausgabe …

11 pca python scikit-learn