Statistiken und Big Data

1

Wie kann ein lineares Mischeffektmodell für diejenigen gemeldet werden, die nicht vertraut und skeptisch sind?

Ich bin jetzt einige Male auf dieses Problem gestoßen, wobei Prüfer mehr Rechtfertigung für die Verwendung von LMMs, herkömmliche Tests anstelle oder zusätzlich zu LMMs und vollständige Tabellen mit Parameterschätzungen anfordern, die denen entsprechen, die Sie mit einem regulären linearen Modell melden würden . Im Moment ist mein spezielles Problem …

8 mixed-model lme4-nlme reporting

2

Ist die Fehlerrate von Typ I gleich Alpha oder höchstens Alpha?

Laut der p-Wert-Wikipedia-Seite : Wenn der p-Wert korrekt berechnet wird, garantiert dieser Test, dass die Fehlerrate vom Typ I höchstens beträgt .αα\alpha Jedoch weiter unten auf der Seite wird diese Formel: Pr(RejectH|H)=Pr(p≤α|H)=αPr(RejectH|H)=Pr(p≤α|H)=α\Pr(\mathrm{Reject}\; H|H) = \Pr(p \leq \alpha|H) = \alpha Unter der Annahme, dass die Fehlerrate vom Typ 1 = Pr(RejectH|H)Pr(RejectH|H)\Pr(\mathrm{Reject}\; …

8 hypothesis-testing p-value type-i-and-ii-errors

1

Kovarianz im Gaußschen Prozess

Ich bin ein wenig verwirrt über die Formel zur Berechnung der Kovarianz im Gaußschen Prozess (das Hinzufügen von Varianz verwirrt mich immer, da es nicht immer explizit bezeichnet wird). Der Grund für die Verwirrung ist, dass die Formeln in Mustererkennung und maschinellem Lernen von Bishop angegeben sind und der Gaußsche …

8 machine-learning covariance covariance-matrix kernel-trick gaussian-process

4

Durchschnittliche Präzision bei der Objekterkennung

Ich bin ziemlich verwirrt darüber, wie ich die AP- oder mAP-Werte berechnen kann, da es anscheinend einige verschiedene Methoden gibt. Ich möchte speziell die AP / mAP-Werte für die Objekterkennung erhalten. Alles was ich sicher weiß ist: Rückruf = TP / (TP + FN), Präzision = TP / (TP + …

8 machine-learning precision-recall model-evaluation average-precision object-detection

5

Beibehalten von Kommentaren zu Diagrammen für die explorative Datenanalyse

Bei der Durchführung explorativer Datenanalysen drucke ich häufig die Grafiken aus und schreibe Kommentare / Anmerkungen usw. auf. Haben die Leute Vorschläge für eine bessere elektronische Methodik? Ich interessiere mich besonders für Python / R. Ich bin auf der Suche nach etwas 'Schnellem (und Schmutzigem)', das die Erkundungsarbeit nicht verlangsamt, …

8 data-visualization eda project-management

1

Konfidenzintervall für xgb-Prognose

Experten! Vielleicht wissen Sie, wie man das Konfidenzintervall für xgboost berechnet? Eine klassische Formel mit T-Verteilung kann nicht helfen, da meine Daten nicht normal verteilt sind. Oder spielt das keine Rolle? Wenn Sie Literatur vorschlagen, ist dies sehr nützlich, aber auch Ansätze in R und Python (im Kontext der Bibliothek …

8 confidence-interval xgboost

1

Welche Varianzschätzung soll für einen Wald-Test verwendet werden?

Ich habe die folgende Rechtfertigung für den Wald-Test der Nullhypothese für einen skalaren Parameter . Wenn die MLE für , die aus einer unabhängigen Stichprobe der Größe geschätzt wird , haben wir unter der Nullhypothese in Verteilung als , wobei die erwartete Information für eine einzelne Beobachtung ist, ausgewertet bei …

8 hypothesis-testing maximum-likelihood

1

Wie erhalte ich optimale Hyperparameter nach verschachtelter Kreuzvalidierung?

Wenn wir einen großen Datensatz haben, können wir ihn im Allgemeinen in (1) Training, (2) Validierung und (3) Test aufteilen. Wir verwenden die Validierung, um die besten Hyperparameter bei der Kreuzvalidierung zu identifizieren (z. B. C in SVM), und trainieren dann das Modell unter Verwendung der besten Hyperparameter mit dem …

8 machine-learning cross-validation scikit-learn hyperparameter optimization

2

Seltsames Muster bei der Schätzung des Standardabweichungs-Konfidenzintervalls über Bootstrapping

Ich wollte das Konfidenzintervall für die Standardabweichung für einige Daten schätzen. Der R-Code sieht wie folgt aus: library(boot) sd_boot <- function (x, ind) { res <- sd(x$ReadyChange[ind], na.rm = TRUE) return(res) } data_boot <- boot::boot(data, statistic = sd_boot, R = 10000) plot(data_boot) Und ich habe die nächste Handlung: Ich kann …

8 r confidence-interval standard-deviation bootstrap

1

Wie interpretiere ich den Plot von cv.glmnet ()?

Ich führte Lasso durch und ließ dann eine einmalige Kreuzvalidierung aus cv<-cv.glmnet(df, df$Price, nfolds = 1500) Wenn ich einen Lebenslauf zeichne, erhalte ich Folgendes: Mir ist auch aufgefallen, dass ich 2 verschiedene Lambdas bekomme: lambda.minundlambda.1se Was ist der Unterschied zwischen diesen Lambdas? Was kann ich aus der obigen Darstellung im …

8 r cross-validation interpretation lasso

1

Compressed Sensing-Beziehung zur L1-Regularisierung

Ich verstehe , dass die Drucksensor sparsamsten Lösung findet wobei x ∈ R D , A ∈ R k × D und y ∈ R k , k < < D .y=Axy=Axy = Axx∈RDx∈RDx \in \mathbb{R}^DA∈Rk×DA∈Rk×DA \in \mathbb{R}^{k \times D}y∈Rky∈Rky \in \mathbb{R}^{k}k<<Dk<<Dk << D Auf diese Weise können wir xxx …

8 lasso sparse

1

Logistische Regression: Unterschiedliche Formeln zwischen den Kursen?

Neu im statistischen und maschinellen Lernen und in einigen Online-Kursen. Ich versuche, die logistische Regression genauer zu verstehen, und habe einen Unterschied in der Formel zwischen dem Andrew Ng-Kurs und dem statistischen Stanford-Lernkurs festgestellt. Unten poste ich ein Linkbild zu beiden Formeln. Der Zähler ist also anders. Ich muss etwas …

8 regression machine-learning logistic

1

Control Function Approach und Bootstrap

Nehmen wir an, ich habe Querschnittsdaten zu , , (siehe unten für , , ).yyyx1x1x_1x2x2x_2yyyx1x1x_1x2x2x_2 Ich möchte die Auswirkung der Variablen und und ihre Wechselwirkung ( ) auf die Variable Verwendung des Kontrollfunktionsansatzes abschätzen , und höchstwahrscheinlich sind und endogen. Ich habe zwei Instrumente, und . Ich schätze die folgenden …

8 econometrics bootstrap instrumental-variables resampling errors-in-variables

2

Wie ist die Verteilung der Summe der quadratischen Chi-Quadrat-Zufallsvariablen?

Wie wäre die Verteilung der folgenden Gleichung: y= a2+ 2 a d+ d2y=a2+2ad+d2y = a^2 + 2ad + d^2 Dabei sind und unabhängige nicht zentrale Chi-Quadrat-Zufallsvariablen mit Freiheitsgraden.d 2 M.einaaddd2 M.2M2 \textbf{M} OBS.: Die RVs, die sowohl als auch erzeugen, haben und , sagen wir .d μ = 0 σ …

8 distributions chi-squared pdf

2

Verwendung der segmentierten linearen Regression als Beweis für die Grenze der menschlichen Lebensdauer

Nature veröffentlichte in diesem Jahr das folgende Papier: Hinweise auf eine Begrenzung der menschlichen Lebensdauer 1 , in denen die Autoren argumentieren , dass "die Ergebnisse stark darauf hindeuten, dass die maximale Lebensdauer des Menschen festgelegt ist und natürlichen Einschränkungen unterliegt". Eine der statistischen Analysen dieses Papiers wurde bereits an …

8 regression segmented-regression