Statistiken und Big Data

1

Wie verwende ich Anova für den Vergleich zweier Modelle?

Wie soll ich das anovaErgebnis beim Vergleich zweier Modelle verstehen ? Beispiel: Res.Df RSS Df Sum of Sq F Pr(>F) 1 9 54.032 2 7 4.632 2 49.4 37.329 0.0001844 *** In der Manpage heißt es: "Berechnen Sie die Analyse von Varianz- (oder Abweichungs-) Tabellen für ein oder mehrere angepasste …

9 r regression anova

1

Abgleichen von Boosted-Regressionsbäumen (BRT), Generalized-Boosted-Modellen (GBM) und Gradienten-Boosting-Maschine (GBM)

Fragen: Was ist der Unterschied zwischen Boosted Regression Tree (BRT) und Generalized Boosted Models (GBM)? Können sie austauschbar verwendet werden? Ist das eine eine bestimmte Form des anderen? Warum verwendete Ridgeway den Ausdruck "Generalized Boosted Regression Models" (GBM), um zu beschreiben, was Friedman zuvor als "Gradient Boosting Machine" (GBM) vorgeschlagen …

9 machine-learning boosting gbm

2

Backtesting oder Kreuzvalidierung, wenn der Modellbildungsprozess interaktiv war

Ich habe einige Vorhersagemodelle, deren Leistung ich zurücktesten möchte (dh ich nehme meinen Datensatz, spule ihn zu einem früheren Zeitpunkt zurück und sehe, wie sich das Modell prospektiv entwickelt hätte). Das Problem ist, dass einige meiner Modelle über einen interaktiven Prozess erstellt wurden. Zum Beispiel habe ich gemäß den Ratschlägen …

9 cross-validation modeling outliers splines overfitting

2

Out-of-Bag-Fehlerschätzung zum Boosten?

In Random Forest wird jeder Baum parallel auf einer eindeutigen Boostrap-Stichprobe der Daten gezüchtet. Da erwartet wird, dass jede Boostrap-Probe ungefähr 63% der eindeutigen Beobachtungen enthält, bleiben ungefähr 37% der Beobachtungen aus, die zum Testen des Baums verwendet werden können. Nun scheint es bei Stochastic Gradient Boosting auch eine -Schätzung …

9 machine-learning cross-validation data-mining random-forest boosting

1

Wie hoch ist bei zwei absorbierenden Markov-Ketten die Wahrscheinlichkeit, dass eine vor der anderen endet?

Ich habe zwei verschiedene Markov-Ketten mit jeweils einem absorbierenden Zustand und einer bekannten Ausgangsposition. Ich möchte die Wahrscheinlichkeit bestimmen, dass Kette 1 in weniger Schritten einen absorbierenden Zustand erreicht als Kette 2. Ich denke, ich kann die Wahrscheinlichkeit berechnen, nach n Schritten einen absorbierenden Zustand in einer bestimmten Kette zu …

9 probability markov-chain transition-matrix

2

So finden Sie Gewichte für ein Unähnlichkeitsmaß

Ich möchte Attributgewichte für mein Unähnlichkeitsmaß lernen (ableiten), das ich für das Clustering verwenden kann. Ich habe einige Beispiele von Objektpaaren, die "ähnlich" sind (sich im selben Cluster befinden sollten), sowie einige Beispiele von Objektpaaren, die "nicht ähnlich" sind (sollten nicht sein) im selben Cluster sein). Jedes Objekt hat eine …

9 clustering similarities supervised-learning semi-supervised

1

Wie finde und bewerte ich die optimale Diskretisierung für eine kontinuierliche Variable mit dem Kriterium ?

Ich habe einen Datensatz mit kontinuierlicher Variable und einer binären Zielvariablen (0 und 1). Ich muss die kontinuierlichen Variablen (für die logistische Regression) in Bezug auf die Zielvariable und mit der Einschränkung diskretisieren, dass die Beobachtungshäufigkeit in jedem Intervall ausgeglichen sein sollte. Ich habe maschinelle Lernalgorithmen wie Chi Merge und …

9 r machine-learning chi-squared discrete-data supervised-learning

2

Erfassen CART-Bäume Interaktionen zwischen Prädiktoren?

In diesem Artikel wird behauptet, dass in CART, da bei jedem Schritt eine binäre Aufteilung an einer einzelnen Kovariate durchgeführt wird, alle Aufteilungen orthogonal sind und daher Wechselwirkungen zwischen Kovariaten nicht berücksichtigt werden. Viele sehr ernsthafte Referenzen behaupten jedoch im Gegenteil, dass die hierarchische Struktur eines Baums garantiert, dass Interaktionen …

9 machine-learning classification data-mining cart

4

Fisher-Exakttest auf gepaarte Daten

Bei Fällen mit Lungenkrebs und übereinstimmenden Kontrollen (ohne Lungenkrebs) (Übereinstimmung basierend auf Alter, Geschlecht usw.). Um Beweise für die Auswirkung des Rauchens auf Lungenkrebs zu finden, habe ich den genauen Fisher-Test in der Kontingenztabelle verwendet. Dies berücksichtigte jedoch nicht, dass die Kontrollen und Fälle übereinstimmten. 404040404040 Also habe ich mich …

9 contingency-tables fishers-exact paired-data mcnemar-test

2

Wie kann ich diese Daten verwenden, um Marker mit unterschiedlicher Großzügigkeit bei der Bewertung von Studienarbeiten zu kalibrieren?

12 Lehrer unterrichten 600 Schüler. Die 12 von diesen Lehrern unterrichteten Kohorten haben eine Größe von 40 bis 90 Schülern, und wir erwarten systematische Unterschiede zwischen den Kohorten, da Doktoranden überproportional bestimmten Kohorten zugeordnet wurden. Frühere Erfahrungen haben gezeigt, dass die Absolventen im Durchschnitt erheblich höher sind als die Studenten. …

9 teaching agreement-statistics

5

Poisson-Hypothesentest für zwei Parameter

Zum Spaß nehme ich einige Daten von Anrufen aus dem Callcenter, in dem ich arbeite, und versuche, Hypothesentests für sie durchzuführen, insbesondere die Anzahl der in einer Woche eingegangenen Anrufe, und verwende eine Poisson-Verteilung, um sie anzupassen. Aufgrund des Themas meines Jobs gibt es zwei Arten von Wochen. Rufen wir …

9 hypothesis-testing poisson-distribution

2

Lineare Kombination von zwei zufälligen Nicht-Normalen, die immer noch zur selben Familie gehören

Es ist bekannt, dass eine lineare Kombination von 2 zufälligen Normalvariablen auch eine zufällige Normalvariable ist. Gibt es gemeinsame nicht normale Verteilungsfamilien (z. B. Weibull), die diese Eigenschaft ebenfalls teilen? Es scheint viele Gegenbeispiele zu geben. Beispielsweise ist eine lineare Kombination von Uniformen typischerweise nicht einheitlich. Gibt es insbesondere nicht …

9 distributions linear

1

Verwendung der Informationstheorie in der angewandten Datenwissenschaft

Heute bin ich auf das Buch "Informationstheorie: Eine Einführung in ein Tutorial" von James Stone gestoßen und habe ein oder zwei Momente über das Ausmaß der Verwendung der Informationstheorie in der angewandten Datenwissenschaft nachgedacht (wenn Sie mit diesem noch etwas unscharfen Begriff nicht vertraut sind, Denken Sie an Datenanalyse , …

9 information-theory

1

X, Y sind iid von N (0,1). Wie groß ist die Wahrscheinlichkeit, dass X> 2Y ist?

Ich dachte, da von und sie dann unabhängig sindX,YX,YX, YN(0,1)N(0,1)N(0,1) X−2YX−2YX - 2Y hat eine Verteilung von . Dann hat eine Wahrscheinlichkeit von .N(0,5)N(0,5)N(0, 5)X−2Y>0X−2Y>0X-2Y > 01/21/21/2 Das Obige scheint mir richtig zu sein, obwohl es so hätte eine Wahrscheinlichkeit von . Das scheint ein bisschen falsch. Habe ich etwas …

9 probability normal-distribution

1

Was ist der Unterschied zwischen der Konditionierung von Regressoren und der Behandlung als fixiert?

Manchmal nehmen wir an, dass Regressoren fest sind, dh sie sind nicht stochastisch. Ich denke , das bedeutet , dass alle unsere Prädiktoren, Parameterschätzungen usw. bedingungslos sind, oder? Darf ich überhaupt so weit gehen, dass es sich nicht mehr um Zufallsvariablen handelt? Wenn wir andererseits akzeptieren, dass die meisten Regressoren …

9 regression inference philosophical conditioning ancillary-statistics