Statistiken und Big Data

7

Wie entscheide ich, welche Spanne in der LOESS-Regression in R verwendet werden soll?

Ich verwende LOESS-Regressionsmodelle in R und möchte die Ausgaben von 12 verschiedenen Modellen mit unterschiedlichen Stichprobengrößen vergleichen. Ich kann die tatsächlichen Modelle detaillierter beschreiben, wenn dies bei der Beantwortung der Frage hilfreich ist. Hier sind die Stichprobengrößen: Fastballs vs RHH 2008-09: 2002 Fastballs vs LHH 2008-09: 2209 Fastballs vs RHH …

26 r regression loess

4

Warum wird RANSAC in der Statistik nicht am häufigsten verwendet?

Ich komme aus dem Bereich der Computersicht und habe oft die RANSAC- Methode (Random Sample Consensus) verwendet, um Modelle an Daten mit vielen Ausreißern anzupassen. Ich habe es jedoch noch nie von Statistikern gesehen und hatte immer den Eindruck, es sei keine "statistisch fundierte" Methode. Warum ist das so? Es …

26 outliers bootstrap robust

2

Neuronales Netzwerk: Verwenden Sie für die binäre Klassifizierung 1 oder 2 Ausgangsneuronen?

Angenommen, ich möchte eine binäre Klassifizierung durchführen (etwas gehört zu Klasse A oder Klasse B). Es gibt einige Möglichkeiten, dies in der Ausgabeschicht eines neuronalen Netzwerks zu tun: Verwenden Sie 1 Ausgangsknoten. Ausgang 0 (<0,5) gilt als Klasse A und 1 (> = 0,5) gilt als Klasse B (bei Sigmoid) …

26 machine-learning classification neural-networks

1

Der Trainingsverlust steigt und fällt. Was ist los?

Mein Trainingsverlust geht runter und dann wieder rauf. Es ist sehr komisch. Der Kreuzvalidierungsverlust verfolgt den Trainingsverlust. Was ist los? Ich habe zwei gestapelte LSTMS wie folgt (auf Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) model.compile(loss='binary_crossentropy', optimizer='adadelta') Ich trainiere es für 100 Epochen: …

26 machine-learning neural-networks loss-functions lstm

5

Der Wikipedia-Eintrag zur Wahrscheinlichkeit ist nicht eindeutig

Ich habe eine einfache Frage bezüglich "bedingter Wahrscheinlichkeit" und "Wahrscheinlichkeit". (Ich habe diese Frage hier bereits untersucht , aber ohne Erfolg.) Es beginnt auf der Wikipedia- Seite zur Wahrscheinlichkeit . Sie sagen das: Die Wahrscheinlichkeit eines Satzes von Parameterwerten θθ\theta bei gegebenen Ergebnissen xxx ist gleich der Wahrscheinlichkeit dieser beobachteten …

26 probability bayesian conditional-probability likelihood definition

3

Werden Bayesianische Priors bei großen Stichproben irrelevant?

Bei der Bayes'schen Inferenz maximieren wir unsere Wahrscheinlichkeitsfunktion in Kombination mit den Prioritäten, die wir für die Parameter haben. Da die Log-Wahrscheinlichkeit praktischer ist, maximieren wir effektiv Verwendung einer MCMC oder auf andere Weise, die die hinteren Verteilungen generiert (unter Verwendung eines PDFs für die Priorität jedes Parameters und die …

26 bayesian prior

3

Finden des p-Wertes in der Pearson-Korrelation in R

Ist es möglich, den p-Wert in der Pearson-Korrelation in R zu finden? Um die Pearson-Korrelation zu finden, mache ich das normalerweise col1 = c(1,2,3,4) col2 = c(1,4,3,5) cor(col1,col2) # [1] 0.8315218 Aber wie finde ich den p-Wert davon?

26 r correlation p-value pearson-r

5

Wie verwendet die lineare Regression die Normalverteilung?

Bei der linearen Regression wird angenommen, dass jeder vorhergesagte Wert aus einer Normalverteilung möglicher Werte ausgewählt wurde. Siehe unten. Aber warum wird angenommen, dass jeder vorhergesagte Wert aus einer Normalverteilung stammt? Wie verwendet die lineare Regression diese Annahme? Was ist, wenn mögliche Werte nicht normalverteilt sind?

26 regression probability distributions normal-distribution modeling

7

Kombinieren von Wahrscheinlichkeiten / Informationen aus verschiedenen Quellen

Nehmen wir an, ich habe drei unabhängige Quellen, von denen jede Vorhersagen für das Wetter von morgen macht. Der erste sagt, dass die Regenwahrscheinlichkeit morgen 0 ist, der zweite sagt, dass die Wahrscheinlichkeit 1 ist und der letzte sagt, dass die Wahrscheinlichkeit 50% ist. Ich würde gerne die Gesamtwahrscheinlichkeit bei …

26 probability bayesian pooling model-averaging forecast-combination

4

Warum sollte jemand KNN für die Regression verwenden?

Nach meinem Verständnis können wir nur eine Regressionsfunktion aufbauen, die innerhalb des Intervalls der Trainingsdaten liegt. Zum Beispiel (nur eines der Panels ist erforderlich): Wie würde ich mit einem KNN-Regressor die Zukunft vorhersagen? Auch hier scheint es sich nur um eine Funktion zu handeln, die innerhalb des Intervalls der Trainingsdaten …

26 regression machine-learning k-nearest-neighbour

3

Warum sollten Sie Lasso-Schätzungen anstelle von OLS-Schätzungen für die von Lasso identifizierte Untergruppe von Variablen verwenden?

Nehmen Sie für die Lasso-Regression dass die beste Lösung (zum Beispiel minimaler Testfehler) Merkmale auswählt . so dass .k β l a s s o = ( β l a s s o 1 , β l a s s O 2 , . . . , β l aL …

26 regression feature-selection lasso regularization

7

Einfache Beispiele für nicht korreliertes, aber nicht unabhängiges

Jeder fleißige Student ist ein Gegenbeispiel zu "alle Studenten sind faul". Was sind einige einfache Gegenbeispiele zu "Wenn die Zufallsvariablen XXX und YYY nicht korreliert sind, sind sie unabhängig"?

26 correlation random-variable independence

2

Was bedeutet der Logit-Wert eigentlich?

Ich habe ein Logit-Modell, das in vielen Fällen eine Zahl zwischen 0 und 1 liefert, aber wie können wir das interpretieren? Nehmen wir einen Fall mit einem Logit von 0,20 Können wir behaupten, dass eine Wahrscheinlichkeit von 20% besteht, dass ein Fall der Gruppe B gegenüber der Gruppe A angehört? …

26 regression logistic logit

2

Habe ich mein Modell in lmer korrekt angegeben?

Ich habe viele Hilfeseiten durchsucht und bin immer noch verwirrt darüber, wie kompliziertere verschachtelte Begriffe auch in einem gemischten Modell angegeben werden können. Ich bin auch verwirrt über die Verwendung von :und /und die |Angabe von Wechselwirkungen und Verschachtelungen mit Zufallsfaktoren, die lmer()im lme4Paket in verwendet werden R. Für diese …

26 r mixed-model lme4-nlme

4

Differenz zwischen Binomial-, Negativ-Binomial- und Poisson-Regression

Ich suche nach Informationen über den Unterschied zwischen Binomial-, Negativ-Binomial- und Poisson-Regression und für welche Situationen sind diese Regressionen am besten geeignet. Gibt es Tests, die ich in SPSS durchführen kann, um festzustellen, welche dieser Regressionen für meine Situation am besten geeignet ist? Wie führe ich in SPSS ein Poisson- …

26 spss references binomial poisson-distribution negative-binomial