Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

1
Boosten und Absacken von Bäumen (XGBoost, LightGBM)
Es gibt viele Blog-Posts, YouTube-Videos usw. über die Idee , Bäume zu fangen oder zu vermehren . Mein allgemeines Verständnis ist, dass der Pseudocode für jedes ist: Absacken: Nehmen Sie N zufällige Stichproben von x% der Stichproben und y% der Merkmale Passen Sie Ihr Modell (z. B. Entscheidungsbaum) an jedes …
5
Was ist der Unterschied zwischen "In-Sample" - und "Out-of-Sample" -Prognosen?
Ich verstehe nicht genau, was der Unterschied zwischen "In-Sample" - und "Out-of-Sample" -Vorhersage ist. Bei einer In-Sample-Prognose wird eine Teilmenge der verfügbaren Daten verwendet, um Werte außerhalb des Schätzzeitraums vorherzusagen. Bei einer Out-of-Sample-Prognose werden stattdessen alle verfügbaren Daten verwendet. Sind diese korrekt ? Ganz konkret ist die folgende Definition richtig? …
4
Warum ist P (A, B | C) / P (B | C) = P (A | B, C)?
Ich verstehe . Die Bedingung ist der Schnittpunkt von A und B geteilt durch die gesamte Fläche von B.P(A∩B)/P(B)=P(A|B)P(A∩B)/P(B)=P(A|B)P(A\cap B)/P(B) = P(A|B) Aber warum ist ?P(A∩B|C)/P(B|C)=P(A|B∩C)P(A∩B|C)/P(B|C)=P(A|B∩C)P(A\cap B|C)/P(B|C) = P(A|B \cap C) Kannst du etwas Intuition geben? Sollte es nicht sein: ?P(A∩B∩C)/P(B,C)=P(A|B∩C)P(A∩B∩C)/P(B,C)=P(A|B∩C)P(A\cap B \cap C)/P(B,C) = P(A|B \cap C)
2
Benötigt eine zufällige Gesamtstruktur Eingabevariablen, die skaliert oder zentriert werden sollen?
Meine Eingabevariablen haben unterschiedliche Dimensionen. Einige Variablen sind dezimal, andere hunderte. Müssen diese Eingabevariablen unbedingt zentriert (subtrahiert den Mittelwert) oder skaliert (dividiert durch die Standardabweichung) werden, damit die Daten bei Verwendung einer Zufallsgesamtstruktur dimensionslos werden?
2
Wie verwende ich die ordinale logistische Regression mit zufälligen Effekten?
In meiner Studie werde ich die Arbeitsbelastung mit verschiedenen Metriken messen. Mit Herzfrequenzvariabilität (HRV), elektrodermaler Aktivität (EDA) und subjektiver Skala (IWS). Nach der Normalisierung hat das IWS drei Werte: Arbeitsbelastung niedriger als normal Arbeitsbelastung ist durchschnittlich Die Arbeitsbelastung ist höher als normal. Ich möchte sehen, wie gut die physiologischen Maßnahmen …
2
Welche Notation und warum: , , oder
Handelt es sich um rein stilistische Konventionen (ob kursiv oder nicht kursiv) oder gibt es wesentliche Unterschiede in der Bedeutung dieser Notationen? Gibt es andere Notationen, die " die Wahrscheinlichkeit von " bedeuten und in dieser Frage berücksichtigt werden sollten?
3
Wann können wir von Kollinearität sprechen?
In linearen Modellen müssen wir prüfen, ob eine Beziehung zwischen den erklärenden Variablen besteht. Wenn sie zu stark korrelieren, liegt Kollinearität vor (dh die Variablen erklären sich teilweise gegenseitig). Ich betrachte gerade die paarweise Korrelation zwischen jeder der erklärenden Variablen. Frage 1: Was stuft zu viel Korrelation ein? Ist beispielsweise …
4
Interpretation der negativen Kosinusähnlichkeit
Meine Frage mag albern sein. Also werde ich mich im Voraus entschuldigen. Ich habe versucht, das von der Stanford NLP-Gruppe vorbereitete GLOVE-Modell zu verwenden ( Link ). Ich bemerkte jedoch, dass meine Ähnlichkeitsergebnisse einige negative Zahlen zeigten. Das veranlasste mich sofort, mir die Wortvektordatendatei anzusehen. Anscheinend durften die Werte in …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.