Statistiken und Big Data

1

Sollte die Stichprobe für die logistische Regression das tatsächliche Verhältnis von Einsen und Nullen widerspiegeln?

Angenommen, ich möchte ein logistisches Regressionsmodell erstellen, das die Wahrscheinlichkeit des Auftretens einiger auf Bäumen lebender Tierarten basierend auf den Eigenschaften von Bäumen (z. B. der Höhe) abschätzen kann. Wie immer ist meine Zeit und mein Geld begrenzt, daher kann ich nur eine begrenzte Stichprobengröße sammeln. Ich habe folgende Fragen: …

23 logistic sampling

10

Bester Begriff für erfundene Daten?

Ich schreibe ein Beispiel und habe einige Daten erfunden. Ich möchte, dass dem Leser klar wird, dass es sich nicht um echte Daten handelt, aber ich möchte auch nicht den Eindruck von Böswilligkeit erwecken, da dies nur als Beispiel dient. Es gibt keine (Pseudo-) Zufallskomponente für diese bestimmten Daten, daher …

23 terminology synthetic-data

2

Welches statistische Modell oder welcher statistische Algorithmus könnte zur Lösung des John Snow Cholera-Problems verwendet werden?

Ich bin daran interessiert zu lernen, wie man eine geografische Annäherung einer Art Epizentrum basierend auf den Daten des John Snow Cholera-Ausbruchs entwickelt. Welche statistische Modellierung könnte verwendet werden, um ein solches Problem zu lösen, ohne vorher zu wissen, wo sich die Bohrlöcher befinden. Als allgemeines Problem hätten Sie die …

23 bayesian spatial epidemiology gis

3

Sollte die Reduzierung der Dimensionalität für die Visualisierung als „geschlossenes“ Problem angesehen werden, das von t-SNE gelöst wurde?

Ich habe viel über den sne- Algorithmus zur Dimensionsreduktion gelesen . Ich bin sehr beeindruckt von der Leistung bei "klassischen" Datensätzen wie MNIST, bei denen eine klare Trennung der Ziffern erzielt wird ( siehe Originalartikel ):ttt Ich habe es auch verwendet, um die Funktionen eines neuronalen Netzwerks zu visualisieren, das …

23 clustering data-visualization dimensionality-reduction high-dimensional tsne

1

Erklärung, was Nate Silver über Löß gesagt hat

In einer Frage, die ich kürzlich gestellt habe , wurde mir gesagt, dass es ein großes "Nein-Nein" sei, mit Löss zu extrapolieren. In Nate Silvers jüngstem Artikel auf FiveThirtyEight.com ging er jedoch auf die Verwendung von Löss für Wahlvorhersagen ein. Er diskutierte mit Löß die Besonderheiten aggressiver versus konservativer Vorhersagen, …

23 time-series forecasting predictive-models loess politics

4

Warum werden Optimierungsalgorithmen im Hinblick auf andere Optimierungsprobleme definiert?

Ich forsche an Optimierungstechniken für maschinelles Lernen, bin jedoch überrascht, dass eine große Anzahl von Optimierungsalgorithmen im Hinblick auf andere Optimierungsprobleme definiert wurde. Ich illustriere im Folgenden einige Beispiele. Zum Beispiel https://arxiv.org/pdf/1511.05133v1.pdf Alles sieht schön und gut aus, aber dann gibt es dieses im . Was ist also der Algorithmus, …

23 machine-learning svm optimization

2

Was ist eine wichtige Stichprobe?

Ich versuche, Bestärkungslernen zu lernen und dieses Thema ist für mich wirklich verwirrend. Ich habe eine Einführung in die Statistik genommen, konnte dieses Thema aber nicht intuitiv verstehen.

23 variance simulation monte-carlo unbiased-estimator importance-sampling

1

Eigenschaften von PCA für abhängige Beobachtungen

In der Regel verwenden wir PCA als Methode zur Dimensionsreduktion für Daten, bei denen angenommen wird, dass es sich um iid-Fälle handelt Frage: Was sind die typischen Nuancen bei der Anwendung von PCA für abhängige, nicht-iid-bezogene Daten? Welche netten / nützlichen Eigenschaften von PCA, die für iid-Daten gelten, sind gefährdet …

23 time-series pca non-independent iid

1

Wie interpretiert man Histogramme von TensorFlow in TensorBoard?

Ich bin kürzlich gelaufen und habe Tensor Flow gelernt und ein paar Histogramme bekommen, die ich nicht interpretieren konnte. Normalerweise stelle ich mir die Höhe der Balken als Frequenz (oder relative Häufigkeit / Anzahl) vor. Die Tatsache, dass es keine Balken wie in einem normalen Histogramm gibt und die Tatsache, …

23 machine-learning neural-networks conv-neural-network tensorflow

2

Ist es sinnvoll, einen festen Effekt in einen zufälligen zu verschachteln, oder wie man wiederholte Takte in R (aov und lmer) codiert?

Ich habe diese Übersicht der lm / lmer R-Formeln von @conjugateprior durchgesehen und bin durch den folgenden Eintrag verwirrt: Angenommen, A ist zufällig, aber B ist fest und B ist in A verschachtelt. aov(Y ~ B + Error(A/B), data=d) Im Folgenden wird eine analoge Mischmodellformel lmer(Y ~ B + (1 …

23 r anova mixed-model repeated-measures lme4-nlme

1

Keras, wie funktioniert der Zerfall der SGD-Lernrate?

Wenn Sie sich die Dokumentation http://keras.io/optimizers/ ansehen, gibt es in der SGD einen Parameter für den Zerfall. Ich weiß, dass dies die Lernrate im Laufe der Zeit reduziert. Allerdings kann ich nicht herausfinden, wie es genau funktioniert. Ist es ein Wert, der mit der Lernrate multipliziert wird, wie lr = …

23 neural-networks python

4

Monty Hall Problem mit einem fehlbaren Monty

Monty wusste genau, ob die Tür eine Ziege hinter sich hatte (oder leer war). Diese Tatsache ermöglicht es dem Spieler, seine Erfolgsrate im Laufe der Zeit zu verdoppeln, indem er "Vermutungen" auf die andere Tür überträgt. Was wäre, wenn Montys Wissen nicht perfekt wäre? Was ist, wenn manchmal der Preis …

23 conditional-probability

2

Soll das endgültige (serienreife) Modell mit vollständigen Daten oder nur mit einem Trainingssatz trainiert werden?

Angenommen, ich habe mehrere Modelle auf dem Trainingsset trainiert und das beste mit dem Kreuzvalidierungsset und der gemessenen Leistung auf dem Testset ausgewählt. Jetzt habe ich ein letztes bestes Modell. Sollte ich alle verfügbaren Daten oder Schiffslösungen, die nur auf dem Schulungsset trainiert wurden, erneut trainieren? Wenn letzteres, warum dann? …

23 machine-learning validation regression-strategies

2

Können wir MLE verwenden, um die Gewichte des neuronalen Netzwerks abzuschätzen?

Ich habe gerade angefangen, etwas über Statistiken und Models zu lernen. Nach meinem derzeitigen Verständnis verwenden wir MLE, um die besten Parameter für ein Modell zu schätzen. Wenn ich jedoch zu verstehen versuche, wie die neuronalen Netze funktionieren, scheint es, als würden sie stattdessen häufig einen anderen Ansatz verwenden, um …

23 maximum-likelihood neural-networks

3

Kullback-Leibler-Divergenz OHNE Informationstheorie

Nach langem Durchforsten von Cross Validated fühle ich mich immer noch nicht näher daran, die KL-Divergenz außerhalb des Bereichs der Informationstheorie zu verstehen. Es ist ziemlich seltsam, wenn jemand mit einem mathematischen Hintergrund die Erklärung der Informationstheorie viel leichter versteht. Um mein Verständnis vor dem Hintergrund der Informationstheorie zu skizzieren: …

23 inference entropy information-theory kullback-leibler compression