Statistiken und Big Data

5

Es dauerte einige Zeit, um in einer Reihe von Münzwürfen ein Muster aus Kopf und Zahl zu treffen

Inspiriert von Peter Donnellys Vortrag bei TED , in dem er bespricht, wie lange es dauern würde, bis ein bestimmtes Muster in einer Reihe von Münzwürfen erscheint, habe ich das folgende Skript in R erstellt. Bei zwei Mustern 'hth' und 'htt' berechnet, wie lange es im Durchschnitt dauert (dh wie …

26 r probability stochastic-processes

4

Wann muss eine Zeitreihe protokolliert werden, bevor ein ARIMA-Modell angepasst wird?

Ich habe vorher Forecast Pro verwendet, um univariate Zeitreihen zu prognostizieren, schalte aber meinen Workflow auf R um. Das Prognosepaket für R enthält viele nützliche Funktionen, aber eines tut es nicht, bevor es automatisch ausgeführt wird .arima (). In einigen Fällen beschließt Forecast Pro, Transformationsdaten zu protokollieren, bevor Prognosen erstellt …

26 r time-series data-transformation forecasting arima

2

Gewichtung des KLD-Verlusts im Vergleich zum Rekonstruktionsverlust bei variierenden automatischen Codierern

In fast allen Codebeispielen, die ich von einer VAE gesehen habe, sind die Verlustfunktionen wie folgt definiert (dies ist ein Tensorflow-Code, aber ich habe ähnliche für Theano, Fackel usw. gesehen. Es ist auch für ein Convnet, aber das ist auch nicht allzu relevant betrifft nur die Achsen, die die Summen …

26 machine-learning deep-learning tensorflow autoencoders variational-bayes

4

Was ist die richtige Verwendung von scale_pos_weight in xgboost für unausgeglichene Datasets?

Ich habe einen sehr unausgeglichenen Datensatz. Ich versuche den Tuning-Ratschlägen zu folgen und zu verwenden scale_pos_weight, bin mir aber nicht sicher, wie ich es tunen soll. Ich kann sehen, dass RegLossObj.GetGradient: if (info.labels[i] == 1.0f) w *= param_.scale_pos_weight Ein Gradient einer positiven Probe wäre also einflussreicher. Dem xgboost-Artikel zufolge wird …

26 unbalanced-classes xgboost

5

Wann ist der Ansatz von Fisher, mehr Daten zu sammeln, sinnvoll?

Ich zitiere Gungs großartige Antwort Angeblich hat sich ein Forscher einmal mit "nicht signifikanten" Ergebnissen an Fisher gewandt und ihn gefragt, was er tun soll, und Fisher sagte: "Geh und hol mehr Daten." Aus der Sicht von Neyman-Pearson ist dies offensichtliches Hacking. Gibt es jedoch einen Anwendungsfall, in dem der …

25 hypothesis-testing p-value intuition philosophical

2

Stimmt es, dass Bayes'sche Methoden nicht überanstrengen?

Stimmt es, dass Bayes'sche Methoden nicht überanstrengen? (Ich habe einige Artikel und Tutorials gesehen, die diese Behauptung aufstellten.) Wenn wir beispielsweise einen Gaußschen Prozess auf MNIST anwenden (handschriftliche Ziffernklassifizierung), ihn aber nur als einzelnes Sample anzeigen, wird dann für Eingaben, die sich von diesem einzelnen Sample unterscheiden, die vorherige Verteilung …

25 bayesian nonparametric gaussian-process overfitting misspecification

8

Haben Fehlerbalken für Wahrscheinlichkeiten eine Bedeutung?

Die Leute sagen oft, dass ein Ereignis eine Chance von 50-60% hat. Manchmal sehe ich sogar Leute, die explizite Fehlerbalken für Wahrscheinlichkeitszuweisungen anzeigen. Haben diese Aussagen irgendeine Bedeutung oder handelt es sich nur um eine sprachliche Unbehaglichkeit bei der Auswahl einer bestimmten Zahl für etwas, das von Natur aus nicht …

25 probability error

1

Statistische Tabellen in alten Büchern absichtlich falsch?

Ich erinnere mich, dass ich vor einiger Zeit gelesen hatte, dass in alten Büchern (vor dem Computer) die letzten Ziffern der theoretischen Quantile in den Anhängen ungenau waren, um das Plagiat zu verhindern (die Idee wäre, wenn ein anderes Buch eine Tabelle in der Tabelle hat) Anhang, in dem die …

25 references history tables

5

Ist ein überhöhtes Modell unbedingt unbrauchbar?

Angenommen, ein Modell hat eine Genauigkeit von 100% bei den Trainingsdaten, jedoch eine Genauigkeit von 70% bei den Testdaten. Stimmt das folgende Argument für dieses Modell? Es ist offensichtlich, dass es sich um ein überarbeitetes Modell handelt. Die Testgenauigkeit kann durch Reduzieren der Überanpassung verbessert werden. Dieses Modell kann jedoch …

25 model accuracy overfitting

8

Warum ist es so wichtig, prinzipielle und mathematische Theorien für maschinelles Lernen zu haben?

Ich habe mich gefragt, warum es so wichtig ist, prinzipielles / theoretisches maschinelles Lernen zu haben. Aus einer persönlichen Perspektive als Mensch kann ich verstehen, warum prinzipielles maschinelles Lernen wichtig wäre: Menschen mögen es zu verstehen, was sie tun, wir finden Schönheit und Befriedigung zu verstehen. Aus theoretischer Sicht macht …

25 machine-learning neural-networks conv-neural-network theory

1

Gibt es einen Algorithmus, der Klassifikation und Regression kombiniert?

Ich frage mich, ob es einen Algorithmus gibt, der gleichzeitig Klassifizierung und Regression durchführen kann. Zum Beispiel möchte ich, dass der Algorithmus einen Klassifikator lernt und gleichzeitig in jedem Etikett ein kontinuierliches Ziel lernt. Daher hat es für jedes Trainingsbeispiel eine kategoriale Bezeichnung und einen kontinuierlichen Wert. Ich könnte zuerst …

25 regression machine-learning classification predictive-models finite-mixture-model

2

Hilf mir, die Funktion des Quantils (inverse CDF) zu verstehen

Ich lese über die Quantilfunktion, aber es ist mir nicht klar. Könnten Sie eine intuitivere Erklärung geben als die folgende? Da das cdf eine monoton ansteigende Funktion ist, hat es eine Inverse; bezeichnen wir dies mit . Wenn die cdf von , dann ist der Wert von so dass ; …

25 distributions cdf inverse-cdf quantile-function

5

Was ist der Unterschied zwischen Faltungs-Neuronalen Netzen und Deep Learning?

Ich möchte Deep Learning in meinem Projekt einsetzen. Ich habe ein paar Artikel durchgesehen und mir ist die Frage gekommen: Gibt es einen Unterschied zwischen dem neuronalen Faltungsnetz und dem tiefen Lernen? Sind diese Dinge gleich oder haben sie größere Unterschiede und was ist besser?

25 machine-learning neural-networks deep-learning terminology conv-neural-network

1

Wann sind gemischte Modelle mit Nullkorrelation theoretisch sinnvoll?

Das folgende Blockzitat von Marktführern auf dem Gebiet der Modellierung gemischter Effekte besagt, dass Koordinatenverschiebungen in Modellen mit keiner Korrelation zwischen Zufallseffekten ('ZCP'-Modelle) die Modellvorhersagen ändern. Aber kann jemand seine Behauptungen näher erläutern oder weiter begründen? Die Aussagen in Frage sind von Bates et al der 2015 Papier auf lme4, …

25 r mixed-model lme4-nlme

3

Ist ein „Hürdenmodell“ wirklich ein Modell? Oder nur zwei separate, sequentielle Modelle?

Betrachten Sie ein Hürdenmodell, das die Zähldaten yvon einem normalen Prädiktor vorhersagt x: set.seed(1839) # simulate poisson with many zeros x <- rnorm(100) e <- rnorm(100) y <- rpois(100, exp(-1.5 + x + e)) # how many zeroes? table(y == 0) FALSE TRUE 31 69 In diesem Fall habe ich …

25 r count-data zero-inflation