Statistiken und Big Data

1

Warum würden Sie aus einem Mischeffektmodell vorhersagen, ohne zufällige Effekte für die Vorhersage einzubeziehen?

Dies ist eher eine konzeptionelle Frage, aber während ich sie verwende, werde Rich auf die Pakete in verweisen R. Wenn das Ziel darin besteht, ein lineares Modell für Vorhersagezwecke anzupassen und dann Vorhersagen zu treffen, bei denen die zufälligen Effekte möglicherweise nicht verfügbar sind, hat die Verwendung eines Modells mit …

10 r multiple-regression mixed-model lme4-nlme

1

K-bedeutet: Wie viele Iterationen in praktischen Situationen?

Ich habe keine Branchenerfahrung im Bereich Data Mining oder Big Data und würde mich freuen, wenn Sie Erfahrungen austauschen. Führen die Leute tatsächlich k-means, PAM, CLARA usw. für einen wirklich großen Datensatz aus? Oder wählen sie einfach zufällig eine Probe aus? Wenn sie nur eine Stichprobe des Datensatzes entnehmen, wäre …

10 clustering data-mining k-means convergence large-data

4

Neuronales Netzwerk für Regression mit mehreren Ausgaben

Ich habe einen Datensatz mit 34 Eingabespalten und 8 Ausgabespalten. Eine Möglichkeit, das Problem zu lösen, besteht darin, die 34 Eingaben zu verwenden und für jede Ausgabespalte ein individuelles Regressionsmodell zu erstellen. Ich frage mich, ob dieses Problem mit nur einem Modell gelöst werden kann, insbesondere mit Neural Network. Ich …

10 neural-networks deep-learning multivariate-regression

3

Warum ist die Hamilton-Dynamik in MCMC in einigen Fällen besser als der Vorschlag für ein zufälliges Gehen?

Die Hamilton-Dynamik ist in einigen Fällen immer besser als der zufällige Spaziergang im Metropolis-Algorithmus. Könnte jemand den Grund mit einfachen Worten ohne zu viel Mathematik erklären?

10 mcmc

2

Ist bei normalen und binomialen Modellen die posteriore Varianz immer geringer als die vorherige Varianz?

Oder welche Bedingungen garantieren das? Im Allgemeinen (und nicht nur bei normalen und binomialen Modellen) ist der Hauptgrund, der diese Behauptung gebrochen hat, vermutlich die Inkonsistenz zwischen dem Stichprobenmodell und dem vorherigen, aber was noch? Ich beginne mit diesem Thema, daher schätze ich einfache Beispiele sehr

10 bayesian variance information-theory

2

Zentraler Grenzwertsatz für Markov-Ketten

\newcommand{\E}{\mathbb{E}}\newcommand{\P}{\mathbb{P}} Der zentrale Grenzwertsatz (CLT) besagt, dass für unabhängig und identisch verteilt (iid) mit und , die Summe konvergiert zu einer Normalverteilung als : X1,X2,…X.1,X.2,…X_1,X_2,\dotsE[Xi]=0E.[X.ich]]=0\E[X_i]=0Var(Xi)<∞Var⁡(X.ich)<∞\operatorname{ Var} (X_i)<\inftyn→∞n→∞n\to\infty∑i=1nXi→N(0,n−−√).∑ich=1nX.ich→N.(0,n). \sum_{i=1}^n X_i \to N\left(0, \sqrt{n}\right). Nehmen wir stattdessen an, dass eine endliche Markov-Kette mit einer stationären Verteilung mit Erwartung 0 und begrenzter Varianz …

10 markov-process central-limit-theorem

1

RNN mit L2-Regularisierung hört auf zu lernen

Ich verwende Bidirectional RNN, um ein Ereignis mit unausgeglichenem Auftreten zu erkennen. Die positive Klasse ist 100-mal seltener als die negative Klasse. Obwohl keine Regularisierung verwendet wird, kann ich eine 100% ige Genauigkeit für das Zugset und 30% für das Validierungsset erhalten. Ich schalte die 12-Regularisierung ein und das Ergebnis …

10 neural-networks deep-learning regularization rnn

4

Ist AUC die Wahrscheinlichkeit, eine zufällig ausgewählte Instanz aus jeder Klasse korrekt zu klassifizieren?

Ich habe diese Bildunterschrift in einer Zeitung gelesen und noch nie irgendwo anders eine so beschriebene AUC gesehen. Ist das wahr? Gibt es einen Beweis oder eine einfache Möglichkeit, dies zu sehen? Fig. 2 zeigt die Vorhersagegenauigkeit dichotomer Variablen, ausgedrückt als Fläche unter der Empfänger-Betriebskennlinie (AUC), die der Wahrscheinlichkeit entspricht, …

10 classification roc auc

1

Komplexe Analyse, Funktionsanalyse für ein tieferes Verständnis des maschinellen Lernens

Ich möchte tiefer in das maschinelle Lernen (Theorie und Anwendung im Finanzwesen) einsteigen. Ich möchte fragen, wie relevant komplexe Analysen und Funktionsanalysen als Grundlage für maschinelles Lernen sind. Muss ich diese Fächer lernen oder sollte ich mich auf ein anderes Thema konzentrieren (wenn ja, auf welches?)

10 machine-learning pac-learning

3

Berechnung der Verteilung aus min, mean und max

Angenommen, ich habe das Minimum, den Mittelwert und das Maximum eines Datensatzes, z. B. 10, 20 und 25. Gibt es eine Möglichkeit: Erstellen Sie eine Verteilung aus diesen Daten und wissen, wie viel Prozent der Bevölkerung wahrscheinlich über oder unter dem Mittelwert liegen Bearbeiten: Angenommen, wir haben gemäß Glen's Vorschlag …

10 distributions standard-deviation mean maximum minimum

4

Der beste Weg, um N unabhängige Zufallszahlengeneratoren aus 1 Wert zu setzen

In meinem Programm muss ich N separate Threads mit jeweils einem eigenen RNG ausführen, mit dem ein großer Datensatz abgetastet wird. Ich muss in der Lage sein, diesen gesamten Prozess mit einem einzigen Wert zu versehen, damit ich Ergebnisse reproduzieren kann. Reicht es aus, den Startwert für jeden Index einfach …

10 python monte-carlo random-generation numpy

2

Testen der Annahme proportionaler Gefahren in parametrischen Modellen

Ich bin mir bewusst, dass ich die Annahme proportionaler Gefahren im Zusammenhang mit den Cox-PH-Modellen testen muss, aber ich habe nichts in Bezug auf parametrische Modelle festgestellt. Gibt es eine praktikable Möglichkeit, die PH-Annahme bestimmter parametrischer Modelle zu testen? Es scheint gegeben zu sein, dass sich parametrische Modelle nur geringfügig …

10 survival assumptions proportional-hazards

2

Frequentistische Definition der Wahrscheinlichkeit; Gibt es eine formale Definition?

Gibt es eine formale (mathematische) Definition dessen, was Frequentisten unter "Wahrscheinlichkeit" verstehen? Ich habe gelesen, dass es die relative Häufigkeit des Auftretens auf lange Sicht ist, aber gibt es eine formale Möglichkeit, es zu definieren? Gibt es bekannte Referenzen, wo ich diese Definition finden kann? BEARBEITEN: Mit Frequentist (siehe Kommentar …

10 probability frequentist definition

1

Wie berechnet man aus der Probe R im Quadrat?

Ich weiß, dass dies wahrscheinlich woanders diskutiert wurde, aber ich konnte keine explizite Antwort finden. Ich versuche, die Formel zu verwenden, um eines linearen Regressionsmodells außerhalb der Stichprobe zu berechnen , wobei die Summe der quadratischen Residuen und die Gesamtsumme der Quadrate ist. Für das Trainingsset ist das klarR2=1−SSR/SSTR2=1−SSR/SSTR^2 = …

10 regression machine-learning r-squared out-of-sample

1

Wie passt ein Schätzer, der eine gewichtete Summe aus quadratischer Verzerrung und Varianz minimiert, in die Entscheidungstheorie?

Okay - meine ursprüngliche Nachricht konnte keine Antwort auslösen. Lassen Sie mich die Frage anders stellen. Ich werde zunächst mein Verständnis der Schätzung aus einer entscheidungstheoretischen Perspektive erläutern. Ich habe keine formelle Ausbildung und es würde mich nicht überraschen, wenn mein Denken in irgendeiner Weise fehlerhaft ist. Angenommen, wir haben …

10 bias loss-functions frequentist decision-theory risk