Statistiken und Big Data

Ich bin auf der Suche nach einem Buch, das eine tiefe und strenge Darstellung der Wahrscheinlichkeitstheorie bietet, aber einen Schwerpunkt auf Material legt, das hauptsächlich außerhalb einer mathematischen Abteilung nützlich ist. Ich habe gehört, dass "The Theory of Probability: Explorations and Applications" ziemlich gut ist, aber ich wollte einige andere …

11 probability  self-study  references 

Eine skalierte Abweichung, definiert als D = 2 * (logarithmische Wahrscheinlichkeit eines gesättigten Modells minus logarithmische Wahrscheinlichkeit eines angepassten Modells), wird häufig als Maß für die Anpassungsgüte in GLM-Modellen verwendet. Die erklärte prozentuale Abweichung, definiert als [D (Nullmodell) - D (angepasstes Modell)] / D (Nullmodell), wird manchmal auch als GLM-Analogon …

11 goodness-of-fit  zero-inflation  deviance 

Dies ist ein schwieriges Thema für mich, da die Wörter Optimierung und Stochastik in einer Suche fast automatisch standardmäßig nach stochastischer Optimierung suchen. Was ich aber wirklich wissen möchte, ist, welche Methoden zur Optimierung von Computermodellen existieren, wenn die Ausgabe des Computermodells stochastisch, dh nicht deterministisch ist? Wenn Sie beispielsweise …

11 optimization  stochastic-processes 

Das Papier ist hier . Die Rollout-Richtlinie ... ist eine lineare Softmax-Richtlinie, die auf schnellen, inkrementell berechneten, lokalen musterbasierten Funktionen basiert. Ich verstehe nicht, was eine Rollout-Richtlinie ist und wie sie sich auf das Richtliniennetzwerk für die Auswahl eines Umzugs bezieht. Eine einfachere Erklärung?

11 machine-learning  monte-carlo  reinforcement-learning  games 

Sei {Xn:n≥1}{Xn:n≥1}\{X_n:n\ge1\} eine Folge unabhängiger Bernoulli-Zufallsvariablen mit P{Xk=1}=1−P{Xk=0}=1k.P{Xk=1}=1−P{Xk=0}=1k.P\{X_k=1\}=1-P\{X_k=0\}=\frac{1}{k}. Setze Sn=∑k=1n(Xk−1k), B2n=∑k=1nk−1k2Sn=∑k=1n(Xk−1k), Bn2=∑k=1nk−1k2S_n=\sum^{n}_{k=1}\left(X_k-\frac{1}{k}\right), \ B_n^2=\sum^{n}_{k=1}\frac{k-1}{k^2} Zeigen Sie, dassSnBnSnBn\frac{S_n}{B_n} konvergiert in der Verteilung gegen die StandardnormalvariableZZZdannngegen unendlich tendiert. Mein Versuch ist es, die Lyapunov-CLT zu verwenden, daher müssen wir zeigen, dass es ein δ>0δ>0\delta>0 so dass limn→∞1B2+δn∑k=1nE[|Xk−1k|2+δ]=0.limn→∞1Bn2+δ∑k=1nE[|Xk−1k|2+δ]=0.\lim_{n\rightarrow \infty}\frac{1}{B_n^{2+\delta}}\sum_{k=1}^{n}E[|X_k-\frac{1}{k}|^{2+\delta}]=0. Also setze n ∑ …

11 probability  convergence  central-limit-theorem 

Ich versuche, ein neuronales Netzwerk zu verwenden, um den Q-Wert beim Q-Learning wie bei Fragen zum Q-Learning mit neuronalen Netzwerken zu approximieren . Wie in der ersten Antwort vorgeschlagen, verwende ich eine lineare Aktivierungsfunktion für die Ausgabeebene, während ich weiterhin die Sigmoid-Aktivierungsfunktion in den verborgenen Ebenen verwende (2, obwohl ich …

11 neural-networks  reinforcement-learning 

Ich kenne die Grundlagen zu SVM und SVR, verstehe aber immer noch nicht, wie das Problem, eine Hyperebene zu finden, die den Spielraum maximiert, in SVR passt. Zweitens habe ich etwas über gelesen, das als Toleranzspielraum in SVR verwendet wird. Was bedeutet es?ϵϵ\epsilon Drittens gibt es einen Unterschied zwischen den …

11 regression  machine-learning  svm 

Kann der vorhergesagte Wert bei Entscheidungsbäumen außerhalb des Bereichs der Trainingsdaten liegen? Wenn der Trainingsdatensatzbereich der Zielvariablen beispielsweise 0-100 beträgt, können meine Werte beim Generieren und Anwenden meines Modells auf etwas anderes -5 sein? oder 150? Da ich die Regression von Entscheidungsbäumen so verstehe, dass sie immer noch auf Regeln …

11 regression  predictive-models  random-forest  cart 

Ich habe Probleme beim Verständnis des Sprunggrammmodells des Word2Vec-Algorithmus. In fortlaufenden Wortsäcken ist leicht zu erkennen, wie die Kontextwörter in das neuronale Netzwerk "passen" können, da Sie sie im Grunde nach dem Multiplizieren jeder der One-Hot-Codierungsdarstellungen mit der Eingabematrix W mitteln. Im Fall von Skip-Gram erhalten Sie den Eingangswortvektor jedoch …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

Es wird als idealer Fall angesehen, in dem die den Kategorien zugrunde liegende Wahrscheinlichkeitsstruktur perfekt bekannt ist. Warum erzielen wir mit dem Bayes-Klassifikator die beste Leistung, die erzielt werden kann? Was ist der formale Beweis / die Erklärung dafür? Da wir immer den Bayes-Klassifikator als Benchmark verwenden, um die Leistung …

11 probability  classification  bayesian  bayes 

Ich versuche, einen Detektor für Objekte zu erstellen, die sehr selten vorkommen (in Bildern), und plane, einen binären CNN-Klassifikator zu verwenden, der in einem Schiebe- / Größenänderungsfenster angewendet wird. Ich habe ausgeglichene 1: 1-Positiv-Negativ-Trainings- und Testsätze erstellt (ist es in einem solchen Fall übrigens richtig?), Und der Klassifikator ist in …

11 logistic  classification  unbalanced-classes  loss-functions 

Ich benötige einen Algorithmus, um eine binäre Suche durchzuführen, wenn der Test bei jedem Schritt das falsche Ergebnis liefern kann. Hintergrund: Ich muss die Schüler auf den am besten geeigneten von 12 Schwierigkeitsstufen bringen. Der derzeitige Ansatz ist Brute Force und stellt 60 Multiple-Choice-Fragen mit 4 Antworten mit zunehmendem Schwierigkeitsgrad, …

11 algorithms 

Das heißt, um eine sequentielle Analyse (Sie wissen nicht im Voraus genau, wie viele Daten Sie sammeln werden) mit häufig verwendeten Methoden durchzuführen, ist besondere Sorgfalt erforderlich. Sie können nicht einfach Daten sammeln, bis der p-Wert ausreichend klein wird oder ein Konfidenzintervall ausreichend kurz wird. Aber ist dies bei der …

11 bayesian  inference  philosophical  sequential-analysis 

Der Hintergrund meiner Studie : In einem Gibbs-Sampling , wo wir Probe XXX (die Variablen von Interesse) und YYY aus P(X|Y)P(X|Y)P(X|Y) und P(Y|X)P(Y|X)P(Y|X) ist, wobei XXX und YYY sind kkk -dimensionalen Zufallsvektoren. Wir wissen, dass der Prozess normalerweise in zwei Phasen unterteilt ist: Einbrennzeit, in der alle Proben verworfen werden. …

11 hypothesis-testing  covariance  covariance-matrix  gibbs 

Ich habe eine App, die durch eine vierstellige PIN geschützt ist, und der Benutzer hat fünf Anmeldeversuche erhalten, bevor das Konto gesperrt wird. Jetzt möchte einer meiner Kunden die Sicherheit "stärken" und sich für eine andere Lösung einsetzen: sechsstellige PIN NEIN "gleiche Ziffer nebeneinander": zB: 11 3945 oder 39 55 …

11 combinatorics