Als «maximum-entropy» getaggte Fragen

Maximale Entropie oder Maximum ist ein statistisches Prinzip, das aus der Informationstheorie abgeleitet ist. Verteilungen, die die Entropie maximieren (unter bestimmten Einschränkungen), werden angesichts der Einschränkungen als "maximal uninformativ" angesehen. Die maximale Entropie kann für mehrere Zwecke verwendet werden, z. B. für die Wahl des Prior, die Wahl des Stichprobenmodells oder die Gestaltung von Experimenten.

6
Warum wird die Entropie maximiert, wenn die Wahrscheinlichkeitsverteilung gleichmäßig ist?
Ich weiß, dass Entropie das Maß für die Zufälligkeit eines Prozesses / einer Variablen ist und wie folgt definiert werden kann. für eine Zufallsvariable Menge : - . In dem Buch über Entropie und Informationstheorie von MacKay gibt er diese Aussage in Kapitel 2 wiederX∈X∈X \inAAAH(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log⁡(p(xi))H(X)= \sum_{x_i \in A} -p(x_i) …
3
Entropiebasierte Widerlegung von Shalizis Bayes'schem Rückwärtspfeil des Zeitparadoxons?
In dieser Arbeit argumentiert der talentierte Forscher Cosma Shalizi, dass man, um eine subjektive Bayes'sche Sichtweise vollständig zu akzeptieren, auch ein unphysisches Ergebnis akzeptieren muss, dass der Zeitpfeil (gegeben durch den Fluss der Entropie) tatsächlich rückwärts gehen sollte . Dies ist hauptsächlich ein Versuch, gegen die maximale Entropie / vollständig …
3
Statistische Interpretation der maximalen Entropieverteilung
Ich habe das Prinzip der maximalen Entropie verwendet, um die Verwendung mehrerer Verteilungen in verschiedenen Umgebungen zu rechtfertigen. Ich muss jedoch noch eine statistische, im Gegensatz zur informationstheoretischen Interpretation der maximalen Entropie formulieren können. Mit anderen Worten, was bedeutet die Maximierung der Entropie für die statistischen Eigenschaften der Verteilung? Hat …
2
Was ist die maximale Entropiewahrscheinlichkeitsdichtefunktion für eine positive stetige Variable eines gegebenen Mittelwerts und einer gegebenen Standardabweichung?
Was ist die maximale Entropieverteilung ? für eine positive stetige Variable angesichts ihres ersten und zweiten Moments? Zum Beispiel ist eine Gaußsche Verteilung die maximale Entropieverteilung für eine unbegrenzte Variable aufgrund ihres Mittelwerts und ihrer Standardabweichung, und eine Gamma-Verteilung ist die maximale Entropieverteilung für eine positive Variable aufgrund ihres Mittelwerts …
1
Gibt es eine zeitgemäße Verwendung von Jackknifing?
Die Frage: Bootstrapping ist Jackknifing überlegen ; Ich frage mich jedoch, ob es Fälle gibt, in denen das Jackknifing die einzige oder zumindest eine praktikable Option zur Charakterisierung der Unsicherheit aus Parameterschätzungen ist. Auch in praktischen Situationen, wie voreingenommen / ungenau ist Jackknifing im Vergleich zu Bootstrapping, und können Jackknife-Ergebnisse …
3
Maximum-Likelihood-Schätzer der gemeinsamen Verteilung bei nur marginalen Zählungen
Sei px,ypx,yp_{x,y} eine gemeinsame Verteilung zweier kategorialer Variablen X,YX,YX,Y mit x,y∈{1,…,K}x,y∈{1,…,K}x,y\in\{1,\ldots,K\} . Angenommen, es wurden nnn Stichproben aus dieser Verteilung gezogen, aber wir erhalten nur die Grenzwerte, nämlich für j=1,…,Kj=1,…,Kj=1,\ldots,K : Sj=∑i=1nδ(Xi=l),Tj=∑i=1nδ(Yi=j),Sj=∑i=1nδ(Xi=l),Tj=∑i=1nδ(Yi=j), S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)}, Was ist der Maximum-Likelihood-Schätzer für px,ypx,yp_{x,y} bei Sj,TjSj,TjS_j,T_j ? Ist das bekannt? …
1
"Da
Kurze Frage: Warum ist das so? Lange Frage: Ganz einfach, ich versuche herauszufinden, was diese erste Gleichung rechtfertigt. Der Autor des Buches, das ich gerade lese (Kontext hier, wenn Sie es wollen, aber nicht notwendig), behauptet Folgendes: Aufgrund der Annahme einer Beinahe-Gauß-Beziehung können wir schreiben: p0( ξ) = A.ϕ ( …
1
Erstellen eines Markov-Modells für maximale Entropie aus einem vorhandenen Klassifikator für maximale Entropie mit mehreren Eingängen
Ich bin fasziniert vom Konzept eines Maximum Entropy Markov-Modells (MEMM) und denke darüber nach, es für einen POS-Tagger (Part of Speech) zu verwenden. Im Moment verwende ich einen herkömmlichen ME-Klassifikator (Maximum Entropy), um jedes einzelne Wort zu kennzeichnen. Dies verwendet eine Reihe von Funktionen, einschließlich der beiden vorhergehenden Tags. MEMMs …
1
Support Vector Machines (SVMs) sind die Nulltemperaturgrenze der logistischen Regression?
Ich hatte kürzlich eine kurze Diskussion mit einem sachkundigen Freund, der erwähnte, dass SVMs die Nulltemperaturgrenze der logistischen Regression sind. Das Grundprinzip umfasste marginale Polytope und Fenchel-Dualität. Ich konnte nicht folgen. Ist diese Aussage über SVMs als Nulltemperaturgrenze der logistischen Regression wahr? Und wenn ja, kann jemand das Argument beschreiben?
1
Stimmt die maximale Entropieverteilung mit den gegebenen Randverteilungen mit der Produktverteilung der Randverteilungen überein?
Es ist in der Regel viele gemeinsame Verteilungen P.( X.1= x1, X.2= x2, . . . , X.n= xn)P(X1=x1,X2=x2,...,Xn=xn)P(X_1 = x_1, X_2 = x_2, ..., X_n = x_n) in Übereinstimmung mit einer bekannten Satz Randverteilungen .fich( xich) = P.( X.ich= xich)fich(xich)=P.(X.ich=xich)f_i(x_i) = P(X_i = x_i) von diesen gemeinsamen Verteilungen das …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.