Als «entropy» getaggte Fragen

Eine mathematische Größe, mit der die Zufälligkeit einer Zufallsvariablen gemessen werden kann.

9
Messung von Entropie / Information / Mustern einer 2d-Binärmatrix
Ich möchte die Entropie / Informationsdichte / Musterähnlichkeit einer zweidimensionalen binären Matrix messen. Lassen Sie mich zur Verdeutlichung einige Bilder zeigen: Diese Anzeige sollte eine ziemlich hohe Entropie haben: EIN) Dies sollte eine mittlere Entropie haben: B) Diese Bilder sollten schließlich alle eine Entropie nahe Null haben: C) D) E) …
2
Was sagt uns die Entropie?
Ich lese über Entropie und kann mir nur schwer vorstellen, was es im kontinuierlichen Fall bedeutet. Die Wiki-Seite besagt Folgendes: Die Wahrscheinlichkeitsverteilung der Ereignisse bildet zusammen mit der Informationsmenge jedes Ereignisses eine Zufallsvariable, deren Erwartungswert die durchschnittliche Informationsmenge oder Entropie ist, die durch diese Verteilung erzeugt wird. Wenn ich also …
32 entropy 
6
Warum wird die Entropie maximiert, wenn die Wahrscheinlichkeitsverteilung gleichmäßig ist?
Ich weiß, dass Entropie das Maß für die Zufälligkeit eines Prozesses / einer Variablen ist und wie folgt definiert werden kann. für eine Zufallsvariable Menge : - . In dem Buch über Entropie und Informationstheorie von MacKay gibt er diese Aussage in Kapitel 2 wiederX∈X∈X \inAAAH(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log⁡(p(xi))H(X)= \sum_{x_i \in A} -p(x_i) …
3
Entropiebasierte Widerlegung von Shalizis Bayes'schem Rückwärtspfeil des Zeitparadoxons?
In dieser Arbeit argumentiert der talentierte Forscher Cosma Shalizi, dass man, um eine subjektive Bayes'sche Sichtweise vollständig zu akzeptieren, auch ein unphysisches Ergebnis akzeptieren muss, dass der Zeitpfeil (gegeben durch den Fluss der Entropie) tatsächlich rückwärts gehen sollte . Dies ist hauptsächlich ein Versuch, gegen die maximale Entropie / vollständig …
3
Kullback-Leibler-Divergenz OHNE Informationstheorie
Nach langem Durchforsten von Cross Validated fühle ich mich immer noch nicht näher daran, die KL-Divergenz außerhalb des Bereichs der Informationstheorie zu verstehen. Es ist ziemlich seltsam, wenn jemand mit einem mathematischen Hintergrund die Erklärung der Informationstheorie viel leichter versteht. Um mein Verständnis vor dem Hintergrund der Informationstheorie zu skizzieren: …
3
Statistische Interpretation der maximalen Entropieverteilung
Ich habe das Prinzip der maximalen Entropie verwendet, um die Verwendung mehrerer Verteilungen in verschiedenen Umgebungen zu rechtfertigen. Ich muss jedoch noch eine statistische, im Gegensatz zur informationstheoretischen Interpretation der maximalen Entropie formulieren können. Mit anderen Worten, was bedeutet die Maximierung der Entropie für die statistischen Eigenschaften der Verteilung? Hat …
4
Entropie eines Bildes
Was ist die informations- / physikalisch-theoretisch korrekteste Methode, um die Entropie eines Bildes zu berechnen? Die Recheneffizienz ist mir momentan egal - ich möchte, dass sie theoretisch so korrekt wie möglich ist. Beginnen wir mit einem Graustufenbild. Eine intuitive Vorgehensweise ist das Bild als eine Tasche von Pixeln zu prüfen …
2
Was ist empirische Entropie?
Bei der Definition gemeinsam typischer Mengen (in "Elemente der Informationstheorie", Kap. 7.6, S. 195) verwenden wir np(xn)=Π n i = 1 p(xi)- 1nLogp ( xn)-1nLog⁡p(xn)-\frac{1}{n} \log{p(x^n)} als empirische Entropie einer Folge mit . Ich bin noch nie auf diese Terminologie gestoßen. Es ist nirgends explizit nach dem Inhaltsverzeichnis des Buches …
2
Die gegenseitige Information einschränken, die gegeben ist, beschränkt sich auf die punktweise gegenseitige Information
Angenommen, ich habe zwei Mengen und und eine gemeinsame Wahrscheinlichkeitsverteilung über diese Mengen . Lassen und die Randverteilungen über bezeichnen und jeweils.XXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Die gegenseitige Information zwischen und ist definiert als: XXXYYYI(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) dh es ist der Durchschnittswert der punktweisen gegenseitigen Information pmi .(x,y)≡log(p(x,y)p(x)p(y))(x,y)≡log⁡(p(x,y)p(x)p(y))(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right) Angenommen, ich kenne …
1
Verwendet Breimans zufälliger Wald Informationsgewinn oder Gini-Index?
Ich würde gerne wissen, ob Breimans zufälliger Wald (zufälliger Wald in R randomForest-Paket) als Aufteilungskriterium (Kriterium für die Attributauswahl) Informationsgewinn oder Gini-Index verwendet. Ich habe versucht, es auf http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm und in der Dokumentation für das randomForest-Paket in R herauszufinden. Aber das einzige, was ich gefunden habe, ist, dass der Gini-Index …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.