2
Schätzen Sie die Informationsentropie durch Monte-Carlo-Probenahme
Ich suche nach Methoden, mit denen sich die Informationsentropie einer Verteilung abschätzen lässt, wenn die einzigen praktischen Methoden zur Stichprobe aus dieser Verteilung Monte-Carlo-Methoden sind. Mein Problem ist dem Standard-Ising-Modell nicht unähnlich, das normalerweise als Einführungsbeispiel für die Metropolis-Hastings-Stichprobe verwendet wird. Ich habe eine Wahrscheinlichkeitsverteilung über eine Gruppe , dh …