Als «information-theory» getaggte Fragen

Ein Zweig der Mathematik / Statistik, der zur Bestimmung der Informationstragfähigkeit eines Kanals verwendet wird, unabhängig davon, ob einer für die Kommunikation verwendet wird oder einer, der im abstrakten Sinne definiert ist. Die Entropie ist eine der Maßnahmen, mit denen Informationstheoretiker die Unsicherheit quantifizieren können, die mit der Vorhersage einer Zufallsvariablen verbunden ist.

3
Definition und Ursprung von „Kreuzentropie“
Ohne Quellenangabe definiert Wikipedia die Kreuzentropie der diskreten Verteilungen und alsQPPPQ.QQ H×( S.; Q )= - ∑xp ( x )Logq( x ) .H×(P;Q)=−∑xp(x)log⁡q(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Wer hat als Erster mit dieser Menge begonnen? Und wer hat diesen Begriff erfunden? Ich schaute in: JE Shore …
1
Qualitativ was ist Kreuzentropie
Diese Frage gibt eine quantitative Definition der Kreuzentropie in Bezug auf ihre Formel. Ich suche nach einer eher fiktiven Definition, sagt Wikipedia: In der Informationstheorie misst die Kreuzentropie zwischen zwei Wahrscheinlichkeitsverteilungen die durchschnittliche Anzahl von Bits, die zum Identifizieren eines Ereignisses aus einer Menge von Möglichkeiten erforderlich sind, wenn ein …
4
Typisches Set-Konzept
Ich dachte, dass das Konzept einer typischen Menge ziemlich intuitiv ist: Eine Folge der Länge nnn würde zu der typischen Menge wenn die Wahrscheinlichkeit, dass die Folge herauskommt, hoch wäre. Jede mögliche Sequenz, die wahrscheinlich war, würde sich in . (Ich vermeide die formale Definition im Zusammenhang mit Entropie, weil …
3
Referenzen, die die Verwendung von Gaußschen Gemischen rechtfertigen
Gaußsche Mischungsmodelle (GMMs) sind ansprechend, weil sie sowohl analytisch als auch praktisch einfach zu handhaben sind und in der Lage sind, einige exotische Verteilungen ohne zu große Komplexität zu modellieren. Es gibt einige analytische Eigenschaften, die wir erwarten sollten und die im Allgemeinen nicht klar sind. Im Speziellen: SnSnS_nnnnPPPnnnPPPlimn→∞infP^∈SnD(P||P^)=0?limn→∞infP^∈SnD(P||P^)=0?\lim_{n\rightarrow \infty}\inf_{\hat{P}\in …
1
Wie ist die Differentialentropie zu interpretieren?
Ich habe kürzlich diesen Artikel über die Entropie einer diskreten Wahrscheinlichkeitsverteilung gelesen . Es beschreibt eine nette Art, über Entropie nachzudenken, da die erwartete Anzahl von Bits (zumindest bei Verwendung von in Ihrer Entropiedefinition) zum Codieren einer Nachricht benötigt wird, wenn Ihre Codierung unter Berücksichtigung der Wahrscheinlichkeitsverteilung der von Ihnen …
2
Ergebnisse zu Monte-Carlo-Schätzungen, die anhand von Stichproben ermittelt wurden
Ich habe im letzten Jahr ziemlich genau an der Stichprobe der Wichtigkeit gearbeitet und habe ein paar offene Fragen, bei denen ich gehofft hatte, Hilfe zu bekommen. Meine praktische Erfahrung mit Stichprobenverfahren von Bedeutung war, dass sie gelegentlich fantastische Schätzungen mit niedriger Varianz und niedriger Verzerrung liefern können. Häufiger neigen …
1
Differenzielle Entropie
Die Differentialentropie des Gaußschen RV beträgt log2(σ2πe−−−√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e}). Dies ist abhängig vonσσ\sigma, der Standardabweichung. Wenn wir die Zufallsvariable so normalisieren, dass sie eine Einheitsvarianz aufweist, fällt ihre Differentialentropie ab. Für mich ist dies kontraintuitiv, da die Komplexität der Kolmogorov-Normalisierungskonstante im Vergleich zur Verringerung der Entropie sehr gering sein sollte. …
2
Unterschiedliche AIC-Definitionen
Aus Wikipedia gibt es eine Definition von Akaikes Informationskriterium (AIC) als , wobei die Anzahl der Parameter und die log-Wahrscheinlichkeit des Modells ist.AIC=2k−2logLAIC=2k−2log⁡L AIC = 2k -2 \log L kkklogLlog⁡L\log L Unsere Ökonometrie stellt jedoch an einer angesehenen Universität fest, dass . Hier ist die geschätzte Varianz für die Fehler …
1
Determinante der Fisher-Information
(Ich habe eine ähnliche Frage auf math.se gestellt .) In der Informationsgeometrie ist die Determinante der Fisher-Informationsmatrix eine natürliche Volumenform auf einer statistischen Mannigfaltigkeit, daher hat sie eine schöne geometrische Interpretation. Die Tatsache, dass es beispielsweise in der Definition eines Jeffreys vorkommt, hängt mit seiner Invarianz unter Reparametrisierungen zusammen, die …
1
Schätzen der Korrelation zwischen einer kontinuierlichen Variablen und einer kategorialen Variablen mithilfe gegenseitiger Informationen
In Bezug auf den Titel besteht die Idee darin, die gegenseitige Information hier und nach MI zu verwenden, um die "Korrelation" (definiert als "wie viel ich über A weiß, wenn ich B weiß") zwischen einer kontinuierlichen Variablen und einer kategorialen Variablen zu schätzen. Ich werde Ihnen gleich meine Gedanken zu …
1
Unterschiede zwischen PROC Mixed und lme / lmer in R - Freiheitsgraden
Hinweis: Diese Frage ist ein Repost, da meine vorherige Frage aus rechtlichen Gründen gelöscht werden musste. Beim Vergleich von PROC MIXED von SAS mit der Funktion lmeaus dem nlmePaket in R bin ich auf einige verwirrende Unterschiede gestoßen. Insbesondere unterscheiden sich die Freiheitsgrade in den verschiedenen Tests zwischen PROC MIXEDund …
12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.