Als «information-theory» getaggte Fragen

Ein Zweig der Mathematik / Statistik, der zur Bestimmung der Informationstragfähigkeit eines Kanals verwendet wird, unabhängig davon, ob einer für die Kommunikation verwendet wird oder einer, der im abstrakten Sinne definiert ist. Die Entropie ist eine der Maßnahmen, mit denen Informationstheoretiker die Unsicherheit quantifizieren können, die mit der Vorhersage einer Zufallsvariablen verbunden ist.

3
Intuition über eine gemeinsame Entropie
Ich habe Probleme, eine Intuition über die gemeinsame Entropie aufzubauen. = Unsicherheit in der gemeinsamen Verteilung ; = Unsicherheit in ; = Unsicherheit in .H(X,Y)H(X,Y)H(X,Y)p(x,y)p(x,y)p(x,y)H(X)H(X)H(X)px(x)px(x)p_x(x)H(Y)H(Y)H(Y)py(y)py(y)p_y(y) Wenn H (X) hoch ist, ist die Verteilung unsicherer und wenn Sie das Ergebnis einer solchen Verteilung kennen, haben Sie mehr Informationen! H (X) quantifiziert …
1
Wie kann man beobachtete mit erwarteten Ereignissen vergleichen?
Angenommen, ich habe eine Stichprobe von Häufigkeiten von 4 möglichen Ereignissen: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 und ich habe die erwarteten Wahrscheinlichkeiten, dass meine Ereignisse eintreten: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Mit der Summe der beobachteten …
9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom 
1
Protokollwahrscheinlichkeiten in Bezug auf den Softmax-Klassifikator
In diesem https://cs231n.github.io/neural-networks-case-study/ wird erwähnt, warum "der Softmax-Klassifizierer jedes Element von ff so interpretiert, dass es die (nicht normalisierten) Protokollwahrscheinlichkeiten der drei Klassen enthält". Ich verstehe, warum es nicht normalisiert ist, aber nicht, warum es protokolliert wird. Was bedeutet eine Log-Wahrscheinlichkeit? Warum nicht einfach nicht normalisierte Wahrscheinlichkeiten sagen?
2
Interpretation der Entropie zur kontinuierlichen Verteilung?
"Entropie" erfasst grob den Grad der "Information" in einer Wahrscheinlichkeitsverteilung. Für diskrete Verteilungen gibt es eine weitaus genauere Interpretation: Die Entropie einer diskreten Zufallsvariablen ist eine Untergrenze für die erwartete Anzahl von Bits, die zur Übertragung des Ergebnisses der Zufallsvariablen erforderlich sind. Aber für eine kontinuierliche Zufallsvariable gibt es unzählige …
1
Gibt es derzeit einen Konsens über den Wert des Informationsengpass-Prinzips für das Verständnis von Deep Learning?
Im Jahr 2015 veröffentlichten Tishby und Zaslavsky ein bekanntes Papier, in dem behauptet wurde, dass das sogenannte Prinzip des Informationsengpasses verwendet werden könnte, um das Verhalten tiefer neuronaler Netze zu verstehen. In einem neueren Artikel (April 2017) erweitern Schwartz-Ziv und Tishby diese Behauptungen und visualisieren insbesondere einige der Ergebnisse. Später …
1
Verteilungsentropie mit gleichmäßiger Unterverteilung
Lassen XXX eine Zufallsvariable sein, die Werte in einer Menge annimmt XX\mathcal{X}. Die Verteilung vonXXXist nicht einheitlich, aber es gibt eine TeilmengeA∈XA∈XA\in\mathcal{X} Das ist "einheitlich": alle Ereignisse in AAA mit gleicher Wahrscheinlichkeit auftreten. Können wir die Entropie von XXX auf die Größe des Sets AAA? Intuitiv scheint es uns möglich …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.