Als «mutual-information» getaggte Fragen

gegenseitige Information ist ein Konzept aus der Informationstheorie. Es ist ein Maß für die gemeinsame Abhängigkeit zwischen zwei Zufallsvariablen, das nicht wie der übliche Korrelationskoeffizient auf skalare Variablen beschränkt ist.

3
Kann der MIC-Algorithmus zur Erkennung nichtlinearer Korrelationen intuitiv erklärt werden?
Kürzlich habe ich zwei Artikel gelesen. Erstens geht es um die Geschichte der Korrelation und zweitens um die neue Methode mit dem Namen Maximal Information Coefficient (MIC). Ich benötige Ihre Hilfe zum Verständnis der MIC-Methode zur Schätzung nichtlinearer Korrelationen zwischen Variablen. Eine Anleitung zur Verwendung in R finden Sie außerdem …
2
Die gegenseitige Information einschränken, die gegeben ist, beschränkt sich auf die punktweise gegenseitige Information
Angenommen, ich habe zwei Mengen und und eine gemeinsame Wahrscheinlichkeitsverteilung über diese Mengen . Lassen und die Randverteilungen über bezeichnen und jeweils.XXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Die gegenseitige Information zwischen und ist definiert als: XXXYYYI(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) dh es ist der Durchschnittswert der punktweisen gegenseitigen Information pmi .(x,y)≡log(p(x,y)p(x)p(y))(x,y)≡log⁡(p(x,y)p(x)p(y))(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right) Angenommen, ich kenne …
1
Was ist die Intuition hinter austauschbaren Proben unter der Nullhypothese?
Permutationstests (auch Randomisierungstest, Re-Randomisierungstest oder exakter Test genannt) sind sehr nützlich und nützlich, wenn die zum Beispiel erforderliche Annahme einer Normalverteilung t-testnicht erfüllt ist und wenn die Transformation der Werte durch Rangfolge der Werte erfolgt Ein nicht parametrischer Test Mann-Whitney-U-testwürde dazu führen, dass mehr Informationen verloren gehen. Eine einzige Annahme, …
15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 
1
Entfernungskorrelation versus gegenseitige Information
Ich habe einige Zeit mit der gegenseitigen Information gearbeitet. Aber ich habe in der "Korrelationswelt" ein sehr neues Maß gefunden, das auch zur Messung der Verteilungsunabhängigkeit verwendet werden kann, die sogenannte "Distanzkorrelation" (auch Brownsche Korrelation genannt): http://en.wikipedia.org/wiki/Brownian_covariance . Ich habe die Papiere überprüft, in denen diese Maßnahme eingeführt wurde, ohne …
1
Schätzen der Korrelation zwischen einer kontinuierlichen Variablen und einer kategorialen Variablen mithilfe gegenseitiger Informationen
In Bezug auf den Titel besteht die Idee darin, die gegenseitige Information hier und nach MI zu verwenden, um die "Korrelation" (definiert als "wie viel ich über A weiß, wenn ich B weiß") zwischen einer kontinuierlichen Variablen und einer kategorialen Variablen zu schätzen. Ich werde Ihnen gleich meine Gedanken zu …
2
Gegenseitige Information als Wahrscheinlichkeit
Könnte die gegenseitige Information über die Gelenkentropie: 0≤I(X,Y)H(X,Y)≤10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 definiert werden als: "Die Wahrscheinlichkeit, eine Information von X nach Y zu übermitteln"? Es tut mir leid, dass ich so naiv bin, aber ich habe noch nie Informationstheorie studiert, und ich versuche nur, einige Konzepte davon zu …
1
Was sind die Vor- und Nachteile der Anwendung punktueller gegenseitiger Informationen auf eine Wortkoexistenzmatrix vor der SVD?
Eine Möglichkeit zum Generieren von Worteinbettungen ist die folgende ( Spiegelung ): Holen Sie sich eine Korpora, zB "Ich fliege gerne. Ich mag NLP. Ich mag tiefes Lernen." Erstellen Sie daraus das Wort Cooccurrence Matrix: Führen Sie SVD für X.XX durch und behalten Sie die ersten kkk Spalten von U …
1
Warum verwenden Menschen den Begriff „Beweiskraft“ und wie unterscheidet er sich von „punktueller gegenseitiger Information“?
Hier ist "Weight of Evidence" (WOE) ein gebräuchlicher Begriff in der veröffentlichten wissenschaftlichen und politischen Literatur, der am häufigsten im Zusammenhang mit der Risikobewertung verwendet wird. w(e:h)=logp(e|h)p(e|h¯¯¯)w(e:h)=log⁡p(e|h)p(e|h¯)w(e : h) = \log\frac{p(e|h)}{p(e|\overline{h})} wo Beweis ist, ist h Hypothese.eeehhh Jetzt möchte ich wissen, was der Hauptunterschied zu PMI ist (punktuelle gegenseitige Information). …
1
Warum verwenden Statistiker gegenseitige Informationen nicht als Maß für die Assoziation?
Ich habe ein paar Gespräche von Nicht-Statistikern gesehen, in denen sie Korrelationsmaße offenbar neu erfinden, indem sie gegenseitige Informationen anstelle von Regression (oder gleichwertigen / eng verwandten statistischen Tests) verwenden. Ich nehme an, es gibt einen guten Grund, warum Statistiker diesen Ansatz nicht verfolgen. Mein Laie versteht, dass Schätzer von …
1
Wie berechnet man gegenseitige Informationen?
Ich bin etwas verwirrt. Kann mir jemand erklären, wie man die gegenseitige Information zwischen zwei Begriffen basierend auf einer Term-Dokument-Matrix mit dem Auftreten eines binären Terms als Gewichtung berechnet? Document1Document2Document3′Why′111′How′101′When′111′Where′100′Why′′How′′When′′Where′Document11111Document21010Document31110 \begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & 1 \\ …
3
Funktionsauswahl unter Verwendung gegenseitiger Informationen in Matlab
Ich versuche, die Idee der gegenseitigen Information auf die Merkmalsauswahl anzuwenden, wie in diesen Vorlesungsunterlagen (auf Seite 5) beschrieben. Meine Plattform ist Matlab. Ein Problem, das ich bei der Berechnung gegenseitiger Informationen aus empirischen Daten finde, ist, dass die Anzahl immer nach oben verzerrt ist. Ich habe ungefähr 3 ~ …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.