Als «information-theory» getaggte Fragen

Ein Zweig der Mathematik / Statistik, der zur Bestimmung der Informationstragfähigkeit eines Kanals verwendet wird, unabhängig davon, ob einer für die Kommunikation verwendet wird oder einer, der im abstrakten Sinne definiert ist. Die Entropie ist eine der Maßnahmen, mit denen Informationstheoretiker die Unsicherheit quantifizieren können, die mit der Vorhersage einer Zufallsvariablen verbunden ist.

2
Gegenseitige Information als Wahrscheinlichkeit
Könnte die gegenseitige Information über die Gelenkentropie: 0≤I(X,Y)H(X,Y)≤10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 definiert werden als: "Die Wahrscheinlichkeit, eine Information von X nach Y zu übermitteln"? Es tut mir leid, dass ich so naiv bin, aber ich habe noch nie Informationstheorie studiert, und ich versuche nur, einige Konzepte davon zu …
2
Korrelation zwischen zwei Kartenspielen?
Ich habe ein Programm geschrieben, um ein Überhandkarten -Shuffle zu simulieren . Jede Karte ist nummeriert, mit einer Farbe von CLUBS, DIAMONDS, HEARTS, SPADESund einem Rang von zwei bis zehn, dann Jack, Queen, King und Ace. Somit hat die Zwei der Vereine eine Nummer von 1, die Drei der Vereine …
2
Was sind gute Metriken, um die Qualität einer PCA-Anpassung zu bewerten und die Anzahl der Komponenten auszuwählen?
Was ist eine gute Metrik zur Bewertung der Qualität der Hauptkomponentenanalyse (PCA)? Ich habe diesen Algorithmus an einem Datensatz durchgeführt. Mein Ziel war es, die Anzahl der Funktionen zu reduzieren (die Informationen waren sehr redundant). Ich weiß, dass der Prozentsatz der aufbewahrten Varianz ein guter Indikator dafür ist, wie viele …
1
Wie berechnet man gegenseitige Informationen?
Ich bin etwas verwirrt. Kann mir jemand erklären, wie man die gegenseitige Information zwischen zwei Begriffen basierend auf einer Term-Dokument-Matrix mit dem Auftreten eines binären Terms als Gewichtung berechnet? Document1Document2Document3′Why′111′How′101′When′111′Where′100′Why′′How′′When′′Where′Document11111Document21010Document31110 \begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & 1 \\ …
3
Funktionsauswahl unter Verwendung gegenseitiger Informationen in Matlab
Ich versuche, die Idee der gegenseitigen Information auf die Merkmalsauswahl anzuwenden, wie in diesen Vorlesungsunterlagen (auf Seite 5) beschrieben. Meine Plattform ist Matlab. Ein Problem, das ich bei der Berechnung gegenseitiger Informationen aus empirischen Daten finde, ist, dass die Anzahl immer nach oben verzerrt ist. Ich habe ungefähr 3 ~ …
2
Hypothesentest und Gesamtvariationsabstand vs. Kullback-Leibler-Divergenz
Bei meiner Forschung bin ich auf das folgende allgemeine Problem gestoßen: Ich habe zwei Verteilungen und über dieselbe Domäne und eine große (aber endliche) Anzahl von Stichproben aus diesen Verteilungen. Die Proben sind unabhängig und identisch von einer dieser beiden Verteilungen verteilt (obwohl die Verteilungen verwandt sein können: Zum Beispiel …
2
Anzahl der Fächer bei der Berechnung der gegenseitigen Information
Ich möchte die Beziehung zwischen zwei Variablen, A und B, unter Verwendung gegenseitiger Informationen quantifizieren. Die Berechnung erfolgt durch Gruppieren der Beobachtungen (siehe Beispiel-Python-Code unten). Welche Faktoren bestimmen jedoch, welche Anzahl von Behältern angemessen ist? Ich brauche eine schnelle Berechnung, damit ich nicht einfach viele Behälter verwenden kann, um auf …
3
Hyperebenen klassifizieren Daten optimal, wenn Eingaben bedingt unabhängig sind - warum?
In dem Artikel Deep Learning und das Prinzip des Informationsengpasses geben die Autoren in Abschnitt II A) Folgendes an: Einzelne Neuronen klassifizieren nur linear trennbare Eingaben, da sie nur Hyperebenen in ihrem Eingaberaum implementieren können . Hyperebenen können Daten optimal klassifizieren, wenn die Eingaben bedingt unabhängig sind.u=wh+bu=wh+bu = wh+b Um …
1
Verwenden neuronale Netze eine effiziente Codierung?
Meine Frage betrifft die Beziehung zwischen der Hypothese der effizienten Codierung, die auf der Wikipedia-Seite über effiziente Codierung und Lernalgorithmen für neuronale Netze beschrieben wird. Welche Beziehung besteht zwischen der Hypothese der effizienten Codierung und neuronalen Netzen? Gibt es neuronale Netzwerkmodelle, die explizit von der Hypothese der effizienten Codierung inspiriert …
1
Verwendung der Informationstheorie in der angewandten Datenwissenschaft
Heute bin ich auf das Buch "Informationstheorie: Eine Einführung in ein Tutorial" von James Stone gestoßen und habe ein oder zwei Momente über das Ausmaß der Verwendung der Informationstheorie in der angewandten Datenwissenschaft nachgedacht (wenn Sie mit diesem noch etwas unscharfen Begriff nicht vertraut sind, Denken Sie an Datenanalyse , …
2
Wie normalisiert das Protokoll (p (x, y)) die punktuelle gegenseitige Information?
Ich versuche, die normalisierte Form der punktuellen gegenseitigen Information zu verstehen. npmi=pmi(x,y)log(p(x,y))npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Warum normalisiert die logarithmische Gelenkwahrscheinlichkeit die punktweise gegenseitige Information auf [-1, 1]? Die punktuelle gegenseitige Information ist: p m i = l o g( p ( x , y)p ( x ) p ( y))pmi=log(p(x,y)p(x)p(y))pmi = …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.