Statistiken und Big Data information

9

Messung von Entropie / Information / Mustern einer 2d-Binärmatrix

Ich möchte die Entropie / Informationsdichte / Musterähnlichkeit einer zweidimensionalen binären Matrix messen. Lassen Sie mich zur Verdeutlichung einige Bilder zeigen: Diese Anzeige sollte eine ziemlich hohe Entropie haben: EIN) Dies sollte eine mittlere Entropie haben: B) Diese Bilder sollten schließlich alle eine Entropie nahe Null haben: C) D) E) …

53 algorithms binary-data entropy pattern-recognition information

7

Warum sollte jemand einen Bayes'schen Ansatz mit einem "nicht informativen" unangemessenen Vorgänger anstelle des klassischen Ansatzes verwenden?

Wenn das Interesse lediglich die Parameter eines Modells schätzt (punktweise und / oder Intervallschätzung) und die vorherigen Informationen nicht zuverlässig und schwach sind (ich weiß, dass dies ein bisschen vage ist, aber ich versuche, ein Szenario zu etablieren, in dem die Wahl von a Prior ist schwierig) ... Warum sollte …

44 bayesian inference prior likelihood information

2

Fisher-Informationen in einem hierarchischen Modell

Ausgehend von dem folgenden hierarchischen Modell sind und wobei ist eine Normalverteilung. Gibt es eine Möglichkeit, einen genauen Ausdruck für die Fisher-Information der Randverteilung von wenn . Das heißt, was ist die Fisher-Information von: Ich kann einen Ausdruck für die Randverteilung von gegebenem c erhalten , Aber es scheint sehr …

20 multilevel-analysis information fisher-information

2

Beobachtete Informationsmatrix ist ein konsistenter Schätzer der erwarteten Informationsmatrix?

Ich versuche zu beweisen, dass die beobachtete Informationsmatrix, die beim schwach konsistenten Maximum Likelihood Estimator (MLE) ausgewertet wird, ein schwach konsistenter Schätzer der erwarteten Informationsmatrix ist. Dies ist ein viel zitiertes Ergebnis, aber niemand gibt einen Hinweis oder einen Beweis (ich denke, die ersten 20 Seiten der Google-Ergebnisse und meine …

16 maximum-likelihood expected-value asymptotics information fisher-information

3

Verliert die Dimensionsreduzierung immer einige Informationen?

Verliert die Dimensionsreduzierung, wie der Titel schon sagt, immer einige Informationen? Betrachten Sie zum Beispiel PCA. Wenn die Daten, die ich habe, sehr spärlich sind, würde ich annehmen, dass eine "bessere Codierung" gefunden werden könnte (hängt dies irgendwie mit dem Rang der Daten zusammen?), Und nichts würde verloren gehen.

10 pca information-theory information

Als «information» getaggte Fragen