Als «entropy» getaggte Fragen

Eine mathematische Größe, mit der die Zufälligkeit einer Zufallsvariablen gemessen werden kann.

2
Multinomial Logistic Loss vs (Kreuzentropie vs quadratischer Fehler)
Ich beobachtete, dass Caffe (ein Deep-Learning-Framework) die Softmax-Verlustschicht SoftmaxWithLoss als Ausgabeschicht für die meisten Modellbeispiele verwendete . Soweit ich weiß, ist die Softmax-Verlustschicht die Kombination aus multinomialer logistischer Verlustschicht und Softmax-Schicht . Von Caffe sagten sie das Die Berechnung des Gradienten der Softmax-Verlustschicht ist numerisch stabiler Diese Erklärung ist jedoch …
2
Wie normalisiert das Protokoll (p (x, y)) die punktuelle gegenseitige Information?
Ich versuche, die normalisierte Form der punktuellen gegenseitigen Information zu verstehen. npmi=pmi(x,y)log(p(x,y))npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Warum normalisiert die logarithmische Gelenkwahrscheinlichkeit die punktweise gegenseitige Information auf [-1, 1]? Die punktuelle gegenseitige Information ist: p m i = l o g( p ( x , y)p ( x ) p ( y))pmi=log(p(x,y)p(x)p(y))pmi = …
1
"Da
Kurze Frage: Warum ist das so? Lange Frage: Ganz einfach, ich versuche herauszufinden, was diese erste Gleichung rechtfertigt. Der Autor des Buches, das ich gerade lese (Kontext hier, wenn Sie es wollen, aber nicht notwendig), behauptet Folgendes: Aufgrund der Annahme einer Beinahe-Gauß-Beziehung können wir schreiben: p0( ξ) = A.ϕ ( …
2
Berechnen Sie die ROC-Kurve für Daten
Ich habe also 16 Studien, in denen ich versuche, eine Person anhand eines biometrischen Merkmals mithilfe von Hamming Distance zu authentifizieren. Mein Schwellenwert ist auf 3,5 eingestellt. Meine Daten sind unten und nur Versuch 1 ist ein wahres Positiv: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 …
9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 
2
Wie staple ich zwei Graphen vertikal mit derselben x-Skala, aber einer anderen y-Skala in R?
Schöne Grüße, Derzeit mache ich folgendes in R: require(zoo) data <- read.csv(file="summary.csv",sep=",",head=TRUE) cum = zoo(data$dcomp, as.Date(data$date)) data = zoo(data$compressed, as.Date(data$date)) data <- aggregate(data, identity, tail, 1) cum <- aggregate(cum, identity, sum, 1) days = seq(start(data), end(data), "day") data2 = na.locf(merge(data, zoo(,days))) plot(data2,xlab='',ylab='compressed bytes',col=rgb(0.18,0.34,0.55)) lines(cum,type="h",col=rgb(0,0.5,0)) Ausschnitt aus summary.csv: date,revision,file,lines,nclass,nattr,nrel,bytes,compressed,diff,dcomp 2007-07-25,16,model.xml,96,11,22,5,4035,991,0,0 2007-07-27,17,model.xml,115,16,26,6,4740,1056,53,777 …
1
Vergleich der Entropie und Verteilung von Bytes in komprimierten / verschlüsselten Daten
Ich habe eine Frage, die mich eine Weile beschäftigt. Der Entropietest wird häufig verwendet, um verschlüsselte Daten zu identifizieren. Die Entropie erreicht ihr Maximum, wenn die Bytes der analysierten Daten gleichmäßig verteilt sind. Der Entropietest identifiziert verschlüsselte Daten, da diese Daten eine gleichmäßige Verteilung aufweisen - wie komprimierte Daten, die …
2
Interpretation der Entropie zur kontinuierlichen Verteilung?
"Entropie" erfasst grob den Grad der "Information" in einer Wahrscheinlichkeitsverteilung. Für diskrete Verteilungen gibt es eine weitaus genauere Interpretation: Die Entropie einer diskreten Zufallsvariablen ist eine Untergrenze für die erwartete Anzahl von Bits, die zur Übertragung des Ergebnisses der Zufallsvariablen erforderlich sind. Aber für eine kontinuierliche Zufallsvariable gibt es unzählige …
1
Verteilungsentropie mit gleichmäßiger Unterverteilung
Lassen XXX eine Zufallsvariable sein, die Werte in einer Menge annimmt XX\mathcal{X}. Die Verteilung vonXXXist nicht einheitlich, aber es gibt eine TeilmengeA∈XA∈XA\in\mathcal{X} Das ist "einheitlich": alle Ereignisse in AAA mit gleicher Wahrscheinlichkeit auftreten. Können wir die Entropie von XXX auf die Größe des Sets AAA? Intuitiv scheint es uns möglich …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.