Als «kullback-leibler» getaggte Fragen

Auswahl der Parametrisierung der Gammaverteilung durch das PDF Die Kullback-Leibler-Divergenz zwischen und ist gegeben durch [1] alsΓ(b,c)Γ(b,c)\Gamma(b,c)g(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b}Γ(bq,cq)Γ(bq,cq)\Gamma(b_q,c_q)Γ(bp,cp)Γ(bp,cp)\Gamma(b_p,c_p) KLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−logbq−cq−logΓ(cq)+logΓ(cp)+cplogbp−(cp−1)(Ψ(cq)+logbq)+bqcqbpKLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−log⁡bq−cq−log⁡Γ(cq)+log⁡Γ(cp)+cplog⁡bp−(cp−1)(Ψ(cq)+log⁡bq)+bqcqbp\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align} Ich vermute, dass Ψ(x):=Γ′(x)/Γ(x)Ψ(x):=Γ′(x)/Γ(x)\Psi(x):= \Gamma'(x)/\Gamma(x) die Digamma-Funktion …

15 kullback-leibler  gamma-distribution  exponential-family 

Ich benutze KL Divergence als Maß für die Unähnlichkeit zwischen 2 p.m.f.p.m.f.p.m.f. PPP und QQQ . =-≤P(Xi)ln(Q(Xi))+≤P(Xi)ln(P(Xi))DKL(P||Q)=∑i=1Nln(PiQi)PiDKL(P||Q)=∑i=1Nln⁡(PiQi)PiD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i =−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=-\sum P(X_i)ln\left(Q(X_i)\right) + \sum P(X_i)ln\left(P(X_i)\right) Wenn ist, können wir leicht berechnen, dass P ( X i ) l n ( Q ( X i ) ) …

14 distributions  distance  kullback-leibler 

Ich vergleiche zwei Verteilungen mit der KL-Divergenz, die mir eine nicht standardisierte Zahl zurückgibt, die nach dem, was ich über diese Kennzahl gelesen habe, die Informationsmenge ist, die erforderlich ist, um eine Hypothese in die andere umzuwandeln. Ich habe zwei Fragen: a) Gibt es eine Möglichkeit, eine KL-Divergenz so zu …

14 distributions  kullback-leibler  information-geometry 

Ich werde KL-Divergenz in meinem Python-Code verwenden und habe dieses Tutorial erhalten . In diesem Tutorial ist die Implementierung der KL-Divergenz recht einfach. kl = (model * np.log(model/actual)).sum() Soweit ich weiß, sollte die Wahrscheinlichkeitsverteilung von modelund actual<= 1 sein. Meine Frage ist, was ist die maximale Schranke / der maximal …

14 machine-learning  distance  kullback-leibler 

Ich weiß, dass die KL-Divergenz nicht symmetrisch ist und nicht streng als Metrik betrachtet werden kann. Wenn ja, warum wird es verwendet, wenn JS Divergence die erforderlichen Eigenschaften für eine Metrik erfüllt? Gibt es Szenarien, in denen KL-Divergenz verwendet werden kann, nicht jedoch JS-Divergenz oder umgekehrt?

13 probability  distributions  kullback-leibler  metric 

Wenn p(x)p(x)p(x) eine Wahrscheinlichkeitsverteilung mit Nicht-Null-Werten für [0,+∞)[0,+∞)[0,+\infty) , für welche Art (en) von p(x)p(x)p(x) gibt es eine Konstante c>0c>0c\gt 0 so dass ∫∞0p(x)logp(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2∫0∞p(x)log⁡p(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^2für alle0<ϵ<10<ϵ<10\lt\epsilon\lt 1? Die obige Ungleichung ist tatsächlich eine Kullback-Leibler-Divergenz zwischen der Verteilung p(x)p(x)p(x) und einer komprimierten Version davon (1+ϵ)p(x(1+ϵ))(1+ϵ)p(x(1+ϵ)){(1+\epsilon)}p({x}{(1+\epsilon)}) . Ich habe …

12 probability  stochastic-processes  kullback-leibler  probability-inequalities 

Ich bin kein Mathematiker. Ich habe im Internet nach KL Divergence gesucht. Was ich gelernt habe, ist, dass die KL-Divergenz den Informationsverlust misst, wenn wir die Verteilung eines Modells in Bezug auf die Eingabeverteilung approximieren. Ich habe diese zwischen zwei kontinuierlichen oder diskreten Verteilungen gesehen. Können wir es zwischen kontinuierlich …

12 distributions  mathematical-statistics  kullback-leibler 

Ich habe an einigen Stellen die Verwendung der Radon-Nikodym-Ableitung eines Wahrscheinlichkeitsmaßes in Bezug auf ein anderes gesehen, insbesondere in der Kullback-Leibler-Divergenz, wo es die Ableitung des Wahrscheinlichkeitsmaßes eines Modells für einen beliebigen Parameter mit ist bezüglich des realen Parameters θ 0 :θθ\thetaθ0θ0\theta_0 dPθdPθ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} Wobei dies beide Wahrscheinlichkeitsmaße für den …

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

Das mgcvPaket für Rhat zwei Funktionen zum Anpassen von Tensorproduktwechselwirkungen: te()und ti(). Ich verstehe die grundlegende Arbeitsteilung zwischen den beiden (Anpassen einer nichtlinearen Wechselwirkung vs. Zerlegen dieser Wechselwirkung in Haupteffekte und eine Wechselwirkung). Was ich nicht verstehe, ist warum te(x1, x2)und ti(x1) + ti(x2) + ti(x1, x2)kann (leicht) unterschiedliche Ergebnisse …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Ich führe eine schnelle Simulation durch, um verschiedene Clustering-Methoden zu vergleichen, und stoße derzeit auf einen Haken beim Versuch, die Cluster-Lösungen zu bewerten. Ich kenne verschiedene Validierungsmetriken (viele finden sich in cluster.stats () in R), aber ich gehe davon aus, dass diese am besten verwendet werden, wenn die geschätzte Anzahl …

11 clustering  kullback-leibler  gaussian-mixture 

Ich habe versucht, eine numerische Schätzung der Kullback-Leibler-Divergenz für zwei Stichproben zu implementieren. Um die Implementierung zu debuggen, ziehen Sie die Stichproben aus zwei Normalverteilungen und N ( 1 , 2 ) .N.( 0 , 1 )N(0,1)\mathcal N (0,1)N.( 1 , 2 )N(1,2)\mathcal N (1,2) Für eine einfache Schätzung habe …

10 estimation  intuition  kullback-leibler  numerics 

Ich habe drei Datensätze X, Y und Z. Jeder Datensatz definiert die Häufigkeit eines Ereignisses. Zum Beispiel: Datensatz X: E1: 4, E2: 0, E3: 10, E4: 5, E5: 0, E6: 0 usw. Datensatz Y: E1: 2, E2: 3, E3: 7, E4: 6, E5: 0, E6: 0 und so weiter. Datensatz …

10 kullback-leibler 

Bei meiner Forschung bin ich auf das folgende allgemeine Problem gestoßen: Ich habe zwei Verteilungen und über dieselbe Domäne und eine große (aber endliche) Anzahl von Stichproben aus diesen Verteilungen. Die Proben sind unabhängig und identisch von einer dieser beiden Verteilungen verteilt (obwohl die Verteilungen verwandt sein können: Zum Beispiel …

10 hypothesis-testing  mathematical-statistics  kullback-leibler  information-theory  bounds 

Ich habe eine VAE implementiert und zwei verschiedene Online-Implementierungen der vereinfachten univariaten Gaußschen KL-Divergenz festgestellt. Die ursprüngliche Abweichung gemäß hier ist Wenn wir annehmen, dass unser Prior eine Einheit Gauß'sche ist, dh und , vereinfacht sich dies bis hinunter zu Und hier liegt meine Verwirrung. Obwohl ich mit der obigen …

10 inference  kullback-leibler  autoencoders  variational-bayes 

Dies ist nur ein Beispiel, auf das ich mehrmals gestoßen bin, daher habe ich keine Beispieldaten. Ausführen eines linearen Regressionsmodells in R: a.lm = lm(Y ~ x1 + x2) x1ist eine stetige Variable. x2ist kategorisch und hat drei Werte, z. B. "Niedrig", "Mittel" und "Hoch". Die von R gegebene Ausgabe …

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction