KL散度

KL divergence，相对熵，衡量两个分布之间差异的核心指标

公式

$$D_{KL}(p||q)=\sum _{i=1}^{n}p(x_i)log(\frac{p(x_i)}{q(x_i)})$$

• 非对称性：p 对 q 的 KL散度和 q 对 p 的KL散度不是相等的
• 非负性：只能取正数

等效为 MLE

最小化 KL 散度等价于最大化似然，等效为极大似然估计。

原理是用一个带参数的 $q(x|\theta )$ 去逼近 $p(x)$。使用 MLE 可以求 $\theta$ 。

即为：

$$KL(p\parallel q)\approx \frac{1}{N}\sum _{n=1}^N\left[-\ln q(x_n|\theta )+\ln p(x_n)\right]$$

• $-\ln q(x_n|\theta )$ 为负对数似然

等效为 交叉熵

KL散度是交叉熵和熵之间的差值

$$D_{KL}(P||Q)=H(P,Q)-H(P)$$

最小化交叉熵，就是最小化 KL 散度。

总结一下，交叉熵衡量不同分布的差异，减小交叉熵就是减小KL散度。