交叉熵

Cross Entropy

熵描述的是信息分布的混乱程度，“交叉熵”描述两个分布的差异性。

定义

ref: Cross-entropy - Wikipedia

$$H(p,q)=-E_p[\log q],$$

• 衡量 p 和 q 两个分布之间的差异，为对 q 计算 p 的期望

离散形式：

$$H(p,q)=-\sum _{x\in \mathcal{X}}p(x)\log q(x)$$

连续形式：

$$-{\int }_{\mathcal{X}}P(x)\log Q(x)\mathrm{d}x=E_p[-\log Q],$$

理解

• 期望：交叉熵利用期望计算
• 熵：描述分布 p 和 q 之间的“混乱程度”

作为损失函数

src: 深度学习 | Coursera 第一章：导论，第二节：逻辑回归

例子中给出一个交叉熵的计算公式：

$$\mathcal{L}(\hat{y},y)=-(y\log \hat{y})+(1-y)\log (1-\hat{y})$$

• $\hat{y}$ 表示预测值，y 表示真实值。交叉熵衡量真实值和预测值之间的差异