熵

信息论的基础，表示“不确定性”的程度。

$$S=-\sum _i{P}_i\ln P_i$$

• P 代表的样本分布越随机，熵的值就越大