Scaling Law
理解为系统论的一个基本概念,意思是系统性能随规模变化的规律。
系统的规模越大,性能会逐渐变强。
人工智能领域
缩放定律在人工智能领域的体现主要有:
- 模型大小(参数量)对性能的影响
- 数据规模对性能的影响
- 计算资源(计算时长)对性能的影响
人工智能在 2020 左右的爆发,实际上是建立在互联网基础设施上的。移动互联网的普及,导致互联网数据量激增,云计算的使用使得数据可以被便捷地访问。
大量的数据再加上算力的发展,使得人工智能的性能爆发。
缩放定律在人工智能上体现的“涌现”的结果,如果用系统论来解释,就是各个简单部分的叠加,形成的复杂系统,有自己独特的客观性质。