Scaling Law

理解为系统论的一个基本概念,意思是系统性能随规模变化的规律

系统的规模越大,性能会逐渐变强。

人工智能领域

缩放定律在人工智能领域的体现主要有:

  • 模型大小(参数量)对性能的影响
  • 数据规模对性能的影响
  • 计算资源(计算时长)对性能的影响

人工智能在 2020 左右的爆发,实际上是建立在互联网基础设施上的。移动互联网的普及,导致互联网数据量激增,云计算的使用使得数据可以被便捷地访问。

大量的数据再加上算力的发展,使得人工智能的性能爆发。