Gradient Descent

一个优化算法,计算梯度,然后向梯度的负方向调整参数,寻找函数的最小值点。时常应用于机器学习对于目标函数的优化。

核心思想:

  • 梯度方向:梯度代表一个方向向量,是函数值增长最快的方向
  • 参数更新:迭代参数,将梯度值向反方向移动
  • 收敛:梯度趋于零或者小于阈值,停止更新

又是一个初始条件+过程+终止条件定义出来的算法,类似于数学归纳法的思想。

首先利用梯度求导,然后找到梯度增长的反方向,以此为目标更新参数。