?
?

活动地址：CSDN21天学习挑战赛

用来更新和计算影响模型训练和模型输出的网络参数，使其逼近或达到最优值，从而最小化(或最大化)损失函数。

• 梯度下降法GD（Gradient Descent）

  • 批量梯度下降法 BGD（Batch Gradient Descent）

  • 随机梯度下降法SGD（Stochastic Gradient Descent）

  • 小批量梯度下降法 MBGD（Mini-Batch Gradient Descent）

• Momentum

• AdaGrad

• RMSprop

• Adam（Adaptive Momentum Estimation）

梯度下降法简单来说就是一种寻找使损失函数最小化的方法。是最原始，也是最基础的优化器。

**梯度下降法（Gradient descent ）**是一个一阶最优化算法，通常也称为最陡下降法 ，要使用梯度下降法找到一个函数的局部极小值 ，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。 如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法 ，相反则称之为梯度下降法。

梯度下降可以理解为你站在山的某处，想要下山，此时最快的下山方式就是你环顾四周，哪里最陡峭，朝哪里下山，一直执行这个策略，在第N个循环后，你就到达了山的最低处
?
对于三维图的理解：

经过N次迭代损失函数到达最低点。

假设目标函数为J(w)，变量为w; 也就是w相当于数据，J(w)为数据对应的标签；

迭代公式如下图：

注意选择学习率：

• 不能太小，如果选的太小，每次的步长有限，每到达一个点都需要走好多步；
  小步长表现为计算量大，耗时长，但比较精准。
  

• 也不能太大，如果太大就可能迈过要下降的地方，使的一直在震荡，并没有真正的下降。
  大步长，表现为震荡，容易错过最低点，计算量相对较小。
  

1、批量梯度下降法 BGD（Batch Gradient Descent）

批量梯度下降法是最原始的形式，它是指在每一次迭代时使用所有样本来进行梯度的更新。从数学上理解如下：
（1）对目标函数求偏导：

其中 i=1,2,…,m 表示样本数， j=0,1 表示特征数，这里我们使用了偏置项 x(i)0=1 。
（2）每次迭代对参数进行更新：

注意这里更新时存在一个求和函数，即为对所有样本进行计算处理，可与下文SGD法进行比较。
伪代码形式为：

优点：

• 一次迭代是对所有样本进行计算，此时利用矩阵进行操作，实现了并行。
• 由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。当目标函数为凸函数时，BGD一定能够得到全局最优。

缺点：

• 当样本数目 m 很大时，每迭代一步都需要对所有样本计算，训练过程会很慢。

2、随机梯度下降法SGD（Stochastic Gradient Descent）
随机梯度下降法不同于批量梯度下降，随机梯度下降是每次迭代使用一个样本来对参数进行更新。使得训练速度加快。

优点：
（1）由于不是在全部训练数据上的损失函数，而是在每轮迭代中，随机优化某一条训练数据上的损失函数，这样每一轮参数的更新速度大大加快。
缺点：
（1）准确度下降。由于即使在目标函数为强凸函数的情况下，SGD仍旧无法做到线性收敛。
（2）可能会收敛到局部最优，由于单个样本并不能代表全体样本的趋势。
（3）不易于并行实现。

3、小批量梯度下降法 MBGD（Mini-Batch Gradient Descent）
小批量梯度下降，是对批量梯度下降以及随机梯度下降的一个折中办法。其思想是：每次迭代 使用 ** batch_size** 个样本来对参数进行更新。（比较常用的方法）

优点：
（1）通过矩阵运算，每次在一个batch上优化神经网络参数并不会比单个数据慢太多。
（2）每次使用一个batch可以大大减小收敛所需要的迭代次数，同时可以使收敛到的结果更加接近梯度下降的效果。(比如上例中的30W，设置batch_size=100时，需要迭代3000次，远小于SGD的30W次)
（3）可实现并行化。
缺点：
（1）batch_size的不当选择可能会带来一些问题。

先写到这吧，剩下的几种优化器在接下来的博客中介绍！如有问题欢迎指正。