浅谈梯度下降法/Gradient descent

(当前点在方向上移动到的那一点处的梯度，，与当前点的搜索方向的点积为零)。

由此得知：

即：

故由梯度下降法的得：

即：相邻两次的搜索方向是相互直交的(投影到二维平面上，就是锯齿形状了)。

如果你非要问，为什么就表明这两个向量是相互直交的?那是因为，由两向量夹角的公式：

可知两向量夹角为90度，因此它们直交。

6. 优点

这个被我们说得一无是处的方法真的就那么糟糕吗?

其实它还是有优点的：程序简单，计算量小；并且对初始点没有特别的要求;此外，许多算法的初始/再开始方向都是最速下降方向(即负梯度方向)。

7. 收敛性及收敛速度

梯度下降法具有整体收敛性——对初始点没有特殊要求。

采用精确的line search的梯度下降法的收敛速度：线性。

引用：

• https://en.wikipedia.org/wiki/Cauchy%E2%80%93Schwarz_inequality
• https://en.wikipedia.org/wiki/Gradient_descent
• https://en.wikipedia.org/wiki/Rosenbrock_function
• https://en.wikipedia.org/wiki/Gradient_descent

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!