浅谈梯度降落法/Gradient descent

(当前点在偏向上移动到的那一点处的梯度，，与当前点的搜刮偏向的点积为零)。

由此得知：

即：

故由梯度降落法的得：

即：相邻两次的搜刮偏向是彼此直交的(投影到二维平面上，就是锯齿外形了)。

假如你非要问，为什么就表白这两个向量是彼此直交的?那是由于，由两向量夹角的公式：

可知两向量夹角为90度，因此它们直交。

6. 利益

这个被我们说得一无可取的要领真的就那么糟糕吗?

着实它照旧有利益的：措施简朴，计较劲小；而且对初始点没有出格的要求;另外，很多算法的初始/再开始偏向都是最速降落偏向(即负梯度偏向)。

7. 收敛性及收敛速率

梯度降落法具有整体收敛性——对初始点没有非凡要求。

回收准确的line search的梯度降落法的收敛速率：线性。

引用：

• https://en.wikipedia.org/wiki/Cauchy%E2%80%93Schwarz_inequality
• https://en.wikipedia.org/wiki/Gradient_descent
• https://en.wikipedia.org/wiki/Rosenbrock_function
• https://en.wikipedia.org/wiki/Gradient_descent

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!