浅谈梯度下降法/Gradient descent

先来看一幅图②

这幅图暗示的是对一个方针函数探求最优解的进程，图中锯齿状的蹊径就是寻优蹊径在二维平面上的投影。从这幅图我们可以看到，锯齿一开始较量大(超过的间隔较量大)，其后越来越小；这就像一小我私人走路迈的步子，一开始大，其后步子越迈越小。

这个函数的表达式是这样的：

它叫做Rosenbrock function(罗森布罗克函数)③，是个非凸函数，在最优化规模，它可以用作一个最优化算法的performance test函数。这个函数尚有一个更好记也更有趣的名字：banana function(香蕉函数)。

我们来看一看它在三维空间中的图形：

它的全局最利益位于一个长长的、狭小的、抛物线外形的、扁平的“山谷”中。

找到“山谷”并不难，难的是收敛到全局最优解(在 (1,1) 处)。

正所谓：

我们再来看下面这个方针函数的寻优进程④：

和前面的Rosenbrock function一样，它的寻优进程也是“锯齿状”的。

它在三维空间中的图形是这样的：

总而言之就是：当方针函数的等值线靠近于圆(球)时，降落较快；等值线相同于扁长的椭球时，一开始快，其后很慢。

5. 为什么“慢”?

从上面花花绿绿的图，我们看到了探求最优解的进程有何等“艰苦”，但不能光看热闹，还要说明一下缘故起因。

在最优化算法中，准确的line search满意一个一阶须要前提，即：梯度与偏向的点积为零

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!