什么是最速下降函数?
的有关信息介绍如下:1、最速下降法,顾名思义,最快的速度找到下一个较小点,每一次搜索都是沿着负梯度方向,负梯度方向就是函数值减小的方向,所以每一次迭代得到的函数值必然小于上一个函数值。 2、形象地用图形描述,假如目标函数是一个同心圆弧,在初始点向负梯度方向搜索(即向圆弧内侧搜索),在该方向上会穿越很多条同心圆弧(即相交),在这个方向继续搜索,只有当该方向射线与某一圆弧相切时,才找到在这个搜索方向最内侧的圆弧,而相切就是令函数在该点的一阶导数为0。至于为什么要搜索到这点才终止,应该是可以使每一步迭代效果最大。
最速下降法是以负梯度方向作为极小化算法的下降方向,又称为梯度法,是无约束最优化中最简单的方法。 从点x1 沿着最速下降方向d,以步长λ到达点x2,数学上可以写为x2 = x1 + λ*d。这里的d的表达式已经从理论给出,那么问题就变成,寻找合适的λ使得目标函数值 f(x1+λ*d)最小,这本身又是一个最小化问题。 通常所谓的迭代算法,就是指,在某一个给定误差范围内,通过迭代关系 x(k +1)=x(k)+λ(k)*d(k)分别求解相应的 λ(k)和d(k)的过程。当然,每一步求解的x(k +1)都必须在约束范围内。 简单说来就是由起点x(k),方向d(k),步长λ(k)求出下一点x(k +1)