下降法亦称极小化方法，是一类重要的迭代法。这类方法将方程组求解问题转化为求泛函极小问题。

下降法亦称极小化方法，是一类重要的迭代法。这类方法将方程组求解问题转化为求泛函极小问题。

设给出方程组 F(x)=0，其中，令

则 F(x)=0 的充分必要条件是φ(x)=0. 若φ(x) 的极小点 x* 使φ(x*)=0，则 x* 也是方程组 F(x)=0 的解。只要构造迭代序列 {xk} 使

且满足

就可求得方程组的足够好的近似解。

具体做法是选初始近似 x0，沿一个使φ(x) 下降的方向 p0，令 然后选步长因子，使，得一般情况是从 xk 出发，沿φ(x) 下降方向 pk 求出

且 直到为止，xm 就作为方程组解 x* 的近似，上述算法中也可选 uk 使

这是一个求一维的极小问题。以上算法即为下降法。如果 pk 选择不同，就可得到不同的下降法，特别地，若选 pk 为 φ 的负梯度，即则得梯度算法

其中

此算法也成最速下降法，此法的优点是计算量少，程序简单，但收敛慢。在下降法中可去下降方向 pk 为牛顿方向，即

特别地，当 时，就得到牛顿法，此外还可取沿坐标方向下降的方法，实际上就是一步的 SOR 牛顿法。

另一类较重要的下降法为共轭梯度法。共轭梯度法是最简单的下降法，早在 1847 年就由法国数学家、力学家柯西 (Cauchy,A.-L.)提出，以后坦普尔 (Temple,G.)、柯里 (Curry,H.) 等人也进行过研究并证明了方法的收敛性。20世纪50至60年代，又有不少学者对下降法做了很多研究，提出不少具体算法并建立了收敛性理论，使这类算法在解非线性方程组和最优化计算中得到广泛应用。