矛盾方程组(contradictory equations)是一种特殊的方程组，在求解范围内无解(解集为空集)的方程组称为这个范围内的矛盾方程组。一个方程组中，若有一个矛盾方程，它必然是矛盾方程组；若方程组中的每个方程都不是矛盾方程，但它们所表达的条件是彼此矛盾的，则它也是矛盾方程组。矛盾方程组是相对的，它与给定的数集有关，若扩大给定的数集，有时可以使一个矛盾方程组转化为有解的非矛盾方程组，即“相容方程组”。

由线性代数理论知，求解线性方程组时，若方程式的个数多于未知数的个数，则方程组往往无解，此类方程组称为矛盾方程组(或超定方程组)。最小二乘法是用来解矛盾方程组的一个常用方法。

设有矛盾方程组

或写为

通常找不到能同时满足方程组(1)的解，因此我们转而去寻求在某种意义下的近似解，这种近似解不是指对精确解的近似(因为精确解并不存在)，而是指寻求各未知数的一组值，使方程组(1)中各式能近似相等。这就是用最小二乘法解矛盾方程组的基本思想。把近似解代入方程组(1)后，只能使各方程式的两端近似相等，不妨记各个方程式两端之差为

并称该差为偏差。按最小二乘原理，采用使偏差的平方和

达到最小值来作为衡量一个近似解的近似程度的标志。

定义1 如果 的取值使偏差平方和即式(2)达到最小，则称这组值是矛盾方程组(1)的最优近似解。

预备知识：

(1)矩阵的秩。设矩阵A有一个n阶子式D，其不等于0，而n+1阶子式皆为0，那么n称为A的秩。

(2)对称矩阵。如果n阶方阵A ，满足AT=A，即

则称A为对称矩阵。

(3)正定矩阵。设有实二次型 ，如果对于任何 ，都有 ，则称 为正定二次型，对称矩阵A是正定的。

如果A为正定矩阵，则A的特征值皆为正的。且A的各阶主子式皆为正。

(4)矩阵的特征值。设A为n阶方阵，如果存在常数及非零的n维列向量X，使AX=X成立，则称是方阵A的特征值。非零向量X称为方阵A的属于特征值的特征向量。

定理1 设n元实函数 在点 的某个邻域内连续，且有一阶及二阶连续的偏导数，如果

（1）

（2）矩阵

是正定矩阵，则 是n元实函数 的极值。

定理2 设非齐次线性方程组Ax=b的系数矩阵A= ，若rankA=n，则

(1) 矩阵ATA是对称正定矩阵；

(2) n阶线性方程组ATAx=ATb有唯一的解。

下面我们讨论此二次函数是否存在最小值，若存在，如何求最小值?由高等数学可知，有以下定理。

定理3 设矛盾方程组(1)的系数矩阵A的秩为n，则二次函数

一定存在最小值。

通常称线性方程组ATAx=ATb为正则方程组。只要矛盾方程组(1)的系数矩阵A的秩rankA=n，则由定理3可以得出：

(1)矛盾方程组(1)的最小二乘解存在；

(2)正则方程组ATAx=ATb有唯一解，此解就是矛盾方程组(1)的最小二乘解。

用最小二乘法求解矛盾方程组Ax=b的步骤归纳如下：

(1)计算ATA和ATb，得正则方程组ATAx=ATb；

(2)求解正则方程组，得出矛盾方程组的最优近似解。