研究一个因变量、与两个或两个以上自变量的回归。亦称为多元线性回归，是反映一种现象或事物的数量依多种现象或事物的数量的变动而相应地变动的规律。建立多个变量之间线性或非线性数学模型数量关系式的统计方法。

在处理测量数据时，经常要研究变量与变量之间的关系。变量之间的关系一般分为两种。一种是完全确定关系，即函数关系；一种是相关关系，即变量之间既存在着密切联系，但又不能由一个或多个变量的值求出另一个变量的值。例如，学生对于高等数学、概率与统计、普通物理的学习，会对统计物理的学习产生影响，它们虽然存在着密切的关系，但很难从前几门功课的学习成绩来精确地求出统计物理的学习成绩。但是，对于彼此联系比较紧密的变量，人们总希望建立一定的公式，以便变量之间互相推测。回归分析的任务就是用数学表达式来描述相关变量之间的关系。

1、多元回归是指一个因变量（预报对象）,多个自变量（预报因子）的回归模型。基本方法是根据各变量值算出交叉乘积和 。

2、这种包括两个或两个以上自变量的回归称为多元回归。应用此法，可以加深对定性分析结论的认识，并得出各种要素间的数量依存关系，从而进一步揭示出各要素间内在的规律。一般来说，多元回归过程能同时提供多个备选的函数关系式，并提供每个关系式对实验数据的理解能力，研究者可以结合自己的理论预期，据此作出选择。

相关变量之间的关系可以是线性的，也可以是非线性的。这里只讨论多元线性回归。设 是p个可以精确测量或可控制的变量。如果变量y与 之间的内在联系是线性的，那么进行n次试验，则可得n组数据：

它们之间的关系可表示为：

………………

其中， 是p+l个待估参数，εi表示第i次试验中的随机因素对yi的影响。为简便起见，将此n个方程表示成矩阵形式：

其中

上式便是p元线性回归的数学模型。

为了求出多元线性回归模型中的参数 ,可采用最小二乘法，即在其数学模型所属的函数类中找一个近似的函数，使得这个近似函数在已知的对应数据上尽可能和真实函数接近。

设 分别是 的最小二乘估计，则多元回归方程（即近似函数）为:

其中 叫做回归方程的回归系数。对每一组,由回归方程可以确定一个回归值。这个回归值与实际观测值之差，反映了与回归直线

的偏离程度。若对所有的观测数据， 与 (I=1,2,…,n)的偏离越小，则认为回归直线与所有试验点拟合得越好。全部观测值 与回归值 的偏差平方和为：

根据微分学中的极值原理 应是下列方程组的解：

通过整理可将上述方程组写成如下形式：

其中， ，称为回归方程的系数矩阵，X'是X的转置矩阵。当X'X满秩时，逆矩阵(X'X)-1存在，系数矩阵C可以表示为：

上式即为回归模型中参数B的最小二乘估计。至此，我们就得到了p元线性回归方程。

建立回归方程的目的是要利用它来进行预报与控制。在实际问题中，事先并不能断定随机变量y与 之间确有线性关系，在求解回归方程前，线性回归模型只是一种假设，所以在求出线性回归方程之后，还需对其进行统计检验，给以肯定或否定的结论。有关回归方程及回归系数的显著性检验问题，这里就不介绍了。

由于线性回归方程比较简单，所以在遇到非线性模型时，最好将其转换为线性模型。

（1）多项式模型

多项式模型为 ，

对方程中的变量作如下变换

则原方程变为，

就可用线性模型的方法处理。

（2）指数模型指数模型为：

方程两边取对数得：

令

则可得线性方程

（3）幂函数模型幂函数模型为：

方程两边取对数得

令　

则幂函数模型就变为线性模型

（4）成长曲线模型

成长曲线模型在经济、教育和心理研究中都非常有用，其数学表达式为：

令　 ,

它就转化为线性模型：　

(1) 确定几个特定的变量之间是否存在相关关系，如果存在的话，找出它们之间合适的数学表达式；

(2) 根据一个或几个变量的值， 预测或控制另一个变量的取值，并且可以知道这种预测或控制能达到什么样的精确度；

(3) 进行因素分析。例如在对于共同影响一个变量的许多变量(因素)之间，找出哪些是重要因素，哪些是次要因素，这些因素之间又有什么关系等等。