最小二乘原理 利用样本回归函数估计总体回归函数，是根据一个给定的包含n组X和Y观测数据的样本，建立样本回归函数，使估计值 尽可能接近观测值Yi。最小二乘原理就是根据使样本剩余的平方和达到最小的准则，确定模型中的参数，建立样本回归函数。线性最小二乘估计 以误差的平方和最小为准则根据观测数据估计线性模型中未知参数的一种基本参数估计方法。

1794年德国数学家C。F。高斯在解决行星轨道预测问题时首先提出最小二乘法。它的基本思路是选择估计量使模型（包括静态或动态的，线性或非线性的）输出与实测输出之差的平方和达到最小。这种求误差平方和的方式可以避免正负误差相抵，而且便于数学处理（例如用误差的绝对值就不便于处理）。

线性最小二乘法是应用最广泛的参数估计方法，它在理论研究和工程应用中都具有重要的作用，同时它又是许多其他更复杂方法的基础。线性最小二乘法是最小二乘法最简单的一种情况，即模型对所考察的参数是线性的。