设有p个观测变量x1，x2，…，xp等，考虑有如下多元回归模型：

并且

在估计上面的回归系数时有多种方法，如最小二乘法、极大似然法等，其中最常见是最小二乘法，并且理论已经证明了如果上述模型（1）满足高斯马尔科夫条件是，上述的系数估计是一致方差最小无偏估计。

当样本量过小时会出现维度的个数大于样本量的情况，通常称为高维。此时就不适合用一般的回归分析了，处理这种问题时，需要考虑对原先的指标进行合并即所谓的降维，主成分是一种很好的降维方法。具体降维方法如下：

如果，同时能够让Var（F1）最大，那么F1即为第一主成分；(www.daowen.com)

如果，同时能够让Var（F2）最大，那么F2即为第二主成分；与之类似，能够推到出第三、四……主成分，最多能够有m个主成分。

与之大体类似，能够推到出第三、四、五……主成分，至多有m个主成分。

利用主成分分析得到m（m ≤p ）个主成，分别记为F1、F2、……Fm，之后利用主成分分析的性质即m个主成分之间是彼此不相关的，且Var（Fi）=λi为第i大的特征值。此时可以将m个主成分的得分的结果作为新的观测值与因变量建立主成分回归模型如下：

其中Fi代表第i个主成分得分，这样做使得变量的维度从n维降到了p维（m ≤p），不仅简化了回归模型的结构，同时也消除了变量间的相关性所带来的影响。