主成分分析原理

  主成分分析是最常用的一种降维方法。我们首先考虑一个问题：对于正交矩阵空间中的样本点，如何用一个超平面对所有样本进行恰当的表达。容易想到，如果这样的超平面存在，那么他大概应该具有下面的性质。

• 最近重构性：样本点到超平面的距离都足够近

• 最大可分性：样本点在这个超平面上的投影尽可能分开

  基于最近重构性和最大可分性，能分别得到主成分分析的两种等价推导。

奇异值分解

  在了解特征值分解之后，我们知道，矩阵A不一定是方阵。为了得到方阵，可以将矩阵A的转置乘以该矩阵。从而可以得到公式：

  假设向量v是方阵A的特征向量，可以表示成下面的形式：

  这里lambda表示特征向量v所对应的特征值。并且一个矩阵的一组特征向量是一组正交向量。特征值分解是将一个矩阵分解为下面的形式：