PCA主成分分析的Python实现
技术背景PCA主成分分析在数据处理和降维中经常被使用到，是一个非常经典的降维算法，本文提供一个PCA降维的流程分解，和对应的Python代码实现。
二维数据生成
如果没有自己的测试数据，我们可以生成一些特殊的随机数据点。例如我们使用Numpy的均匀随机数生成一系列二维的数据点\(\mathbf{r}=\left(x,y\right)\)，其中数据点分布在一个椭圆内：
\
生成数据点的Python代码如下所示：
import numpy as npdef plot_points(data): import matplotlib.pyplot as plt plt.figure() plt.xlim(-1, 1) plt.ylim(-1, 1) plt.plot(data[:, 0], data[:, 1], '.', color='blue') plt.savefig("PCA.png")def data_generator(nodes, seed=0): np.random.seed(seed) data = 2 * np.random.random((nodes, 2)) - 1 mask_index = np.where(data[:,0]**2+4*data[:,1]**2<=1) masked_data = data return masked_dataif __name__ == "__main__": masked_data = data_generator(1000) plot_points(masked_data)运行上述代码会在当前路径下生成一个PCA.png的图片，结果如下所示：
数据标准化
因为不同类型的数据有不同的范围和特征，可以做一个标准化方便后续处理，但标准化之后的数据，记得降维之后要进行还原：
\[\mathbf{x}'=\frac{x-\bar{x}}{\sqrt{\frac{\sum_i(x-\bar{x})^2}{n-1}}}\]
这是\(x\)方向的标准化，\(y\)方向的标准化同理，最终可以得到\(\mathbf{Z}=\left(\mathbf{x}',\mathbf{y}'\right)\)。对应的Python函数实现为：
def normalization(data): data_avg = np.average(data, axis=0) data_shift = data - data_avg output = np.zeros_like(data) for i in range(data.shape[-1]): output[:, i] = data_shift[:, i] / np.sqrt(np.sum(data_shift[:, i] ** 2)/(data.shape-1)) return output协方差矩阵
正常我们写样本协方差矩阵的形式是这样的：
\
但是因为前面已经分别得到了两个方向的标准化数据，所以我们直接用下面这个公式计算就可以了：
\
对应的Python实现为：
def cov_matrix(Z): return (Z.T @ Z) / (Z.shape - 1)如果对标准化之后的数据计算一个协方差矩阵可以得到：
[ ]特征值分解
关于特征值分解的内容，可以参考上一篇文章中的介绍。总体来说就是把一个矩阵分解为如下形式：
\
其中\(\Sigma\)是由本征值组成的对角矩阵，\(U\)是由本征列向量组成的本征矩阵。对应的Python代码实现为：
def eig_decomp(C): vals, vecs = np.linalg.eig(C) sort_idx = np.argsort(vals) return np.diag(vals), vecs, sort_idx如果对上面的协方差矩阵做一个特征值分解，可以得到输出的特征值为：
[ ]输出的特征列向量组成的矩阵\(U\)为：
[[ 0.70710678 -0.70710678] [ 0.707106780.70710678]]可以把这两个列向量画到数据点中：
PCA降维
根据上面生成的对角化矩阵，我们已经可以从中筛选一些比较大的值和对应的本征向量，作为数据点的“主要成分”。一般是在本征值之间的值差异较大的时候可以更好的降维，这里生成的数据其实两个本征值没有很好的降维效果，但是我们依然可以执行降维的操作。例如我们选取第一个本征向量\(\mathbf{v}\)作为投影空间，把所有的数据点都投影到这个向量上：
\[\mathbf{r}'=\bar{\mathbf{r}}+\frac{(\mathbf{r}-\bar{\mathbf{r}})\cdot\mathbf{v}}{|\mathbf{v}|^2}\mathbf{v}\]
就可以完成对数据点的降维，效果如下所示：
所用到的完整Python代码示例如下：
PCA Python完整代码import numpy as npdef plot_points(data): import matplotlib.pyplot as plt plt.figure() plt.xlim(-1, 1) plt.ylim(-1, 1) plt.plot(data[:, 0], data[:, 1], '.', color='blue') plt.savefig("PCA.png")def plot_vec(data, center, vecs): import matplotlib.pyplot as plt plt.figure() plt.xlim(-1, 1) plt.ylim(-1, 1) plt.plot(data[:, 0], data[:, 1], '.', color='blue') for i in range(vecs.shape[-1]): plt.arrow(center, center, vecs[:,i], vecs[:,i], width=0.02, alpha=0.8) plt.savefig("PCA.png")def plot_reduced(data, center, vec_proj, vecs): import matplotlib.pyplot as plt plt.figure(figsize=(5,5)) plt.xlim(-1, 1) plt.ylim(-1, 1) plt.plot(data[:, 0], data[:, 1], '.', color='blue') vec_proj += center plt.plot(vec_proj[:, 0], vec_proj[:, 1], '.', color='red') for i in range(vecs.shape[-1]): plt.arrow(center, center, vecs[:,i], vecs[:,i], width=0.02, alpha=0.8) plt.savefig("PCA.png")def data_generator(nodes, seed=0): np.random.seed(seed) data = 2 * np.random.random((nodes, 2)) - 1 mask_index = np.where(data[:,0]**2+4*data[:,1]**2<=1) masked_data = data return masked_datadef normalization(data): data_avg = np.average(data, axis=0) data_shift = data - data_avg output = np.zeros_like(data) sigmai = np.zeros(data.shape[-1]) for i in range(data.shape[-1]): sigmai = np.sqrt(np.sum(data_shift[:, i] ** 2)/(data.shape-1)) output[:, i] = data_shift[:, i] / sigmai return output, data_avg, sigmaidef cov_matrix(Z): return (Z.T @ Z) / (Z.shape - 1)def eig_decomp(C): vals, vecs = np.linalg.eig(C) sort_idx = np.argsort(vals) return np.diag(vals), vecs, sort_idxdef dimension_reduction(data, center, v): return np.einsum('ij,j->i', data-center, v/np.linalg.norm(v))[:,None] * v/np.linalg.norm(v)if __name__ == "__main__": masked_data = data_generator(1000) normalized_data, center, sigmai = normalization(masked_data) C = cov_matrix(normalized_data) Sigma, U, idx = eig_decomp(C) reduced_data = dimension_reduction(masked_data, center, (U*sigmai[:,None])[:, 0]) plot_reduced(masked_data, center, reduced_data, U*sigmai[:,None])总结概要
接上一篇文章介绍的矩阵特征分解，本文介绍了矩阵特征分解在主成分分析（PCA）算法中的应用。对于PCA算法，最直观的理解就是，在高维数据中找到一个低维的空间，使得所有的数据点投影到该低维空间之后尽可能的分离。
版权声明
本文首发链接为：https://www.cnblogs.com/dechinphy/p/pca.html
作者ID：DechinPhy
更多原著文章：https://www.cnblogs.com/dechinphy/
请博主喝咖啡：https://www.cnblogs.com/dechinphy/gallery/image/379634.html
页:
[1]