Ex. 14.15 about esl-cn

[szcf-weiya]

R代码如下

N = 200
X1 = rnorm(N)
X2 = X1 + 0.001*rnorm(N)
X3 = 10*rnorm(N)
X = cbind(X1, X2, X3)
X.pca = princomp(X)
summary(X.pca)

结果为

从上述结果可以看出，前两个主成分便解释了所有的方差。
我们有两种方式得到主成分，一种是直接对协方差矩阵进行分解：

Sigma = cov(X)
eigen(Sigma)

结果为

可以看出第一主成分为X3，第二主成分为-0.707(X1+X2)
另一种是

loadings(X.pca)

结果为

同样得出第一主成分为X3


the proportion of explained variance can be calculated as

> lambdas = c(100, 1 + (0.001^2 + sqrt(0.001^2 + 4)) / 2, 1 + (0.001^2 - sqrt(0.001^2 + 4)) / 2)
> lambdas
[1] 1.000000e+02 2.000001e+00 3.750000e-07
> cumsum(lambdas) / sum(lambdas)
[1] 0.9803921 1.0000000 1.0000000

same with the above simulation!!

[szcf-weiya]

而对于因子分析，我们有

library(psych)
X.fa = fa(X)
loadings(X.fa)

可以看出，第一因子取X1+X2，而直接忽略了X3。

[szcf-weiya]

Related discussion of PCA on the covariance or correlation can be found in https://stats.stackexchange.com/questions/53/pca-on-correlation-or-covariance