파이썬을 이용하여 커널법 배우기/선형 주성분 분석 이론

$d$ 차원 벡터 샘플 집합 $𝐗=[{𝐱}_1,\dots ,{𝐱}_l{]}^{\mathrm{\top }}\in {\mathrm{\Re }}^{d\times l}$ 가 있다고 하자. 이 샘플 집합과의 거리의 합이 가장 적은 하나의 벡터를 ${𝐱}_0$ 라 하면, 이는 제곱오차(squared-error) 척도 $J_0({𝐱}_0)$ 를 최소화하는 값이다.

$J_0({𝐱}_0)=\sum _{k=1}^l||{𝐱}_0-{𝐱}_k|{|}^2$

이 문제의 최적값은 샘플의 평균 값 $𝐦$ 으로 구할 수 있는데 (즉 ${𝐱}_0=𝐦$ ),

$𝐦=\frac{1}{l}\sum _{k=1}^l{𝐱}_k$

다음과 같이 쉽게 증명할 수 있다.

$\begin{array}{cc}{J}_0({𝐱}_0)& =\sum _{k=1}^l||({𝐱}_0-𝐦)-({𝐱}_k-𝐦)|{|}^2\\ & =\sum _{k=1}^l||{𝐱}_0-𝐦|{|}^2-2({𝐱}_0-𝐦{)}^{\mathrm{\top }}\sum _{k=1}^l({𝐱}_k-𝐦)+\sum _{k=1}^l||{𝐱}_k-𝐦|{|}^2\\ & =\sum _{k=1}^l||{𝐱}_0-𝐦|{|}^2+\underset{\text{independent of }{𝐱}_0}{\underbrace{\sum _{k=1}^l||{𝐱}_k-𝐦|{|}^2}}.\end{array}$

$𝐯$ 를 특정 방향을 나타내는 단위 벡터라 하자. 샘플 ${𝐱}_i$ 는 샘플 평균 $𝐦$ 에서 $𝐯$ 방향으로 $a_i$ 만큼 이동했다고 표현할 수 있다.

${𝐱}_i=𝐦+a_i𝐯$

만약 이 값을 만족시키는 최적의 $a_i$ 집합은 앞에서와 마찬가지로 제곱오차 척도를 최소화하는 값으로 구할 수 있다.

$\begin{array}{cc}{J}_1(a_1,\dots ,a_l,𝐯)& =\sum _{k=1}^l||(𝐦+a_k𝐯)-{𝐱}_k|{|}^2\\ & =\sum _{k=1}^l||a_k𝐯-({𝐱}_k-𝐦)|{|}^2\\ & =\sum _{k=1}^l{a}_k^2||𝐯|{|}^2-2\sum _{k=1}^l{a}_k{𝐯}^{\mathrm{\top }}({𝐱}_k-𝐦)+\underset{\text{independent of }{J}_1}{\underbrace{\sum _{k=1}^l||{𝐱}_k-𝐦|{|}^2}}\end{array}$

위 식을 $a_i$ 에 대해서 편미분 수행하고, $||𝐯|{|}^2=1$ 이란 사실을 통해 다음 식을 얻을 수 있다.

$\frac{\partial }{\partial a_i}{J}_1(a_1,\dots ,a_l,𝐯)=2a_i-2{𝐯}^{\mathrm{\top }}({𝐱}_i-𝐦)$

목적함수 $J_1$ 을 최소화하는 값은 식 위식이 0인 경우이다. 따라서 최적의 값을 다음과 같다.

$a_i={𝐯}^{\mathrm{\top }}({𝐱}_i-𝐦)$

공분산 행렬 $𝐂$ 를 다음과 같이 정의하고,

$𝐂=\sum _{k=1}^l({𝐱}_k-𝐦)({𝐱}_k-𝐦{)}^{\mathrm{\top }}$

식 ()과 ()를 식 ()에 대입하면 다음 식을 얻을 수 있다.

$\begin{array}{cc}{J}_1(𝐯)& =\sum _{k=1}^l{a}_k^2-2\sum _{k=1}^l{a}_k^2\\ & =-\sum _{k=1}^l{𝐯}^{\mathrm{\top }}({𝐱}_k-𝐦)({𝐱}_k-𝐦{)}^{\mathrm{\top }}𝐯\\ & =-{𝐯}^{\mathrm{\top }}𝐂𝐯\end{array}$

이제 위 식의 최소화 문제는 ${𝐯}^{\mathrm{\top }}𝐂𝐯$ 의 최대화 문제로 해결 가능하다. 라그랑제 승수(Lagrange multipliers) $\lambda$ 를 이용하여 다음 식을 나타내고,

$L(\lambda ,𝐯)={𝐯}^{\mathrm{\top }}𝐂𝐯-\lambda ({𝐯}^{\mathrm{\top }}𝐯-1)$

${𝐯}^{\mathrm{\top }}𝐂𝐯$ 최대화 문제는 위 식을 $𝐯$ 로 미분하여 얻을 수 있다.

$\frac{\partial L}{\partial 𝐯}=2𝐂𝐯-2\lambda 𝐯$

위 식을 0으로 설정하면, $J_1$ 최소화 문제는 공분산 행렬 $𝐂$ 의 고유값 문제로 해결 가능하다.

$𝐂𝐯=\lambda 𝐯$

실제로 ${𝐯}^{\mathrm{\top }}𝐂𝐯=\lambda {𝐯}^{\mathrm{\top }}𝐯=\lambda$ 이기 때문에 가장 큰 고유값에 대응하는 고유벡터가 최적의 값이 된다. 또한 고유값의 내림차순에 대응하는 고유벡터 몇개를 취함으로써 목적함수 $J_1$ 을 더욱 만족시킬 수 있다. 여기서 선택된 고유벡터를 주성분(principal components)라 한다.

주성분 즉, $q$ 개의 선택된 고유값을 $𝐕=[{𝐯}_1,\dots ,{𝐯}_q]\in {\mathrm{\Re }}^{d\times q}$ 라 하면, 이 주성분으로 특징 샘플 $𝐲\in {\mathrm{\Re }}^d$ 을 사상하면 $P_V(𝐲)$를 얻을 수 있다.

$P_V(𝐲)={𝐕}^{\mathrm{\top }}(𝐲-𝐦)\in {\mathrm{\Re }}^q$

또한 원래 샘플 복원은 다음과 같이 수행한다.

${𝐲}^{\prime }=𝐕{𝐕}^{\mathrm{\top }}(𝐲-𝐦)+𝐦$

여기서 ${𝐲}^{\prime }$ 는 복원된 샘플을 의미한다.