파이썬을 이용하여 커널법 배우기/커널 주성분 분석 이론

커널 주성분 분석은 선형 주성분 분석과 마찬가지로 특징 공간상에서 목적함수 $J_1$ 를 최소화하는 단위 벡터를 찾는 문제이다. 사상 함수 $\varphi (\cdot )$ 를 통해 임의의 고차원 $(\in {\mathrm{\Re }}^F)$ 으로 확장된 샘플 집합을 ${𝐗}^F=[\varphi ({𝐱}_1,\dots ,\varphi ({𝐱}_l){]}^{\mathrm{\top }}\in {\mathrm{\Re }}^{F\times l}$ 라 하면, 특징 공간상의 공분산 행렬은 다음과 같이 계산 가능하다.

${𝐂}^F=\sum _{k=1}^l(\varphi ({𝐱}_k)-{𝐦}^F)(\varphi ({𝐱}_k)-{𝐦}^F{)}^{\mathrm{\top }}$

여기서 ${𝐦}^F$는 특징 공간상에서의 샘플 평균이다.

${𝐦}^F=\frac{1}{l}\sum _{k=1}^l\varphi ({𝐱}_k)$

Matlab 및 Numpy를 비롯한 다양한 행렬관련 언어로 쉽게 구현하기위해 행렬표현법을 이용하여 식 ()를 나타내면 다음과 같다.

${𝐂}^F={𝐗}^F𝐇𝐇{𝐗}^{F\mathrm{\top }}$

여기서 $𝐇=𝐈-\frac{1}{l}{\mathrm{𝟏}}_{l,l}$, $𝐇={𝐇}^{\mathrm{\top }}$ 이고,

$𝐈$ 와 ${\mathrm{𝟏}}_{n,n}$ 는 각각 크기가 $n\times n$ 인 단위 행렬, 모든 원소가 1인 행렬이다. 이제 선형 주성분 분석과 마찬가지로 위 식의 고유값으로 주성분을 구할 수 있다.

그러나 식 ()은 임의의 고차원 특징 공간상에 존재하기 때문에 고유값을 직접 구할 수 없다.

   Kernel method 설명!!!!!!!!!

특징 공간상의 고유벡터 ${𝐯}^F$ 는 샘플들의 선형 결합으로 나타낼 수 있다는 가정을 통해 문제를 해결할 수 있다.

${𝐯}^F={𝐗}^F𝐇\mathit{\alpha }$

식 ()의 고유값 문제는 다음과 같이 표현 가능하다.

${𝐂}^F{𝐯}^F=\lambda {𝐯}^F$

이제 각 항에 $𝐇{𝐗}^{F\mathrm{\top }}$ 을 곱하고, 식 ()을 대입하면 다음을 얻을 수 있다.

$\begin{array}{cc}𝐇{𝐗}^{F\mathrm{\top }}{𝐗}^F𝐇𝐇{𝐗}^{F\mathrm{\top }}{𝐗}^F𝐇\mathit{\alpha }& =\lambda 𝐇{𝐗}^{F\mathrm{\top }}{𝐗}^F𝐇\mathit{\alpha }\\ \Rightarrow 𝐇{𝐗}^{F\mathrm{\top }}{𝐗}^F𝐇\mathit{\alpha }& =\lambda \mathit{\alpha }\\ \Rightarrow 𝐇𝐊𝐇\mathit{\alpha }& =\lambda \mathit{\alpha }\end{array}$

여기서 $𝐊$ 는 커널 행렬(kernel matrix)이며, 이 행렬의 $i$ 열, $j$ 행 값 $K_{ij}$ 는 다음과 같이 구할 수 있다.

$K_{i,j}=\varphi ({𝐱}_i{)}^{\mathrm{\top }}\varphi ({𝐱}_j)=k({𝐱}_i,{𝐱}_j)$

위 식에서 $k(\cdot ,\cdot )$ 는 커널 함수(kernel function)을 의미하며 Mercer's Theorem을 만족하는 커널 함수를 이용할 수 있다.

이제 식 ()에서 고유값 문제로 $\mathit{\alpha }$ 를 구할 수 있다. 추가적으로 ${𝐯}^{F\mathrm{\top }}{𝐯}^{𝐅}=1$ 을 만족시키기 위해 다음과 같은 정규화가 필요하다.

$\begin{array}{cc}{𝐯}^{F\mathrm{\top }}{𝐯}^F& ={\mathit{\alpha }}^{\mathrm{\top }}𝐇𝐊𝐇\mathit{\alpha }\\ & =\lambda {\mathit{\alpha }}^{\mathrm{\top }}\mathit{\alpha }=1\\ \therefore {\mathit{\alpha }}^{\prime }& =\frac{\mathit{\alpha }}{\sqrt{\lambda }}\end{array}$

이제 ${𝐂}^F$ 의 고유값 ${𝐯}^F$ 는 ${𝐯}^F={𝐗}^F𝐇{\mathit{\alpha }}^{\prime }$ 로 나타낼 수 있다.

선형 주성분 분석과 같이 커널 주성분(kernel principal components)은 $q$ 개의 선택된 고유값을 ${𝐕}^F=[{𝐯}_1^F,\dots ,{𝐯}_q^F]$ 라 하면, 이 주성분으로 특징 샘플 $\varphi (𝐲)$ 를 사상하면 $P_{V^F}(\varphi (𝐲))$ 를 얻을 수 있다.

$\begin{array}{cc}{P}_{V^F}(\varphi (𝐲))& ={𝐕}^{F\mathrm{\top }}(\varphi (𝐲)-{𝐦}^F)\\ & ={𝐀}^T𝐇{𝐗}^{F\mathrm{\top }}(\varphi (𝐲)-\frac{1}{l}{𝐗}^F{\mathrm{𝟏}}_{l,1})\\ & ={𝐀}^T𝐇({𝐊}_{𝐲}-\frac{1}{l}𝐊{\mathrm{𝟏}}_{l,1})\end{array}$

여기서 $𝐀=[{{\mathit{\alpha }}_1}^{\prime },\dots ,{{\mathit{\alpha }}_q}^{\prime }]$ 는 식 :eq:`eq-kpca-norm` 에서 고유값이 큰 순에 대응하는 $q$ 개의 선택된 고유벡터이다. ${𝐊}_{𝐲}$ 는 ${𝐗}^{F\mathrm{\top }}\varphi (𝐲)$ 를 나타내며 커널 함수를 이용하여 구할 수 있다. 원래 샘플 복원은 다음과 같이 수행하는데,

$\varphi (𝐲{)}^{\prime }={𝐕}^F{𝐕}^{F\mathrm{\top }}(\varphi (𝐲)-{𝐦}^F)+{𝐦}^F$

복원 결과는 여전히 특징 공간상에 존재하게 된다. 이 복원된 샘플의 입력 공간상의 값 ${𝐲}^{\prime }$ 는 pre-image 문제로 해결 가능하다.