Fisher Discriminant Analysis

FDA는 linear classifier의 종류로 데이터를 project 시켜 그 분산을 사용하여 적절한 boundary를 찾아내는 방법이다

 

먼저 데이터를 boundary에 project 시킨 것을 어떻게 나타내는지 알아보자

 

 

이렇게 두 벡터가 있을 때 w 벡터에 x 벡터를 투영시킨 위치는 $ w^Tx $로 나타낼 수 있다 

두 벡터를 inner product 시킨다면 $ w \cdot x = || w || || x || cos \theta $이고 이 때 $ ||w|| $ 는 1이고 벡터 x를 w에 투영시킨 길이는  $ ||w|| cos\theta $이기 때문이다

 

이 방법을 사용하여 모든 N개의 데이터를 w 벡터에 투영시켰다고 생각한다면 그 위치들의 평균은 $ \hat{m} = {1 \over N} \sum_{i=1}^N w^Tx_i $이다

모든 데이터의 평균을 $ \hat{\mu} $라고 한다면 $ \hat{m} = w^T\hat{\mu} $라고 표현할 수 있다

 

$ \begin {matrix} var(W)
 &=& {1 \over N} \sum_{i=1}^N ( w^Tx_i - \hat{m} )^2 \\
&=& {1 \over N} \sum_{i=1}^N (w^Tx_i - w^T\hat{\mu} )^2 \\
&=& {1 \over N} \sum_{i=1}^N (w^T(x_i-\hat{\mu})(x_i -\hat{\mu})^Tw \\
&=& w^T [ {1 \over N} \sum_{i=1}^N (x_i-\hat{\mu})(x_i -\hat{\mu})^T]w \\
&=& w^T \sum  w \\
\end {matrix} $

 

이처럼 분산을 표현할 수 있고 이 때 $ \sum $은 convariance matrix를 나타낸다

중간에 $ w^Tx_i - w^T\hat{\mu} $ 가 $ (x_i-\hat{\mu})^Tw $ 로 바뀔 수 있는 것은 두 값이 모두 스칼라 값이기 때문이다 

 

그렇다면 어떻게 분산을 이용하여 linearly seperable한 데이터의 boundary를 찾을 수 있는지 살펴보자

 

 

이렇게 두 w벡터에 대해 데이터들을 투영시켰을 때 $ w_1 $벡터가 더 적절하다는 것을 알 수 있다

 

분산을 사용할 때 고려해본 점이 두가지가 있다

먼저 한 class 내에서 분산이 크고 작은 경우가 있다

 

 

이렇게 분산이 작은 경우는 overlap 될 확률이 적어진다고 볼 수 있다

하지만 class 별 분산의 크기만 고려한다면 평균이 비슷한 경우 분산이 작더라도 많이 겹칠수도 있다

따라서 전체 데이터의 분산은 크게, class 별 분산의 크기는 작게 한다면 효율적으로 classifer를 만들어 볼 수 있다

 

 

이런 개념을 사용해서 objective function을 $ L(w) = { w^T \sum  w \over {N_1 \over N}w^T \sum_1 w + {N_2 \over N}w^T \sum_2  w } $으로 만들어 볼 수 있다

이때 $ N_1 $은 class 1 원소의 개수, $ N_2 $는 class 2 원소의 개수, $ N $은 전체 원소의 개수이다

이를 이용해서 data 개수의 가중치를 적용시켜 줄 수 있다

전체 분산은 크게, class 별 분산은 작게 만들어야 하므로 위 objective function을 작게 maximize 시키는 값이 최적의 값이라고 볼 수 있다

 

식을 간단하게 만들기 위해 분모를 $ w^T {\sum}_{12}  w  $라고 쓰고 $ dL(w) \over dw $를 0으로 만들어주는 최적의 w 값을 찾아보자

 

$$ {dL(w) \over dw} = {1\over (w^T {\sum}_{12}  w)^2}{d (w^T \sum w) \over dw} w^T {\sum}_{12}  w - {d(w^T {\sum}_{12}  w ) \over dw}w^T \sum w  $$ 

이 때 공분산행렬인 $ \sum $은 전치행렬이 원래 행렬과 같기 때문에 $ {d (w^T \sum w) \over dw} = 2\sum w $라고 생각할 수 있다

 

따라서 최종 derivative는 $ {1\over (w^T {\sum}_{12}  w)^2}[{2\sum w} w^T {\sum}_{12}  w - {2 {\sum}_{12} w}w^T \sum w ] $ 이다

 

CSE 4007 : Artifical Intelligence  ( Hanyang University )