Auto Encoder (Anomaly Detection)

-
03_6 : Anomaly Detection : Auto-Encoder, 1-SVM, SVDD

Auto encoder 자체는 다양한 분야에 활용되는 모델이다. 이 글에서는 간단하게 어떤식으로 이상치 탐지에 이용되는지 알아볼 것이다.

Auto Encoder (Auto-Associative Neural Network)

이미지를 처리하는 경우 Convolutional Auto Encoder를, 시계열이나 자연어와 같은 데이터를 처리하는 경우 RNN 기반의 Auto Encoder를 사용하는 등 다양한 응용이 있다. 하지만 이 글에서는 가장 기본적인 Feed-forward neural network에서 Auto Encoder를 이해해보자.

Auto Encoder의 목적은 입력으로 주어진 data를 출력으로 최대한 원본에 가깝게 reproduce 하는 것이다. 목적함수인 Loss function을 살펴보자.
  • Loss function
l(f(x)) = \frac{1}{2}\sum_k(\hat{x}_k-x_k)^2

입력값 x_k와 reproduce 한 \hat{x}_k의 차이가 loss function이다.
  • Encoder
h(x) = g(a(x)) = sigmoid(b+Wx)
activation function으로 Sigmoid 함수를 사용한 예시이다. 입력 x\in R^D를 h(x)\in R^d로 인코딩한다. 이때 반드시 d<D이어야 한다. 왜냐하면 인코딩 과정에서 정보의 축약(손실)이 일어나야지만 입력 data의 특징을 잘 보존하는 hidden layer를 학습할 것이고, 이를 통해 이상치 탐지를 할 수 있기 때문이다. (이후에 좀더 자세히 알아보자)
+ hidden layer를 latent vector라고 부르기도 한다.
  • Decode
\hat{x} = o(\hat{a}(x)) = sigmoid(c+W^*h(x))
Encoding된 h(x)를 다시 원래 차원의 data \hat{x}로 복원하는 과정이다. 여기서 W^*는 W행렬의 Conjugate transpose(켤레 전치)를 의미한다. (W^* = W^\dagger = \overline{W^T}) 복소수를 사용하지 않는 일반적인 경우 W^* = W^T 이다. 식에서 W^*를 사용하는 것은 W가 유니터리(unitary) 행렬이라면 W^{-1} = W^*임을 이용한 것이다.

Normal data로 학습된 Auto Encoder는 normal data가 주어졌을 때 loss값이 작게 잘 복원할 것이다. 하지만 abnormal data가 주어진다면 이 데이터로는 학습하지 않았음으로 loss값이 크게 복원될 것이다. 결론적으로 위 loss function을 Anomaly score로 사용하여 Anomaly를 판단한다.
위 그림에서 bottleneck(hidden) layer에 해당하는 h(x)의 dimension이 반드시 input의 dimension보다 작아야 하는 이유를 다시 살펴보자. 만약 input layer의 차원 D와 bottleneck(hidden) layer의 차원 d가 같다면, 인코딩과 디코딩 과정에서 정보의 손실 없이 그대로 값을 복사하도록 학습될 것이다. 이렇게 된다면 Anomaly data가 주어졌을 때, 그대로 손실 없이 reconstruction 하게 될 것이다. 이렇게 되면 원하던 Anomaly detection을 수행할 수 없다.


※ 이 글은 고려대학교 산업경영공학과 강필성 교수님의 IME654 강의를 정리하고, 공부한 내용을 추가하여 작성되었습니다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

One-Class SVM & SVDD

-
이미지
03_6 : Anomaly Detection : Auto-Encoder, 1-SVM, SVDD MoG와 같은 밀도기반 방법론들은 특정 객체가 정상범주에 속할 확률을 구했다. 반면 Support vector 기반 방법론들은 normal과 abnormal을 구분하는 분류경계면을 찾는다. 이번 글에서는 Support vector 기반의 Anomaly detection 방법 중 one-class SVM과 SVDD를 알아보자. One-class Support Vector Machine (1-SVM, OCSVM) 1-SVM의 목표는 Data를 feature space로 mapping 한 뒤, 분류경계면을 통해 mapping된 Data 중 normal data들이 원점으로부터 최대한 멀어지게 만드는 것이다. 위 그림에서 파란색 분류경계면이 (+1) normal data들을 구분하는 것을 확인할 수 있다. 이 목표를 수식화 한 Optimization problem부터 살펴보자. Optimization Problem \min_{\textbf{w}}\;\;\;\frac{1}{2}||\textbf{w}||^2 + \frac{1}{\nu l} \sum_{i=1}^l \xi_i - \rho s.t.\;\;\;\textbf{w}\cdot \Phi (x_i) \geq \rho - \xi_i\;\;\;\;(i=1,2,\cdots,l),\;\;\xi_i\geq 0 \frac{1}{2}||\textbf{w}||^2 term은 SVR과 같이 x의 변화에 따른 변동이 크지 않도록 Regularization을 하는 term이다. \rho는 위 그림에서 주황 직선을 나타내는데, 원점과 분류경계면 Hyperplane과의 거리를 나타낸다. 이 값을 뺌으로써 최소화 문제를 만족하는 최적해일때 \rho가 최대가 되도록 한다. (원점에서 Hyperplane이 최대한 멀어지게 만든다) \frac{1}{\nu l} \sum_{i=1}^l \xi_i term은 제약식에 따라 Hyp...
자세한 내용 보기

Support Vector Regression (SVR)

-
이미지
02_4 : Kernel based learning : Support Vector Regression (SVR) 앞에서 공부했던 SVM은 binary classification을 하기 위한 방법이었다. 이번 글에서 알아볼 SVR은 함수를 추정하여 연속적인 수치변수를 예측하는 회귀 방법이다.  SVR을 알아보기에 앞서 우리가 하려는 함수추정의 목적을 살펴보자. Fitting function 함수를 추정하고 싶을 때 우리의 목적은 크게 2가지로 나뉜다. Minimize an error measure (Loss function) 한마디로 error를 최소화 하여야 한다. (잘 맞춰야 한다) Function to be simple 같은 성능이라면, 함수는 최대한 단순해야 한다. 함수가 단순하다는 뜻은 아래의 조건들을 의미한다. Fewest basis functions Simplest basis functions Flatness is desirable Support Vector Regression (SVR) 위에서 살펴보았던 Loss function과 Flatness를 반영하도록 목적함수를 만들 것이다. SVR에도 여러 종류가 있는데, 우선 \varepsilon-SVR에 대하여 알아보자. 현실의 Data들은 어쩔 수 없이 발생하는 noise가 존재한다. 아래 식에서 noise는 \varepsilon이다. y = f(x)+\varepsilon \varepsilon-SVR에서 핵심 아이디어는 \varepsilon 보다 작은 noise에 대해서는 Loss를 주지 말자는 것이다.  왼쪽 그림에서 색이 칠해진 영역을 Epsilon-tube 라고 하는데, 이 영역안에 있는 객체들에게는 Loss를 부여하지 않는다. 이를 위한 Loss function은 오른쪽에 표현된다. 이 Loss function은 hinge를 닮았다고 해서, Hinge Loss 라고 불린다. 차이가 \varepsilon 보다 작은 경우 loss는 0이고, $\vareps...
자세한 내용 보기

Support Vector Machine (SVM) - Soft margin

-
이미지
02_3 : Kernel based learning : Support Vector Machine (SVM) - Soft margin 이전 글에서는 Hard margin을 사용하는 SVM에 대하여 알아보았다. 이번에는 Soft margin을 사용하는 경우를 알아보자.  SVM - Case 2 : Linear case & Soft margin 지금까지는 분류경계면에 대하여 margin을 넘어가는 객체가 없다고 가정하고 Hard margin을 적용하였다. 하지만 실제 데이터에는 noise가 존재하기 때문에 위와 같은 경우가 발생하기 마련이다. 위의 경우에 Hard margin을 사용하면 분류경계면의 생성이 불가능하다. 그래서 모든 객체가 margin의 밖에 존재해야 한다는 제약을 제거하고 margin 안쪽에도 존재할 수 있도록 예외를 허용해주는 방법이 Soft margin이다. 물론 margin 안쪽에 존재하는 경우를 그냥 허용하는 것이 아니라 Penalty를 준다.  위 예시에서 \xi에 해당하는 값이 error 객체에 대한 Penalty이다. Penalty를 부여하는 방법에 따라 C-SVM과 nu-SVM으로 나뉘는데, 이 글에서는 C-SVM에 대하여 알아볼 것이다. Optimization problem (C-SVM) - Objective function min\;\;\;\;\frac{1}{2}||\textbf{w}||^2+C\sum_{i=1}^N\xi_i - Constraints s.t.\;\;\;\;y_i(\textbf{w}^T\textbf{x}_i+b)\geq 1-\xi_i,\;\;\;\xi_i\geq 0,\;\;\forall i Objective function의 \frac{1}{2}||\textbf{w}||^2은 기존의 Hard margin에서 사용했던 Margin이 최대화 되도록 한다. 그리고 위에서 말했던 Penalty를 주는 부분이 C\sum_{i=1}^N\xi_i식이다. 이 식을 통해 예외를 허...
자세한 내용 보기