딥러닝 (11) 썸네일형 리스트형 Regularization 1 - L1,L2 regularization 과적합을 막는 regularization 기법 train error와 test error의 차이, variance를 줄일 수 있다 Logistic Regression에서의 regularization 기존의 loss function인 $ J(w,b) = \frac{1}{m}\sum_{i=1}^{m}L(\hat y^{(i)},y^{(i)}) $를 아래와 같이 바꿀 수 있다 $$ J(w,b) = \frac{1}{m}\sum_{i=1}^{m}L(\hat y^{(i)},y^{(i)}) + \frac{\lambda }{2m}\left \| w \right \| ^2_2+ \frac{\lambda }{2m}b^2$$ 이렇게 loss function을 바꾼 것을 $ L_2 $ regularizatoin를 적용했다고 한.. Activation Functions Neural Network 개념은 인공지능 수업때 수학적으로 더 자세히 공부했어서 이번에는 수학적인 것보다 특징을 중심으로 공부해보려고 한다 수식 복습! tunsi-niley.tistory.com/53 Neural Networks 봐도 봐도 헷갈리는 뉴럴네트워크 식의 index가 매번 헷갈린다 sigmoid function을 사용하는 neural networks의 objective function (loss function)을 정의하고 derivative를 구해보려고 한다 먼저 sigmoid funct.. tunsi-niley.tistory.com - sigmoid activation function 중 제일 기초적으로 쓰이는 function $ \frac{1}{1+e^{-z}} $ $ g'(z) = g.. Logistic Regression 딥러닝 수업 들으면서 배운 내용을 정리하면서 추가로 공부도 해보려고 한다 - Binary Classification input feature vector를 가지고 0 또는 1(binary)의 결과를 갖는 output을 만들어내는 과정 이때 m개의 training example은 $ \{(x^{(1)}, y^{(1)}),(x^{(2)}, y^{(2)}),...,(x^{(m)}, y^{(m)})\} $처럼 나타낸다 이러한 m개의 example을 전부 합하여 하나의 Matrix로 취급하면 더 빠른 계산이 가능하다 $$ X \in \mathbb{R}^{n_x \times m} $$ $$ Y \in \mathbb{R}^{1 \times m} $$ - Logistic Regression x가 주어졌을 때 $ \ha.. 이전 1 2 다음
