정리노트

앞선 포스팅에서 간단한 Neural Network구조인 MLP를 다루었는데, 그 단순한 모델인데도 각 Activation의 Gradient부터 일일이 가중치를 Update하는 일까지 꽤 복잡한 과정을 거친 것을 확인할 수 있었다. 그렇다면 모든 딥러닝을 구현할때 이런과정을 거쳐야할까? 아니다. 파이썬에는 Pytorch, Tensorflow, Keras같은 Deep Neural Network를 구현하는 훌륭한 오픈소스 Framework가 있고, 실제 모델을 구현하는 단계에서는 이런 Framework를 잘 구성해주면 복잡한 과정을 거치지 않아도 비교적 단순하게 모델을 구현할 수 있다. 이번 포스팅에서는 바로 이 pytorch Deep Learning Framework에대해서 자세히 다뤄보도록 하겠다. . ◆..

지난 포스팅에서 Neural Network에서 한개의 노드구조에 해당하는 Linear Regression과 그에 sigmoid Function이 합쳐진 Logistic Regression을 살펴보았다.이런 Perceptron을 층층이 겹쳐올린 구조로 학습을 하는 모델을 Neural Network라고 하는데,층의 깊이가 깊지않은 모델을 Shallow Neural Network, 깊은구조를 Deep Neural Network라고 한다. 이번 포스팅에서는 층의 깊이가 깊지않은 Shallow Neural Network모델 중 가장 단순한 모델인MLP(Multi Layer Perceptron)에 대해 다뤄보도록 하겠다 *코드첨부는 맨 아래 쪽에 ◆목차◎ Neuron의 구조◎ XOR Operator Issue (D..

Neural Network의 각 뉴런의 구조는 Linear Regression의 output이 Activation 함수를 통과하는 구조 로 이루어져 있다. 그리고 Logistic Regression은 Linear Regression의 output이 Sigmoid Function 함수를 통과하여 그 값(확률)이 0.5 이상일때를(W*X+b = 0.. Decision Boundary) Threshold로 Classification해준 것이다. Neural Network를 구성하고 있는 ​이 모델들 하나하나를 'Perceptron', 또는 'Neuron'라고 부를 수 있는데, 이때 가장 'Optimal'한 Weight(가중치) 'W'와 Bias Term 'b'를 Iterative Solution으로 찾아주는 ..