정리노트
Deep Learning (11)_CNN_2.. LeNet-5, Alex Net, VGG Net 본문
지금까지 CNN 포스팅에서,
CNN의 여러가지 Building Block과 이를 바탕으로한 가장 기초적인 CNN Model에 대해서 살펴보았다.
이번에 포스팅할 내용은
이런 CNN모델 Architecture의 Reference들이다.
◆ 목차
◎ Classic Networks with CNNs
○ LeNet-5
○ AlexNet
○ VGG Net
◎ Classic Networks with CNNs
○ LeNet-5(1998)
오래전 제안된 Architecture로, MaxPooling대신 Avg Pooling이 쓰이고, Cross Entropy대신 L2 Distance가 쓰이는 게 \
최근 Architecture와는 많이 다르다는 것을 알 수 있다.
https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=726791
Gradient-based learning applied to document recognition
Multilayer neural networks trained with the back-propagation algorithm constitute the best example of a successful gradient based learning technique. Given an appropriate network architecture, gradient-based learning algorithms can be used to synthesize a
ieeexplore.ieee.org
https://medium.com/mlearning-ai/lenet-and-mnist-handwritten-digit-classification-354f5646c590
LeNet and MNIST handwritten digit classification
I. Introduction
medium.com
○ AlexNet (2012)
Computer Vision 에서 딥러닝이 쓰이기 시작한 Architecture라고 봐도 무방할만큼,
딥러닝 역사에서 중요한 Architecture이다.
Alex Net은 기존 Network와 다르게 더 Deep하며(Bigger), Activation Function으로는 ReLU,
그리고 Pooling Layer로 MaxPooling, Output layer Activation으로 Softmax를 사용하고, Loss로는 CrossEntropy Loss를 사용했다는 점에서 Modern Deep Learning Architecture과 어느정도 비슷하다고 볼 수 있다.
https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf
○ VGG Net
VGG Net은 Alex에서 더 필터사이즈를 줄이고, 더 Deep하게 Network를 구축한 Network로,
아래와같은 구조를 가진다.
VGG-뒤에붙은 숫자가 곧 Layer의 개수를 의미하고,
Layer가 더 깊어질 수록 Error율이 줄어드는 것을 확인할 수 있다.
https://arxiv.org/abs/1409.1556
Very Deep Convolutional Networks for Large-Scale Image Recognition
In this work we investigate the effect of the convolutional network depth on its accuracy in the large-scale image recognition setting. Our main contribution is a thorough evaluation of networks of increasing depth using an architecture with very small (3x
arxiv.org
VGG16 - Convolutional Network for Classification and Detection (neurohive.io)
VGG16 - Convolutional Network for Classification and Detection
How does VGG16 neural network achieves 92.7% top-5 test accuracy in ImageNet, which is a dataset of over 14 million images belonging to 1000 classes.
neurohive.io
'AI > Deep Learning' 카테고리의 다른 글
| Deep Learning (13)_ Object Detection (0) | 2022.06.18 |
|---|---|
| Deep Learning (12)_CNN_3 : ResNet (0) | 2022.06.15 |
| Deep Learning (10)_CNN (Convolution Neural Network)_1 (0) | 2022.05.22 |
| Deep Learning (9)_Convolution Layer (0) | 2022.05.22 |
| Deep Learning (8)_Tensorboard & Tuning Parameter (0) | 2022.05.21 |
