ResNet34

ResNet34는 딥러닝에서 가장 중요한 CNN Architecture 중 하나이다.

2015년 Microsoft 에서 발표된 논문 “Deep Residual Learning for Image Recognition”에서 소개된 Residual Network(ResNet) 이다.

  1. Background
    -> 왜 나왔을까?
    기존 Deep Network는 층이 깊어질 수록 Vanishing Gradient Problem 으로 학습이 잘 되지 않았다. 그래서 Skip Connection을 도입해서 Residual 을 학습하게 만들었다.

    이로 인해 100층 이상의 매우 깊은 네트워크에서도 효과적으로 학습을 할 수 있게되었고, ImageNet 대회에서도 큰 성과를 나타냈다.

  2. ResNet32 Structure
    ->
    34개의 Layer로 구성되어 있다.
    VGG19에서 영감을 받아 Basic Block을 사용하고, ResNet50 이상에서는 Bottleneck Block을 사용한다.


    (그림)


  3. Performance
    -> ImageNet 에서 Top-5 Error 5.71%
    -> ResNet18보다 깊고 정확도가 높다.
    -> ResNet50보다 학습과 추론 속도가 빠르다.
    -> Transfer Learning 에서 backbone으로 사용한다.

  4. Approach Paper
    -> 1512.03385 논문.
    -> Skip Connection이 왜 Vanishing Gradient를 해결하는지 직관적인 이해.
    -> Residual Block
    -> Implement Code
    ->