Structured Pruning of Deep Convolutional Neural Networks

  1. Background
    -> CNN은 Image Recognition, Voice Recognition 분야에서 뛰어난 성능을 보였다. 하지만 높은 비용의 연산량과 메모리 엑세스 때문에 모바일, 임베디드 기기에서 적합하지 않다. 기존 연구들은 CNN을 학습한 후, 중요하지 않은 Weight를 제거하는 Pruning 방법을 사용한다. 그러나 이러한 방법은 대부분 Weight 단위로 제거하는 방법이다 보니 불규칙한 희소 문제가 있다.

    즉,
    Sparsity matrix 저장 방법 필요,
    Index 관리 방법 필요,
    GPU parallel process 효율 저하,
    의 문제가 있다고 개선하고자 한다.

  2. Problem
    2-1. Unstructured Sparsity

    2-2. Reduced weight

    2-3. CNN

  3. Method
    -> 3-1. Channel-level Pruning

    3-2. Kernel-level Pruning

    3-3. Intra-Kernel Strided Sparsity

    3-4. Particle Filter Pruning

    3-5. Evolutionary Particle Filter(EPF)

    3-6. Fixed-point Quantization

  4. Result

  5. Conclusion
    -> Structured Pruning 제안

    -> 불규칙이 아닌, 규칙적인 Sparsity 사용

    -> Particle Filter 기반 탐색

    -> Quantization과 결합

    ->