- 배경
이 연구는 모바일 기기에서의 Super Resolution 성능 향상을 목표로 하며, 특히 효율적인 모델 압축 기법인 Channel Pruning과 Multi layer feature distillation 을 결합한 방법을 제안한다. 기존 연구는 복원 과정에서 계산 비용이 높거나, 실제 이미지에서 구조적 세부 정보를 정확히 복구하지 못하는 한계가 있었다. - 문제점
기존 Multi Step Super Resolution 방법은 생성 능력이 좋지만, 가상의 내용을 생성하는 할루시네이션 문제가 있고, 실제 데이터와의 유사성을 떨어뜨리는 문제가 있었다. 채널 정제 비율이 높아질수록 성능 저하가 발생하고 효율성과 정확성 사이에 균형을 맞추는데 도전 과제가 된다. - 제안
Multi layer feature distillation 을 최종 구성해서 channel pruning 모델의 성능을 보완한다. 이 기법은 정제된 모델이 원본 모델의 다중 레이어 특징을 학습하게 함으로써 효율성과 정확성을 동시에 달성한다.
3-1. LiteED
3-2. Online Annealing Pruning
3-3. Multi-Layer Feature Distillation Loss - 실험 결과
모델 크기는 146M Parameter로 매주 작으며, 4K 이미지를 0.8초 만에 처리할 수 있다.
정성적 결과로는 PocketSR은 건축물 구조나 규칙적인 패턴을 정확히 복구하는 반면, 다른 방법들은 텍스처가 흐릿하거나 할루시네이션된 결과를 생성했다.
정량적 결과로는 50% 정체 비율에서 Multi layer distillation 적용한 모델은 11.24ms, MACs 186G 감소하면서 FID 126.53이 0.2865로 유지되었다.
DIV2K 데이터셋 평가 결과로 다양한 저해상도 품질 데이터 조건에서도 제안 기법의 안정성을 입증하였다. - 결론
제안된 기법은 Channel Pruning과 Multi layer feature distillation 기법을 결합하여 Mobile Device 환경에서의 Super Resolution 성능과 효율성을 동시에 향상시켰다. 특히 정성적 평가에서 실제 이미지 복구 능력이 우수한 결과를 나타냈다.
