Depth-Specific Variational Scaling Method to Improve Accuracy of ResNet

ResNet은 residual learning으로 학습 최적화를 용이하게 만들어 gradient vanishing과 상관없이 신경망이 깊어질 때 성능이 하락하는 degradation 문제를 해결한다. 하지만 기존 ResNet에서는 모든 residual block에 동일한 비율로 residual connection을 적용하여 residual learning의 최적화 효과를 극대화하지 못하는 한계가 있다. 따라서 본 논문에서는 residual learning의 최적화 효과를 극대화하기 위해 깊이 별 residual connection 비율을 달리하여 ResNet 정확도를 향상시키는 variational scaling 방법을 제안한다. 성능을 검증하기 위해 두가지 다른 데이터셋인 CIFAR-10과 CIFAR-100에서 다른 깊이를 갖는 ResNet-32, ResNet-56를 사용해 실험을 수행한다. 실험 결과 모든 케이스에서 기존 ResNet과 비교하여 연산량 증가 없이 정확도 향상을 이룬다.