배치 정규화(Batch Normalization) [꼼꼼한 딥러닝 논문 리뷰와 코드 실습]

현대 딥러닝 아키텍처에서 학습 속도(training speed)를 비약적으로 향상시킬 수 있었던 방법 중 하나인 배치 정규화(Batch Normalization)에 대한 설명 영상을 만들어 공유합니다 :)

초기 배치 정규화는 Internal Covariate Shift (ICS)를 줄여서 성능을 높이기 위한 목적으로 2015년에 처음 제안되었으며, 실제로 학습 속도 및 정확도 향상에 도움이 되어 ResNet을 포함한 다양한 아키텍처에 사용되었습니다.

배치 정규화를 사용함으로써 하이퍼 파라미터 설정이 편리해지고 성능이 향상될 수 있다는 점은 의심의 여지가 없으나, 정말 배치 정규화가 ICS를 감소시키는지에 대해서는 불명확하여 Madry 연구소에서는 배치 정규화의 성능 향상 원인을 분석하는 논문을 출판했습니다. (NIPS 2018)

배치 정규화에 대한 강의 자료나 블로그 글은 매우 많이 찾아볼 수 있지만, 핵심이 되는 두 논문의 내용을 한 번에 정리한 뒤에 코드까지 확인해 볼 수 있는 자료는 거의 없는 것 같아 직접 만들어 보았습니다.

영상의 내용은 다음의 흐름을 가집니다.

1. 배치 정규화 원본 논문(PMLR 2015) 핵심 요약하기 00:00:00
2. 배치 정규화 파라미터 미분해보고 기울기 계산해보기 00:18:39
3. PyTorch를 기반으로 ResNet 아키텍처에서 배치 정규화를 포함할 때와 포함하지 않을 때의 손실(loss) 값 및 성능을 비교/분석해보기 00:26:46
4. 배치 정규화의 성능 향상 원인을 분석하는 논문(NIPS 2018) 핵심 요약하기 00:34:35
5. 두 개의 논문 연달아 같이 읽기 00:54:54

본 시리즈의 동영상에서 사용된 강의 자료(PPT)와 코드는 다음의 깃허브 저장소에 업로드됩니다.
https://github.com/ndb796/Deep-Learning-Paper-Review-and-Practice

본 강의는 배치 정규화에 대한 2가지 논문에 대한 요약, 논문 리딩, 코드 실습을 포함하고 있습니다. (바로 실행 가능한 Colab 코드를 제공합니다.)