러닝 레이트 자동 스케줄러로 알고리즘 성능을 향상하고 비용을 절감하다
2021/07/20 by 카카오브레인

다양한 배치 크기에 잘 적용되는 자동화된 러닝 레이트 스케줄러 제안

큰 배치 크기 학습에서 러닝 레이트 조정에 드는 막대한 자원 절감 가능

2021년 제8회 ICML AutoML 워크샵(8th ICML Workshop on Automated Machine Learning)에서 카카오브레인 연구팀은 딥러닝 학습 과정의 성능에 영향을 미치는 중요한 파라미터인 러닝 레이트(Learning Rate, LR) 자동 스케줄러에 관한 연구 결과를 발표해 학계의 주목을 끌고 있습니다.

딥러닝 학습에 있어 꼭 필요한 대규모 데이터셋과 모델을 활용할 때 꼭 필요한 큰 배치(Large-batch)는 처리 속도 측면에서는 유리하지만 작은 배치와 동등한 수준의 성능을 달성하려면 특별히 설계한 러닝 레이트 스케줄러가 종종 필요합니다. 특히, 업데이트 스텝 횟수가 제한된 경우 러닝 레이트와 웜업 전략이 중요합니다. 최종 성능은 업데이트 스텝의 횟수에 따라 감소하기 때문입니다.

물론 큰 배치를 처리하기 위한 자동화 LR 알고리즘들이 이미 선보인 바 있습니다. 그러나 이전 알고리즘은 구조 자체가 복잡하고 자동화를 위해 도입한 하이퍼 파라미터에 민감해 별도의 조정 작업을 거쳐야 하는 경우가 많았습니다. 그러다보니 결국 자동화의 의미가 상실되는 일이 종종 발생하기도 했습니다.

따라서 최적에 가까운 러닝 레이트를 얼마나 빨리 찾느냐에 따라 시간과 비용이 달라집니다. 카카오브레인 연구팀은 이번 발표를 통해 뉴럴 네트워크를 주어진 이포크 안에서 학습할 경우 배치 크기와 상관없이 효과적인 LR 자동 스케줄러를 제안했고 큰 배치를 이용한 딥러닝 학습 과정에 유의미한 결과를 실험으로 입증했습니다.

LR 스케줄러의 어떤 요소가 딥러닝 성능에 영향을 미치는지 파악하고 이에 기반하여 복잡성을 최대로 배제한 알고리즘을 설계하고자 했는데, 이런 단순화가 오히려 알고리즘을 더 잘 작동하게 했다는 점까지 확인했습니다.

카카오브레인 연구원 김치헌님은 “앞으로 논문에서 실험하지 않았던 좀더 다양한 상황에서, 이번에 제안한 LR 스케줄러가 잘 작동하는지 검증하고 응용 사례를 수집하겠다.”고 말했습니다.

저자 : 김치헌, 김세훈, 김종민, 이동훈, 김성웅 (이상 전원 카카오브레인)

Code 공개(예정) : https://github.com/kakaobrain/autowu

Paper공개 : https://openreview.net/forum?id=ljIl7KCNYZH

👉 논문에 대한 자세한 정보는 카카오브레인 논문 페이지에서 확인해 주세요! https://kakaobrain.com/publication

이 글을 쓴 사람들
kakaobrain
카카오브레인