반응형
Multi_stream
-
Nimble: Parallel GPU Task Scheduling for DL - NIPS 논문 리뷰최신 기술동향/인공지능 (AI) 2021. 11. 13. 19:46
최근 AI 연구의 대부분을 차지하고 있는 Deep Learning (DL)은 기본적으로 정확도와 연산량이 Trade-off를 갖기 때문에, GPU 등 병렬처리가 가능한 Hardware를 사용할 때, 진가를 발휘한다. 요즘은 CUDA 같은 GPU 병렬처리 라이브러리와 이를 이용한 Tensorflow-GPU 버전이 사용하기 쉽게 되어 있어서, GPU를 직접 Contorl하지 않아도, GPU를 이용해서 Deep Learning 알고리즘을 돌릴 수 있다. 하지만, DL이 이용되는 시스템을 설계함에 있어서, 알고리즘이 돌아가는 GPU에서 어떤 스케쥴링과 동작이 이루어지는지를 알아보는 것도 중요하다는 생각을 했다. GPU 스케쥴링에 대한 논문은 많지만, 그 중 첫 번째로, 작년 NIPS에서 발표된 DL을 위한 Pa..