TPU
-
Nimble: Parallel GPU Task Scheduling for DL - NIPS 논문 리뷰최신 기술동향/인공지능 (AI) 2021. 11. 13. 19:46
최근 AI 연구의 대부분을 차지하고 있는 Deep Learning (DL)은 기본적으로 정확도와 연산량이 Trade-off를 갖기 때문에, GPU 등 병렬처리가 가능한 Hardware를 사용할 때, 진가를 발휘한다. 요즘은 CUDA 같은 GPU 병렬처리 라이브러리와 이를 이용한 Tensorflow-GPU 버전이 사용하기 쉽게 되어 있어서, GPU를 직접 Contorl하지 않아도, GPU를 이용해서 Deep Learning 알고리즘을 돌릴 수 있다. 하지만, DL이 이용되는 시스템을 설계함에 있어서, 알고리즘이 돌아가는 GPU에서 어떤 스케쥴링과 동작이 이루어지는지를 알아보는 것도 중요하다는 생각을 했다. GPU 스케쥴링에 대한 논문은 많지만, 그 중 첫 번째로, 작년 NIPS에서 발표된 DL을 위한 Pa..
-
Neural Processing Unit (NPU)의 기술 및 시장 동향최신 기술동향 2021. 10. 9. 12:57
Autonomous Vehicle, Smart Factory 등 급부상하고 있는 핵심 산업에서 가장 주도적인 역할을 하는 기술은 AI라는 것은 모두가 동의할 것이다. 그 중에서도 CNN 기반의 이미지 처리, 비디오 분석 등의 기술이 고도화되면서, 실시간 상황 판단을 필요로 하는 다양한 사업에 적용되고 있으며, RNN을 기반으로 하는 Attention[1]과 Transformer 등의 AI 구조 등이 연구되면서, BERT, GPT 등의 AI 모델들이 자연어처리 (NLP)에 사용되고 있다. 2020년에 OpenAI에서 Arxiv에 공개한 GPT-3 [2]는 놀랄 정도의 언어 구사력을 보여주며, 자연어처리 연구에 힘을 실어주는 역할을 했다. 이 밖에도, AI를 통신에 적용하는 연구들, AI로 단백질의 패턴을 ..
-
Forbes IT 기사 리뷰 - Google's Tensor SoC최신 기술동향 2021. 8. 10. 20:19
최근, Google은 Blog [1]를 통해 Tensor라는 이름의 SoC를 개발했고, Google의 자체 개발 smartphone인 Pixel 6에 탑재할 예정이라고 밝혔다. 이와 관련해서 이번에 리뷰할 내용은 Forbes에 실린 'What Does Google’s Tensor SoC Mean For Google’s Hardware And Software Efforts?' [2] 라는 기사다. 이번 글에서도 기사 하나만을 리뷰하기보다는 구글이 스마트폰과 SoC 생태계에 뛰어드는 스토리를 조금 풀어보고자 한다. Google은 모든 것을 알고 있다고 해도 과언이 아닐 정도로, 지구상 최고이자 최강의 기업으로 꼽히는데, 이를 가능케했던 것들은 압도적인 데이터를 바탕으로 하는 AI 기술이었다. 전 세계 60억..