NPU
-
[반도체 스타트업 논문 리뷰 2] FuriosaAI최신 기술동향/2차전지 & 반도체 2024. 8. 24. 10:59
이번에 스터디할 논문은 "TCP: A Tensor Contraction Processor for AI Workloads [1]"로 퓨리오사에이아이에서 ISCA 2024에 Publish 한 논문이다. 퓨리오사가 출시한 1세대 NPU는 비전인식에 최적화된 Chip이라고 볼 수 있고, 이번에 내놓는 2세대 NPU는 조금 더 범용적인 application에 적용이 가능하다. Tensor Contraction Processor (TCP)로 기술적 Concept을 함축한 이 칩은 Tensor Contraction (축소) 과정에서 '병렬화'와 'Data Locality'를 이용하며, Compute Unit들의 Data reuse (속도가 느린 메모리에 자주 접근하는 것을 최소화하기 위해, 자주 쓰는 데이터는 빠른 ..
-
Nimble: Parallel GPU Task Scheduling for DL - NIPS 논문 리뷰최신 기술동향/인공지능 (AI) 2021. 11. 13. 19:46
최근 AI 연구의 대부분을 차지하고 있는 Deep Learning (DL)은 기본적으로 정확도와 연산량이 Trade-off를 갖기 때문에, GPU 등 병렬처리가 가능한 Hardware를 사용할 때, 진가를 발휘한다. 요즘은 CUDA 같은 GPU 병렬처리 라이브러리와 이를 이용한 Tensorflow-GPU 버전이 사용하기 쉽게 되어 있어서, GPU를 직접 Contorl하지 않아도, GPU를 이용해서 Deep Learning 알고리즘을 돌릴 수 있다. 하지만, DL이 이용되는 시스템을 설계함에 있어서, 알고리즘이 돌아가는 GPU에서 어떤 스케쥴링과 동작이 이루어지는지를 알아보는 것도 중요하다는 생각을 했다. GPU 스케쥴링에 대한 논문은 많지만, 그 중 첫 번째로, 작년 NIPS에서 발표된 DL을 위한 Pa..
-
Neural Processing Unit (NPU)의 기술 및 시장 동향최신 기술동향 2021. 10. 9. 12:57
Autonomous Vehicle, Smart Factory 등 급부상하고 있는 핵심 산업에서 가장 주도적인 역할을 하는 기술은 AI라는 것은 모두가 동의할 것이다. 그 중에서도 CNN 기반의 이미지 처리, 비디오 분석 등의 기술이 고도화되면서, 실시간 상황 판단을 필요로 하는 다양한 사업에 적용되고 있으며, RNN을 기반으로 하는 Attention[1]과 Transformer 등의 AI 구조 등이 연구되면서, BERT, GPT 등의 AI 모델들이 자연어처리 (NLP)에 사용되고 있다. 2020년에 OpenAI에서 Arxiv에 공개한 GPT-3 [2]는 놀랄 정도의 언어 구사력을 보여주며, 자연어처리 연구에 힘을 실어주는 역할을 했다. 이 밖에도, AI를 통신에 적용하는 연구들, AI로 단백질의 패턴을 ..