GPU
-
[반도체 스타트업 논문 리뷰 2] FuriosaAI최신 기술동향/2차전지 & 반도체 2024. 8. 24. 10:59
이번에 스터디할 논문은 "TCP: A Tensor Contraction Processor for AI Workloads [1]"로 퓨리오사에이아이에서 ISCA 2024에 Publish 한 논문이다. 퓨리오사가 출시한 1세대 NPU는 비전인식에 최적화된 Chip이라고 볼 수 있고, 이번에 내놓는 2세대 NPU는 조금 더 범용적인 application에 적용이 가능하다. Tensor Contraction Processor (TCP)로 기술적 Concept을 함축한 이 칩은 Tensor Contraction (축소) 과정에서 '병렬화'와 'Data Locality'를 이용하며, Compute Unit들의 Data reuse (속도가 느린 메모리에 자주 접근하는 것을 최소화하기 위해, 자주 쓰는 데이터는 빠른 ..
-
[반도체 스타트업 논문 리뷰 1] HyperAccel최신 기술동향/2차전지 & 반도체 2024. 8. 17. 20:12
Paper Title: "LPU: A Latency-Optimized and Highly Scalable Processor for Large Language Model Inference" [1] 최근 국내 AI 반도체 팹리스 사피온과 리벨리온의 합병이 VC 업계에서 큰 화두다. KT의 선택을 받은 리벨리온과 SKT의 선택을 받은 사피온의 합병이라는 측면에서도 주목을 끌지만, 팹리스 사이에서 옥석 가리기가 본격화되었다는 점에서도 눈길을 끄는 것 같다. 사피온, 리벨리온, 퓨리오사, 딥엑스 등 AI 반도체 팹리스 스타트업들이 수천억의 Value로 수백억의 투자금을 유치하며 상장을 준비하고 있다. 당장 매출이 많이 나오지 않더라도, 기술력이 높은 평가를 받아 각각의 스타트업들이 수천억의 Value를 인정받았..
-
스타트업 리뷰 (망고부스트)투자 및 기업분석 2023. 2. 22. 09:24
올해 초에 공개된 ChatGPT에 대한 사회의 관심이 뜨겁다. 하나의 AI 서비스가 이처럼 전 세계적으로 뜨거운 관심을 받은 것은 알파고 이후에는 처음이지 않을까 싶다. 뉴스에서는 한국형 ChatGPT의 필요성을 강조하고, 차세대 ChatGPT에 대해 이야기한다. 하지만, ChatGPT처럼 초거대 AI를 많은 유저에게 제공하기 위해서는 이를 '학습하고, 추론할 서버'의 최적화, 모바일 환경이라면 '데이터를 주고받는 네트워크' 최적화가 반드시 필요하고 이에 대한 많은 논문과 창업팀이 생겨나고 있다. 이번 겨울에 Computer System Society 학회를 다녀왔는데, 크게 '알고리즘의 최적화'와 '이를 지원하기 위한 시스템의 최적화'로 카테고리를 나눠서 세션이 진행되었다. 그중 시스템의 최적화에서 기..
-
Nimble: Parallel GPU Task Scheduling for DL - NIPS 논문 리뷰최신 기술동향/인공지능 (AI) 2021. 11. 13. 19:46
최근 AI 연구의 대부분을 차지하고 있는 Deep Learning (DL)은 기본적으로 정확도와 연산량이 Trade-off를 갖기 때문에, GPU 등 병렬처리가 가능한 Hardware를 사용할 때, 진가를 발휘한다. 요즘은 CUDA 같은 GPU 병렬처리 라이브러리와 이를 이용한 Tensorflow-GPU 버전이 사용하기 쉽게 되어 있어서, GPU를 직접 Contorl하지 않아도, GPU를 이용해서 Deep Learning 알고리즘을 돌릴 수 있다. 하지만, DL이 이용되는 시스템을 설계함에 있어서, 알고리즘이 돌아가는 GPU에서 어떤 스케쥴링과 동작이 이루어지는지를 알아보는 것도 중요하다는 생각을 했다. GPU 스케쥴링에 대한 논문은 많지만, 그 중 첫 번째로, 작년 NIPS에서 발표된 DL을 위한 Pa..
-
Neural Processing Unit (NPU)의 기술 및 시장 동향최신 기술동향 2021. 10. 9. 12:57
Autonomous Vehicle, Smart Factory 등 급부상하고 있는 핵심 산업에서 가장 주도적인 역할을 하는 기술은 AI라는 것은 모두가 동의할 것이다. 그 중에서도 CNN 기반의 이미지 처리, 비디오 분석 등의 기술이 고도화되면서, 실시간 상황 판단을 필요로 하는 다양한 사업에 적용되고 있으며, RNN을 기반으로 하는 Attention[1]과 Transformer 등의 AI 구조 등이 연구되면서, BERT, GPT 등의 AI 모델들이 자연어처리 (NLP)에 사용되고 있다. 2020년에 OpenAI에서 Arxiv에 공개한 GPT-3 [2]는 놀랄 정도의 언어 구사력을 보여주며, 자연어처리 연구에 힘을 실어주는 역할을 했다. 이 밖에도, AI를 통신에 적용하는 연구들, AI로 단백질의 패턴을 ..
-
Forbes IT 기사 리뷰 - Google's Tensor SoC최신 기술동향 2021. 8. 10. 20:19
최근, Google은 Blog [1]를 통해 Tensor라는 이름의 SoC를 개발했고, Google의 자체 개발 smartphone인 Pixel 6에 탑재할 예정이라고 밝혔다. 이와 관련해서 이번에 리뷰할 내용은 Forbes에 실린 'What Does Google’s Tensor SoC Mean For Google’s Hardware And Software Efforts?' [2] 라는 기사다. 이번 글에서도 기사 하나만을 리뷰하기보다는 구글이 스마트폰과 SoC 생태계에 뛰어드는 스토리를 조금 풀어보고자 한다. Google은 모든 것을 알고 있다고 해도 과언이 아닐 정도로, 지구상 최고이자 최강의 기업으로 꼽히는데, 이를 가능케했던 것들은 압도적인 데이터를 바탕으로 하는 AI 기술이었다. 전 세계 60억..
-
Hyper-Parameter Tuning 및 AutoML 논문 리뷰최신 기술동향/인공지능 (AI) 2021. 2. 6. 08:27
AI에 대한 어느 정도의 지식이 있다면, 충분히 많은 AI 논문 알고리즘에 대한 논문과 관련된 코드들을 찾아 볼 수 있다. 기존 Machine Learning 알고리즘, Neural Network 기반의 알고리즘 등 다양한 알고리즘을 자신의 Application에 맞게 활용할 수 있는 Tool들이 있다. 하지만 새로운 Application이나 논문 주제를 위해 시뮬레이터를 설계하려고 하면, 기존의 알고리즘을 그대로 가져다 사용하는 것이 아니라 자신에게 맞는 ML 모델을 적용해야한다. 참고 자료에서 Node 갯수는 몇 개가 좋으며, Dropout은 얼마나 하는 것이 좋을지에 대한 Hyper-parameter에 대한 고민, CNN을 쓰는 것이 맞는지, 얼마나 깊게 쌓아야할지 등 Architecutre에 대한..