스타트업 리뷰 (망고부스트)

 올해 초에 공개된 ChatGPT에 대한 사회의 관심이 뜨겁다. 하나의 AI 서비스가 이처럼 전 세계적으로 뜨거운 관심을 받은 것은 알파고 이후에는 처음이지 않을까 싶다. 뉴스에서는 한국형 ChatGPT의 필요성을 강조하고, 차세대 ChatGPT에 대해 이야기한다. 하지만, ChatGPT처럼 초거대 AI를 많은 유저에게 제공하기 위해서는 이를 '학습하고, 추론할 서버'의 최적화, 모바일 환경이라면 '데이터를 주고받는 네트워크' 최적화가 반드시 필요하고 이에 대한 많은 논문과 창업팀이 생겨나고 있다. 이번 겨울에 Computer System Society 학회를 다녀왔는데, 크게 '알고리즘의 최적화'와 '이를 지원하기 위한 시스템의 최적화'로 카테고리를 나눠서 세션이 진행되었다. 그중 시스템의 최적화에서 기술 창업과 관련된 예시가 하나 있어서, 이번 글에 소개하고자 한다. 이번에 소개할 스타트업은 망고부스트다. 망고부스트는 서울대학교 김장우 교수님이 설립한 스타트업으로 DPU를 기반으로 고성능 시스템을 최적화 기술을 주요 아이템으로 삼고 있다. 2022년 6월, DSC 인베스트먼트를 포함한 국내외 VC에서 130억 원 규모의 시드투자를 유치했다. [1]

 망고부스트를 소개하기 위해서는 DPU의 개념에 대해서 먼저 정리해야 할 것 같다. DPU란 "Data Processing Unit"의 약자로, 컴퓨터 시스템에서 데이터 처리를 담당하는 전용 처리 장치를 의미하는데, 주로 대규모 데이터센터에서 사용된다. 데이터센터에는 수많은 데이터가 이동하기 때문에, I/O, 보안, 외부 네트워킹을 담당하는 CPU의 오버헤드가 상당하다. 이를 해결하기 위해, CPU의 부담을 Network Interface Card (NIC)에서 줄여주자는 SmartNIC이 연구되고 있다. [2] 쉽게 말하면, STORAGE-CPU(DRAM)-NIC-(network)-NIC-CPU(DRAM)-GPU 이런 순서였던 데이터의 흐름을 STORAGE-NIC-(network)-NIC-GPU로 처리하고, 보안 등 여러 Task도 NIC으로 내려서, CPU가 다른 일에 집중할 수 있게 해주는 개념이다. 주고받는 데이터의 크기가 천문학적으로 늘어나고, 여러 Machine 간의 데이터 교환이 활발한 초거대 AI의 트렌드에서 반드시 필요한 기술이라고 생각한다.

 최근 논의되는 DPU는 SMARTNIC에 AI 연산을 돕는 기능을 추가한 개념으로 생각하면 될 것 같다. 최근 Cloud 연산의 상당 부분이 AI와 관련되어 있기 때문에, 아예 GPU와 Integrate 하려는 움직임도 있다. [1] (묻고 더블로 가!) 일부 DPU는 시대의 흐름에 따라 Compute 기능도 AI Task에 유리하도록 연구되고 있다. 예를 들면, AI의 주요 연산인 Tensor, Matrix의 곱을 전부 계산 (Dense)하는 GPU에 비해, 일부 DPU는 최근 Trend에 맞게 Sparse 한 연산에 최적화된 점, 메모리의 병목을 효율적으로 처리했다는 점 등으로 효율적인 Computing 자원 활용이 가능하게 되었다. 단, 망고부스트가 AI와 관련하여 어떤 식으로 최적화를 진행했는지는 기술적인 디테일을 추가로 알아보아야 할 것으로 보이고, 회사 소개에서 타사 대비 CPU 오버헤드를 줄였다는 설명이 주를 이루는 것을 볼 때는 SMARTNIC의 기능에 더 초점이 맞춰져있지 않을까 생각한다.

 Cloud Computing / Edge Computing같이 대규모 데이터센터가 필요할 때, DPU가 적합하다는 점도 많은 기업들 (e.g., Intel, NVidia, AMD , MS)이 DPU에 집중해서 투자 [3] [4]하고 있는 이유다. 무거운 AI 모델이 사용되고, 고성능 컴퓨팅을 처리하기 위한 Cloud Computing에서는 하나의 머신이 아닌, 다수 Machine들 사이에서 데이터가 오고 가야 하기 때문에, 위에서 설명한 CPU 오버헤드 및 Network 문제가 생길 수밖에 없다. 일반적으로는 CPU에서 네트워크, 보안 등의 기능을 담당하고 있기 때문에, 데이터센터의 규모를 Scale up을 하는 과정에서 CPU 오버헤드가 심해지기 때문이다. DPU는 네트워크 (e.g., NIC), Storage (e.g., SSD), Compute (e.g., GPU) 중 하나에만 초점을 맞추는 것이 아니라, 모두를 가속화하기 위한 통합 솔루션의 역할을 한다. Allied Market Research에 따르면, 2021년 기준 DPU의 시장 규모는 \$554M이고, 2031년에는 \$5.5B까지 성장할 것이라고 예상한다. [5] 아직 다 성장하지 않은 시장이기 때문에, 충분히 망고부스트가 자리 잡을 여지가 있을 것으로 보인다.

 이처럼 DPU를 설계하고, 운용하기 위해서는 한 가지 기능이 아니라, 여러 요소들을 고려해야 하기 때문에, 복잡한 System Engineering 기법을 필요로 한다. MangoBoost는 사용자 (Cloud Service Provider)들이 효율적인 비용으로 서버를 구축하고, 필요에 따라서 Scale up을 하기 쉬운 Service를 제공한다. CSP가 AI Server를 구축하고 싶은지, 클라우드 서버를 구축하고 싶을 수도 있을 텐데, 망고부스트는 이 환경에 맞는 DPU를 제공하는 반도체 및 SW를 제공한다. 반도체는 FPGA (수정 가능), ASIC (HW 상으로 아예 고정하여 수정 불가하지만, Task에 최적화) 두 가지를 만들고 있는 것으로 보인다. 시제품 MBDPU-1은 기존 서버 구조 대비 3배 이상의 워크로드 개선 성능을 보이면서, 서버 CPU 사용을 50% 이상 절감한다고 소개한다. 이 외에도, NVidia, AMD/Xilinx 등 경쟁 DPU 제품보다 약 40% 이상 개선된 성능을 보인다고 설명한다.

 하지만, 어떤 시나리오에서 어떤 기술로 인해 타사 DPU 대비 40% 이상의 성능을 보일 수 있는지 찾기 힘들었다. 따라서, 망고부스트가 보유한 기술이 어느 정도의 파급력이 있는지를 확인하기 위해서는 어떤 시나리오 하에서 비교를 진행했고, 어느 부분에서 강점이 있는지를 정확하게 확인해야 할 것으로 보인다. 망고부스트에 투자한 VC들은 기술 및 회사 분석을 위해 더 자세한 자료들을 기반으로 조금 더 깊게 들여다봤겠지만, 공개된 자료가 부족하기 때문에, 김장우 교수님 연구실의 Publication 링크를 첨부한다. [6]

 

Conclusion

 이번 글에서는 DPU 반도체 설계 및 솔루션을 만들고 있는 서울대학교 김장우 교수님의 스타트업, 망고부스트에 대해 정리해 보았다. DPU라는 아이템 자체는 최근에 많은 글로벌 기업에서 데이터센터를 위해 관련 기업들을 인수하는 등 시대 흐름 상으로 중요한 기술임은 분명하다. 또한, 과거 많은 논문 실적 및 해외 전문가를 초빙하는 등 전문성을 키우고 있다는 점 또한 사업가능성을 높이는 요인이 될 것 같다. 하지만, 실제 데이터센터에 들어가는 Chip 설계를 하거나 데이터센터를 운용하면서, DPU 설계 기업을 인수한 다른 기업 (e.g., Nvidia, MS)과 비교했을 때, 업에 대한 노하우 (e.g., 실제 데이터센터에 Deploy시 문제점, Chip 생산 위탁)가 부족할 수 있다는 점은 약점으로 작용할 것 같다. 따라서, 국내의 네이버나 SKT, 해외 데이터센터를 운용하는 기업, 삼성이나 해외의 파운드리 업체와의 협업을 통해, 이런 약점들을 해소해야 할 것으로 보인다.

 포항공대 홍원빈 교수님의 크리모, 서울대학교 전병곤 교수님의 FriendlyAI 등 교수님들의 기술 창업이 최근 들어 많아지는 것 같다. 개인적으로는 최신 학회 (e.g., OSDI)에 Publish 한 논문들을 실제 사업 아이템으로 구현하는 것은 좋은 구조인 것 같다. 단순히, 논문을 위한 논문이 아니라, 실제 사업화할 수 있는 기술을 만들어내고, 차세대 기술 발전에 기여할 수 있기 때문이다. (물론, 학생들의 논문지도나 사업 성공여부에 악영향을 미치면 안 되겠지만...) 다른 종류의 창업과 비교했을 때, 탄탄한 기술력을 기반으로 하는 기술 창업은 좋은 가치평가를 받는 것으로 보인다. 하지만, 어려운 기술이라고 해서 반드시 Needs가 많은 기술이라고는 할 수 없기 때문에, 투자를 진행할 때는 현재 시스템에 대한 정확한 문제 파악 및 타사 기술과의 정확한 비교를 할 수 있는 통찰력이 필요할 것으로 보인다.

 

Reference

[1] http://ece.snu.ac.kr/community/news?bm=v&bbsidx=52805

[2] https://blogs.nvidia.co.kr/2022/02/25/what-is-a-smartnic/ 

SmartNIC는 무엇입니까? | NVIDIA Blog

[3] https://www.itworld.co.kr/news/231429

데이터센터 네트워크 시장 노리는 AMD, DPU 업체 펜샌도 19억 달러에 전략적 인수

[4] https://www.digitaltoday.co.kr/news/articleView.html?idxno=468112 

마이크로소프트, DPU 칩 업체 펀저블 인수...애저 클라우드 효율 강화 - 디지털투데이 (DigitalToday)

[5] https://www.alliedmarketresearch.com/data-processing-unit-market-A12869

Data Processing Unit Market Size, Share and Analysis | 2031

[6] https://hpcs.snu.ac.kr/publications/