SK 스퀘어 포트폴리오 분석 (2) - 온마인드

 이번에 생각해 볼 SK 스퀘어의 두 번째 투자 포트폴리오는 디지털 휴먼 '수아'를 제작한 온마인드다. SK 스퀘어는 2021년 말, 온마인드에 80억을 투자하여, 40%의 지분을 확보한다고 발표했다. 온마인드는 2020년 초에 설립되어, 같은 해 11월에 카카오게임즈의 자회사 넵튠의 자회사로 15억에 인수된 기업이다. 이번 글에서는 사이버 가수 아담, 가상 모델 로지 등과 어떤 차별점에서 신생 기업 온마인드가 넵튠과 SK 스퀘어의 투자를 끌어낼 수 있었을지 생각해보려 한다.

 최근, 온마인드는 SK 스퀘어의 투자와 실존하는 연예인이라고 해도 믿을 정도의 자연스러운 인스타그램 사진들 덕분에 많은 기사에서 소개되고 있다. 하지만, 대부분이 가상인간의 자연스러운 사진과 동영상 자체에만 초점을 맞추고, 어떤 기술 구현을 통해 수아를 개발했는지와 기존 기술들과 어떤 차이가 있는지를 다루는 자료들은 많지 않다. 한 단계 더 깊게 분석을 해보기 위해, 2020년 10월, 온마인드와 유니티에서 발표한 '수아' 개발 과정을 소개 유튜브 [2]를 들여다보자. 유튜브에서는 수아 개발 과정 전반을 소개하며, 춤을 추는 영상을 보여준다. 개인적으로 아직은 관절이나 시선 처리가 살짝 부자연스러운 부분도 있어 보였지만, 기존의 가상 인간들에 비하면 상당히 높은 완성도를 보여주고 있음을 알 수 있다.

 온마인드에서 발표한 수아의 가장 큰 특징 중 하나는 Real-Time Live가 가능하면서 인간과 유사한 AI 모델이라는 점이다. 기존의 가상 인간들이 간단하게 정해진 패턴으로 움직이는 방식으로 미리 구현 (offline-rendering)되어서 데모를 보였다면, 수아는 실시간으로 다른 유저들과 Interact를 할 수 있다는 점이 차별점으로 꼽힌다. 간단한 예시로, 아담은 정해진 노래를 부르는 영상을 만들면 되고,  모델 로지는 자연스러운 모델 사진을 천천히 만들어서 인스타에 올리면 된다. 이 또한 컨텐츠를 자연스럽게 생성하기에는 높은 기술력이 필요하지만, '실시간'과는 거리가 있다. 기존에도 실시간으로 소통하는 유튜브 캐릭터들도 있지만, 이 캐릭터들은 자연스러운 인간의 형상이 아닌, 카툰풍 캐릭터의 모습을 띄고 있다. 수아는 Real-Time + 3D Rendering을 통한 인간과 유사한 생김새 두 가지를 동시에 만족하는 디지털 휴먼이다.

 이 두 가지를 만족하는 것의 기술적인 의의를 조금 더 생각해보자. Real-Time Live를 위해서는 기본적으로 다른 유저들이 어떤 요청을 하는지를 자연어 처리로 판단할 수 있어야 하고 실시간으로 필요한 Action을 판단해서 동작을 수행하고, 이를 자연스럽게 3D Rendering 해야 한다. 자연어 처리를 위한 AI 모델 (e.g., GPT-3)은 계산 복잡도가 높은 편이고, visual effect를 자연스럽게 반영한 Rendering 기술 또한 무거운 연산과 높은 기술력을 필요로 한다. 엄밀하게 Real-Time을 만족하기 위해서는 Input이 들어와서 Video Frame을 생성하는 데까지 일련의 과정들이 수 십 ms 안에 끝나야 한다. 여러 기술들이 파이프라인으로 잘 연결되어서, 하나의 '수아'라는 시스템을 구성하는데, 온마인드에서는 각 요소 기술들에 대한 역량, 각 기술을 잘 연결하는 역량 모두를 갖추고 있을 것으로 보인다.

 온마인드에서 Rendering 엔진을 직접 개발한 것은 아니고, 부드럽고 자연스러운 Rendering을 위해, Unity의 High Definition Render Pipeline (HDRP)를 사용했다고 소개했다. Rendering은 빛의 현상을 포함한 물리 엔진을 이용해 visual effect를 정교하게 구현해야 하는데, 대표적으로 Unity와 Unreal에서 이런 물리 엔진을 만들어서 배포하고 있다. 온마인드는 Unity의 Tool을 잘 사용해서, 하나의 프로젝트를 완성한 셈이다. 추가적으로 머리카락, 잔디 등 세밀한 표현을 필요로 하는 부분에서 AMD의 TressFX 라이브러리를 사용하는 등 수아를 자연스럽게 보여주기 위한 노력을 한 부분이 돋보인다. 이런 세심한 요소들이 하나씩 모여, 자연스러운 수아가 탄생하여, 가상 인간을 만들 때 가장 어려운 포인트인 불쾌한 골짜기를 벗어날 수 있게 되었다.

 불쾌한 골짜기에 대해 조금 설명을 하자면, 인간과 닮은 객체를 만들 때, 애매하게 닮으면 호감이 아니라, 오히려 불쾌감이 느껴진다는 현상을 표현하는 단어다. 왼쪽 로봇을 보면, 애초에 인간과 유사도가 적기 때문에, 귀엽다고 느낄 수 있지만, 오른쪽의 캐릭터는 애매하게 닮았기 때문에, 오히려 불쾌감이 느껴질 것이다. 대부분의 가상 인간들이 표현 및 Rendering 한계로 인해, 불쾌한 골짜기를 넘지 못해 사라져갔다. 하지만 온마인드의 수아는 불쾌한 골짜기를 벗어나면서, 실시간 소통이 가능한 수준까지 기술을 끌어올린 것으로 보인다.

불쾌한 골짜기의 예시

 그러면, 생생하고 실시간으로 소통이 가능한 디지털 휴먼은 어떤 곳에 쓰일 수 있을까? Interact가 가능한 디지털 휴먼은 지치지 않고, user들의 요청에도 끊임없이 응해줄 수 있다. 24시간 동안 춤을 춰도 지치지 않고, 다양한 환경과 배경에서 다양한 자세로 광고도 할 수 있다. 이런 강점들 덕분에, 인스타그램과 틱톡 등에 수 많은 사진들이 올라오고 있고, 최근 모델 및 광고의 수요를 디지털 휴먼들이 흡수하고 있다는 분석도 나오고 있다. 이것만으로도 디지털 휴먼을 만드는 기업들의 높은 가치를 보여줄 수 있지만, SK 스퀘어가 온마인드와 수아에 주목한 주된 이유는 앞으로의 메타버스 생태계와의 연계성에 있다고 생각한다.

 디지털 휴먼을 현재 메타버스 시스템과 연동하는 사업 방향은 이프랜드를 필두로 메타버스 사업을 확장하려는 SKT의 사업 구조와 잘 맞아들어간다고 생각한다. 특히 앞으로 VR 기기를 사용하는 메타버스 플랫폼에서는 사람이 메타버스 안으로 들어오는 구조가 될 것이고, 그 플랫폼에서 수아 같은 디지털 휴먼과 메타버스로 들어간 인간을 분간하기 힘들 정도로 유사도를 높일 수 있을 것이다. 이런 방향으로 플랫폼이 갖춰진다면, 메타버스 게임에서는 Non Player Character (NPC)의 역할을 수행할 수도, 메타버스 플랫폼 내에서 수아가 실제 연예인의 역할을 할 수도 있다.

 어느 방향으로 사업이 진행되든, 국내에서 독보적인 실시간 디지털 휴먼 생성 기술을 보유한 온마인드에 메타버스 생태계를 확보하려는 SKT 및 SK 스퀘어가 투자를 하는 것은 자연스러워 보인다. 앞으로 어떤 메타버스 서비스가 출시되고, 그 서비스 안에서 디지털 휴먼이 얼마나 생생하게 우리를 맞이하게 될지가 이 투자가 성공적이었는지를 결정하는 포인트라고 생각한다.

- 지극히 개인적인 의견이므로 투자 의견 제시는 아닙니다.-

Reference

[1] https://zdnet.co.kr/view/?no=20211129092937 

SK스퀘어 첫 투자...코빗 지분 35%·온마인드 40% 확보

[2] https://www.youtube.com/watch?v=R6Xu0G3xbJg