메타버스를 위한 XR 비디오 표준 (MPEG-I/MIV)

 최근 IT 관련 뉴스 및 보고서의 상당 부분을 차지하는 메타버스는 AR, VR 기술이 더해짐으로써 사용자가 콘텐츠에 더 몰입할 수 있도록 한다. 다른 글에서는 AR, VR에 필요한 5G, 6G 기술에 대해 정리를 했고, 이번에 정리할 기술은 AR, VR, XR 데이터를 전송하기 위해 만들어진 비디오 표준기술 MPEG-I 및 MPEG-Immersive Video (MIV)다. Cellular 통신 및 네트워크 기술을 표준화하기 위해 3GPP가 있다면, 비디오와 관련된 표준을 정의하기 위해서는 MPEG (Moving Picture Experts Group)이 있다. MPEG에서는 비디오 압축 기술을 중점으로, 비디오가 전달되는 환경에 따라 다양한 비디오 관련 표준을 정의한다.

 MPEG과 관련된 예시로, Netflix나 Youtube같은 스트리밍 영상을 보는 도중, 통신 상태가 안 좋으면, 화질이 조금 낮아지는 대신에, 영상은 계속 실행되는 것을 들 수 있다. 이때, 사용되는 스트리밍 비디오 관련 기술이 MPEG-DASH (Dynamic Adaptive Streaming over Http)이다. 다양한 화질의 영상을 미리 만들어놓고, 네트워크 상태에 따라, Dynamic 하게 조절하면서, 사용자의 QoE (Quality of Experience)를 올리는 방법이다. 이처럼, MPEG은 다양한 환경에서의 비디오 표준기술을 정의하고 있으며, 이번에 알아볼 MPEG-I는 Immersive Media, 즉, VR/AR 등 몰입 환경에서 필요한 비디오 표준 기술이다.

 2016년 10월 시작된 MPEG-I에 대한 논의는, Audio와의 자연스러운 연계 등, 2개의 Phase와 8개의 Part로 나뉘어서 표준화가 이루어지고 있다. Phase에 관련해서는 아래 그림과 같이, 최종적으로, 6-DoF(Degree of Freedom)을 지원하기 위해 정의되고 있다. 기존의 2D 비디오 코덱 (e.g., AV1, VVC) 등과는 다르게, 360도 영상을 지원하고 있다. 또한, 아래 그림에서 볼 수 있듯이, 초기 3 DoF에서는 Head Mount Display (HMD)의 회전을 기준으로, 영상을 지원했다. 하지만, Phase 1b에서는 제한된 공간에서의 x, y, z 축 움직임도 반영할 수 있으며, 최종적으로 6 DoF에서는 회전, 병진 운동을 포함한 전방향 비디오 지원이 가능해진다.

MPEG-I의 표준화 로드맵 [1]

 MPEG-I에서의 Audio에 대한 규격, Point Cloud Compression에 대한 규격 등이 각 Part에서 논의되고 있으며, Part. 8에서는 Immersive Media의 네트워크 연동을 위한 Interface가 논의되고 있다. XR을 지원하기 위한 3GPP 표준이 꾸준히 논의되고 있고, 특히, Compute Resource를 많이 필요로 하는 작업들은 Edge Computing을 이용하기 위한 인터페이스들이 정의되고 있다. 이와 관련된 움직임을 꾸준히 모니터링해야할 것으로 보인다.

 Video Encoding과정만을 표준화하려고 한 2D Video Compression과는 다르게, 360도 Video Encoding에서는 압축 효율성을 위해 Pre-processing, Post-procssing도 포함한다. 대표적인 Pre-processing이 3D 영상을 2D로 Projection (투사)하는 방법으로, Equirectangular projection (ERP) 방식을 포함해 다양한 기법들이 연구되고 있다. Projected Image는 Encoding 과정을 거쳐서, 주어진 채널을 통해 나가기 위해, Segmentation 등의 절차를 거쳐서, Receiver에 전달된다. Receiver는 받은 데이터를 잘 합쳐서, Decoding과 3D로 복원하는 작업을 거치고, Rendering해서, Display에 전달을 해주게 된다. 이를 평가하기 위한 지표(Metrics)로, 얼마나 원본과 유사한지를 나타내는 Pixel Signal to Noise Ratio (PSNR)가 대표적이다. 화질을 평가하는 Metrics는 XR 뿐만 아니라, Image Processing 및 AI 기반 Image Generation 등에 자주 활용되기 때문에, 어떤 것들이 있는지 한번 확인해보는 것도 좋을 것 같다.

 대부분의 표준화는 '어떤 아이템을 논의하자고 협의', '해당 아이템에 대한 연구', '표준화 진행'으로 나눠진다. MPEG에서도 다양한 Projection과 Encoding을 조합해보면서, 압축 효율, PSNR 등을 비교하는 Study를 거듭하고 있으며, 어떤 기술로 어떤 절차가 가장 효율적 일지 확정한다.

 추가적인 MPEG Immersive Video (MIV)에 대한 더 자세한 Encoding 및 Rendering 과정은 올해 9월에 Publish된 IEEE 논문에 [2]에 정리되어 있다. Multi-view video와 Depth에 대한 정보를 넣고, Redundancy 한 부분을 걷어내는 Pruning을 하고, 이를 묶는 Packing 과정을 포함하는 2-Step인  TMIV Encoding 하는 과정, Encode 이후에 나오는 Atlases를 이용해 Video Encoding을 하는 과정으로 MIV의 Encoder가 이루어져 있다. 위에서 설명한 Projection에 대한 정보, Quantization 정보 등이 Parameter로 함께 bitstream으로 전달되면, Rx 단에서는 이 과정을 거꾸로 수행해서, 원래 Video를 복구하는 방식이다. 해당 데이터들을 어떻게 추출하고, 어떤 연구들이 있는지는 [2]를 참고하길 바란다.

MIV Encoder

 

Conclusion

 이번 글에서는 앞으로의 메타버스를 구현함에 있어서 가장 중요한 기술인 XR을 위한 비디오 표준화, MPEG-I에 대해서 간단하게 정리했다. MPEG-I가 이용될 XR 시장은 새로운 부흥기를 맞고 있다. VR을 이용한 부동산 소개 플랫폼을 포함하여, 다양한 스타트업 기업들이 생겨나고 있으며, 이를 저지연으로 지원하기 위한 Edge Computing 기업들 또한 생겨나고 있다. AR/VR에 대한 관심도와 기술적인 성숙도가 올라가고 있으며, 메타버스라는 시대적인 트렌드 또한 XR에 대한 투자심리를 끌어올리고 있다. AR/VR은 잠깐동안 폭발적인 주목을 받고, 잠시 가라앉으며, 기술이 무르익고 안정적으로 정착하는 Slope of Enlightenment에 들어왔다. 이를 위한 Infra와 단말에 대한 표준화가 상당 부분 진행되었으며, 성능을 높이기 위한 논문들도 쏟아져나오고 있다.

 내년에는 메타 (구. Facebook), Sony, MS 등의 선진 기업들에서 관련된 헤드셋을 앞다퉈 출시할 예정이다. 관련된 시장에 대한 Value가 천문학적이라고 평가되는 만큼, 대부분의 기업들에서 관련 연구를 계속하고 있다. Qualcomm은 XR2 Chip, Nvidia는 강점인 GPU를 앞세워 XR 시장을 주도하려고 하며, Nokia, Ericsson, Samsung 등의 네트워크 장비 업체도 3GPP에서 관련된 표준회의에서 영향력을 보이고 있다. AWS 등의 Cloud 업체에서는 XR을 지원하는 Edge Computing를 Targeting 하고 있으며, 로블록스 등의 메타버스 플랫폼 업체도 준비하고 있다. 생태계를 구성할 HW, SW 후보가 준비되고, 2022년부터는 본격적인 점유율 경쟁을 시작하지 않을까라는 생각이 든다. 이번 글에서 정리한 MPEG-I 기술과 다른 XR 요소들의 최적화가 잘 이루어질 때, 최고의 성능을 보일 수 있으며, 이런 솔루션을 제시하는 기업이 해당 시장에서 두각을 보일 것이다.

 

Reference

[1] J. Jung, B. Kroon, J. Boyce, Common Test Conditions for MPEG Immersive Video, ISO/IEC JTC1/SC29/WG11 MPEG/N19484, Jul. 2020.

[2] J. M. Boyce et al., "MPEG Immersive Video Coding Standard," in Proceedings of the IEEE, vol. 109, no. 9, pp. 1521-1536, Sept. 2021, doi: 10.1109/JPROC.2021.3062590.