코덱 아바타(Codec Avatar)는 페이스북 리얼리티 랩(Facebook Reality Lab)에서 2019년에 발표한 실사 기반 인체 아바타입니다. 코덱 아바타는 132개의 카메라 렌즈와 350개의 조명이 있는 스튜디오에서 인체를 캡처해 얻은 데이터를 머신러닝을 통해 목소리와 근육의 움직임을 학습합니다. 학습한 데이터를 통해 실제 사용자가 자신의 데이터를 스캐닝한 후, 메타 퀘스트3를 착용하면, 메타버스 환경에서 실제 자신의 모습과 유사한 아바타를 생성할 수 있습니다.
https://youtu.be/MVYrJJNdrEg?feature=shared
지난 10월, 마크 주커버그(Mark Zuckerberg)는 메타 퀘스트3를 착용한 뒤, 메타버스 환경에서 렉스 프리드만(Lex Fridman)의 팟캐스트에 출연한 바 있습니다. 두 사람은 사전에 얼굴을 스캐닝해 아바타를 생성했습니다. 생성된 아바타는 단순히 외관뿐만 아니라 표정과 움직임을 감지합니다. 컴퓨터 모델을 통해서 얼굴과 몸의 움직임을 분석하고 움직임에 대한 신호를 프로그램으로 전송하게 됩니다. 이는 신호 데이터를 전송하는 형태이기 때문에 이미지 데이터를 전송하는 것보다 훨씬 빠르게 데이터 처리가 가능합니다. 이를 통해서 실시간으로 메타버스 환경에서 사실적인 아바타와 상호작용하는 것이 가능합니다.
하지만 현재는 아바타 생성을 위한 스캐닝에 시간이 꽤 걸리는 편입니다. 이는 기존에 가지고 있는 데이터의 수가 적고, 얼굴 주름과 같은 세밀한 부분까지 스캔을 해야하기 때문인데요. 마크 주커버그는 그들의 최종 목표가 휴대폰을 이용해 몇 가지 말과 표정을 유도한 뒤, 데이터를 얻어 간편하게 아바타를 생성하는 것이라고 말했습니다. 아바타 생성에 걸리는 시간도 2분 정도로 최소화하는 것을 목표로 하고 있으며, 단순히 화상으로 서로를 만나는 것을 넘어 가상 공간에서 함께 있는 느낌을 줄 수 있도록 노력을 기하겠다고 말했습니다. 또 얼굴 표정을 자신이 원하는 정도로 조절하는 것뿐아니라, 팔과 다리도 구현할 계획을 가지고 있다고 말했습니다.
페이스북 리얼리티 랩이 현재 겪고 있는 문제를 해결하기 위해서는 많은 데이터가 필요합니다. 이를 위해서 다양한 사람들이 스캐닝되어야하고요. 너무 많은 데이터를 가지고 있다면, 카메라로 현실을 그대로 보여주는 것에 그친다는 것 또한 경계해야하는 문제입니다. 또, 간단하게 아바타를 스캐닝할 수 있다면, 그에 따른 문제도 따라옵니다. 아바타를 자신의 모습이 아닌 타인의 모습을 도용할 수도 있는 등, 여러 범죄에 노출될 수 있습니다. 이러한 기술이 상용화가 되기 전, 여러 논의가 반드시 이루어져야 할 것으로 보여집니다.
출처 |
Mark Zuckerberg: First Interview in the Metaverse | Lex Fridman Podcast #398
'Metaverse Newsletter' 카테고리의 다른 글
| 영화로 보는 메타버스, <레디 플레이어 원> (0) | 2023.11.26 |
|---|---|
| 디지털 트윈 (1) | 2023.11.26 |
| 메타버스 산업 내에서 모션캡쳐의 역할 (0) | 2023.11.26 |
| 메타버스에 주목하는 금융권(은행) (1) | 2023.11.26 |
| 메타퀘스트3와 비전프로 (1) | 2023.11.22 |
