Synthesia는 TechCrunch 기자 Dominic-Madori Davis의 여러 장면을 촬영하고 2분 분량의 음성을 녹음한 뒤, 그녀의 대화형 디지털 버전을 만들었다. 결과물은 단순히 작성된 대본을 읽는 이미지가 아니었다. Avatar는 질문을 듣고 이를 텍스트로 변환한 다음, 언어 모델을 사용해 답변을 작성하고, 그 답변을 음성으로 변환한다. 동시에 영상 모델은 말하는 동안 캐릭터의 얼굴 표정을 움직인다.
기자는 자신이 벤처캐피털의 지원을 받은 스타트업에서 그렇지 않은 스타트업보다 사기 사례가 증가한 이유에 대해 쓴 기사로 대화형 버전을 학습시키기로 했다. 따라서 이 트윈은 “결정론적”이었다. 즉, 설정된 범위 안에서만 답하고, 범위를 벗어난 질문은 원래 기사로 돌려보낸다.
디지털 트윈은 어떻게 만들어졌나?
Synthesia 팀은 모델을 만드는 데 며칠이 걸렸다. 기자는 자신이 제공한 텍스트를 읽는 개인용 버전과, 듣고 답할 수 있는 대화형 버전을 받았으며, 안경을 쓴 모습과 쓰지 않은 모습 중에서 선택할 수도 있었다. 이 시스템은 Synthesia의 영상 및 음성 모델을 사용하며, Cartesia, ElevenLabs, Google, OpenAI의 대체 모델을 선택할 수 있다. 또한 트윈을 고객이 선택한 클라우드나 Synthesia에서 호스팅할 수 있는 옵션도 제공한다.
회사는 이러한 기능을 세 가지 주요 범주로 구분한다. 전통적인 Avatars를 사용해 영상을 만들고 배포하는 플랫폼, 설문조사와 시뮬레이션 훈련을 위한 대화형 Sessions 플랫폼, 그리고 음성 및 영상 모델을 다른 서비스와 통합해 대화형 Avatars나 다양한 제품을 구축할 수 있게 하는 API다.
이 실험은 무엇을 보여주는가?
기자는 개인용 버전의 음성이 자신의 목소리와 비슷하다고 느꼈지만, 친구들은 대화형 버전의 유사성이 덜 설득력 있다고 보았다. 그럼에도 가족이 아닌 사람은 알기 어려운 개인적인 질문을 부모가 해보려 할 정도로, 충분히 낯선 느낌을 만들어내는 존재감은 있었다. 하지만 학습 과정에서 설정된 제약 때문에 부모는 답을 얻지 못했다.
이 결과는 범위가 제한된 Avatar와 개방형 대화 모델로 구동되는 버전 사이의 중요한 차이를 보여준다. 전자는 비교적 예측 가능하지만, 학습된 자료를 벗어나면 유용성이 제한된다. 반면 후자는 더 유연해 보일 수 있지만, 꾸며낸 답변이나 통제하기 어려운 행동이 나타날 여지를 연다.
이 소식이 중요한 이유는 무엇인가?
저자는 언론에서의 잠재적 활용이 가장 중요한 질문이라고 본다. 대중은 디지털 캐릭터가 뉴스를 전달하는 것을 받아들일 것인가? Avatar가 기자를 대신하거나, 최고경영자들이 기자 본인 대신 기자의 디지털 버전과 대화할 수 있게 될 것인가? 저자의 입장은 핵심적인 한 지점에서 분명하다. 언론의 본질은 신뢰이며, 이 요소를 인공지능에 쉽게 위임할 수 있다고 보지 않는다.
미디어 밖에서는 이 아이디어가 기업과 개인에게 더 매력적일 수 있다. 디지털 버전은 본인이 부재한 동안 질문에 답하거나, 교육과 직원 및 고객 지원을 도울 수 있다. 그러나 이 실험은 이러한 모델이 인간을 대체할 준비가 되었다는 것을 증명하지 않는다. 오히려 답변의 범위를 통제하고 음성과 이미지 사용에 동의하는 일이 여전히 설계의 핵심 요소임을 보여준다.
더 폭넓은 활용을 둘러싼 질문은 여전히 열려 있다. 대중은 언제 자신이 인공적인 버전과 대화하고 있다는 사실을 알게 되는가? 잘못된 답변에 대한 책임은 누가 지는가? 그리고 디지털 트윈이 실용적인 인터페이스에서, 사용자에게 자신이 실제로 갖고 있지 않은 자율성이나 지식을 가진 것처럼 착각하게 하는 인격체로 변하는 것을 막는 경계는 무엇인가? 이러한 질문은 기술이 반드시 특정한 방향으로 발전할 것이라는 약속이 아니라, 실험 자체의 성격에 근거한다.