일레븐랩스가 영상 및 오디오 콘텐츠의 번역과 더빙을 한층 자연스럽게 구현하는 신규 AI 더빙 모델 더빙 v2(Dubbing v2)를 발표했다. 

이번에 공개된 더빙 v2는 텍스트 스크립트에만 의존해 단조롭고 끊기는 오디오를 생성하던 기존 AI 더빙의 한계인 감정과 전달력 손실 문제를 크게 개선한 것이 특징이다.

원본 음성에 담긴 감정, 톤, 억양, 말의 간격, 전달 방식 등 화자의 실제 퍼포먼스를 직접 분석하고 이를 다국어 음성에 그대로 반영하여 단순 번역을 넘어 더 자연스럽고 몰입감 있는 다국어 더빙 경험을 제공한다. 

특히 대한민국은 드라마, 영화, K-팝, 웹툰–웹소설 기반 IP, 게임, 애니메이션, VTuber 및 크리에이터 영상 등 전 세계 시청자를 사로잡는 강력한 콘텐츠 자산을 보유하고 있으나 기존에는 글로벌 진출을 위해 번역, 대본 작성, 성우 녹음, 오디오 편집, 타이밍 조정 등 막대한 제작 공정과 비용이 소요되었다. 

더빙 v2는 한국어 원본 콘텐츠의 화자나 캐릭터가 가진 감정 표현과 목소리의 개성을 최대한 살리면서, 영어를 비롯한 90개 이상의 언어로 효율적인 확장을 지원해 국내 우수 IP의 글로벌 영토 확장을 도울 것으로 기대된다. 

더빙 v2의 핵심 특징

• 원본의 감정–톤–연기적 표현 보존: 원본 음성의 고유한 감정, 톤, 억양 등의 뉘앙스와 말의 간격을 반영하여 다국어 음성을 생성함으로써, 화자의 의도와 콘텐츠의 온도를 다른 언어권 시청자에게 원본의 감동 그대로 자연스럽게 전달한다. 
  
  
•  자연스러운 로컬라이제이션: 단어를 직역하는 방식에서 벗어나, 목표 언어의 문맥에서 가장 자연스럽게 들리는 표현으로 번역과 조정을 수행하여 시청자의 몰입감을 극대화한다. 
  
  
• 음성 타이밍 자동 조정: 번역 후 생성된 음성이 원본 음성의 시작과 종료 타이밍에 맞춰 자연스럽게 정렬되도록 설계됐다. 이는 영상 자체를 조작하거나 립싱크를 강제 생성하는 방식이 아니라, 발화 타이밍을 매끄럽게 맞추어 영상 시청의 어색함을 줄여준다.
  
  
•  자동 보이스 클로닝(Voice Cloning): 원본 화자의 음색, 피치, 톤을 자동으로 반영하여 별도의 수동 클로닝 과정 없이도 화자 고유의 개성을 살린 다국어 더빙 생성을 가능하게 한다. 
  
  
• 90개 이상의 광범위한 언어 지원: 영어를 포함한 90개 이상의 방대한 언어 스펙트럼을 지원하여 영상, 팟캐스트, 교육, 기업 비즈니스 등 다양한 오디오–비디오 포맷의 글로벌 확장을 이끈다. 

더빙 v2의 활발한 도입 예상

• 드라마–영화–웹툰 및 애니메이션 IP: 적절한 권리 처리와 동의에 기반해, 출연자와 캐릭터의 감정선 및 연기적 뉘앙스를 살린 다국어 전개를 지원한다. 캐릭터의 개성을 유지한 음성 예고편, 숏폼 프로모션 콘텐츠 제작에도 유용하게 활용될 수 있다. 
  
  
• 게임 및 인터랙티브 콘텐츠: 한국어로 제작된 게임의 캐릭터 대사, 컷신, 튜토리얼 영상을 원본의 분위기와 캐릭터성을 유지한 채 다국어로 확장하여 글로벌 유저에게 깊은 몰입감을 선사한다. 
  
  
•  VTuber 및 유튜브 크리에이터: 크리에이터 본인의 목소리와 말투 뉘앙스를 살려 다국어 영상을 제작함으로써 해외 시청자 도달 범위를 넓히고 글로벌 팬 기반을 효과적으로 확장할 수 있다. 
  
  
•  교육–관광 및 공공 정보: 한국어 교육 콘텐츠나 인바운드 관광 홍보 영상을 다국어화할 때, 화자의 설명 방식과 열감을 그대로 유지하여 해외 학습자와 여행자에게 명확한 정보를 전달한다. 
  
  
• 기업 교육 및 브랜드 메시지: 경영진 메시지, 사내 교육, 제품 소개 등의 영상을 다국어로 전개해 해외 지사와 글로벌 고객에게 일관되고 신뢰감 있는 브랜드 메시지를 효율적으로 공유하도록 돕는다. 

일레븐랩스의 음성 AI 기술은 국내 지상파 방송사의 실제 다큐멘터리 제작에 적용되는 등 이미 한국 시장에서 뛰어난 자연스러움과 완성도를 입증 받고 있다.

SBS는 국내 방송사 최초로 자체 개발한 인식형 AI 모델을 방송 제작 현장에 적용해 왔으며, 생성형 AI 도입에서는 콘텐츠의 신뢰성과 방송사로서의 책임을 우선 기준으로 적용하는 방침을 두고 있다. 

SBS는 지난해 다큐멘터리 괴물의 시간 제작 과정에 일레븐랩스의 오디오 AI 기술을 도입해 실존 인물의 목소리를 재생성했다. 이를 통해 실제 방송 제작 환경에서 해당 기술이 완성도 높게 적용 가능한 수준임을 확인했다.

더빙 v2는 일레븐랩스 UI(플랫폼)를 통해 크리에이터, 마케팅 팀, 미디어 기업, 엔터프라이즈 기업 등 누구나 효율적으로 고품질 다국어 더빙을 제작할 수 있도록 지원한다. 아울러 대규모 콘텐츠 제작 워크플로우 또는 기존 시스템과의 연동을 검토하는 기업 및 엔터프라이즈 고객을 위한 API 제공도 순차적으로 확대될 예정이다.

조지영 기자 : miyoujj@noteforum.co.kr

[디지털 모바일 IT 전문 정보 - 노트포럼]

Copyrights ⓒ 노트포럼, 무단전재 및 재배포 금지