人工智能（AI）机器翻译和语音识别专业公司Elsolu宣布，自5日起推出基于AI的下一代视频翻译服务“deepSAME”的测试版服务。
该服务通过复制视频中讲话者的声音，将其自然地配音成多国语言，并精确对齐口型与语言发音，以此彻底改变以往以字幕为主的翻译方式，预示着沉浸式视频翻译的范式转变。
“deepSAME”基于Elolu积累20年以上的语言数据及其自有的AI机器翻译和语音处理技术而开发。它在保持原有字幕基础解决方案“SubEditor”的自动翻译功能与准确度的同时，为解决字幕观看的疲劳和降低沉浸度问题，演变为以配音为中心的解决方案。尤其是结合了世界最高水平的声音克隆和唇形同步技术，可像母语者一样复制讲话者的情感、语气和氛围。
deepSAME的使用方式也很简单。用户只需上传视频或输入YouTube视频的URL，系统即会自动分离背景音和讲话者的声音，AI在保持讲话者语调和音色的同时执行多国语言配音。然后，再通过唇形同步技术，自动调整讲话者的口型与目标语言发音一致。通过此种方式，原始内容的沉浸感和情感传达力在进行多国语言观赏时得以保持。
最重要的是，与传统的手工配音和唇形同步方法相比，deepSAME提供了极高的时间和成本效率。传统方式通常需要花费数百万韩元并耗费一天以上的制作时间，而deepSAME仅需数分钟即可自动完成整个视频的配音及唇形同步。目前支持包括韩语、英语、日语、中文、越南语等33种语言，适合全球内容制作环境。
此外，deepSAME在自动翻译和配音后，还提供后期编辑工具，用户可以直接修正字幕、音频、时序等，以生成高质量的成果。在与国外主要内容制作公司的测试中，证明与传统方法相比，制作时间缩短了90%以上。
文钟玉代表表示，“deepSAME不仅仅是一个视频翻译工具，而是一个帮助AI复制讲话者声音和口型以制作沉浸式多国语言内容的下一代平台。” 他补充道，“我们计划重新制定全球视频制作市场的标准，通过提高制作效率、内容质量和用户体验来实现这一目标。”
deepSAME的测试版服务时间为8月5日至11月30日，任何人只需注册即可免费体验对10个视频（每个长度不超过5分钟）进行33种语言的AI配音及唇形同步功能。
此外，Elolu原为‘주는 인터내셔널’，是一家在机器翻译、语音识别、语音合成等AI基础语言技术领域，供应给国内外公共、国防、金融、制造、流通等领域解决方案的韩国代表性AI技术公司。其主要产品包括ezNTS（机器翻译器）、ezDAS（语音识别器）、ezTTS（语音合成器）、AI Transcribe（E2E语音识别器）以及AI SubEditor（视频字幕翻译器）等。