Rask IA, una herramienta de localización de audio y video basada en inteligencia artificial, ha anunciado el lanzamiento de su nueva función Multi-Speaker Lip-Sync. Con sincronización de labios impulsada por IA, 750.000 usuarios pueden traducir su contenido a más de 130 idiomas para sonar tan fluido como un hablante nativo.
Durante mucho tiempo ha habido una falta de sincronización entre los movimientos de los labios y las voces en el contenido doblado. Los expertos creen que esta es una de las razones por las que el doblaje es relativamente impopular en los países de habla inglesa. De hecho, los movimientos de los labios hacen que el contenido localizado sea más realista y, por tanto, más atractivo para el público.
Hay un estudiar de Yukari Hirata, profesora conocida por su trabajo en lingüística, que dice que observar los movimientos de los labios (en lugar de los gestos) ayuda a percibir contrastes fonémicos difíciles en la segunda lengua. La lectura de labios es también una de las formas en que aprendemos a hablar en general.
Hoy, con la nueva función de Rask, es posible llevar el contenido localizado a un nuevo nivel, haciendo que los videos doblados sean más naturales.
La IA reestructura automáticamente la cara inferior basándose en referencias. Tiene en cuenta la apariencia del orador y lo que dice para que el resultado final sea más realista.
Cómo funciona:
Según Maria Chmir, fundadora y directora ejecutiva de Rask AI, la nueva función ayudará a los creadores de contenido a ampliar su audiencia. La IA ajusta visualmente los movimientos de los labios para que parezca que un personaje habla el idioma con tanta fluidez como un hablante nativo.
La tecnología se basa en el aprendizaje de la red generativa adversarial (GAN), que consta de un generador y un discriminador. Tanto el generador como el discriminador compiten entre sí para estar un paso por delante del otro. El generador genera claramente contenido (movimientos de labios), mientras que el discriminador es responsable del control de calidad.
La versión beta está disponible para todos los clientes de suscripción de Rask.
(Nota del editor: este artículo está patrocinado por Rask IA)
Fuente: Ha llegado la sincronización de labios con múltiples altavoces mediante IA