Una nueva IA de código abierto llamada voz abierta ofrece clonación de voz con una velocidad y precisión sin precedentes.
Desarrollado por investigadores del MIT, la Universidad de Tsinghua y la startup canadiense MyShell, OpenVoice utiliza solo unos segundos de audio para clonar una voz y permite un control granular sobre el tono, las emociones, el acento, el ritmo y más.
MyShell presentó OpenVoice en una publicación de esta semana, enlazando a una investigación revisada previamente papel explicando la tecnología, así como sitios de demostración en MyShell y HuggingFace donde los usuarios pueden probarla.
Hoy, estamos orgullosos de abrir el código fuente de nuestro algoritmo OpenVoice, adoptando nuestro espíritu central: IA para todos.
Experimentalo ahora: https://t.co/zHJpeVpX3t. Clona voces con una precisión incomparable, con control granular del tono, desde la emoción hasta el acento, el ritmo, las pausas y la entonación, usando solo un… pic.twitter.com/RwmYajpxOt
—Mi concha (@myshell_ai) 2 de enero de 2024
Los modelos duales de IA permiten la clonación de voz instantánea
OpenVoice comprende dos modelos de IA que trabajan juntos para la conversión de texto a voz y la clonación de tonos de voz.
El primer modelo maneja el estilo del lenguaje, los acentos, las emociones y otros patrones del habla. Se entrenó con 30.000 muestras de audio con diferentes emociones de hablantes de inglés, chino y japonés. El segundo modelo de “convertidor de tonos” aprendió de más de 300.000 muestras que abarcan 20.000 voces.
Al combinar el modelo de voz universal con una muestra de voz proporcionada por el usuario, OpenVoice puede clonar voces con muy pocos datos. Esto le ayuda a generar voz clonada mucho más rápido que alternativas como Meta’s Voicebox.
startup canadiense
OpenVoice proviene de la startup MyShell, con sede en Calgary, fundada en 2023. Con 5,6 millones de dólares en financiación inicial y más de 400.000 usuarios, MyShell se anuncia a sí misma como una plataforma descentralizada para crear y descubrir aplicaciones de inteligencia artificial.
Además de ser pionero en la clonación de voz instantánea, MyShell ofrece personalidades de chatbot originales basadas en texto, generadores de memes, juegos de rol de texto creados por usuarios y más. Parte del contenido está bloqueado tras una tarifa de suscripción. La compañía también cobra a los creadores de bots por promocionar sus bots en su plataforma.
Al abrir el código fuente de sus capacidades de clonación de voz a través de AbrazosCara Mientras monetiza su ecosistema de aplicaciones más amplio, MyShell puede aumentar los usuarios en ambos y al mismo tiempo promover un modelo abierto de desarrollo de IA.
(Foto por Claus Grünstäudl en desempaquetar)
Ver también: AI & Big Data Expo: Maximizando el valor de los flujos de datos en tiempo real
¿Quiere aprender más sobre IA y big data de la mano de los líderes de la industria? Verificar Exposición de IA y Big Data que tendrá lugar en Ámsterdam, California y Londres. El evento integral comparte ubicación con Semana de la Transformación Digital.
Explore otros próximos eventos y seminarios web de tecnología empresarial impulsados por TechForge aquí.
Fuente: MyShell lanza la IA de clonación de voz OpenVoice