La secuencia de canciones «chikitu» en RajinikanthPelícula en idioma tamil «Culi«Parece que fue filmado en múltiples idiomas. Pero las versiones de telugu y hindi perfectas que el público está viendo no fueron capturados durante la producción, son el producto de la tecnología revolucionaria de IA que transforma silenciosamente cómo la industria del entretenimiento se acerca al contenido denominado.
Detrás de este juego de manos tecnológico está Garaje neuralUna startup india de Genai con sede en Bengaluru que ha desarrollado VisualDubUn sistema patentado que elimina el desagradable desajuste audiovisual que ha afectado el contenido doblado durante décadas. El avance de la compañía: transformando no solo los movimientos de los labios sino también más de 40 músculos faciales para crear expresiones auténticas que coincidan con el diálogo doblado.
«Cuando hablamos, no son solo nuestros labios los que se mueven: nuestra expresión cambia de líneas de sonrisa a los músculos de tu cuello, a la manzana de Adán que se mueve a las líneas debajo de los ojos», dice Mandar Natekar, cofundador y CEO de Neuralgarage. Variedad. «Hemos podido tener en cuenta toda la transformación».
El momento no podría ser mejor. Covid-19 aceleró el apetito global para el contenido doblado como plataformas de transmisión apresuradas para llenar los huecos de programación, haciendo que el público sea más consciente de la mala sincronización de los labios. «Miles de millones de personas estaban sentadas en casa, y creo que todos nos acostumbramos a ver contenido doblado de una manera muy grande», señala Natekar. «Cuanto más vimos ese contenido, más nos dimos cuenta de que la experiencia audiovisual es horrible».
Fundada en 2021 por Natekar, Anjan Banerjee, Subhabrata Debnath y Subhashish Saha, Neuralgarage se basa en las más de dos décadas de Natekar en la industria de los medios y el entretenimiento indios. Pero lo que distingue a Neuralgarage en el abarrotado espacio de doblaje de IA es su enfoque integral para la transformación facial. La tecnología de la compañía transforma más de 40 músculos faciales más allá de los movimientos de los labios, trabajando en primeros planos extremos, caras barbudas, múltiples ángulos y escenarios de iluminación mientras se mantiene la calidad compatible con IMAX y la integridad de resolución completa.
«Cuando estás hablando del cine, cuando estás hablando de la pantalla grande, cuando estás hablando de plataformas de transmisión de alta definición, la autenticidad y la naturalidad es de suma importancia», enfatiza Natekar. El sistema de la compañía conserva todas las características faciales y mantiene la calidad perfecta de píxeles en las transformaciones, cruciales para las versiones teatrales.
Esta destreza técnica ya ha obtenido el reconocimiento de la industria Neuralgarage. En marzo, la startup se convirtió en la primera compañía india en ganar la competencia SXSW Pitch en Austin, Texas, tomando la categoría de entretenimiento, medios de comunicación, deportes y contenido.
La tecnología de Neuralgarage se extiende más allá del doblaje tradicional. La compañía trabajó en las «operaciones especiales» de Jiohotstar, donde la censura requirió cambios de diálogo después de la filmación. En lugar de rehacer costosos o doblajes disruptivos, VisualDub sincronizado sincronizado a un nuevo audio con imágenes existentes.
«Nos dieron un nuevo audio de las nuevas palabras, y lo sincronizamos de regreso al programa», explica Natekar. «Ves el programa, no te darás cuenta de que no fue filmado de esa manera antes».
Los créditos de la compañía incluyen «Kesari Capítulo 2», episodios «Special Ops», y más recientemente, la secuencia de canciones «Coolie». Las reacciones de la audiencia a la transformación Tamil-to-Telugu han estado reveladas: los espectadores asumen que la canción fue filmada en varios idiomas.
«Es una sensación de incredulidad», dice Natekar sobre las reacciones de los fanáticos. «Están hablando de lo bueno que es que realmente filmaron la canción en varios idiomas. No han podido entender que hay tecnología utilizada en esto».
Las implicaciones se extienden más allá del logro técnico. La sincronización de labios perfecta altera fundamentalmente cómo el contenido doblado se percibe y comercializa a nivel mundial. «Con VisualDub, ahora se convierte en una película coreana en sí misma», explica Natekar, utilizando el ejemplo hipotético de una película de Tom Cruise doblada en coreano. «Ya no es una película inglesa llamada coreana. Es una película coreana porque las expresiones ahora coinciden con el audio».
Este cambio permite a los estudios comercializar el contenido como producciones nativas en diferentes territorios en lugar de versiones dobladas, lo que puede obtener precios más altos y un atractivo más amplio. «Estás filmando en un idioma, pero estás creando IP en muchos idiomas», dice Natekar.
La compañía opera como un servicio B2B, trabajando directamente con los principales estudios y propietarios de contenido, incluidas Sun Pictures, Dharma Productions y Friday Film Works. Este enfoque evita las preocupaciones éticas en torno a la clonación de voz y el uso no autorizado de las semejanzas de actores, ya que todo el trabajo se realiza con los permisos y los derechos de contenido adecuados.
Neuralgarage está desarrollando su propio modelo de clonación de voz, un sistema de «interruptor de identidad» que conserva el rendimiento del artista de doblaje mientras aplica las características de voz del actor original. A diferencia de las herramientas de clonación de voz existentes diseñadas para el contenido de forma corta, este sistema está creado para largometrajes que requieren un rango emocional sostenido y una consistencia vocal.
Mirando hacia el futuro, Natekar imagina aplicaciones más allá del doblaje: «Imagine un auto-ajuste para las expresiones. He hablado con toneladas y toneladas de directores que a veces no están contentos con la expresión que finalmente bloquean en la escena». La tecnología eventualmente podría permitir correcciones de expresión de postproducción sin reformas costosas.
La expansión global ya está en marcha. Armado con créditos teatrales de las principales producciones indias y la victoria de SXSW, Neuralgarage está ajustando el interés de Hollywood Studios. «Estamos resolviendo un problema global», afirma Natekar, «y anunciaremos nuestra entrada al mundo, comenzando con los Estados Unidos, en breve».
A medida que el público en todo el mundo consume cada vez más contenido entre las barreras del lenguaje, la tecnología de Neuralgarage promete hacer que esa experiencia sea perfecta, una expresión facial perfectamente sincronizada a la vez.
