Show HN: Herramienta de doblaje con IA que hice para ver videos en idiomas extranjeros con mi hijo de 7 años

Artículo original ↗ Discusión en Hacker News ↗

Un desarrollador indie ha creado un servicio de doblaje impulsado por IA que clona las voces de los hablantes y sincroniza audio y subtítulos traducidos para poder ver videos en muchos idiomas, incluso con niños o familiares que no hablan inglés. Los comentaristas se muestran impresionados por la naturalidad de las voces y la sincronización, al tiempo que preguntan cómo el sistema maneja la diarización, la calidad de la traducción, el coste y posibles problemas de copyright al procesar YouTube y otro contenido. El hilo también explora implicaciones más amplias para el aprendizaje de idiomas y la accesibilidad, señalando tanto las desventajas pedagógicas del doblaje para niños como los beneficios potenciales para personas que tienen dificultades para leer subtítulos o escuchar el audio original.

Recepción general y casos de uso

  • La herramienta fue ampliamente elogiada por ser impresionante y “con alma” en muchas muestras; algunos dicen que las voces clonadas suenan muy cercanas al doblaje real.
  • Caso de uso principal: permitir que niños o personas que no hablan inglés vean contenido extranjero; otros ven valor para podcasts, canales de YouTube, Plex y accesibilidad (deficiencias visuales o auditivas, personas mayores).
  • Interés tanto en la dirección de “niños” (simplificar el lenguaje) como en la de “padres/abuelos” (doblar/subtitular en su idioma).

Compatibilidad con idiomas y aprendizaje

  • Se pidieron idiomas de destino adicionales: ucraniano, hindi, portugués, inglés simplificado (y otras salidas con dificultad graduada).
  • Debate sobre doblaje frente a subtítulos para la adquisición de idiomas:
    • Algunos argumentan que el doblaje perjudica la exposición a idiomas extranjeros y que los niños deberían ver los originales con subtítulos.
    • Otros responden que la velocidad de lectura a los ~7 años a menudo no alcanza para seguir los subtítulos, y que la inmersión solo mediante audio ya puede construir una comprensión sólida.
    • Varias anécdotas sobre niños que aprendieron inglés (u otros idiomas) de la TV/YouTube; otros subrayan que la interacción real sigue siendo importante.

Enfoque técnico y desafíos

  • No es un envoltorio de APIs comerciales como ElevenLabs/HeyGen; el creador lo optimizó para ejecutarse en GPUs alquiladas, usando componentes abiertos/más baratos.
  • La tubería incluye: transcripción con tiempos por palabra/segmento, traducción, clonación de voz por hablante y ajuste del habla para que coincida con el tiempo.
  • La diarización de hablantes usa embeddings junto con heurísticas (pausas, límites de oración, diferencias de voz), no solo diarización estándar.
  • La alineación temporal es difícil: los desajustes de longitud causan aceleraciones, fragmentos omitidos o reproducción adelantada/atrasa; el manejo de excedentes y una reformulación más inteligente son áreas activas.
  • Idea de autoevaluarse usando retrotraducción: volver a transcribir la pista doblada y compararla con la transcripción original como una especie de función de pérdida.

UX y solicitudes de producto

  • La demo mantiene deliberadamente la voz original a bajo volumen para dar contexto y “rendición de cuentas de la IA”; a algunos les distrae, otros creen que ayuda.
  • Los usuarios piden: opción para silenciar por completo la voz original, mejores controles del reproductor en la demo, visualización de subtítulos con reporte de errores, modo solo subtítulos, y extensiones de navegador o integración con Plex.
  • Hay una fuerte demanda de una versión local/sin conexión; el creador prefiere un servicio centralizado por eficiencia de GPU y para evitar soporte de aplicaciones multiplataforma, pero está abierto en principio.

Coste, calidad y preocupaciones legales

  • Sensibilidad al coste: la canalización actual en la nube no está optimizada; la clonación de voz podría ser la parte cara. Algunos sugieren planes más baratos con voces genéricas únicamente.
  • Problemas reportados: malas traducciones (notablemente de chino a inglés), salidas torpes en neerlandés/polaco, artefactos de velocidad y, ocasionalmente, una entrega “borracha” o robótica.
  • Planes para monitorizar automáticamente la calidad de salida, especialmente para idiomas que el creador no habla.
  • Preocupaciones por copyright al doblar YouTube y, especialmente, películas:
    • Algunos señalan que esto crea obras derivadas y puede activar acciones de titulares de derechos.
    • Entre las mitigaciones discutidas están centrarse en los propietarios del contenido como clientes y posiblemente verificar la propiedad del canal.