Show HN: Ferramenta de dublagem com IA que fiz para assistir vídeos em língua estrangeira com meu filho de 7 anos

Artigo original ↗ Discussão no Hacker News ↗

Um desenvolvedor independente criou um serviço de dublagem com IA que clona as vozes dos locutores e sincroniza o áudio e as legendas traduzidos, permitindo assistir a vídeos em muitos idiomas, inclusive com crianças ou parentes que não falam inglês. Os comentaristas ficam impressionados com a naturalidade das vozes e do timing, ao mesmo tempo em que investigam como o sistema lida com diarização, qualidade de tradução, custo e possíveis questões de direitos autorais ao processar YouTube e outros conteúdos. O fio também explora implicações mais amplas para aprendizagem de idiomas e acessibilidade, observando tanto as desvantagens pedagógicas da dublagem para crianças quanto os benefícios potenciais para pessoas com dificuldade de ler legendas ou ouvir o áudio original.

Receção geral e casos de uso

  • A ferramenta foi amplamente elogiada como impressionante e “cheia de alma” em várias amostras; alguns dizem que as vozes clonadas soam muito próximas de uma dublagem real.
  • Caso de uso principal: permitir que crianças ou pessoas que não falam inglês assistam a conteúdo estrangeiro; outros veem valor para podcasts, canais do YouTube, Plex e acessibilidade (deficiências visuais ou auditivas, pessoas idosas).
  • Há interesse tanto na direção “crianças” (simplificar a linguagem) quanto na direção “pais/avós” (dublagem/legendas no idioma deles).

Suporte a idiomas e aprendizagem

  • Pedidos por idiomas de destino adicionais: ucraniano, hindi, português, inglês simplificado (e outras saídas com dificuldade graduada).
  • Debate sobre dublagem vs. legendas para aquisição de idiomas:
    • Alguns argumentam que a dublagem prejudica a exposição a línguas estrangeiras e que as crianças deveriam ver os originais com legendas.
    • Outros respondem que a velocidade de leitura por volta dos 7 anos muitas vezes não acompanha as legendas, e que a imersão só pelo áudio já pode construir uma compreensão forte.
    • Várias histórias de crianças aprendendo inglês (ou outros idiomas) pela TV/YouTube; outros destacam que a interação real ainda importa.

Abordagem técnica e desafios

  • Não é um wrapper em torno de APIs comerciais como ElevenLabs/HeyGen; o criador otimizou para rodar em GPUs alugadas, usando componentes abertos/mais baratos.
  • O pipeline inclui: transcrição com tempos por palavra/segmento, tradução, clonagem de voz por locutor e organização da fala para corresponder ao timing.
  • A diarização de locutores usa embeddings + heurísticas (pausas, fronteiras de frases, diferenças de voz), e não apenas diarização pronta.
  • O alinhamento de timing é difícil: incompatibilidades de duração causam aceleração, frases cortadas ou reprodução adiantada/atrasada; lidar com excessos e reescrita mais inteligente são áreas em aberto.
  • Ideia de autoavaliação por retrotradução: retranscrever a faixa dublada e compará-la com a transcrição original como uma espécie de função de perda.

UX e pedidos de produto

  • A demo mantém deliberadamente a voz original em volume baixo para contexto e “responsabilização da IA”; alguns acham isso distrativo, outros acham que ajuda.
  • Usuários pedem: opção para silenciar totalmente a voz original, melhores controles do player na demo, exibição de legendas com relatório de erros, modo apenas com legendas, e extensões de navegador ou integração com o Plex.
  • Há forte demanda por uma versão local/offline; o criador prefere um serviço centralizado por eficiência de GPU e para evitar suporte a apps em várias plataformas, mas está aberto em princípio.

Custo, qualidade e preocupações legais

  • Sensibilidade a custo: o pipeline na nuvem atual não está otimizado; a clonagem de voz pode ser a parte mais cara. Alguns sugerem planos mais baratos com vozes genéricas apenas.
  • Problemas relatados: traduções incorretas (notadamente chinês→inglês), saída estranha em holandês/polonês, artefatos de velocidade e entrega ocasionalmente “bêbada” ou robótica.
  • Planos para monitorar automaticamente a qualidade da saída, especialmente para idiomas que o criador não fala.
  • Preocupações com direitos autorais ao dublar YouTube e, especialmente, filmes:
    • Alguns observam que isso cria obras derivadas e pode acionar ações dos titulares dos direitos.
    • Mitigações discutidas incluem focar nos donos do conteúdo como clientes e possivelmente verificar a propriedade do canal.