WhisperSpeech – Whisper को उलटकर बनाया गया एक open source text-to-speech सिस्टम

मूल लेख ↗ Hacker News चर्चा ↗

WhisperSpeech नामक एक open-source project OpenAI के Whisper speech recognition model को उलटकर high-quality text-to-speech बना रहा है, और proprietary systems जैसे ElevenLabs या OpenAI के अपने TTS तथा self-hosted समाधानों के बीच की खाई को कम करने का लक्ष्य रखता है। Commenters इसकी मौजूदा खूबियों (natural prosody, voice cloning, GPUs पर real-time performance, पूरी तरह local/offline उपयोग) के साथ-साथ language coverage, compute requirements, और datasets, tooling, तथा training data से जुड़ी legal uncertainty जैसी व्यावहारिक सीमाओं पर चर्चा करते हैं। Piper, Mimic, Azure, Google, EmotiVoice, और Tortoise जैसी अन्य TTS solutions से तुलना गुणवत्ता, लागत, latency, और openness के बीच trade-offs को उजागर करती है, और दिखाती है कि तेज़ ML प्रगति को robust end-user products में बदलना अभी भी कितना कठिन है।

Training approach & architecture

  • Whisper के multilingual ASR encoder को एक “semantic” front-end के रूप में उपयोग करता है, इसलिए training के लिए केवल speech audio की ज़रूरत होती है; transcripts Whisper द्वारा auto-generated होते हैं।
  • Architecture को इस तरह बताया गया है: Whisper encoder → semantic tokens → acoustic tokens (Encodec से) → Vocos vocoder।
  • यह proprietary semantic encoders (जैसे VALL-E/SPEAR-TTS में) को bypass करता है और अगर data उपलब्ध हो तो multilingual विस्तार को सक्षम बनाता है।

Features, voice cloning & tunability

  • reference audio file से voice cloning support करता है (Colab notebook में example है, लेकिन README में अभी अच्छी तरह documented नहीं है)।
  • voice identity अपेक्षाकृत tunable है; prosody और emotion को नियंत्रित करना अभी भी कठिन है और active research area है।
  • Whisper-derived tokens के माध्यम से existing speech को अलग-अलग voices में convert कर सकता है; accent transfer के बारे में अनुमान है, लेकिन अभी test नहीं किया गया है।

Performance, hardware & deployment

  • Local रूप से चलता है; cloud नहीं, tracking नहीं। Weights एक बार Hugging Face से डाउनलोड किए जाते हैं।
  • RTX 4090 पर, reported ~12× faster than real time; आधुनिक NVIDIA GPUs पर “voice-bot” के लिए real-time performance की उम्मीद है।
  • Current implementation केवल CUDA/PyTorch है; MLX और whisper.cpp/llama.cpp-style frameworks में ports desired हैं।
  • Inference models FP16 में लगभग 3 GB VRAM उपयोग करते हैं (FP32 में 2.3 GB, जो optimization की गुंजाइश दर्शाता है)।
  • Scratch से full training: main TTS model के लिए 96 A100 GPUs पर ~8 घंटे; छोटे models तेज़ हैं। Fine-tuning संभव है, लेकिन अभी user-friendly नहीं है।

Language support & datasets

  • फिलहाल English और Polish support करता है; multilingual विस्तार की योजना है।
  • उच्च-गुणवत्ता वाली audiobooks पर निर्भर करता है (जैसे public domain/CC sources जैसे LibriVox, WolneLektury), साथ ही varied emotions/prosody वाले छोटे sets भी उपयोग करता है।
  • Community Mandarin corpora और यहाँ तक कि precomputed forced alignments का सुझाव देती है; कुल bottleneck साफ़, legally usable data है।

Quality comparisons

  • कई commenters को लगता है कि WhisperSpeech open-source TTS में सबसे बेहतरीन में से एक है; कुछ कहते हैं कि Tortoise थोड़ा बेहतर है लेकिन बहुत धीमा है।
  • Mimic 3/Piper और EmotiVoice की तुलना में, कई लोगों के अनुसार WhisperSpeech ज़्यादा natural लगता है; EmotiVoice English को कुछ हद तक non-native बताया गया है।
  • Commercial रूप से, ElevenLabs को top quality माना जाता है लेकिन बहुत महंगा है; OpenAI का TTS लगभग उतना ही अच्छा और कहीं सस्ता है, जबकि Azure Neural/Google TTS की quality कम है लेकिन free tiers उदार हैं।

Licensing & legal concerns

  • Project उचित रूप से licensed (PD, CC-BY/SA) speech data और पूरी तरह open-source code के उपयोग पर ज़ोर देता है ताकि commercial use अधिक सुरक्षित हो।
  • “properly licensed” phrase पर debate होती है क्योंकि Whisper के अपने training data स्पष्ट नहीं हैं; distinction इस बात पर की जाती है कि:
    • Whisper (MIT-licensed, non-generative) outputs को input features के रूप में उपयोग करना।
    • संभावित रूप से problematic generative models को unlicensed data पर train करना।
  • यह स्वीकार किया जाता है कि भविष्य के legal changes risk landscape बदल सकते हैं; dataset licenses पर documentation बेहतर की जा रही है।

Ecosystem, tooling & applications

  • WhisperSpeech को इनमें integrate करने में रुचि है:
    • Text-based users के लिए VR social platforms।
    • Desktop tutorial apps।
    • ऐसे chat/assistant systems जिन्हें कई distinct voices की ज़रूरत हो।
  • व्यापक चर्चा में यह भी नोट किया गया है:
    • Rapid model progress बनाम slow, painful productization।
    • Tooling pain: GPU dependencies, poor install scripts, और integration hurdles।
    • Whisper पर बने live captioning/translation systems के उदाहरण; WhisperLive को एक practical project के रूप में mention किया गया है।