मैंने अपने M1 Max कंप्यूटर और स्थानीय ML मॉडलों का उपयोग करके अपने GoPro वीडियो के 669 GB को इंडेक्स किया

Hacker News चर्चा ↗

अपने M1 Max MacBook पर स्थानीय machine‑learning models का उपयोग करके सैकड़ों गीगाबाइट निजी GoPro footage को इंडेक्स करना दिखाता है कि AI-संचालित video search, face recognition, और semantic querying को cloud सेवाओं के बिना निजी तौर पर किया जा सकता है। टिप्पणीकार इस DIY pipeline की तुलना DaVinci Resolve जैसे टूल्स की built-in सुविधाओं से करते हैं, Apple Silicon, NVIDIA GPUs, और cloud instances के बीच hardware trade-offs पर बहस करते हैं, और personal media organization से लेकर automated highlight reels तक के use cases तलाशते हैं। थ्रेड में गति, गैर-विशेषज्ञों के लिए व्यावहारिकता, और family videos को big tech platforms के हवाले करने के व्यापक privacy implications को लेकर चिंताएँ भी सामने आती हैं.

पोस्ट प्रारूप और पहुंच

  • कई टिप्पणीकार कहते हैं कि यह “Show HN” होना चाहिए था और शीर्षक संपादित करने में कठिनाई की बात करते हैं।
  • एक व्यक्ति रिपोर्ट करता है कि मुख्य साइट थोड़ी देर के लिए Cloudflare त्रुटियाँ दे रही थी; एक आर्काइव लिंक साझा किया गया, बाद में साइट फिर से काम करने लगी।

उपयोग के मामले और विस्तार

  • बहुत से लोग बड़ी निजी मीडिया संग्रहणियों (वीडियो, फोटो, दस्तावेज़) को व्यवस्थित करने के लिए स्थानीय, ओपन पाइपलाइन को लेकर उत्साहित हैं।
  • एक बार-बार उठने वाला प्रश्न: क्या इसी दृष्टिकोण का उपयोग पोर्न संग्रहों को इंडेक्स करने के लिए किया जा सकता है; लोग मॉडल सुरक्षा फ़िल्टर, abliterated models, LoRA finetuning, और multi-turn prompting के साथ सामग्री प्रतिबंधों को बायपास करना कितना आसान है, इस पर चर्चा करते हैं।
  • अन्य लोग परिवार की सामग्री पर ध्यान देते हैं: स्वचालित “memories” और year-in-review संकलनों की उम्मीद, जिसमें फोटो, वीडियो, और संगीत को जोड़ा जाए।

तकनीकी पाइपलाइन और मॉडल

  • मुख्य प्रवाह (जैसा कि चर्चा में बताया गया): लगभग 1 fps पर scenes निकालना, फ्रेम को डाउनस्केल करना (जैसे 720p), face/object/text detection चलाना, transcription (Whisper), और visual description (Qwen2.5-VL variants)।
  • आउटपुट vector DB के साथ-साथ SQL में जाते हैं, ताकि semantic search, RAG, और text, screenshot, या audio द्वारा querying की जा सके।
  • एक उपयोगकर्ता नोट करता है कि Whisper non-speech (जैसे moaning, slapping) दिए जाने पर hallucinate कर सकता है; दूसरा Parakeet-शैली के मॉडल सुझाता है जो non-voice sounds को फ़िल्टर करते हैं।
  • कुछ लोग केवल frame-level नहीं, बल्कि वास्तविक video-clip embeddings चाहते हैं, ताकि actions को बेहतर ढंग से कैप्चर किया जा सके।

हार्डवेयर प्रदर्शन और त्वरन

  • चर्चा में M1 Max की तुलना 11th gen i9 और Snapdragon X Elite से की जाती है: CPU स्कोर समान हैं, लेकिन Apple की unified memory और bandwidth (और स्थानीय “AI accelerator”) को इन workloads के लिए प्रमुख लाभ माना जाता है।
  • RTX GPUs (जैसे 3060, 5090) को indexing के लिए M1 Max से काफी तेज़ होने की उम्मीद है।
  • लोग pay-as-you-go GPU providers (Runpod, vast.ai) का सुझाव देते हैं ताकि बड़े jobs तेज़ किए जा सकें, जबकि models को local-ish रखा जा सके।

मौजूदा टूल्स और इंटीग्रेशन

  • DaVinci Resolve Studio और Adobe Premiere का उल्लेख built-in या cloud-based AI indexing वाले टूल्स के रूप में किया गया है; DaVinci का AI स्थानीय रूप से चलता है लेकिन कथित तौर पर full face tagging नहीं देता।
  • Jumper, Immich, और अन्य local video-indexing projects जैसे third-party टूल्स सुझाए गए हैं, कुछ NLE integrations और APIs के साथ।
  • Apple Silicon पर containerized GPU access में रुचि है (podman + Mesa, Docker के माध्यम से vLLM-metal)।

संदेह, उपयोगिता, और विकल्प

  • कुछ लोग उदाहरण highlight reels को फुटेज की मात्रा को देखते हुए कम प्रभावशाली मानते हैं, और सोचते हैं कि क्या तकनीक पर्याप्त परिपक्व है।
  • एक विपरीत “सरल” workflow प्रस्तावित किया गया: रिकॉर्डिंग के दौरान GoPro के built-in “HiLight Tag” का उपयोग करें, फिर बाद में उन marked segments को मैन्युअली काटें।
  • अन्य लोग तर्क देते हैं कि जबकि manual tagging सरल है, ML pipeline retroactive search, multi-modal queries, और highlights से परे व्यापक use cases सक्षम करती है।