मैंने अपने M1 Max कंप्यूटर और स्थानीय ML मॉडलों का उपयोग करके अपने GoPro वीडियो के 669 GB को इंडेक्स किया

Hacker News चर्चा ↗

पोस्ट प्रारूप और पहुंच

  • कई टिप्पणीकार कहते हैं कि यह “Show HN” होना चाहिए था और शीर्षक संपादित करने में कठिनाई की बात करते हैं।
  • एक व्यक्ति रिपोर्ट करता है कि मुख्य साइट थोड़ी देर के लिए Cloudflare त्रुटियाँ दे रही थी; एक आर्काइव लिंक साझा किया गया, बाद में साइट फिर से काम करने लगी।

उपयोग के मामले और विस्तार

  • बहुत से लोग बड़ी निजी मीडिया संग्रहणियों (वीडियो, फोटो, दस्तावेज़) को व्यवस्थित करने के लिए स्थानीय, ओपन पाइपलाइन को लेकर उत्साहित हैं।
  • एक बार-बार उठने वाला प्रश्न: क्या इसी दृष्टिकोण का उपयोग पोर्न संग्रहों को इंडेक्स करने के लिए किया जा सकता है; लोग मॉडल सुरक्षा फ़िल्टर, abliterated models, LoRA finetuning, और multi-turn prompting के साथ सामग्री प्रतिबंधों को बायपास करना कितना आसान है, इस पर चर्चा करते हैं।
  • अन्य लोग परिवार की सामग्री पर ध्यान देते हैं: स्वचालित “memories” और year-in-review संकलनों की उम्मीद, जिसमें फोटो, वीडियो, और संगीत को जोड़ा जाए।

तकनीकी पाइपलाइन और मॉडल

  • मुख्य प्रवाह (जैसा कि चर्चा में बताया गया): लगभग 1 fps पर scenes निकालना, फ्रेम को डाउनस्केल करना (जैसे 720p), face/object/text detection चलाना, transcription (Whisper), और visual description (Qwen2.5-VL variants)।
  • आउटपुट vector DB के साथ-साथ SQL में जाते हैं, ताकि semantic search, RAG, और text, screenshot, या audio द्वारा querying की जा सके।
  • एक उपयोगकर्ता नोट करता है कि Whisper non-speech (जैसे moaning, slapping) दिए जाने पर hallucinate कर सकता है; दूसरा Parakeet-शैली के मॉडल सुझाता है जो non-voice sounds को फ़िल्टर करते हैं।
  • कुछ लोग केवल frame-level नहीं, बल्कि वास्तविक video-clip embeddings चाहते हैं, ताकि actions को बेहतर ढंग से कैप्चर किया जा सके।

हार्डवेयर प्रदर्शन और त्वरन

  • चर्चा में M1 Max की तुलना 11th gen i9 और Snapdragon X Elite से की जाती है: CPU स्कोर समान हैं, लेकिन Apple की unified memory और bandwidth (और स्थानीय “AI accelerator”) को इन workloads के लिए प्रमुख लाभ माना जाता है।
  • RTX GPUs (जैसे 3060, 5090) को indexing के लिए M1 Max से काफी तेज़ होने की उम्मीद है।
  • लोग pay-as-you-go GPU providers (Runpod, vast.ai) का सुझाव देते हैं ताकि बड़े jobs तेज़ किए जा सकें, जबकि models को local-ish रखा जा सके।

मौजूदा टूल्स और इंटीग्रेशन

  • DaVinci Resolve Studio और Adobe Premiere का उल्लेख built-in या cloud-based AI indexing वाले टूल्स के रूप में किया गया है; DaVinci का AI स्थानीय रूप से चलता है लेकिन कथित तौर पर full face tagging नहीं देता।
  • Jumper, Immich, और अन्य local video-indexing projects जैसे third-party टूल्स सुझाए गए हैं, कुछ NLE integrations और APIs के साथ।
  • Apple Silicon पर containerized GPU access में रुचि है (podman + Mesa, Docker के माध्यम से vLLM-metal)।

संदेह, उपयोगिता, और विकल्प

  • कुछ लोग उदाहरण highlight reels को फुटेज की मात्रा को देखते हुए कम प्रभावशाली मानते हैं, और सोचते हैं कि क्या तकनीक पर्याप्त परिपक्व है।
  • एक विपरीत “सरल” workflow प्रस्तावित किया गया: रिकॉर्डिंग के दौरान GoPro के built-in “HiLight Tag” का उपयोग करें, फिर बाद में उन marked segments को मैन्युअली काटें।
  • अन्य लोग तर्क देते हैं कि जबकि manual tagging सरल है, ML pipeline retroactive search, multi-modal queries, और highlights से परे व्यापक use cases सक्षम करती है।