Indexé 669 GB de mis vídeos de GoPro usando mi ordenador M1 Max y modelos de ML locales
Indexar cientos de gigabytes de vídeo personal de GoPro con modelos locales de aprendizaje automático en un MacBook M1 Max muestra que la búsqueda de vídeo impulsada por IA, el reconocimiento facial y la consulta semántica pueden hacerse de forma privada sin servicios en la nube. Los comentaristas comparan esta canalización DIY con funciones integradas en herramientas como DaVinci Resolve, debaten las compensaciones de hardware entre Apple Silicon, las GPU NVIDIA y las instancias en la nube, y exploran casos de uso que van desde la organización de medios personales hasta los reels automáticos de momentos destacados. El hilo también plantea preocupaciones sobre la velocidad, la practicidad para personas no expertas y las implicaciones más amplias para la privacidad de confiar vídeos familiares a las grandes tecnológicas.
Formato de la publicación y acceso
- Varios comentaristas dicen que esto debería haber sido un “Show HN” y señalan la dificultad de editar el título.
- Una persona informa de que el sitio principal devolvía brevemente errores de Cloudflare; se comparte un enlace de archivo y, más tarde, el sitio vuelve a funcionar.
Casos de uso y extensiones
- Muchos se entusiasman con canalizaciones locales y abiertas para organizar grandes colecciones personales de medios (vídeos, fotos, documentos).
- Una pregunta recurrente: ¿podría usarse el mismo enfoque para indexar colecciones pornográficas? La gente habla de filtros de seguridad de modelos, modelos abliterated, ajuste fino con LoRA y de lo fácil que es eludir restricciones de contenido con prompting de varios turnos.
- Otros se centran en el contenido familiar: esperanza de “memorias” automáticas y recopilaciones de fin de año, combinando fotos, vídeos y música.
Canalización técnica y modelos
- Flujo central (tal como se comenta): extraer escenas a ~1 fps, reducir la resolución de los fotogramas (p. ej., 720p), ejecutar detección de caras/objetos/texto, transcripción (Whisper) y descripción visual (variantes de Qwen2.5-VL).
- Las salidas van a una base de datos vectorial además de SQL para búsqueda semántica, RAG y consultas por texto, captura de pantalla o audio.
- Un usuario señala que Whisper puede alucinar cuando se le alimenta con sonido no hablado (p. ej., gemidos, palmadas); otro sugiere modelos estilo Parakeet que filtren sonidos que no sean voz.
- Algunos quieren incrustaciones reales de clips de vídeo, no solo a nivel de fotograma, para capturar mejor las acciones.
Rendimiento de hardware y aceleración
- La discusión compara M1 Max con un i9 de 11.ª generación y Snapdragon X Elite: puntuaciones de CPU similares, pero la memoria unificada y el ancho de banda de Apple (y su acelerador local de “IA”) se ven como ventajas importantes para estas cargas de trabajo.
- Se espera que las GPU RTX (p. ej., 3060, 5090) sean significativamente más rápidas que M1 Max para indexación.
- La gente sugiere proveedores de GPU de pago por uso (Runpod, vast.ai) para acelerar trabajos grandes manteniendo los modelos relativamente locales.
Herramientas existentes e integración
- DaVinci Resolve Studio y Adobe Premiere se mencionan como herramientas con indexación de IA integrada o basada en la nube; la IA de DaVinci se ejecuta localmente pero, al parecer, carece de etiquetado completo de caras.
- Se sugieren herramientas de terceros como Jumper, Immich y otros proyectos locales de indexación de vídeo, algunos con integraciones para NLE y APIs.
- Hay interés en acceso a GPU containerizado en Apple Silicon (podman + Mesa, vLLM-metal vía Docker).
Escepticismo, usabilidad y alternativas
- Algunos cuestionan que los reels de ejemplo sean poco impresionantes dado el volumen de material, y se preguntan si la tecnología está lo bastante madura.
- Se propone un flujo de trabajo “simple” alternativo: usar el “HiLight Tag” integrado de GoPro mientras se graba y luego cortar manualmente esos segmentos marcados más tarde.
- Otros sostienen que, aunque el etiquetado manual es más simple, la canalización de ML permite búsqueda retroactiva, consultas multimodales y casos de uso más amplios que los momentos destacados.