Indexé 669 GB de mis vídeos de GoPro usando mi ordenador M1 Max y modelos de ML locales

Discusión en Hacker News ↗

Formato de la publicación y acceso

  • Varios comentaristas dicen que esto debería haber sido un “Show HN” y señalan la dificultad de editar el título.
  • Una persona informa de que el sitio principal devolvía brevemente errores de Cloudflare; se comparte un enlace de archivo y, más tarde, el sitio vuelve a funcionar.

Casos de uso y extensiones

  • Muchos se entusiasman con canalizaciones locales y abiertas para organizar grandes colecciones personales de medios (vídeos, fotos, documentos).
  • Una pregunta recurrente: ¿podría usarse el mismo enfoque para indexar colecciones pornográficas? La gente habla de filtros de seguridad de modelos, modelos abliterated, ajuste fino con LoRA y de lo fácil que es eludir restricciones de contenido con prompting de varios turnos.
  • Otros se centran en el contenido familiar: esperanza de “memorias” automáticas y recopilaciones de fin de año, combinando fotos, vídeos y música.

Canalización técnica y modelos

  • Flujo central (tal como se comenta): extraer escenas a ~1 fps, reducir la resolución de los fotogramas (p. ej., 720p), ejecutar detección de caras/objetos/texto, transcripción (Whisper) y descripción visual (variantes de Qwen2.5-VL).
  • Las salidas van a una base de datos vectorial además de SQL para búsqueda semántica, RAG y consultas por texto, captura de pantalla o audio.
  • Un usuario señala que Whisper puede alucinar cuando se le alimenta con sonido no hablado (p. ej., gemidos, palmadas); otro sugiere modelos estilo Parakeet que filtren sonidos que no sean voz.
  • Algunos quieren incrustaciones reales de clips de vídeo, no solo a nivel de fotograma, para capturar mejor las acciones.

Rendimiento de hardware y aceleración

  • La discusión compara M1 Max con un i9 de 11.ª generación y Snapdragon X Elite: puntuaciones de CPU similares, pero la memoria unificada y el ancho de banda de Apple (y su acelerador local de “IA”) se ven como ventajas importantes para estas cargas de trabajo.
  • Se espera que las GPU RTX (p. ej., 3060, 5090) sean significativamente más rápidas que M1 Max para indexación.
  • La gente sugiere proveedores de GPU de pago por uso (Runpod, vast.ai) para acelerar trabajos grandes manteniendo los modelos relativamente locales.

Herramientas existentes e integración

  • DaVinci Resolve Studio y Adobe Premiere se mencionan como herramientas con indexación de IA integrada o basada en la nube; la IA de DaVinci se ejecuta localmente pero, al parecer, carece de etiquetado completo de caras.
  • Se sugieren herramientas de terceros como Jumper, Immich y otros proyectos locales de indexación de vídeo, algunos con integraciones para NLE y APIs.
  • Hay interés en acceso a GPU containerizado en Apple Silicon (podman + Mesa, vLLM-metal vía Docker).

Escepticismo, usabilidad y alternativas

  • Algunos cuestionan que los reels de ejemplo sean poco impresionantes dado el volumen de material, y se preguntan si la tecnología está lo bastante madura.
  • Se propone un flujo de trabajo “simple” alternativo: usar el “HiLight Tag” integrado de GoPro mientras se graba y luego cortar manualmente esos segmentos marcados más tarde.
  • Otros sostienen que, aunque el etiquetado manual es más simple, la canalización de ML permite búsqueda retroactiva, consultas multimodales y casos de uso más amplios que los momentos destacados.