Stability.ai – Presentando Stable Video 3D

Impresión 3D y usos de hobby

  • Varios ven un gran potencial para la impresión 3D: convertir fotos únicas en modelos imprimibles, especialmente figuritas para juegos de mesa.
  • Un comentarista explica el pipeline completo de impresión 3D (modelo → corte → impresión → posprocesado) y señala que este modelo aborda solo el paso de “generación del modelo”.
  • Flujo de trabajo especulativo “poscapitalista”: rastrear tendencias de redes sociales, generar automáticamente juguetes y anuncios, e imprimir bajo demanda; se reconoce como distópico pero técnicamente plausible en parte.

Calidad de la malla y limitaciones técnicas

  • Hay un fuerte escepticismo sobre la calidad de la demo: los ejemplos con sombreado/textura pueden ocultar geometría borrosa y de poco detalle.
  • Varias personas quieren ver mallas sin textura y en wireframe antes de juzgar si las salidas son imprimibles o aptas para juegos.
  • Los buenos activos de juego también necesitan UVs, materiales PBR, presupuestos de polígonos, rigging/pesos de piel—nada de eso se aborda en el artículo ni en el blog, según los comentaristas.
  • Algunos señalan investigaciones y herramientas existentes para una mejor generación de mallas y reconstrucción de texturas/normal/profundidad, pero la integración con este modelo no está clara.

Entradas, salidas y capacidades

  • Aclaración: “single image inputs” significa una sola imagen; el modelo infiere la geometría ocluida basándose en los datos de entrenamiento.
  • No está claro si se admite entrada de múltiples imágenes, aunque la gente asume que podría ampliarse.
  • Debate sobre si realmente produce un modelo 3D utilizable o solo renderiza un video “orbital”.
  • Un video citado (no el blog) sugiere: síntesis multivista → NeRF/structure-from-motion → malla mediante marching cubes. Sin embargo, a los comentaristas les cuesta encontrar ejemplos concretos de exportación de mallas en la práctica.

Hardware y rendimiento

  • Los pesos oficiales son de ~9,4 GB; un usuario informa ~19,5 GB de VRAM pico y ~1,5 minutos en una RTX 4090 tras ajustar los valores predeterminados.
  • Los scripts por defecto pueden provocar OOM incluso en 24 GB; reducir los fotogramas simultáneos (por ejemplo, decoding_t) ayuda.
  • Debate más amplio: 24 GB es abundante para juegos pero ajustado para la IA moderna, con quejas sobre los límites de VRAM de las GPU y la segmentación por parte de los fabricantes.
  • Algunos sugieren usar GPU en la nube o la API del proveedor en lugar de ejecutarlo localmente, especialmente en Macs.

Aplicaciones potenciales

  • Usos sugeridos: mallas base rápidas para artistas, miniaturas impresas en 3D, plantillas de papercraft, conceptos arquitectónicos (posiblemente mediante otros modelos), personajes con rig automático para animación, diseño de interiores y reorganización de muebles, captura rápida de activos a partir de escenas del mundo real, cine de vanguardia y posiblemente contenido para adultos.
  • Un comentarista ve implicaciones masivas en arte, diseño, ingeniería y videojuegos; otros lo ven principalmente como mejores herramientas para video experimental de nicho.

Datos y consideraciones de entrenamiento

  • Preocupación por la disponibilidad limitada de datos 3D de alta calidad y diversidad, lo que empuja a muchos métodos a aprender 3D de forma implícita a partir de imágenes 2D.
  • Ideas planteadas: construir grandes conjuntos de datos 3D mediante escáneres/telefonos de consumo, aprovechar activos procedurales (por ejemplo, follaje), y usar enormes repositorios de archivos STL junto con autoetiquetado.
  • Se plantea si las redes profundas podrían aprender 3D directamente a partir de video sin etiquetas 3D explícitas; no hay consenso.

Preocupaciones, escepticismo y discusión meta

  • Algunos sienten que los ejemplos actuales parecen juguetes de plástico y cuestionan la generalización a objetos complejos del mundo real.
  • Otros enfatizan la rápida trayectoria de mejora, comparándola con modelos anteriores de imagen y video.
  • Breve mención de controversias en torno al liderazgo de la empresa y una broma sobre que la entrada del blog quizá fue escrita por IA, pero sin discusión detallada.