Grok
xAI de Elon Musk ha lanzado el modelo de lenguaje Grok-1 bajo una licencia Apache 2.0 de “open weights”, haciendo descargable por torrent y en Hugging Face un modelo Mixture-of-Experts de 314B parámetros. Los comentaristas señalan que, pese a su enorme tamaño, Grok-1 parece comparable a GPT‑3.5, Mixtral y Qwen 1.5‑72B, lo que provoca debate sobre la eficiencia, la importancia de los datos de entrenamiento y el fine-tuning, y los desafíos prácticos de ejecutar un modelo tan grande. El lanzamiento también reaviva las discusiones sobre qué debe contar como “open source” en IA —si compartir los pesos basta sin exponer los datos de entrenamiento y los pipelines completos— y sobre las motivaciones de Musk y la dependencia de xAI de los datos de X/Twitter.
Especificaciones del modelo y posicionamiento
- Grok-1 es un modelo Mixture-of-Experts de 314B parámetros (8 expertos, 2 activos, ~86B parámetros activos), con pesos y arquitectura bajo licencia Apache 2.0.
- Se publicó como un modelo base (no ajustado por instrucciones), así que su comportamiento diferirá del chatbot Grok expuesto en X.
- Algunos lo sitúan aproximadamente al nivel de GPT‑3.5 / Mixtral / Qwen-72B; otros dicen que rinde por debajo de muchos modelos abiertos mucho más pequeños.
Rendimiento, eficiencia y comparaciones
- Varios comentarios señalan que modelos como Mixtral 8x7B y Qwen 1.5 72B logran puntuaciones de benchmark similares o mejores con una fracción del tamaño y la memoria.
- Debate sobre los benchmarks: tablas de clasificación de Hugging Face frente a LMSys/Chatbot Arena; preocupación por la contaminación de benchmarks y por “hacer trampa” con ellos.
- Varios argumentan que la calidad de los datos, el fine-tuning y seguir instrucciones importan más que el recuento bruto de parámetros; Grok se cita como evidencia.
Hardware, tamaño y distribución
- La inferencia en precisión completa probablemente requiere configuraciones de varias GPU (por ejemplo, 8×A100/H100). El MoE con parámetros activos ayuda al cómputo por token, pero no al tamaño en memoria.
- Se habla de cuantización intensa (4–3–2 bits) y de un posible uso en Apple Silicon con mucha RAM; se espera degradación del rendimiento en cuantizaciones extremas.
- Los pesos pesan ~300+ GB y se distribuyen vía BitTorrent; se considera práctico para el ancho de banda y ahora una “tradición” en los lanzamientos de modelos grandes. También existen espejos en HF.
Pesos abiertos vs código abierto
- Hay un fuerte debate sobre la terminología: muchos insisten en que esto es “open weights”, no “open source” completo, ya que no se publican los datos de entrenamiento ni el pipeline completo de entrenamiento.
- Algunos quieren que “abierto” incluya entrenamiento reproducible (datos + código); otros dicen que pesos + código de inferencia bajo una licencia permisiva bastan para la mayoría de los usuarios.
- Se menciona el trabajo en curso de la OSI sobre una definición de “open source AI”; el consenso en el hilo es que las definiciones aún no están resueltas.
Datos de entrenamiento, PI y reproducibilidad
- Hay especulación y preocupación sobre datos con copyright, uso legítimo y demandas; existe una percepción más amplia de que la mayoría de los LLM principales se entrenaron con corpora web sin licencia.
- Los comentaristas señalan que reentrenar con exactitud es, en la práctica, imposible debido a las instantáneas de datos, el orden, la aleatoriedad y los fallos de hardware; solo es realista una reproducción aproximada.
Motivaciones, impacto y escepticismo
- Muchos ven el lanzamiento como una jugada estratégica de “tierra quemada” contra actores cerrados (OpenAI et al.), no como puro altruismo, pero aun así positiva para el ecosistema.
- Algunos están entusiasmados por el mayor modelo MoE de pesos abiertos y el potencial fine-tuning comunitario; otros ven un valor práctico limitado dada su escala y su rendimiento mediocre.