Gemini 4 Carbon es el nuevo #1 en el Artificial Analysis Intelligence Index v5
El recién anunciado modelo Gemini 4 Carbon de Google ahora encabeza el Artificial Analysis Intelligence Index, pero muchos observadores cuestionan la importancia de una victoria en benchmarks para un sistema que todavía no está disponible públicamente. Los comentaristas señalan un patrón de Google al programar los anuncios de IA alrededor de las ganancias, ofrecer modelos de investigación y de gama alta sólidos pero combinarlos con despliegues lentos, límites de uso estrictos, niveles de producto confusos y frecuentes alucinaciones en el uso real. Varios también critican a los agregadores de benchmarks como Artificial Analysis por ser cada vez más opacos y estar en conflicto comercial, argumentando que las puntuaciones de los rankings ya no se alinean bien con la experiencia cotidiana de los desarrolladores, especialmente en cargas de programación donde los modelos Opus de Anthropic siguen siendo los favoritos.
Calidad percibida de los modelos Gemini
- Muchos dicen que Gemini (especialmente 3.8 Flash y Argon) es fuerte en conocimiento general, explicaciones científicas, matemáticas y OCR/HTR, y a veces se prefiere sobre Claude o GPT por la claridad en la prosa y la pedagogía.
- Varios consideran que Argon es comparable a Opus 5.5 o algo inferior en conjunto, y claramente está por detrás de los mejores modelos de OpenAI/Anthropic para programar.
- Algunos ven Gemini como un buen supervisor “generalista” para flujos de trabajo con varios agentes, menos como un agente de programación especializado.
Acceso, precios y cuotas
- Quejas reiteradas de que el plan “Pro” de Google de $20 ofrece un uso muy bajo de Argon (solo unas pocas solicitudes medianas antes de un enfriamiento de varias horas), lo que hace que el nivel de frontera sea “prácticamente inutilizable”.
- Los niveles superiores ($99–$200, o incluidos en grandes planes de Google One) dan un acceso más razonable, pero los usuarios los califican de caros.
- Varios dicen que por defecto usan otros proveedores (Anthropic, OpenAI, laboratorios chinos) por mejores límites y precio/rendimiento.
Anuncio de Carbon y estrategia de despliegue
- Fuerte crítica a que Gemini 4 Carbon encabece el índice de Artificial Analysis pese a no estar disponible públicamente.
- Muchos ven el anuncio como PR orientado a inversores, sincronizado con las ganancias de Google, evaluaciones de rendimiento o teatro de seguridad.
- Preocupa que, para cuando Carbon sea accesible, los competidores ya lo hayan superado y el impacto en el mundo real sea limitado.
Casos de uso reales y comparaciones
- Positivo: análisis de documentos en sectores como finanzas, planificación de viajes con integración de Maps, OCR histórico, razonamiento científico/ingenieril, ayuda con Flutter/Dart.
- Negativo: uso débil de herramientas/computadora (por ejemplo, flujos de trabajo con LaTeX/PDF), mala integración con algunas superficies de Google (Calendar, Docs, My Maps).
- Varios informan que prefieren Claude/Opus, GPT, DeepSeek o Haiku para programación y agentes, aunque les gusta Gemini para explicaciones.
Alucinaciones y fiabilidad
- Muchos reportan alucinaciones inusualmente agresivas de Gemini/Argon, incluso con acceso a Google Search: productos inventados, leyes, rutas en aeropuertos, símbolos de mapas y transcripciones fabricadas.
- Algunos dicen que Gemini sigue mal las instrucciones y el contexto, y se degrada en sesiones largas.
Opiniones sobre Artificial Analysis y los benchmarks
- Varios comentaristas desconfían de AA: cambios frecuentes del índice alrededor de grandes lanzamientos de laboratorios, eliminación o degradación de modelos fuertes de pesos abiertos/chinos, y fuerte dependencia de benchmarks privados además de consultoría de pago.
- Otros sostienen que los benchmarks en evolución y los conjuntos de prueba privados son necesarios para combatir el “benchmaxxing”, pero admiten que los índices agregados quizá ya no reflejan el uso útil del día a día.