Kimi K3, y lo que aún podemos aprender del benchmark del pelícano
Un benchmark humorístico de larga duración —pedir a los grandes modelos de lenguaje que generen un SVG de “un pelícano montando en bicicleta”— se usa aquí para analizar cómo modelos más nuevos como Kimi K3 de China comparan en creatividad, generación de código, coste y velocidad. Los comentaristas discuten si la prueba ha sido “envenenada” por aparecer en datos de entrenamiento, cuánto sigue diciendo sobre la capacidad general frente al sobreajuste y qué mejores benchmarks para tareas del mundo real (como uso de herramientas, refactorización de bases de código o planificación compleja) podrían existir. El hilo también aborda la economía de los modelos y la geopolítica, señalando el rápido progreso de los laboratorios chinos pese a las limitaciones de cómputo y planteando preguntas sobre la sostenibilidad y fiabilidad de distintos proveedores de IA.
Naturaleza y valor del benchmark del pelícano
- Muchos ven la tarea SVG de “un pelícano montando en bicicleta” como un benchmark juguetón, poco riguroso, que persiste sobre todo como chiste recurrente y un “hello world” compartido.
- Otros argumentan que todavía prueba de forma útil la composición de conceptos novedosos, las habilidades de generación SVG y el “gusto” o juicio estético de un modelo.
- Varios comentaristas creen que se ha vuelto demasiado “contaminado” para ser significativo: ampliamente difundido, probablemente presente en los datos de entrenamiento y potencialmente un objetivo de optimización explícita.
Datos de entrenamiento, sobreajuste y convergencia de estilo
- Debate en curso sobre si los laboratorios entrenan intencionalmente con SVGs de pelícanos o si estos aparecen incidentalmente en grandes rastreos de la web.
- Algunos informan que los modelos hacen mucho mejor el pelícano en bicicleta que prompts igualmente absurdos (por ejemplo, un perezoso en monopatín), lo que sugiere posible sobreajuste o RL específico del benchmark.
- Otros responden que las mejoras generales en SVG e imagen, junto con un entrenamiento amplio, pueden explicar los avances.
- La gente señala una fuerte convergencia estilística: movimiento de izquierda a derecha, colores similares, apariencia caricaturesca genérica, incluso cuando el prompt no especifica estilo.
Benchmarks, coste y utilidad práctica
- Varios participantes desconfían en general de los benchmarks de modelos frontera, y prefieren pruebas personales (por ejemplo, generación de video, diseño web/UX, flujos de trabajo complejos).
- Hay desacuerdo sobre la importancia de pequeñas diferencias de coste: algunos dicen que una brecha de 10× en el precio por token importa muchísimo a gran escala; otros dicen que todo es barato comparado con el trabajo humano.
- Las sugerencias para evolucionar los benchmarks incluyen:
- Tareas SVG de “criatura-vehículo” aleatorizadas en lugar de un pelícano fijo.
- Tareas más realistas (bases de código, refactors, eliminación de código muerto, herramientas/agentes de largo alcance).
- Pruebas híbridas como codificación estilo SWE con interrupciones SVG intermitentes.
Modelos chinos, escala y competencia
- Se comenta Kimi K3 como aproximadamente competitivo con modelos occidentales de gama alta en algunas tareas, pero más lento y con advertencias de idioma y despliegue.
- Debate sobre cómo los laboratorios chinos logran modelos MoE grandes dados los límites de cómputo y financiación; se mencionan optimizaciones arquitectónicas, chips domésticos y soluciones para sortear controles de exportación.
- El número de parámetros por sí solo se ve como un proxy débil de calidad; importan los mecanismos de atención, el tamaño/densidad de los expertos y el RL.
Reacción de la comunidad y meta-discusión
- A algunos usuarios les gusta el chiste del pelícano de larga duración y piden galerías; otros ven las publicaciones repetidas como spam o promoción.
- Varios enfatizan la ley de Goodhart: una vez que un benchmark simpático se convierte en objetivo, su valor como medida de capacidad general se degrada.