SWE-1.7 se acerca a la inteligencia de GPT 5.5 y Opus

Artículo original ↗ Discusión en Hacker News ↗

Un nuevo modelo de IA centrado en programación, SWE‑1.7 de Cognition (creadores de Devin), se está promocionando como rival de sistemas de frontera como GPT‑5.5 y Claude Opus en los propios benchmarks de la empresa, lo que ha despertado tanto interés como escepticismo. Los comentaristas cuestionan la credibilidad de las evaluaciones hechas por el proveedor, señalan demos pasadas exageradas y critican el acceso cerrado y atado al harness del modelo, así como sus precios frente a alternativas como GLM 5.2, Qwen y DeepSeek. Al mismo tiempo, muchos acogen con satisfacción los esfuerzos por ofrecer modelos de código más rápidos y baratos —aunque sean algo más débiles que los sistemas de primer nivel— como un nicho probablemente importante a medida que maduran las herramientas de desarrollo de IA.

Escepticismo sobre las afirmaciones y los benchmarks

  • Varios comentaristas desconfían del marketing de la empresa debido a una demo anterior “fraudulenta” y a un hype agresivo, y dicen que parece optimizado para recaudación de fondos e impresiones de VC.
  • Varios señalan que el blog se apoya en gran medida en sus propios benchmarks; la gente cuestiona que el modelo “supere a GPT‑5.5/Opus” cuando se evalúa en tareas propietarias.
  • Preocupa que tanto SWE-1.7 como herramientas competidoras como Composer 2.5 puedan estar “benchmaxxed” sobre registros de interacción, haciéndolos parecer fuertes en evaluaciones internas pero no necesariamente en programación del mundo real.
  • Los resultados de benchmarks que contradicen a sitios como artificialanalysis.ai (donde Kimi 2.7 parece más débil que GLM 5.2) llevan a algunos a concluir que la elección del benchmark está sesgada.
  • Muchos dicen que ahora confían más en evaluaciones subjetivas, basadas en tareas, sobre sus propias bases de código que en rankings públicos.

Modelos abiertos vs cerrados y licencias

  • SWE-1.7 no es open source ni open weights; solo está disponible dentro del ecosistema de Devin (app de escritorio / CLI), no a través de APIs generales ni de Hugging Face.
  • Algunos sostienen que bases open-weight (como Kimi 2.7) deberían implicar derivados open-weight, pero otros señalan que licencias como MIT permiten explícitamente derivados cerrados.
  • Hay apoyo para licencias de modelos tipo GPL que obligarían a que los derivados afinados siguieran siendo abiertos, pero también rechazo ligado a preocupaciones de seguridad/“SkyNet”/Effective Altruism.

Bloqueo por herramienta y harness

  • A varios no les gusta que SWE-1.7 esté ligado a un harness específico, comparándolo con un “matrimonio concertado” con un entorno de desarrollo.
  • Otros prefieren configuraciones estilo OpenRouter, donde puedes cambiar de modelo fácilmente y evitar quedar atrapado en Claude Code, Cursor, Devin, etc.
  • Devin Desktop se señala como algo meta: también puede alojar otros harnesses, lo que se ve como comportamiento de “embrace, extend”.

Calidad del modelo frente a modelos de frontera

  • Algunos informan buenas experiencias usando SWE-1.6/1.7 para “trabajo de picar piedra” (tests, ayuda con git, tareas pequeñas), pero otros dicen que se siente como “massive shit” comparado con Claude, GLM o DeepSeek en problemas más difíciles.
  • Un tema recurrente: los modelos abiertos o de gama media (GLM 5.2, Qwen, Minimax, etc.) ya son “suficientemente buenos” para muchas tareas, con una relación precio/rendimiento mucho mejor, aunque los modelos de frontera sigan ganando en calidad.

Modelos especializados para código y generalismo

  • Varios quieren modelos de código más baratos y muy optimizados, similares a SWE o Composer, que se acerquen al rendimiento de codificación de primer nivel sin los costes completos de frontera.
  • Otros argumentan que la fortaleza de los LLM viene de un generalismo amplio; una afinación intensa solo para código corre el riesgo de olvido catastrófico y peor comportamiento en el mundo real.
  • Hay debate activo sobre flujos de trabajo multimodelo: modelos potentes para planificación/arquitectura, otros más baratos para implementación—aunque algunos informan poca fiabilidad al delegar el “trabajo de base” a modelos económicos.

Velocidad vs inteligencia, y precios

  • Muchos están entusiasmados con variantes de alto TPS (por ejemplo, “Lightning” vía Cerebras a ~1000 TPS) para bucles de agentes más rápidos y menor tiempo de pared.
  • Otros priorizan la precisión sobre la velocidad, prefiriendo modelos de frontera más lentos en los que confían más para tareas complejas.
  • El precio se discute: la SWE-1.7 base parece “gratis pero lenta” en el plan de $20/mes, mientras que la versión rápida “Lightning” es significativamente más cara por token. Algunos sienten que las cuotas globales ofrecen peor valor que competidores como Claude Code o Cursor.

Actitudes generales hacia las startups de IA y el hype de AGI

  • Varios comentarios agrupan esto dentro de un patrón más amplio de startups de IA: mucho hype, jornadas largas, enfoque en enterprise y narrativas vagas de “AGI pronto”.
  • Algunos ven que los fosos defensivos de la mayoría de los laboratorios privados son RL/distillation sobre investigación abierta más datos, y predicen que esto persistirá hasta que las salidas a bolsa o licencias abiertas más fuertes cambien el panorama.