Resumen de arquitectura y notas de Kimi K3
Kimi K3, un modelo de lenguaje de pesos abiertos cercano al nivel frontier de Moonshot, está llamando la atención por su arquitectura poco convencional que elimina las codificaciones posicionales explícitas (RoPE) a favor de Kimi Delta Attention (KDA), un mecanismo recurrente de estilo atención lineal. Los comentaristas lo ven tanto como un logro de ingeniería impresionante como un rival práctico de modelos como Claude Opus, especialmente para programación, al tiempo que examinan las compensaciones en la atención lineal con pérdidas, el comportamiento de la caché KV y la reproducibilidad a partir de la especificación publicada. El modelo también se inserta en debates más amplios sobre la “destilación” a partir de sistemas propietarios y sobre qué cuenta como IA verdaderamente abierta o desarrollada de forma independiente.
Arquitectura: KDA, NoPE e información posicional
- Los comentaristas señalan que Kimi K3 usa “NoPE” (sin embeddings posicionales explícitos) y se apoya en Kimi Delta Attention (KDA) y mecanismos recurrentes/de decaimiento para codificar la información posicional de forma implícita.
- Se describe KDA como más parecido a una RNN que a la atención tradicional, con un estado oculto que actúa como una pequeña memoria editable y proporciona un sentido inherente del orden.
- Se considera que múltiples capas de KDA antes y entre las capas de atención aportan suficiente sensibilidad a la posición como para poder prescindir de RoPE explícito.
- Algunos señalan que el enmascaramiento causal ya rompe la invariancia a permutaciones, por lo que los embeddings posicionales no son estrictamente necesarios para transformadores solo-decoder.
- A otros les sorprende que eliminar las codificaciones posicionales explícitas funcione en absoluto y comentan mecanismos intuitivos como la acumulación residual y los decaimientos actuando como filtros.
Comparación con otras arquitecturas y escala frontier
- K3 se percibe como aproximadamente comparable en capacidad a otros modelos de primer nivel, pero con muchos menos parámetros activos según comentarios de segunda mano de otros líderes de laboratorio.
- KDA se compara con la atención de ventana deslizante / híbridos SSM en otros modelos, con compensaciones similares en caché KV, checkpointing y computación basada en bloques.
- Algunos consideran que la atención lineal es intrínsecamente con pérdidas y no tienen claro cómo escalará frente a la atención densa / estilo DSA.
Destilación, novedad y ética
- Hay debate sobre si el rendimiento de K3 se debe principalmente a la destilación de otros modelos propietarios o a una verdadera innovación arquitectónica.
- Varios sostienen que la destilación y la arquitectura novedosa no son mutuamente excluyentes y que el término “destilación” suele usarse mal.
- Se plantean dobles raseros éticos: si los laboratorios occidentales entrenan con material con copyright, las quejas por que otros destilen sus salidas se ven como inconsistentes.
Apertura, reproducibilidad y “open weights”
- Algunos dicen que la arquitectura es plenamente reproducible a partir de la documentación y de implementaciones abiertas; reproducir los pesos exactos y la ejecución de entrenamiento se considera prácticamente imposible sin los datos y el pipeline originales (e incluso entonces, la aleatoriedad interviene).
- Otros insisten en que “open weights” no es lo mismo que open source, y enfatizan la falta de detalles de entrenamiento, la ausencia de acceso al dataset y la dificultad de auditar puertas traseras.
Experiencia de usuario, coste y fiabilidad
- Varios usuarios reportan que K3 compite con otros modelos “frontier” para programación y tareas complejas, a veces mejor, pero ocasionalmente pensando demasiado.
- Algunos están cambiando a suscripciones basadas en K3 por coste o transparencia (por ejemplo, trazas de razonamiento visibles); otros encuentran K3 más caro que opciones competidoras en ciertas herramientas.
- Un subconjunto de usuarios reporta una degradación reciente de la calidad, fallos en llamadas a herramientas y largos bucles de “pensamiento”, especulando con presión de cómputo o cuantización, mientras que otros no informan problemas o señalan que varios modelos importantes han tenido recientemente altibajos de fiabilidad.