Una CNN de 10 años supera a los LLM de frontera en el diagnóstico de cáncer de piel

Artículo original ↗ Discusión en Hacker News ↗

Se demostró que una pequeña red neuronal convolucional, de una década de antigüedad, ajustada con imágenes dermatológicas superó a los modelos de lenguaje de gran escala de última generación en la clasificación de lesiones cutáneas, lo que provocó un debate sobre para qué tipos de problemas están realmente indicados los LLM. Los comentaristas sostienen en gran medida que este resultado no sorprende: un modelo de visión estrecho y diseñado para un fin específico, con entrenamiento específico del dominio, debería superar a un modelo de lenguaje de propósito general en el diagnóstico por imagen, especialmente en contextos médicos de alto riesgo. Muchos ven el verdadero valor de los LLM no como diagnósticos de extremo a extremo, sino como herramientas para construir modelos especializados, orquestar otros sistemas y manejar el razonamiento de nivel superior sobre los datos que producen esos modelos.

CNN especializada vs. LLM de propósito general

  • La mayoría de los comentaristas dice que no sorprende que una CNN ajustada para dermatología supere a los LLM de frontera en la clasificación de cáncer de piel.
  • Analogía: comparar a un especialista veterano con un niño brillante; los LLM son amplios, pero no están optimizados para esta tarea estrecha.
  • Las CNN (y otros modelos clásicos como xgboost) siguen siendo preferibles para problemas de clasificación focalizados cuando hay datos etiquetados disponibles.

Equidad y calidad de la comparación

  • Se dice que la CNN es “de 10 años” en arquitectura, pero fue ajustada recientemente con un gran conjunto de datos ISIC del mismo dominio; algunos sostienen que el título es engañoso.
  • Los críticos dicen que la CNN tiene una “ventaja de local” porque las imágenes de prueba provienen de la misma distribución que sus datos de entrenamiento.
  • Otros responden que esto es una práctica estándar, no “benchmaxxing”; el sobreajuste debe evaluarse probando en nuevos conjuntos de datos, no dándolo por sentado.

Límites de los LLM y uso apropiado

  • Muchos enfatizan que los LLM son modelos centrados en el lenguaje (o de visión-lenguaje general), no clasificadores médicos diseñados específicamente.
  • Varios comentaristas rechazan la idea de que “los LLM pueden hacerlo todo”; este resultado se ve como una necesaria llamada de atención.
  • Algunos señalan que los VLM de frontera obtuvieron mejores resultados evitando falsos negativos (omisiones peligrosas) cuando se ajustan los umbrales, lo que sugiere compensaciones de seguridad más que un simple “ganar/perder”.

Los LLM como orquestadores y constructores de herramientas

  • Tema fuerte: los LLM brillan como controladores de alto nivel o asistentes de programación, no como clasificador final.
  • Flujos de trabajo sugeridos: usar LLM para:
    • Diseñar/entrenar CNN u otros modelos especializados.
    • Generar etiquetado, características o código de soporte.
    • Llamar a modelos o herramientas de visión más eficientes en lugar de clasificar imágenes directamente.

Modelos de decisión y clasificación zero-shot

  • Se discuten modelos de decisión al estilo Jev y clasificadores ligeros como alternativas más baratas y rápidas a las llamadas completas a LLM para muchas tareas.
  • Consenso: para problemas de bajo volumen o difíciles de etiquetar, los LLM/modelos de decisión son atractivos; a escala o en dominios críticos para la seguridad, son preferibles los modelos supervisados específicos para la tarea.

Contexto médico y clínico

  • Varios señalan que las decisiones dermatológicas reales implican historial, notas y seguimiento, no una sola imagen.
  • A algunos les preocupa la sobredependencia de herramientas estilo ChatGPT para el diagnóstico; otros argumentan que incluso una IA imperfecta podría haber impulsado una detección más temprana en casos pasados por alto, aunque se debaten los riesgos del procedimiento y el sobretratamiento.