Uma CNN de 10 anos supera LLMs de fronteira no diagnóstico de câncer de pele

Artigo original ↗ Discussão no Hacker News ↗

Uma pequena rede neural convolucional de uma década, ajustada em imagens de dermatologia, demonstrou superar modelos de linguagem de última geração na classificação de lesões de pele, o que gerou debate sobre para que tipos de problemas os LLMs realmente servem. Os comentaristas em geral argumentam que esse resultado não é surpreendente: um modelo de visão estreito, construído para esse fim e treinado com dados específicos do domínio, deve superar um modelo de linguagem de uso geral em diagnóstico por imagem, especialmente em contextos médicos de alto risco. Muitos veem o verdadeiro valor dos LLMs não como diagnósticos de ponta a ponta, mas como ferramentas para construir modelos especializados, orquestrar outros sistemas e lidar com raciocínio de nível mais alto sobre os dados que esses modelos produzem.

CNN Especializada vs. LLMs de Uso Geral

  • A maioria dos comentaristas diz que não é surpreendente uma CNN ajustada para dermatologia superar LLMs de fronteira na classificação de câncer de pele.
  • Analogia: comparar um especialista veterano com uma criança brilhante; LLMs são amplos, mas não são otimizados para essa tarefa estreita.
  • CNNs (e outros modelos clássicos como xgboost) ainda são preferidos para problemas de classificação focados quando há dados rotulados disponíveis.

Equidade e Qualidade da Comparação

  • A CNN é chamada de “10 years old” do ponto de vista arquitetural, mas foi ajustada recentemente em um grande conjunto de dados ISIC do mesmo domínio; alguns argumentam que o título é enganoso.
  • Críticos dizem que a CNN tem uma “vantagem de jogar em casa” porque as imagens de teste vêm da mesma distribuição dos dados de treinamento.
  • Outros respondem que isso é prática padrão, não “benchmaxxing”; o overfitting deve ser avaliado testando em novos conjuntos de dados, não assumido.

Limites dos LLMs e Uso Apropriado

  • Muitos enfatizam que LLMs são modelos centrados em linguagem (ou modelos gerais de visão-linguagem), não classificadores médicos construídos para esse fim.
  • Vários comentaristas rebatem o hype de “LLMs podem fazer tudo”; esse resultado é visto como um necessário choque de realidade.
  • Alguns observam que VLMs de fronteira se saíram melhor ao evitar falsos negativos (omissões perigosas) quando os limiares são ajustados, sugerindo trade-offs de segurança em vez de um simples “ganha/perde”.

LLMs como Orquestradores e Construtores de Ferramentas

  • Tema forte: LLMs brilham como controladores de alto nível ou assistentes de programação, não como o classificador final.
  • Fluxos de trabalho sugeridos: usar LLMs para:
    • Projetar/treinar CNNs ou outros modelos especializados.
    • Gerar rotulagem, features ou código de harness.
    • Chamar modelos ou ferramentas de visão mais eficientes em vez de classificar imagens diretamente.

Modelos de Decisão e Classificação Zero-shot

  • Modelos de decisão ao estilo Jev e classificadores leves são discutidos como alternativas mais baratas e rápidas a chamadas completas de LLM para muitas tarefas.
  • Consenso: para problemas de baixo volume ou difíceis de rotular, LLMs/modelos de decisão são atraentes; em escala ou em domínios críticos para a segurança, modelos supervisionados específicos para a tarefa são preferíveis.

Contexto Médico e Clínico

  • Vários observam que decisões dermatológicas reais envolvem histórico, anotações e acompanhamento, não apenas uma única imagem.
  • Alguns se preocupam com a dependência excessiva de ferramentas no estilo ChatGPT para diagnóstico; outros argumentam que até IA imperfeita poderia ter incentivado detecção mais precoce em casos perdidos, embora riscos de procedimentos e excesso de tratamento sejam debatidos.