Compressão é predição

Artigo original ↗ Discussão no Hacker News ↗

Compressão e predição estão cada vez mais sendo tratadas como dois lados da mesma moeda, com muitos apontando que modelos modernos de IA — especialmente grandes modelos de linguagem — podem ser vistos como compressores poderosos e com perda de seus dados de treino. Comentários conectam essa ideia à teoria da informação de Shannon, à complexidade de Kolmogorov, ao Hutter Prize e a técnicas clássicas de compressão, observando que melhor predição implica melhor compressão e que isso pode explicar como modelos de mundo abstratos e ideias aparentemente novas emergem do treinamento. Outros rebatem slogans simplificados como “compressão é inteligência”, argumentando que generalização, criatividade e conhecimento do mundo real exigem mais do que codificação ótima de dados passados, e enfatizando a importância da validação experimental e do contexto histórico para esses conceitos.

Ideia estabelecida: compressão, predição, teoria da informação

  • Muitos apontam que isto é teoria da informação padrão: boa compressão exige boa predição probabilística do próximo símbolo.
  • Compressores estatísticos modelam distribuições e codificam eventos prováveis com menos bits; isso é diretamente análogo à predição do próximo token em modelos de linguagem.
  • Alguns enfatizam que essa ligação é conhecida há décadas, com trabalhos anteriores sobre inferência indutiva, complexidade de Kolmogorov e medidas de similaridade baseadas em compressão.
  • Outros destacam que “compressão é predição” é uma simplificação excessiva: a compressão usa predição, mas não é idêntica a ela em todos os contextos.

LLMs, modelos de mundo e “novas ideias”

  • Vários comentários usam a visão da compressão para rebater a ideia de que “LLMs são apenas papagaios”: o treinamento pode ser visto como encontrar um modelo compacto do processo gerador dos dados, e não apenas memorizar curvas.
  • Analogia: ajustar uma função compacta ao movimento planetário permite prever órbitas não observadas; de forma semelhante, um modelo de linguagem aproxima os processos que geraram o texto humano e pode generalizar além do conjunto de treino.
  • Alguns argumentam que “novas ideias” em humanos também são recombinações/deduções a partir de dados prévios; nesse sentido, modelos avançados poderiam fazer o mesmo.
  • Outros insistem que a predição por si só não pode produzir novo conhecimento sobre o mundo físico sem experimentos.

Limites, generalização e mudança de distribuição

  • Críticos observam uma ressalva importante: predição≈compressão só vale de forma limpa quando as distribuições de treino e teste coincidem.
  • O overfitting para obter compressão máxima em um conjunto de dados fixo pode prejudicar o desempenho em dados futuros ou deslocados; isso é comparado aos trade-offs clássicos de generalização/overfitting.
  • Alguns respondem que qualquer compressor que modele melhor a fonte verdadeira acabará por comprimir melhor também os dados futuros, mas concordam que isso depende da distribuição.

Compressores como geradores (e vice-versa)

  • Vários comentários explicam que qualquer compressor probabilístico pode ser transformado em um gerador autoregressivo: tente cada possível próximo token, veja qual co-comprime melhor e amostre de acordo.
  • Experimentos com compressores neurais e compressores baseados em LLM mostram resultados fortes tanto em texto dentro da distribuição quanto em texto de validação, muitas vezes superando ferramentas tradicionais em bits por byte.
  • No entanto, compressores tradicionais ainda geram texto muito ruim na prática, ilustrando que “ser um compressor” é necessário, mas não suficiente, para uma predição de alta qualidade.

Compreensão, abstração e perda vs. sem perda

  • Há uma longa discussão paralela sobre se “compreensão é compressão com perda”:
    • Um lado: abstração/generalização é exatamente perda seletiva de informação, isto é, decidir quais detalhes não importam.
    • Outro lado: é possível comprimir sintaxe sem perda e sem qualquer compreensão semântica; compressão com perda de alta qualidade pode se correlacionar mais com compreensão genuína.
  • Ensino vs. compreensão vs. aplicação são enquadrados como fases diferentes de compressão/descompressão nos seres humanos.

Inteligência, consciência e escopo

  • Alguns veem ligações estreitas entre compressão, inteligência e até estética (beleza como descrição eficiente, física como compressão अंतिमa).
  • Outros alertam contra extrapolar demais: LLMs serem bons compressores não implica, por si só, consciência; por essa lógica, compressores de arquivos comuns também seriam candidatos.
  • Ainda assim, muitos esperam que sistemas de compressão/predição cada vez mais poderosos exijam modelos de mundo cada vez mais ricos.

Críticas ao artigo e à pedagogia

  • Vários comentaristas gostam dos visuais e acham que o texto é uma exposição acessível para não especialistas.
  • Outros criticam a apresentação como se as ideias tivessem sido “descobertas” recentemente, com contexto histórico ou citação de trabalhos mais antigos insuficientes.
  • Há debate sobre quanto pano de fundo e atribuição uma postagem de blog popular deve incluir versus manter as explicações leves e envolventes.