Edição de imagens em tempo real usando modelos de consistência latente

Artigo original ↗ Discussão no Hacker News ↗

A edição de imagens em tempo real impulsionada por modelos de consistência latente (LCMs) promete reduzir a geração de imagens de dezenas de passos de difusão para apenas alguns, permitindo feedback quase instantâneo para artistas e designers. Os comentaristas exploram como os LCMs destilam ou adaptam modelos Stable Diffusion existentes (muitas vezes via LCM-LoRA) para trocar algum detalhe fino e aderência ao prompt por ganhos dramáticos de velocidade, abrindo novos fluxos interativos em pintura, integração com 3D/Blender e vídeo. Ao lado do entusiasmo com criatividade e produtividade, há preocupações sobre requisitos de hardware, controle do modelo e as questões legais e éticas de construir ferramentas comerciais em cima de dados de treinamento protegidos por direitos autorais.

Como os modelos de consistência latente (LCMs) funcionam e por que são mais rápidos

  • Os LCMs aceleram a difusão latente aprendendo a trajetória pelo espaço latente, de modo que sejam necessários muito menos passos de amostragem (frequentemente 1–4 em vez de 20–40+).
  • Conceitualmente, eles são enquadrados como a previsão de onde uma “partícula” em um espaço latente de alta dimensão deve terminar, em vez de movê-la incrementalmente.
  • Um fio técnico aponta o LCM como uma destilação de um modelo Stable Diffusion pré-treinado, transformando-o em um amostrador mais rápido enquanto preserva em grande parte a qualidade da saída.

Treinamento, destilação e LCM-LoRA

  • Um artigo descreve o LCM como exigindo apenas ~32 horas de GPU A100 para destilar a partir de um modelo SD existente para inferência em 2–4 passos.
  • Há debate sobre se os LCMs podem ser treinados “do zero”; modelos de consistência em geral podem, mas o artigo sobre LCM discutido aqui assume destilação a partir de um modelo de difusão pré-treinado.
  • O LCM-LoRA é destacado como uma forma de converter o SDXL em um modelo semelhante a LCM sem retreinamento completo, e de empilhar LoRAs de estilo por cima.

Qualidade, trade-offs e fluxos de trabalho

  • Trade-off principal: velocidade muito maior, mas menos detalhes e pior aderência ao prompt em comparação com amostradores mais lentos, especialmente em prompts complexos ou com uso intenso de LoRA.
  • Para prompts simples ou quando guiado fortemente por imagens de controle (ControlNet, IP-Adapter), os resultados do LCM são relatados como muito bons e quase em tempo real.
  • Fluxos de trabalho sugeridos: usar LCM/LCM-LoRA para iterar rapidamente sementes ou composições e, depois, refinar as saídas selecionadas com amostradores clássicos de múltiplos passos.

Desempenho, UX e o debate sobre “tempo real”

  • O sistema mostrado atualmente roda na nuvem em GPUs potentes (A100); a latência é perceptível, mas muito menor do que a do SD tradicional.
  • Alguns comentaristas dizem que ainda é lento demais para trabalho profissional “de verdade”; outros observam que profissionais já o usam apesar de latência de 1–5s+.
  • Fazem-se comparações com o Photoshop/Blender iniciais: feedback em tempo real ou quase em tempo real é visto como crucial para o fluxo criativo, mesmo que a fidelidade seja refinada ao longo do tempo.

Extensões: vídeo, 3D e ferramentas

  • A comunidade espera que as técnicas LCM acelerem a edição/geração de vídeo em tempo real, possivelmente combinadas com AnimateDiff e ControlNet, embora a viabilidade plug-and-play ainda não esteja clara.
  • Várias pessoas descrevem ou solicitam fluxos em que cenas 3D ou primitivas simples (por exemplo, gray-boxing no Blender, “Blender GPT”) fornecem estrutura que modelos baseados em LCM então renderizam de forma estilística.
  • A comunidade SD já tem demos de LCM em tempo real (webcam, 10–15 fps) e espaços do Hugging Face baseados no navegador.

Ética, legalidade e uso indevido

  • Surgem preocupações com uso indevido (por exemplo, deepfakes políticos); outros argumentam que ferramentas são neutras, como martelos ou ilustração tradicional.
  • Um comentário longo alerta que comercializar modelos construídos sobre dados de treinamento disputados provavelmente desencadeará processos, campanhas de difamação e reação social negativa, especialmente de defensores de direitos autorais.
  • Sugere-se que treinar com dados Creative Commons seria eticamente mais defensável, mas pode ser impraticável nas velocidades atuais de competição.
  • Alguns veem isso como uma grande zona cinzenta ética para startups de ML criativas e pedem que as equipes preparem posições fundamentadas e estratégias legais.

Sentimento geral

  • Muitos comentaristas estão impressionados com a velocidade e veem isso como transformador para fluxos de trabalho criativos.
  • Uma minoria está pouco impressionada com a aderência e a latência atuais, ou cansada da rápida iteração no espaço de IA generativa, mas ainda reconhece que os LCMs provavelmente prenunciam “algo maior”.