MicroLLM Lab – Experimente 7 LLMs minúsculos no navegador
Modelos de linguagem minúsculos que rodam inteiramente no navegador estão impressionando desenvolvedores com o quão rápidos e leves se tornaram, mas suas capacidades ainda são bastante limitadas em comparação com os LLMs modernos no estilo chat. Os comentaristas elogiam a demo MicroLLM Lab por mostrar inferência no dispositivo via WebGPU e WASM, ao mesmo tempo em que destacam alucinações frequentes, raciocínio fraco, comportamento apenas em inglês e um design de UI confuso. A discussão também revela desafios técnicos — especialmente compatibilidade com Firefox e GPU — e aponta para esforços mais amplos, como a Web Models API e projetos semelhantes que buscam padronizar e expandir a execução local e com preservação de privacidade de modelos na web.
Impressão geral
- Muitos veem a demonstração como uma prova divertida e reveladora de até onde chegou a inferência no navegador e no dispositivo.
- Outros acham que os modelos são “inutilizáveis” para tarefas no estilo assistente, com saídas muitas vezes sem sentido, repetitivas ou em loop.
- Vários comentários comparam a experiência à era inicial do GPT-2 / “engenharia de prompts”: interessante, mas frágil e pouco confiável.
Capacidades e limitações de modelos minúsculos
- Consenso: estes são small language models (SLMs), não assistentes completos.
- Usos apropriados sugeridos: análise de sentimento, classificação de texto, extração de entidades, conclusões simples.
- Para chat aberto, receitas, perguntas e respostas factuais ou raciocínio básico (por exemplo, 2+2, capitais, populações, contagem de cartas), os usuários relatam alucinações frequentes e erros lógicos.
- Algumas saídas são engraçadamente erradas (por exemplo, gatos “não são animais”, respostas bizarras sobre a África do Sul, números de população absurdos, receitas estranhas).
- Alguns prompts produzem respostas razoáveis, mostrando que, com prompts cuidadosos, esses modelos às vezes conseguem se comportar de forma coerente.
- Vários usuários concluem que esses exemplos ainda não são práticos como assistentes gerais, e veem o laboratório principalmente como uma demonstração de capacidades.
Experiência do usuário e interface
- Vários usuários criticam a UI:
- Texto muito pequeno e denso.
- Informação excessiva logo no início, em grande parte ignorável, antes da parte interativa.
- Rodapé confuso e falta de exemplos claros de para que os SLMs servem.
- O autor responde:
- Adicionando um grande “tl;dr” e marcando o texto mais longo como opcional.
- Aumentando o tamanho da fonte e simplificando o rodapé.
- Alguns argumentam que a publicação teve sucesso apesar do layout barulhento, e não por causa dele.
Implementação técnica e desempenho
- Executa os modelos no navegador via WebGPU, com WebAssembly como fallback mais lento.
- Muitos relatam geração de tokens surpreendentemente rápida em hardware moderno; alguns compartilham números específicos de tokens por segundo.
- Outros enfrentam problemas:
- WebGPU indisponível ou com bugs no Firefox/Linux (por exemplo, erros
GPUShaderStage), exigindo flags ou fallback. - Um relato de travamento no macOS (causa incerta).
- Alguns usuários não conseguem carregar modelos ou dizem que “nada funciona”, enquanto outros relatam que tudo funciona em navegadores convencionais.
- WebGPU indisponível ou com bugs no Firefox/Linux (por exemplo, erros
- As sugestões incluem melhor detecção de recursos, avisos explícitos para configurações não suportadas e servir modelos via CDN.
Projetos relacionados e implicações mais amplas
- Vários demos e laboratórios relacionados de LLM no navegador / WebGPU são compartilhados, incluindo apps de chat em um único arquivo, pequenos modelos de “história” e outros mini-labs.
- Discute-se um possível padrão “Web Models API”, incluindo questões sobre registros de modelos e possivelmente distribuição P2P.
- Sentimento geral: executar até mesmo modelos pequenos diretamente no navegador, inclusive em cenários air-gapped, é visto como poderoso e promissor, apesar dos limites atuais de ხარისხe.