Pergunte ao HN: O que você construiu com LLMs?

Discussão no Hacker News ↗

Desenvolvedores estão usando modelos de linguagem de grande porte para impulsionar uma enorme variedade de projetos, desde extensões do Chrome, jogos e bots de voz até assistentes de código, ferramentas de conhecimento baseadas em RAG, resumidores de notícias e vídeos, e aplicativos de produtividade de nicho. Muitos experimentos se concentram em ampliar fluxos de trabalho existentes — automatizando anotações, e-mail e contratação, traduzindo mídia, personalizando o aprendizado ou tornando dados locais pesquisáveis — muitas vezes com pequenas stacks baseadas em OpenAI, modelos de código aberto e bancos de dados vetoriais. Temas recorrentes incluem a facilidade de prototipação, desafios em torno de latência, custo e alucinações, e a percepção de que muitos produtos de LLM são rapidamente comoditizados, a menos que estejam ligados a domínios específicos ou dados exclusivos.

Gama de aplicações

  • Ferramentas para desenvolvedores e dados

    • “Converse com seus dados” para SQL/CSV/Jira/Salesforce; CLIs de linguagem natural → SQL.
    • Frameworks de RAG, serviços de bancos de dados vetoriais e assistentes de perguntas e respostas para repositórios GitHub/GitLab.
    • Sistemas de gerenciamento de prompts, hosts de agentes e ferramentas para gerar automaticamente diagramas, modificações de código ou PDFs.
    • Planejadores de tarefas para robôs e agentes que controlam o navegador (por exemplo, para gerar testes).

  • Produtividade e fluxos de trabalho de negócios

    • Assistentes de e-mail/Gmail, companheiros de calendário, triadores de contratação, ajudantes de vendas/CRM, rastreadores de pedidos e remessas.
    • Ferramentas para resumir ou analisar chamadas, reuniões, documentos de ajuda e relatórios de perfuração/geologia.
    • Assistentes internos de firmas para direito e outros serviços profissionais; resumidores de custos de credenciamento/licenciamento.

  • Resumo e transcrição de conteúdo

    • Resumidores de YouTube / podcast / notícias / HN / RSS.
    • Tradutores de legendas/SRT (incluindo idiomas com muito gíria) e ASR de estoniano.
    • Pipelines baseados em Whisper para podcasts, livros e assistentes de reuniões ao vivo.

  • Aprendizado, treinamento e educação

    • Aplicativos de aprendizado de idiomas (repetição espaçada, parceiros de conversa, pronúncia, correção gramatical).
    • Entrevistas técnicas simuladas, simuladores de chamadas de vendas, ajudantes para mestres de jogos de mesa, tutores para ensino em casa, chatbots para currículos.
    • Ferramentas para gerar automaticamente slides, vídeos e estruturas de cursos a partir de texto.

  • Criatividade, jogos e entretenimento

    • Jogos de aventura em texto, jogos de bate-papo tipo teste de Turing, mistérios de assassinato, jogos de crafting, geradores de cartas/skins.
    • Criadores de histórias e livros infantis, geradores absurdos de notícias/personalidades, programas autônomos de TV de ópera espacial.

  • Ferramentas específicas de domínio

    • Finanças: resumo de chamadas de resultados, boletins de notícias, motores de busca de empregos.
    • E-commerce: geradores de descrições de produtos baseados em imagem, scanners de recibos, analisadores calóricos, descritores de fotos de produtos.
    • Acessibilidade: geradores de texto alternativo e aplicativos AAC para usuários autistas.

Stacks técnicos e implantação

  • Stacks frequentes: Next.js/React/TypeScript, Python (FastAPI/Flask), Deno, SvelteKit, Flutter, Elixir, Go, Rust, Kotlin.
  • LLMs: OpenAI GPT-3.5/4(+Vision), modelos locais via Ollama/llama.cpp/vLLM, Mistral/Mixtral, Whisper, STT/TTS personalizados.
  • Infra: Vercel, Cloud Run, Deno Deploy, Render, bare metal, Docker/Kubernetes; backends vetoriais como pgvector, ChromaDB, Supabase, FAISS.

Padrões, limitações e lições

  • LLMs são elogiados por prototipação rápida, código de cola e por viabilizar UX anteriormente impraticáveis (por exemplo, analisar e-mails arbitrários, recibos).
  • Custo e latência são pontos problemáticos recorrentes; muitos migram para modelos locais ou mais baratos e usam muito cache.
  • Alucinações, esquemas frágeis de JSON/saída, filtros de conteúdo e limites de contexto exigem tentativas repetidas, pipelines de múltiplas passagens e ciclos de avaliação.
  • A qualidade de RAG depende fortemente de chunking, recuperação e prompts ajustados ao domínio; várias ferramentas focam exclusivamente em benchmark/otimização disso.
  • Muitos observam como produtos de LLM são facilmente comoditizados; a diferenciação geralmente vem do foco de domínio, da UX ou das integrações, e não da escolha do modelo.
  • LLMs são vistos como especialmente valiosos para “prática sem risco” (vendas, entrevistas, idiomas) e para domar texto não estruturado ou tedioso.