Ask HN: ¿Qué has construido con LLMs?

Discusión en Hacker News ↗

Los desarrolladores están usando modelos de lenguaje grandes para impulsar una enorme variedad de proyectos, desde extensiones de Chrome, juegos y bots de voz hasta asistentes de código, herramientas de conocimiento basadas en RAG, resumidores de noticias y vídeo, y apps de productividad de nicho. Muchos experimentos se centran en ampliar flujos de trabajo existentes —automatizar la toma de notas, el correo y la contratación, traducir medios, personalizar el aprendizaje o hacer buscables datos locales—, a menudo con stacks pequeños construidos sobre OpenAI, modelos de código abierto y bases de datos vectoriales. Los temas recurrentes incluyen la facilidad del prototipado, los desafíos de latencia, coste y alucinaciones, y la sensación de que muchos productos con LLMs se comoditizan rápidamente salvo que estén ligados a dominios específicos o datos únicos.

Rango de aplicaciones

  • Herramientas para desarrolladores y datos

    • “Chat con tus datos” para SQL/CSV/Jira/Salesforce; CLIs de lenguaje natural → SQL.
    • Frameworks RAG, servicios de bases de datos vectoriales y asistentes de preguntas y respuestas sobre repositorios de GitHub/GitLab.
    • Sistemas de gestión de prompts, hosts de agentes y herramientas para autogenerar diagramas, modificaciones de código o PDFs.
    • Planificadores de tareas para robots y agentes que controlan navegadores (p. ej., para generar tests).

  • Productividad y flujos de trabajo empresariales

    • Asistentes de correo/Gmail, compañeros de calendario, filtradores de contratación, ayudantes de ventas/CRM, rastreadores de pedidos y envíos.
    • Herramientas para resumir o analizar llamadas, reuniones, documentos de ayuda e informes de perforación/geología.
    • Asistentes internos de firma para derecho y otros servicios profesionales; resumidores de costes de acreditación/licencias.

  • Resumen y transcripción de contenido

    • Resumidores de YouTube / podcasts / noticias / HN / RSS.
    • Traductores de subtítulos/SRT (incluidos idiomas con mucha jerga) y ASR de estonio.
    • Pipelines basados en Whisper para podcasts, libros y asistentes de reuniones en vivo.

  • Aprendizaje, formación y educación

    • Apps para aprender idiomas (repetición espaciada, compañeros de chat, pronunciación, corrección gramatical).
    • Entrevistas técnicas simuladas, simuladores de llamadas de ventas, ayudantes para juegos de mesa con GM, tutores de educación en casa, chatbots para currículums.
    • Herramientas para autogenerar diapositivas, vídeos y estructuras de cursos a partir de texto.

  • Creatividad, juegos y entretenimiento

    • Juegos de aventura textual, juegos de chat tipo test de Turing, misterios de asesinato, juegos de crafting, generadores de cartas/skins.
    • Creadores de historias y libros infantiles, generadores absurdos de noticias/personalidades, series de televisión de ópera espacial autónomas.

  • Herramientas específicas de dominio

    • Finanzas: resumen de llamadas de resultados, boletines de noticias, motores de búsqueda de empleo.
    • Comercio electrónico: generadores de descripciones de productos basadas en imágenes, escáneres de recibos, analizadores de calorías, descriptores de fotos de productos.
    • Accesibilidad: generadores de texto alternativo y apps AAC para usuarios autistas.

Stacks técnicos y despliegue

  • Stacks frecuentes: Next.js/React/TypeScript, Python (FastAPI/Flask), Deno, SvelteKit, Flutter, Elixir, Go, Rust, Kotlin.
  • LLMs: OpenAI GPT-3.5/4(+Vision), modelos locales vía Ollama/llama.cpp/vLLM, Mistral/Mixtral, Whisper, STT/TTS personalizados.
  • Infra: Vercel, Cloud Run, Deno Deploy, Render, bare metal, Docker/Kubernetes; backends vectoriales como pgvector, ChromaDB, Supabase, FAISS.

Patrones, limitaciones y aprendizajes

  • Se alaba a los LLMs por el prototipado rápido, el código pegamento y por hacer posible una UX que antes era inviable (p. ej., analizar correos arbitrarios, recibos).
  • El coste y la latencia son problemas recurrentes; muchos migran a modelos locales o más baratos y a un caché intensivo.
  • Las alucinaciones, los esquemas JSON/salida frágiles, los filtros de contenido y los límites de contexto requieren reintentos, pipelines de múltiples pasadas y bucles de evaluación.
  • La calidad del RAG depende mucho del chunking, la recuperación y los prompts ajustados al dominio; varias herramientas se centran solo en evaluar/optimizar esto.
  • Muchos señalan lo fácilmente que se comoditizan los productos con LLMs; la diferenciación suele venir del enfoque en el dominio, la UX o las integraciones más que de la elección del modelo.
  • Los LLMs se consideran especialmente valiosos para la “práctica sin riesgo” (ventas, entrevistas, idiomas) y para domar texto no estructurado o tedioso.