问 HN：你用 LLM 做了什么？

Hacker News 讨论 ↗

开发者正在用大语言模型驱动各种项目，从 Chrome 扩展、游戏和语音机器人，到代码助手、基于 RAG 的知识工具、新闻和视频总结器，以及细分的生产力应用。许多实验都在增强既有工作流——自动记笔记、处理邮件和招聘、翻译媒体、个性化学习，或让本地数据变得可搜索——通常使用基于 OpenAI、开源模型和向量数据库的小型技术栈。反复出现的主题包括原型开发很容易、延迟、成本和幻觉带来的挑战，以及一种感觉：如果不绑定特定领域或独特数据，许多 LLM 产品很快就会商品化。

应用范围

  • 开发者与数据工具

    • 面向 SQL/CSV/Jira/Salesforce 的“用你的数据聊天”工具；自然语言 → SQL 的 CLI。
    • RAG 框架、向量数据库服务，以及用于 GitHub/GitLab 仓库问答的助手。
    • Prompt 管理系统、agent 主机，以及自动生成图表、代码修改或 PDF 的工具。
    • 机器人任务规划器和控制浏览器的 agent（例如用于生成测试）。

  • 生产力与业务工作流

    • 邮件/Gmail 助手、日历伴侣、招聘筛选器、销售/CRM 辅助工具、订单和货运跟踪器。
    • 用于总结或分析通话、会议、帮助文档以及钻井/地质报告的工具。
    • 面向法律和其他专业服务的企业内部助手；证书/执照成本总结器。

  • 内容总结与转录

    • YouTube / 播客 / 新闻 / HN / RSS 总结器。
    • 字幕/SRT 翻译器（包括俚语很多的语言）以及爱沙尼亚语 ASR。
    • 基于 Whisper 的播客、书籍和实时会议助手流水线。

  • 学习、培训与教育

    • 语言学习应用（间隔重复、聊天伙伴、发音、语法纠正）。
    • 模拟编程面试、销售电话模拟器、桌面 GM 辅助工具、家庭教育家教、简历聊天机器人。
    • 可从文本自动生成幻灯片、视频和课程结构的工具。

  • 创意、游戏与娱乐

    • 文本冒险游戏、图灵测试聊天游戏、谋杀悬疑、制作类游戏、卡牌/皮肤生成器。
    • 故事和儿童书籍创作者、荒诞新闻/人格生成器、自动化太空歌剧电视节目。

  • 领域特定工具

    • 金融：财报电话总结、新闻简报、求职搜索引擎。
    • 电商：基于图片的商品描述生成器、收据扫描器、热量分析器、商品照片描述器。
    • 无障碍：替代文本生成器和面向自闭症用户的 AAC 应用。

技术栈与部署

  • 常见技术栈：Next.js/React/TypeScript、Python（FastAPI/Flask）、Deno、SvelteKit、Flutter、Elixir、Go、Rust、Kotlin。
  • LLM：OpenAI GPT-3.5/4（+Vision）、通过 Ollama/llama.cpp/vLLM 使用的本地模型、Mistral/Mixtral、Whisper、自定义 STT/TTS。
  • 基础设施：Vercel、Cloud Run、Deno Deploy、Render、裸机、Docker/Kubernetes；向量后端如 pgvector、ChromaDB、Supabase、FAISS。

模式、局限与经验

  • LLM 因快速原型开发、胶水代码，以及让过去不可行的 UX（例如解析任意邮件、收据）变得可实现而受到称赞。
  • 成本和延迟是反复出现的痛点；许多人转向本地或更便宜的模型，以及大量缓存。
  • 幻觉、脆弱的 JSON/输出模式、内容过滤器和上下文限制，需要重试、多阶段流水线和评估循环。
  • RAG 质量高度依赖分块、检索和领域调优的 prompt；有几个工具专门聚焦于对这方面进行基准测试/优化。
  • 许多人指出 LLM 产品很容易商品化；差异化更多来自领域聚焦、UX 或集成，而不是模型选择。
  • LLM 被视为对“无风险练习”（销售、面试、语言）特别有价值，也有助于驯服非结构化或繁琐文本。