Google 的第一代张量处理单元：架构

“Tensor（张量）”的含义与用途

• 围绕为什么硬件主要做的是向量/矩阵运算却要使用“tensor”一词展开讨论。
• 多条评论认为，这主要是品牌化和 n 维数组的简写；更高阶的维度往往只是来自批处理（例如图像的 N,C,H,W）。
• 也有人强调，在纯数学/物理中，“tensor”指的是一种在坐标变换下保持多线性的对象，而不仅仅是数组；机器学习里的“tensor”更接近通用的多维数组。
• 历史补充：这个词的含义在一个多世纪里已经漂移；它在 ML 中作为“array”的近义词被使用，被描述为较新的、略显不幸但已根深蒂固的用法。
• 有人认为 ML 语境下这样用是可以接受的；也有人认为这会误导。

TPU 架构与编程体验

• TPU v1 被描述为只有大约 20 条指令；评论者质疑把它称作 “CISC”，并讨论在这里 CISC/RISC 到底意味着什么。
• TPU 从概念上处理矩阵；n 维张量会被展平成 2D 矩阵乘法（例如 3×4×256 → 12×256），并映射到固定的 2D “原生尺寸”。
• 一种观点认为：高阶张量运算会分解为低维运算，因此硬件通过组合来“支持 tensor”。
• 实践者反馈：TPU 对其设计目标架构可以非常快，但编译器可能很脆弱；新的或不寻常的模型可能运行很差，甚至比 CPU 更慢。
• GPU 被视为更通用，较成熟的底层访问支持像 FlashAttention 这样的自定义 kernel。

Nvidia、CUDA 与竞争加速器

• 被提到的 Nvidia 关键优势包括：预留的晶圆产能、深度集成的软件（CUDA、各类库）、现有的数据中心硬件，以及客户关系。
• 许多人认为 CUDA 的优化 kernel 和生态系统才是主要护城河；虽然有替代方案（ROCm、Vulkan、Triton、厂商 TPU、AWS Trainium、Intel/Habana、AMD GPU），但在采用率和工具链上仍落后。
• 有人抱怨 CUDA 和驱动很脆弱；也有人回应说竞争对手的堆栈更糟。
• 一种观点认为，AI 需求和大科技公司的自利最终会催生真正的竞争；反方则认为复制 Nvidia 的软件堆栈是一个巨大且长期的工程。

Google 的 AI/TPU 战略与错失机会

• 反复出现的问题是：Google 既发明了 TPU 和 transformer，又内部构建了强大的聊天模型，却让 Nvidia 和初创公司攫取了大部分显性价值。
• 提出的解释包括：
  • 对安全性、幻觉以及监管反弹的担忧，尤其是在欧盟。
  • 内部保守，以及不愿推出可能威胁搜索/广告的激进新产品。
  • 自满，以及更偏好渐进式改进而非颠覆性下注。
• 也有人认为现在说 Google “输了”还为时过早；他们仍然可以把 AI 嵌入各类产品，但要达到搜索规模的收入很难。
• TPU 业务方面：有人呼吁把团队拆分成一家独立公司；也有人担心 TPU 在 Google 内部本就稀缺，且主要只能通过 Google Cloud 获取，从而限制了生态增长。

制造、可得性与其他硬件说明

• 据称 TPU 使用的制程节点略旧于最前沿 GPU；这被认为可以接受，但没那么“炫”。
• 有人提议 Google 自建领先制程晶圆厂，但考虑到所需资本、专业知识和产量，这一想法被广泛认为在经济和技术上都不可行。
• Apple 的 M 系列芯片因统一内存和高带宽而在本地推理方面表现强劲，但并不被定位为 H100 这类大规模训练芯片的竞争者。