什么是 Google TPU：8t 与 8i，谷歌把芯片拆成了两半

2026 年 8 月的 Hot Chips 大会上，谷歌的工程师搞了个现场投票。

大屏幕上放出两颗芯片的示意图，一颗小一点，6 组 HBM 显存堆栈；一颗大一点，8 组 HBM 堆栈。问题很简单：哪一颗是推理芯片？

台下坐的都是芯片行业的老炮。结果大多数人猜错了。

答案是——小的那颗是训练芯片 TPU 8t，大的那颗才是推理芯片 TPU 8i。

说实话我看到这儿也愣了一下。按常识，训练不是更"重"吗？喂进去几个 TB 的数据，跑上几个月，那才是算力怪兽该干的事。推理不过是用户问一句、模型答一句，能有多重？

但谷歌用这颗"更大"的推理芯片，把常识按在地上摩擦了一遍。

训练吃的是算力，推理吃的是内存带宽。而今天卖 AI 的公司，90% 的账单来自后者。

这就是谷歌在第八代 TPU 上做出十年以来最大架构转向的原因：不再造一颗"通吃"的芯片，而是把训练和推理彻底拆成两颗物理上完全不同的硅。

先看硬数据：三分钟看懂 TPU 家族

讲 TPU 之前，先把它十年走过的路摆出来。2015 年第一代 TPU 只是一张插在服务器里的 PCIe 加速卡，int8 算力 90 TOPS——大概是今天一颗 TPU 的百万分之一。

世代	代号	定位	单芯片算力	显存 / 带宽	单舱规模
v1（2015）	TPU v1	推理 PCIe 卡	90 int8 TOPS	—	PCIe 卡
v6e	Trillium	训练推理一体	918 BF16 TFLOPS	32GB HBM	256 芯片
v7	Ironwood	推理优先	4.6 FP8 PFLOPS	192GB HBM3e / 7.4 TB/s	9,216 芯片，42.5 ExaFLOPS
v8	TPU 8t	训练专用	12.6 FP4 PFLOPS	216GB HBM3e / 6,528 GB/s	9,600 芯片，121 ExaFLOPS
v8	TPU 8i	推理专用	10.1 FP4 PFLOPS	288GB HBM3e / 8,601 GB/s	1,152 芯片 / Pod

十年，一百万倍。谷歌自己在演讲里毫不客气地把这个数字打了出来。

再横向对比一下第八代两兄弟，差异比你想的更极端：

维度	TPU 8t（训练）	TPU 8i（推理）
目标负载	大规模预训练、微调	低延迟服务、Agent 推理、RL 采样
单芯片 FP4	12.6 PFLOPS	10.1 PFLOPS
HBM	216 GB	288 GB
片上 SRAM	128 MB	384 MB（上代 3 倍）
网络拓扑	3D Torus	Boardfly
最大网络跳数	—	从 16 跳降到 7 跳
关键增益	训练性价比 约 2.8 倍于 Ironwood	推理性价比 约 80% 提升

注意那个反直觉的地方：算力更强的 8t，显存反而更小。

什么是 TPU

TPU，全称 Tensor Processing Unit，张量处理单元，是谷歌自研的 AI 加速芯片。

它的核心思路和 GPU 完全不同。GPU 是"万能工"——几万个 CUDA 核心，啥活都能接，图形渲染、科学计算、挖矿、训模型，通吃。TPU 是"偏科生"，它把芯片绝大部分面积都堆给了一种运算：矩阵乘加。

具体实现方式叫脉动阵列（Systolic Array）。想象一排排计算单元，数据像血液一样从一端流进去，每个单元从上一个邻居手里接过数据，算完再传给下一个。数据几乎不用来回搬运，复用率极高。

代价也很实在：TPU 遇到分支判断、稀疏不规则计算就抓瞎，而这些恰恰是 GPU 的强项。

一句话总结取舍：GPU 用灵活性换通用性，TPU 用灵活性换矩阵吞吐和能效。

所以你问"TPU 能不能取代 GPU"，本身是个伪命题。真正该问的是：你的负载是不是规规矩矩的大矩阵运算？是的话，TPU 每美元、每瓦特干得更多。不是的话，安心用 GPU。

为什么第八代要"分家"

这是整件事里最值得琢磨的部分。谷歌坚持了十年"一代一芯"，为什么偏偏在 2026 年拆开？

谷歌在 Hot Chips 上给了两个理由，都很硬：

第一，MoE 把瓶颈从算力挪到了网络。 混合专家模型（Mixture of Experts）现在几乎是前沿模型的标配。它的特点是一个请求只激活少数专家，但激活哪些专家是动态的——这会产生远超以往模型的 all-to-all 通信流量。算得再快，卡在等数据上也是白搭。

第二，智能体 AI 把推理变成了"循环成本"。 以前推理很简单：用户问一句，模型答一句，一次前向传播完事。现在一个 Agent 为了完成一个目标，可能触发几十甚至上百次模型调用。

这个转变的商业含义比技术含义更深：

训练是一次性资本开支，钱花完模型就诞生了；推理是随用户线性增长、随 Agent 部署非线性膨胀的运营开支。

谷歌在两年前就决定拆分芯片架构了——在 Agent 大规模爆发之前。这说明它提前预判了推理经济会取代训练经济，成为 AI 产业的价值中心。

而推理的痛点不是算力，是内存墙。解码阶段每生成一个 token，都要把整个 KV Cache 从 HBM 里读一遍。HBM 访问延迟大约是 150~200 纳秒，片上 SRAM 只有 1~2 纳秒——差了整整两个数量级。

把 SRAM 堆到 384MB，就是为了让 KV Cache 尽量待在计算单元身边，别出门。

这才是那颗"更大的推理芯片"的真相。

TPU 8i：三板斧砍向延迟

一、SRAM 拉满，破解内存墙

前面说过，8i 的片上 SRAM 是上代的 3 倍（384MB），聚合带宽达到 150~200 TB/s，比 HBM 的 10~15 TB/s 高出 15~20 倍。

谷歌现场给了组对比数据：SRAM 的每比特能耗约 0.1~0.5 pJ，HBM 是 2.0~5.0 pJ，能效差 10~20 倍。

翻译成人话：数据少搬一次，电就少烧一大截。

二、Boardfly 拓扑：网络直径砍半

3D Torus 是谷歌用了好几代的老拓扑，对训练很友好，但对推理的 all-to-all 通信很吃亏。8i 换成全新的 Boardfly：

• 4 颗 TPU 一个托盘，8 个托盘全互联组成一个 Building Block
• 最多 36 个 Block，单个 Pod 1,152 颗芯片
• 最大跳数从 Torus 的 16 跳压到 7 跳，网络直径缩减约 56%

跳数少意味着什么？数据每过一个交换机就多一次排队和转发延迟。砍掉一半多的跳数，对 MoE 的专家路由是实打实的加速。

三、CAE：在网卡边上就把聚合做完

第三个设计更狠。谷歌在芯片边缘靠近网络硬件的 ICI I/O Die 上，集成了一个专用模块叫集体加速引擎（Collective Acceleration Engine, CAE）。

以前做 all-reduce 这类集合通信，数据得从网卡绕回计算 Die，处理完再送出去，中间还要访问 HBM。现在直接在 I/O Die 上做网内聚合，省掉了物理传输和 HBM 访问。

官方口径：芯片内延迟降低 5 倍。

TPU 8t：把规模推到物理极限

如果说 8i 是在抠细节，8t 就是在堆规模。

9,600 颗芯片一个 Superpod，聚合共享 HBM 达到 2 PB，FP4 算力 121 ExaFLOPS——差不多是 Ironwood 的 3 倍。

支撑这个规模的是三层东西：

• Virgo 专用网络：首次为 TPU 单独立的网络架构，两层交换拓扑，单一域内可连 13.4 万颗 TPU，聚合带宽 47 Pbit/s
• OCS 光电路交换：用一片指甲大小、带数百个微型反射镜的芯片（Palomar OCS）动态改变机柜间连接。节点坏了，系统几秒内自动绕行隔离——过去这活儿要花几小时
• 第四代液冷：这一代首次对光学器件也上液冷。原因是个有点吓人的物理定律：按 Arrhenius 方程，工作温度每升高 10~15°C，半导体化学降解速率翻倍

顺带一提，8i 首次搭配了谷歌自研的 Axion CPU（基于 Arm Neoverse V2），按 2:1 的比例配对，取代了此前使用的 x86 CPU。谷歌从卖芯片、到主机 CPU、到散热、到网络，全栈自己来。

真实场景：谁在真的用 TPU

芯片讲得再热闹，没人用都是自嗨。这块 TPU 倒是挺硬气：

Anthropic——最大胆的一笔。 2025 年 10 月签下最多 100 万颗 TPU、超过 1 吉瓦算力的协议；2026 年 5 月追加到五年约 2,000 亿美元的 Google Cloud 支出承诺，锁定约 5 吉瓦 TPU 容量。其中约 40 万颗 Ironwood 是直接买断（含机柜，约 100 亿美元），另外约 60 万颗走云租赁。

一个敢把自家旗舰模型的身家性命押在非英伟达芯片上，这本身就是对 TPU 最有力的背书。

Citadel Securities 等金融机构也已经抢先接入——金融场景对延迟的敏感度，你懂的。

Gemini 自己。谷歌所有 Gemini 模型都在 TPU 上训练和推理。这是最天然的压力测试：自家模型就是自家芯片的第一个客户。

还有个容易被忽略的信号：谷歌用 AI 设计 TPU。从 Ironwood 时代开始，谷歌就用 AI 辅助设计 ALU 电路和优化布局规划，省下功耗和芯片面积，好塞进更多计算核心。AI 造 AI 的芯片，闭环了。

一年两款：把硬件当软件迭代

最后说个我觉得比芯片本身更有意思的事。

2026 年 9 月 2 日，SEMICON Taiwan 2026 开展首日，谷歌 AI 基础设施负责人 Amin Vahdat 上台讲了段话：

"Google 过去大约每两年才推出一款新 TPU，今年一年内就推出了两款，从流片到正式量产只需要 3 到 6 个月。"

他还抛了个概念叫 Square Wave Deployment（方波部署）：新芯片验证通过后，要用最短时间把产能直接拉满，吃干榨净每一代算力的生命周期价值。

理由很残酷：过去一款芯片上市要花三年才慢慢爬到满产，现在芯片换代太快，你要是爬坡慢了，这一代还没跑满就已经过时了。Vahdat 的原话更直白——就算芯片性能翻倍，买不到、用不上，等于没有意义。

配合这个节奏的是 Alphabet 上调到 1,950~2,050 亿美元的年度资本开支指引，约为上年的两倍。供应链也从博通一家独大，扩展成博通、联发科、Marvell 三方分工。

硬件开始按软件的节拍跑了。这大概是整个 AI 基础设施领域，这几年最安静、但也最彻底的一次变化。

不过泼盆冷水：上述规格多为官方公布的计划口径，部分细节（制程节点、外部全面开放的时点）各家报道仍有出入，真要下单前请以 Google Cloud 正式文档为准。谷歌画过的 TPU 大饼，历史上也确实有过"说了要等两年才吃上"的前科。

快速上手：普通人怎么摸到 TPU

好消息是，你不需要先买 9,600 颗芯片。

第一条路：Google Colab，免费。 打开 Colab，在"运行时 → 更改运行时类型"里把硬件加速器选成 TPU，就能拿到免费的 TPU 资源（通常是 v5e 或 v6e）。这是零门槛的体验方式，改几行代码就能跑通训练。

第二条路：Cloud TPU VM。 在 Google Cloud 上直接申请 TPU 虚拟机，通过 gcloud compute tpus tpu-vm create 创建，配合 JAX 使用体验最丝滑。JAX 是谷歌亲儿子，为 TPU 而生，函数式 API + 自动并行，写起来比想象中舒服。

第三条路：GKE 或 Vertex AI。 大多数团队应该从这里起步。不用自己管机器，直接部署模型端点。目前 vLLM 已经能在 TPU 上跑，开源权重模型不用改代码就能服务。

PyTorch 用户注意：以前上 TPU 要过 PyTorch/XLA 这道坎，编译开销劝退了不少人。现在有了 TorchTPU（预览中），可以跑接近原生的 PyTorch，绕开完整 XLA 编译。想抠极致性能的话，还有 Pallas——直接在 Python 里写硬件感知内核，Flash Attention 这类算子在 Pallas 里能按序列长度自动调优，配合 Helion 等编译器，注意力内核上能到 4.45 倍提升。

框架支持清单：JAX、PyTorch（TorchTPU 预览）、vLLM、SGLang。

给刚上手的同学一个提醒：先确认区域配额。Ironwood 这一代液冷机柜对数据中心改造有要求，容量不是哪儿都有，配额也不默认发放。别架构设计完了才发现拿不到货——这是真有人踩过的坑。

进阶

如果你只想记住一件事，那就是：TPU 不是"更便宜的 GPU"，它是为矩阵运算这一件事做到极致的特化芯片。 训练看算力，推理看内存带宽，谷歌用两颗芯片把这个区别写死在了硅片上。

至于这场"一年两款"的军备竞赛最后谁赢，现在下结论还太早。但有一点是确定的：当硬件开始用软件的速度迭代，AI 的成本曲线会往下走，而 Agent 规模化部署的门槛会跟着降。对我们这些写代码的人来说，这是好事。

更多开源技术干货和学习资料，关注公众号「遇码」，领取专属福利。