随着DRAM供应情况日益紧张，许多大型科技公司不得不拆解退役的服务器来获取内存。谷歌供应链基础设施高级总监Nikhil Cherian近日透露，AI行业正在经历从算力瓶颈向内存瓶颈的转变，目前高性能内存在单台AI服务器的成本中占据了约75%。为了解决内存问题，谷歌在硬件和软件两方面同时开展工作。硬件方面，谷歌甚至建立了内部的回收供应链，通过拆解老旧的服务器，回收可用的DDR4内存模块。Cherian还提到，谷歌专门设计了转接器，使得旧款DDR4内存能够与新一代AI服务器兼容运行。这样一来，本该使用DDR5的新服务器在某些情况下不得不退而求其次，使用回收的DDR4。

在软件方面，谷歌不断优化基础函数库、模型架构和KV Cache压缩技术，以降低每单位算力所需的内存。近期，谷歌推出了两款TPU ASIC，分别为训练用的TPU8t和推理用的TPU8i。TPU8i每颗芯片配备288GB的HBM3e内存，提供8.6 TB/s的内存带宽，并集成384MB的片上SRAM来存储活跃的KV缓存，从而减少对外部内存的依赖。TPU8i服务器则采用谷歌自主研发的基于Arm架构的Axion处理器取代了传统的x86 CPU，依赖高速DDR5内存架构来处理主机级的数据任务。然而，即使在这种情况下，谷歌依然在某些场景下不得不使用回收的DDR4替代DDR5，这表明当前DRAM供应的紧张程度之严重。