AI数据中心

为生成式AI训练·推理而集成GPU加速器与超高密度电力·冷却基础设施的下一代计算设施

AI数据中心

概述

AI数据中心（AI Data Center）是为处理大语言模型（LLM）和生成式AI的训练·推理工作负载而设计的专用计算设施。如果说传统数据中心针对以CPU为中心的Web服务与数据库处理进行了优化，那么AI数据中心的特点则在于将GPU、TPU等加速器以数千至数万张为单位高密度集成，并结合超高速互连与大容量电力·冷却基础设施。2023年以来，随着生成式AI热潮，产业的中轴正从"云数据中心"转向"AI工厂（AI Factory）"，并正在重组为电力与土地获取即竞争力的结构。

主要内容

定义与区分

AI数据中心按用途大致分为两种。第一是训练（Training）集群，将数万张加速器通过NVLink、InfiniBand连接，进行长达数月的大规模运算。第二是推理（Inference）集群，聚焦于延迟（Latency）、电力效率与每秒Token处理量（Throughput）的优化。近来，在单一设施内同时消化训练与推理的混合型配置正在增多。

硬件构成

  • 加速器：代表性的有NVIDIA H100/H200、Blackwell B200·GB200、AMD MI300X·MI325X、谷歌TPU（v5e/v5p/Trillium）、AWS Trainium·Inferentia。
  • 内存：HBM3·HBM3E是性能的核心变量，HBM供应量左右着整个系统的出货。
  • 服务器形态规格：在将8个GPU捆绑在一块基板上的HGX方式基础上更进一步，以机架为单位将72个GPU捆绑为一个域的NVL72形态已崛起为主流。
  • 存储：NVMe SSD以及Lustre·Weka等并行文件系统承担着数PB级的训练数据。

电力·冷却基础设施

AI数据中心最大的瓶颈是电力。传统机架电力密度为5~15kW，而AI机架则超过40kW，达到100~120kW。因此，风冷式冷却已触及极限，直接芯片冷却（D2C）与浸没式冷却（Immersion Cooling）正在迅速普及。在电力方面，长期电力购买协议（PPA）、燃气轮机，以及小型模块化反应堆（SMR）和既有核电站电力的获取竞争正在展开。效率指标方面则使用PUE（Power Usage Effectiveness，电能利用效率）与WUE（Water Usage Effectiveness，水资源利用效率）。

网络与软件

集群规模越大，网络就越决定性能。主要使用InfiniBand NDR/XDR、NVIDIA Spectrum-X以太网、RoCEv2，800G·1.6T光模块需求急剧增加。软件栈由CUDA·ROCm生态、基于Kubernetes·Slurm·Ray的编排，以及组合了数据·张量·流水线并行的分布式训练框架构成。

运营主体与市场结构

超大规模云服务商（微软Azure、AWS、谷歌云、Meta、甲骨文OCI）牵引着自有需求，CoreWeave、Lambda Labs等新型云（NeoCloud）提供专业化服务。托管（Colocation）运营商（Equinix、Digital Realty）供应电力与土地，半导体价值链（NVIDIA、AMD、Broadcom、TSMC、SK海力士）构成整个生态的上游。在韩国国内，Naver、KT、SK电讯、三星SDS、LG等正与政府的GPU获取项目联动扩充基础设施。

经济性与课题

AI数据中心是庞大的资本密集型产业。GPU折旧周期（通常3~5年）、电力成本占比上升、$/GPU-hour单价竞争左右着盈利能力。主要课题包括：① 电网接入排队与输配电瓶颈，② 选址·许可及居民接受度，③ 冷却水使用与碳排放，④ HBM·先进封装供应链制约，⑤ 关于投资回收的泡沫争论。

最新动向

2024~2025年最大的变化是吉瓦（GW）级园区的登场。OpenAI与甲骨文、SoftProject推进的Stargate项目，xAI的孟菲斯巨像（Colossus，10万~100万GPU规模）等是代表性案例。NVIDIA以机架为单位出货GB200 NVL72成品，引领液冷标准化，围绕OCP（Open Compute Project，开放计算项目）的机架·电力·冷却规格标准化讨论十分活跃。

电力获取竞争也进入了新局面。微软签署了三哩岛核电站重启与电力购买合同，谷歌投资了Kairos Power的SMR，亚马逊与Talen Energy签订了核电电力合同。数据中心电力消费的24/7无碳能源（CFE）匹配已成为主要指标。

在技术方面，主要趋势有：① 推理市场的快速增长以及向小型模型·端侧AI的分散，② 光互连与硅光子的引入，③ 提升冷却效率的芯粒（Chiplet）·3D封装，④ 因地缘政治出口管制，中国自研芯片（华为昇腾）以及中东（沙特·阿联酋）AI基础设施投资扩大。在监管方面，EU AI Act以及能源·环境报告义务化正在对数据中心的选址产生直接影响。

相关主题

  • [[GPU]]
  • [[生成式AI]]
  • [[英伟达]]
  • [[云计算]]
  • [[液冷]]
  • [[数据中心]]