随着大模型从大规模训练转向高频推理，企业采购 AI 算力服务器的决策逻辑正在发生变化。过去「堆 GPU 数量」的粗放思路，正在让位于按场景、按工作负载精细化的选型。本文从训练与推理两类核心场景出发，梳理企业选型时需要把握的要点。

一、先分清场景：训练看显存与互联，推理看吞吐与成本

大模型训练对 GPU 显存容量、显存带宽和卡间高速互联（NVLink、RDMA 网络）要求极高，单卡显存不足会导致模型无法装载，互联带宽不足则会造成训练效率大幅下降。因此训练型服务器通常采用 8 卡高密度整机柜架构，配套高带宽 InfiniBand 或无损以太网。

推理场景则更关注吞吐量、时延与单位 Token 成本。推理服务器对单卡算力要求相对宽松，但对内存带宽、PCIe 通道数和能效比更敏感，往往可采用性价比更高的中端 GPU，甚至通过量化压缩、批处理调度来提升利用率。

二、关键参数：不只盯着 GPU

选型时应综合评估：GPU 型号与显存、CPU 与 GPU 的配比、PCIe 通道与背板带宽、存储（训练需高速 NVMe 缓存数据）、网络（25G/100G/200G 乃至 400G 高速互联）、供电与散热（高密度 GPU 服务器普遍需液冷或高效风冷方案）。

三、整机柜与模块化交付趋势

近期英伟达推出的 DSX POD 模块化 AI 工厂，将现场部署周期从数月压缩至 14 天，反映出「提前集成、模块化交付」正成为行业趋势。对企业而言，选择具备整机柜预集成、现场快速交付能力的供应商，能显著缩短算力上线时间、降低资金占用。

四、成本核算：别忽略 TCO

除硬件采购成本外，还应计入电力成本（GPU 集群耗电巨大）、散热成本、机房改造、运维人力和软件授权。高密度算力集群的电力与制冷成本往往数倍于硬件折旧，选型时需以「单位算力成本（元/TFLOPS）」和「单位 Token 成本」为衡量口径，而非单纯比单价。

企业 AI 算力基础设施的建设是一项系统性工程，需统筹算、存、网、电、冷各环节。建议在采购前先明确业务负载类型、规模预期与预算边界，再据此匹配 GPU 型号、整机架构与交付方案，避免「为堆卡而堆卡」的资源浪费。