Kubernetes 为什么逐渐进入 AI 基础设施，传统虚拟机架构有哪些不足

发表时间： 2026-10-25 18:45:02 人气：11 次

Kubernetes逐渐进入AI基础设施，并不是因为传统虚拟机已经不能运行AI，也不是简单地因为容器比虚拟机“更快”。真正推动这一变化的，是AI工作负载开始同时面对GPU资源调度、模型服务弹性、分布式训练、节点自动扩容以及复杂的软件依赖管理。

传统虚拟机依然具有很强的价值，尤其适合租户隔离、基础设施管理和需要完整操作系统环境的场景。现在很多企业的AI基础设施实际上采用的是“虚拟机承载Kubernetes，Kubernetes再运行AI容器”的多层架构。

因此，更准确的问题不是“Kubernetes能不能取代虚拟机”，而是为什么AI工作负载越来越需要Kubernetes这样的编排层。

一、AI基础设施的问题不是只有CPU和内存

传统业务服务器比较容易理解。一台虚拟机分配若干CPU核心、内存和磁盘，应用运行在这台机器上。

AI工作负载却复杂得多。

一个训练任务可能需要4张、8张甚至更多GPU，同时要求GPU之间具有良好的互联拓扑；模型推理则可能根据请求量动态增加副本；数据处理任务可能需要高速NVMe；分布式训练还可能需要高速网络和RDMA。

这意味着AI基础设施管理的已经不是简单的“几台服务器”，而是一组相互关联的GPU、CPU、内存、网络、存储和软件资源。

Kubernetes的价值首先体现在资源编排。

Kubernetes通过Device Plugin机制，可以把GPU这类专用硬件注册为集群资源。以NVIDIA GPU为例，节点上的设备插件可以向Kubernetes暴露类似 nvidia.com/gpu 的资源，Pod再通过资源限制请求GPU。

这样，GPU就从管理员手工分配的物理设备，变成了Kubernetes调度器可以识别的一种集群资源。

二、传统虚拟机的问题并不是“虚拟化一定很慢”

这是理解AI基础设施非常重要的一点。

GPU运行在虚拟机中完全可以获得很高的性能。NVIDIA目前针对虚拟化AI环境提供了GPU passthrough等方案，并强调正确保持GPU、NIC、PCIe和NUMA拓扑对于AI训练和推理的重要性。

所以不能简单说：

虚拟机 = GPU性能差；

容器 = GPU性能好。

真正影响性能的是GPU如何分配、GPU与NIC如何连接、NUMA如何布局，以及NCCL等通信库能否看到正确的硬件拓扑。

例如NVIDIA A100的HBM显存带宽达到1.6 TB/s，但这并不意味着所有GPU数据传输都能够以1.6 TB/s运行。GPU显存、PCIe、NVLink、NIC和存储设备属于不同的数据路径。A100的不同形态本身也具有不同的互联能力。

因此，不能拿显存带宽和PCIe带宽简单做一个数字比较，就得出“虚拟机导致GPU被PCIe限制”的结论。

三、Kubernetes真正解决的是资源调度问题

AI集群最大的变化之一，是GPU开始成为需要集中调度的稀缺资源。

假设一个集群有32台GPU服务器。

某个训练任务需要8张GPU，另一个推理服务需要2张，第三个批处理任务需要4张。

如果管理员手工分配机器，很容易出现一台服务器GPU已经被占满，而另一台服务器仍然空闲的情况。

Kubernetes可以把这些GPU注册成集群资源，再结合Pod的资源请求、节点标签、亲和性、污点和容忍度等规则，把任务放到满足条件的节点上。

如果集群存在不同型号GPU，还可以通过节点标签和调度约束把任务安排到对应GPU节点。Kubernetes官方GPU调度文档也明确支持这种方式。

这对于AI基础设施非常重要，因为GPU通常比CPU昂贵得多。GPU空闲一小时和普通CPU核心空闲一小时，其经济意义并不相同。

四、训练和推理需要完全不同的扩展方式

AI训练往往是长时间运行的任务。

一个训练Job可能运行数小时甚至数天，需要固定GPU资源、稳定网络和可靠存储。

在线推理则完全不同。

白天请求量可能快速增加，晚上又迅速下降。

这时候真正需要的是根据业务负载增加或减少模型服务副本。

Kubernetes的HorizontalPodAutoscaler可以根据配置的指标调整工作负载的Pod副本数量。它本身并不天然等于“GPU自动扩缩容”，GPU利用率等指标需要通过相应的监控和指标系统接入。

如果新增Pod导致现有GPU节点没有足够资源，节点自动扩容器还可以进一步创建新的节点。

Kubernetes官方的节点自动扩容机制就是围绕“无法调度的Pod需要更多节点容量”这一过程工作的。

因此AI弹性扩展实际上通常是两层：

业务负载增加 → 增加Pod；

GPU节点容量不足 → 增加GPU节点。

两者不能混为一个“HPA自动增加GPU”的动作。

五、GPU启动速度本身也是AI基础设施的问题

容器确实通常比创建完整虚拟机更轻量，但AI服务不能只看“容器启动用了几秒”。

一个GPU推理Pod真正可以接收请求之前，还可能经历：

节点创建、操作系统启动、GPU驱动初始化、设备插件注册、容器启动、镜像拉取、Python环境初始化、模型加载以及GPU显存分配。

尤其是大型模型，真正耗时间的可能不是Docker启动，而是模型权重从存储加载到GPU显存。

因此，AI基础设施中的冷启动应该测量从“Pod Pending”到“模型真正Ready”的完整时间，而不能简单拿普通Web容器的启动速度进行比较。

六、Kubernetes网络并不会自动让GPU通信更快

原文把CNI、eBPF和Service Mesh与GPU AllReduce性能直接联系起来，这需要修正。

分布式AI训练真正关心的是GPU之间的数据交换。

在单台服务器内部，可能涉及PCIe、NVLink或NVSwitch。

跨服务器时，则可能使用高速以太网或InfiniBand，以及RDMA。

NCCL等通信库会根据硬件拓扑选择合适的通信路径。

因此GPU训练性能优化的核心通常是GPU、NIC、PCIe、NVLink、NUMA和RDMA之间的关系，而不是简单地把Service Mesh装上去。

事实上，Service Mesh主要解决的是服务网络治理、流量管理、安全和可观测性问题，并不是专门为GPU AllReduce设计的。

对于高性能GPU通信，反而需要避免不必要的网络代理和数据路径开销。

七、传统虚拟机真正需要解决的是拓扑透明性

虚拟化环境最大的挑战之一，是AI应用需要知道底层硬件拓扑。

例如一个服务器里有8张GPU。

如果其中4张GPU通过NVLink连接，而另外4张位于另一组PCIe拓扑下，那么不同GPU之间的通信成本可能不同。

NVIDIA针对虚拟化AI环境的技术文档特别强调GPU、NIC、NUMA、PCIe和NVLink拓扑信息，因为NCCL需要这些信息来选择更合理的通信路径。

所以真正成熟的虚拟化AI环境，并不是简单地“给虚拟机一张GPU”，而是要尽可能保留对底层硬件拓扑的正确认知。

这也是为什么GPU passthrough、SR-IOV、vGPU以及其他硬件加速技术会成为AI虚拟化的重要组成部分。

八、存储问题也不能简单归因于虚拟机

AI训练经常需要读取大量数据。

这时候NVMe、并行文件系统、对象存储、缓存以及GPU与存储之间的数据路径都可能成为瓶颈。

但是不能简单说“NVMe经过虚拟机后固定下降40%”。

实际性能取决于设备、文件系统、虚拟化方式、队列深度、CPU、PCIe拓扑以及应用访问模式。

如果工作负载确实受到CPU数据搬运影响，NVIDIA GPUDirect Storage提供了一条不同的数据路径，可以让支持的存储系统通过DMA直接在存储和GPU显存之间传输数据，从而减少经过CPU系统内存的bounce buffer。

这里还需要特别注意，PVC只是Kubernetes的存储抽象。PVC本身不会让GPU直接访问NVMe。

真正实现GPU与存储直接数据路径的是GPUDirect Storage等具体技术，而且它需要特定的GPU、存储、文件系统和应用条件。

九、Kubernetes并没有消灭虚拟机

这是整篇文章最应该避免的一个误解。

现实中的AI基础设施完全可能是：

物理服务器 → 虚拟机 → Kubernetes节点 → GPU容器 → AI模型。

虚拟机负责基础设施层面的隔离、标准化和生命周期管理，Kubernetes负责容器编排、服务部署和资源调度。

NVIDIA目前仍然维护和认证GPU虚拟化环境，并明确指出虚拟化对于多租户、工作负载隔离、策略控制和基础设施生命周期管理仍然具有价值。

所以Kubernetes进入AI基础设施，并不意味着虚拟机消失了。

更常见的变化是两者开始承担不同层次的任务。

十、AI基础设施最终需要的是多层资源管理

真正成熟的AI平台往往同时管理几个层次。

最底层是物理硬件，包括GPU、CPU、内存、PCIe、NVLink、NIC和存储。

上面可能存在虚拟机和Hypervisor。

再上一层是Linux和容器运行时。

Kubernetes负责Pod调度、GPU资源管理、服务部署和节点扩缩容。

NVIDIA Container Toolkit以及GPU Device Plugin负责把GPU能力连接到容器和Kubernetes。

再上面才是PyTorch、TensorFlow、推理服务器和具体模型。

每一层解决的问题不同。

因此，Kubernetes进入AI基础设施的真正原因，不是“容器比虚拟机先进”，而是AI工作负载已经从单机程序变成了需要统一管理GPU、网络、存储、模型服务和计算任务的复杂分布式系统。

传统虚拟机依然适合做基础设施隔离和资源承载，而Kubernetes则提供了更高一层的编排能力。

最终的工程目标也不是单纯追求容器启动快几秒，而是让昂贵的GPU能够被正确发现、合理调度、稳定运行，并在训练、推理和批处理任务之间尽可能减少长期闲置。

从这个角度看，Kubernetes并不是虚拟机的简单替代品，而更像是AI基础设施进入大规模运营以后所需要的一层资源控制和应用编排系统。真正成熟的架构，往往不是在“虚拟机还是Kubernetes”之间二选一，而是根据隔离、性能、GPU拓扑、弹性、成本和运维要求，把物理机、虚拟机、Kubernetes和GPU容器组合成一个完整的平台。

分享 Facebook | X | Whatsapp | Linkedin

捐助（Paypal）: https://www.paypal.me/observeccp
订阅中国观察电报 Telegram : https://t.me/s/ObserveCCP

责任编辑：雨轩来源：中国观察转载请注明作者、出处並保持完整。

今日热点:

更多新闻...

近期焦点:

推荐文章

胡春华缺席长征纪念大会五中全会前高层动向再受关注

中共二十届五中全会即将召开之际，全国政协副主席胡春华的公开活动情况引发外界关注。10月22日，北京人民大会堂举行纪念中国工农红军长征胜利90周年大会，习近平...

2026年10月23日　 20180

阅读全文 →

感冒时喝什么茶更合适？生姜、薄荷、洋甘菊等茶饮的作用与注意事项

感冒期间喝一杯温热的茶，是很多人都会采用的舒缓方式。茶水本身不能直接治愈感冒，但温热液体能够补充水分，并在一定程度上缓解鼻塞、咽喉不适等症状。部分草本茶...

2026年8月16日　 17340

阅读全文 →

AI科技股再遭重挫高投入时代开始面对回报考验

发表：2026-10-22 10:24:52 | 更新：2026-10-22 10:24:52 人气: 33422

【中国观察2026年10月22日讯】全球人工智能概念股在短暂反弹后再度遭遇抛售，半导体、数据中心及大型科技公司股价承压。美国纳斯达克指数期货走低，亚洲科技股同步下跌，投资者重新审视人工智能产业的投资前景。Meta、特斯拉和半导体设备制造商泛林集团（Lam Research）的最新业绩与支出计划，未能消除市场疑虑；中东局势推动国际油价上涨，也给通胀和企业融资成本带来新的压力。路透社、美联社及道琼斯通讯社的当日报道均将 AI 投资回报担忧、企业财报反应和能源价格上涨列为市场下跌的重要因素。

这轮下跌并不意味着人工智能需求突然消失。真正发生变化的，是资本市场评估 AI 企业的方式。过去几年，投资者愿意为未来增长支付高昂价格，只要企业宣布扩大数据中心、采购芯片、建设算力基础设施，股价便可能受到追捧。如今，市场开始追问更具体的问题：新增投资能够带来多少收入，收入能否转化为利润，利润能否覆盖融资成本，以及投入的资金究竟需要多少年才能收回。当这些问题没有得到令人信服的回答时，增长故事便很难继续支撑原有估值。

Meta 的情况体现了这种矛盾。公司在人工智能领域继续加大投入，希望通过新模型和 AI 产品扩大业务能力，但庞大的资本支出也意味着更高的资金需求。投资者既可以把这些投入理解为争夺未来市场的必要行动，也可以担心企业为了维持技术竞争力而陷入持续扩张、回报滞后的局面。特斯拉公布的资本支出计划则引发另一种疑虑：当企业调整投资预算时，市场会重新判断相关设备、芯片和基础设施需求的增长速度。企业增加支出，投资者担心回报不足；企业减少支出，投资者又担心供应商订单放缓。当前市场对 AI 产业的要求明显提高，单纯宣布扩大投资已经不够。

半导体设备行业的消息进一步放大了这种不确定性。泛林集团对供应链限制及未来季度展望的说明，引起投资者对设备交付和产业链兑现能力的关注。AI 芯片需求旺盛，并不代表整个产业链能够毫无阻碍地转化为销售收入。设备、零部件、电力、冷却系统和数据中心建设都有各自的交付周期。即使最终需求保持强劲，供应环节出现瓶颈，也可能影响企业短期收入和利润表现。对估值已经很高的公司而言，市场往往不会耐心等待问题逐步解决，而会先下调预期，再观察后续业绩能否证明这种调整过度。

融资成本则是另一条不能忽略的主线。大型科技公司可以利用经营现金流支持部分投资，但许多数据中心开发商和新兴算力企业需要借助贷款、债券或增发股票筹集资金。当利率维持高位、债权人要求更高回报时，建设项目的财务负担便会增加。即使客户合同金额庞大，也不能直接等同于已经实现的收入，更不能视为可自由支配的利润。如果项目建设延期、设备成本上升，或者客户需求未能按计划兑现，企业可能同时承受资本支出和债务偿付压力。市场对高负债 AI 基础设施企业的审视，正是这轮调整中值得重视的变化。

油价上涨又为科技股增加了一层压力。中东局势恶化可能影响能源供应，并通过运输、制造和电力成本传导至企业与消费者。如果能源价格持续高企，通胀回落就可能更加困难，央行降息空间也会受到限制。高估值科技股对利率预期尤其敏感，因为其股价很大程度上依赖未来多年盈利的折现价值。投资者要求的回报率上升，即使企业未来盈利预测没有立即下调，当前估值也可能下降。需要强调的是，油价短期上涨并不必然导致利率上升，最终仍取决于通胀持续时间、经济数据和央行政策；但它确实增加了市场的不确定性。

未来一段时间，AI 科技股可能出现明显分化。拥有稳定客户、较强现金流、明确订单和合理资本回报率的企业，有机会在调整后重新获得资金青睐；依靠持续融资维持扩张、盈利路径不清晰或估值远超当前业绩的公司，则可能面临更长时间的压力。芯片制造商、设备供应商、服务器制造商、数据中心运营商和 AI 应用企业虽然都与人工智能有关，却不应被视为同一种投资。它们所处的产业环节不同，利润结构、资本需求和风险来源也存在显著差异。

以 Celestica（CLS）为例，其服务器、网络设备及电子制造业务与 AI 基础设施扩张直接相关。判断其后续走势，重点应放在订单增长、利润率、交付能力及管理层对未来需求的指引，而不能仅凭整个 AI 板块下跌就认定公司经营已经恶化。与此同时，Hut 8（HUT）既涉及比特币挖矿，也在推进数据中心和高性能计算业务，其股价除了受 AI 产业估值影响，还受到比特币价格、融资安排、项目建设进度及资本支出的共同影响。两家公司都可能受到板块抛售冲击，但风险结构并不相同，投资者不能只根据跌幅判断哪一只更便宜。

从市场走势看，未来存在三种可能。第一，如果后续财报证明 AI 需求仍然强劲，企业能够维持利润增长，油价回落，市场可能逐步恢复信心，近期下跌便可能演变为估值修正后的反弹。第二，如果收入增长依然可观，但资本支出继续上升、利润率改善有限，科技股可能经历较长时间的震荡，资金转向现金流更稳定、估值更合理的企业。第三，如果融资条件进一步收紧，数据中心建设延期，或者主要客户开始调整投资预算，市场就可能继续下调盈利预期，推动更多高估值股票下跌。现阶段，尚无充分证据证明 AI 产业已经进入全面衰退，但也不能排除估值调整继续深化的可能。

投资者需要特别避免把一次反弹当成下跌结束的证明。剧烈波动中，空头回补、技术性买盘和短期利好都可能造成快速上涨，但持续反转通常需要更扎实的业绩和资金面支持。观察后续行情，应同时关注主要科技公司的财报指引、半导体订单、数据中心投资计划、债券融资成本、油价和通胀数据。如果股价反弹而盈利预期不断下调，风险仍然存在；如果股价企稳的同时，企业现金流和订单质量得到验证，市场才更有理由重新建立信心。

人工智能仍可能成为长期重要的技术产业，但技术革命并不保证所有相关股票都能获得丰厚回报。铁路、电信和互联网的发展历史都表明，基础设施需求可以长期增长，投资者却未必能从每一家参与者身上获利。真正决定一家企业能否穿越周期的，不只是它是否站在技术浪潮之中，还包括它以什么成本取得资本、能否有效执行项目，以及最终能否把技术需求转化为可持续利润。当前 AI 科技股的剧烈波动，正是市场开始重新计算这笔账的表现。未来行情究竟是短期震荡还是更深层次的调整，将取决于企业能否用真实经营成果证明，今天投入的巨额资金能够在合理期限内创造足够回报。

本文由中国观察編輯部原创。为了促进信息自由传播，本平台原创内容全面开放转载，无须申请授权，只需注明来源、保留原文链接，即可全文转载、引用、翻译。我们不追究版权，只在乎公正的传播。

捐助（Paypal）: https://www.paypal.me/observeccp
订阅中国观察电报 Telegram : https://t.me/s/ObserveCCP

最近文章: