滚动新闻 →
马斯克随川普抵达深圳 黄仁勋却从访华名单消失 英伟达风波改变美国科技巨头的中国之行 湖南慈利县给八旬老人每月发5元高龄补贴 地方财政压力、养老保障差距与基层政策形式主义引发质疑 川普抵深获习亲自迎接 三国峰会引国际关注 中国疫情死亡率激增近五倍 李钦诚首局力克卞相壹 三星杯决赛先拔头筹 英伟达中国芯片转运风波牵出高层关系 浑水做空背后 Puri与超微前高管的利益冲突疑云 泰国审计大楼震塌事故 中共国企主管获刑三年 美情报高层警告伊朗威胁升级 或对美本土发动袭击 黄仁勋辞职风暴升级 英伟达董事会拒绝复职背后牵出中国芯片转运调查与美国国家安全危机 兰州监狱四名狱警殴打服刑人员致死仅获刑5至11年 十年隐瞒真相背后暴露中共监狱权力失控与司法问责困境 深圳网约车司机透析期间坚持跑车引关注 川普菲律宾之行深化美菲合作:承诺遇事可随时致电 中美科技博弈升级 芯片与稀土博弈引关注 深圳APEC背后的经济争夺 中共试图把中国制造优势变成全球依赖 欧美去风险战略正在改变游戏规则 菲律宾总统以炸鸡款待川普,外交名片成外交工具 墨西哥总统经济舱赴APEC引热议 中国网友点赞节俭作风 也门政府将胡塞武装列为恐怖组织并展开全面打击 中国向秘鲁援助1.5亿人民币 民生困境引发舆论争议 旅美人士遭威胁 报警指涉跨境镇压 汽车使用劣质燃油后出现问题怎么办 美中俄会谈选址神秘山庄 川普下榻酒店成安保重地 乌克兰称武器技术跻身全球前三 川普与普京周四举行双边会晤 高雄参议院听证会回应海军改革议题 美媒披露:英伟达前CEO黄仁勋协助中企规避芯片出口管制 非裔众议员或成首位黑人众议院议长 日本美妆巨头DHC遭遇数据泄露 超2000万用户信息外泄 拜登回忆录披露五次军事保台表态 真心承诺引关注 中国留学生涉嫌为中共拍摄美国机场 撒谎被羁押候审 民主党参议院席位大逆转 创68年翻转纪录 A股低价股数量激增 5家公司跌破1元面临退市风险 工行下岗职工维权20年 养老金问题仍未解决 美国关键系统频现故障 卢比奥称暂无网络攻击迹象 AI技术助力黑客攻击升级,沈荣钦:防御体系面临新挑战 美国政府悬赏千万美元追查缅甸电诈园区洗钱网络 川普政府持续推动中国光模组禁令 美光通讯股受提振 美国司法部判处伊朗特工27年半监禁 密谋暗杀川普案曝光 中方接待规格遭日方批评 太失礼引争议 黄仁勋辞职后 英伟达H200芯片销售政策转向 朝鲜核设施扩建引担忧,核武材料生产持续扩大 APEC晚宴合照曝光 台湾代表与日本首相被安排至后排

Kubernetes 多集群为什么适合大型 AI 平台,多个 GPU 集群如何统一管理

发布时间: 2026-10-29 11:00:02    最后更新: 2026-11-16 10:45:43    阅读: 76    约7 分钟阅读    
Kubernetes 多集群为什么适合大型 AI 平台,多个 GPU 集群如何统一管理
图片说明:示意图   图片来源:Public Domain(公有领域)
Kubernetes多集群为什么适合大型AI平台 多个GPU集群如何统一管理

对于大型AI平台来说,当GPU数量从几十张增加到数百甚至数千张以后,真正困难的往往已经不是“如何让Kubernetes使用GPU”,而是如何同时管理多个GPU集群。不同集群可能拥有不同型号的GPU、不同显存容量、不同网络拓扑,甚至分布在不同云区域和数据中心。如果所有计算资源都塞进一个Kubernetes集群,控制面规模、故障影响范围、升级复杂度以及资源隔离都会逐渐成为问题,因此多集群架构开始具有实际价值。

需要先区分一个概念:Kubernetes多集群并不意味着多个集群天然组成一个巨大的GPU资源池。每个Kubernetes集群仍然拥有自己的API Server、Scheduler、节点和资源状态。所谓“统一管理”,通常是在集群之上增加一个平台控制层,由它收集各集群的资源信息,再决定一个训练任务、推理服务或者批处理任务应该提交到哪个集群。

在单个GPU集群内部,Kubernetes负责完成GPU资源的声明和Pod调度。NVIDIA官方Device Plugin可以将GPU暴露为Kubernetes资源,例如常见的nvidia.com/gpu,同时还可以提供GPU健康状态和相关节点信息。NVIDIA GPU Operator进一步把驱动、Container Toolkit、Device Plugin、GPU Feature Discovery以及监控等组件的部署和管理自动化。

这意味着GPU调度首先发生在集群内部。平台可以通过Node Label、Taint、Toleration、Node Affinity等机制区分不同GPU节点。例如A100、H100、H200或者其他型号可以通过节点标签进行分类,训练任务根据显存容量、GPU型号或者其他资源要求选择合适的节点。对于支持GPU分区的硬件,还可以使用MIG等机制进一步细分GPU资源。较新的Kubernetes和NVIDIA生态也开始使用Dynamic Resource Allocation(DRA)来实现更加灵活的设备选择。

但是,当平台拥有多个GPU集群以后,问题就从“Pod应该放在哪个节点”变成了“整个任务应该放在哪个集群”。这通常需要增加一个集群级调度层。这个调度层可以维护Cluster A、Cluster B、Cluster C的资源目录,例如记录每个集群拥有多少GPU、GPU型号、剩余显存、GPU利用率、节点状态、网络条件、区域以及当前训练队列长度。

用户提交一个训练任务后,上层平台首先根据任务需求筛选集群。例如一个模型要求8张具有高速GPU互联的GPU,那么普通GPU节点即使有大量空闲资源,也可能不适合这个任务。平台应该先选择满足硬件和拓扑要求的集群,然后再把工作负载提交到目标集群内部,由该集群自己的Kubernetes Scheduler完成具体节点选择。

因此,多集群架构实际上形成了两级调度。第一层负责“选哪个集群”,第二层负责“选这个集群里的哪个节点”。如果缺少第一层控制逻辑,把多个Kubernetes集群简单放在一起,并不能自动实现跨集群GPU调度。

网络也是大型AI平台必须认真处理的问题。不同集群之间如果只是部署独立的训练任务,通常没有必要让所有Pod形成一个巨大的二层网络。但如果训练任务需要跨节点、跨集群进行大量GPU通信,网络设计就会直接影响训练效率。尤其是分布式训练涉及高速GPU互联、RDMA以及高带宽低延迟网络时,把一个训练作业拆到不同集群可能产生额外网络开销,因此很多平台会优先保证一个大型训练作业在同一个集群甚至同一组高性能节点内完成。

监控体系则需要从单集群指标提升到整个GPU资源池。Prometheus可以收集集群和工作负载指标,NVIDIA生态还可以通过DCGM相关组件获得GPU监控数据。平台需要同时观察GPU利用率、显存使用、温度、功耗、节点健康状态、Pod Pending时间、训练队列长度以及任务实际吞吐量。单纯看到“GPU利用率90%”并不能证明资源调度就是合理的,因为不同模型的计算强度、显存访问和通信开销差异很大。

自动扩容同样需要区分Pod和GPU节点。Kubernetes的HPA主要负责根据指标调整工作负载的Pod数量,并不是一个跨集群GPU节点调度器。对于GPU训练平台,更常见的做法是由任务队列或外部指标触发工作负载扩展,再由节点自动扩容系统提供实际GPU节点。Kubernetes目前也支持HPA使用自定义和外部指标;在新的Kubernetes版本中,HPA还支持基于合适的外部指标将工作负载缩减到零,这对于成本很高的GPU任务尤其有意义。

安全隔离同样不能简单理解为“加一个NetworkPolicy就完成了跨集群安全”。每个集群仍然需要独立的RBAC、Service Account、网络策略、密钥管理和API访问控制。上层平台则需要决定哪些用户可以提交任务到哪些GPU集群,以及哪些项目可以使用高成本GPU。这样既可以实现租户隔离,也可以避免普通任务误占用昂贵的训练资源。

多集群最大的价值其实并不是把所有GPU“拼成一台超级计算机”,而是降低大型AI基础设施的故障半径和运维复杂度。一个集群进行Kubernetes升级、GPU驱动升级或者网络维护时,其他集群仍然可以继续运行任务。不同GPU型号也可以按照业务需求进行分工,例如一个集群负责大模型训练,另一个集群负责推理,还有集群专门处理低成本批处理任务。

当然,多集群也会增加系统复杂度。平台必须处理集群状态同步、任务重试、镜像分发、身份认证、日志和指标聚合、跨集群网络以及数据访问等问题。尤其是大型模型训练对数据和GPU之间的距离非常敏感,如果为了追求“资源利用率”而频繁把任务分散到不同集群,最终可能因为数据传输和GPU通信成本抵消调度带来的收益。

因此,大型AI平台更合理的架构通常不是简单地把多个Kubernetes集群连接起来,而是在Kubernetes之上建立统一的资源与任务管理层。它负责知道“哪些集群有什么GPU、哪些资源现在可用、哪个任务需要什么硬件”,而每一个Kubernetes集群继续负责自己的节点调度、Pod生命周期和本地资源管理。

当GPU规模继续增长以后,真正需要优化的已经不只是Kubernetes本身,而是整个GPU资源生命周期。从任务排队、集群选择、节点启动、GPU分配、数据准备到训练完成,每一个环节都可能成为瓶颈。多集群架构的意义,就是把这些不同规模、不同型号、不同地点的计算资源纳入统一控制体系,同时保留每个集群独立运行和故障隔离的能力。
作者头像
本文作者
程越(Kevin Cheng)
IT与人工智能技术资深编辑

喜欢这篇报道?

使用下面的功能,方便以后继续阅读和分享 MNewsTV

设为 Google 新闻首选来源 让 Google 新闻优先显示 MNewsTV 的最新报道 ›
★ 我的收藏 查看已经收藏的文章
关于文章收藏 收藏不需要注册帐号,收藏信息仅保存在当前浏览器中。 删除收藏请进入「我的收藏」进行管理。
分享这篇报道

捐助(Paypal): https://www.paypal.me/observeccp
订阅中国观察电报 Telegram: https://t.me/s/ObserveCCP