滚动新闻 →
14日面试13日出结果 西安高校被质疑招聘萝卜岗 美国废奴运动如何影响法律制度 川普拒绝对伊朗让步 美伊僵局持续升级 美国查获价值数千万美元中国假货 三名嫌疑人被捕 美国向厄瓜多尔移交拦截艇 旨在遏制毒品走私 韩国高考AI作弊事件引改革讨论 美国国会圣诞树完成3200公里旅程抵达华府 香港航班引擎故障紧急迫降 146人安全撤离 威廉·佩恩如何建立宾夕法尼亚 比亚迪Ti7遭欧盟禁售 涉及1000万欧元罚款 美大使馆:一次查获300吨中国造冰毒前体 台北市长选战白热化 沈伯洋力推改革蒋万安坚守政策 纽约华男涉近1.5亿美元诈骗案获刑20年 印尼海域发生6.8级地震 澳大利亚多地居民感知到震动 反腐行动延伸至民营企业 顺丰八马茶业遭军方暂停采购资格 霍尔木兹海峡油轮遇袭 美以呼吁对伊采取军事行动 屋顶漏水如何判断漏水位置 波罗的海局势升级 俄货船遭无人机袭击 混合并行为什么适合大型模型训练,数据并行与模型并行应该怎样组合 一周经济回顾:战略误判 Google Cloud 多云架构如何设计,避免企业过度依赖单一云平台 SaaS 数据库 Migration 应该怎样管理,避免开发环境和生产环境不一致 乌被逼停战?俄突然发动暗杀 川普翻脸 习吃重拳 青海德令哈市发生5.6级地震 机场启动疏散程序 内蒙女学生武术零基础比赛获亚军 知情者揭内幕 卞相壹绝境逆转李钦诚 首夺三星杯冠军 雪佛龙在希腊爱奥尼亚海展开油气勘探 电脑打开多个程序就卡死,内存容量不足和内存硬件故障怎么区分 欧洲病假年损失超8000亿欧元 各国差异显著 中国女博士美机场遭拘押 护照逾期引争议 Windows 11 DNS 缓存怎么清理?解决部分网络访问问题的方法 PHP 搜索功能怎么做?从关键词输入到 MySQL 安全查询完整实现 台股剧烈震荡 金管会11月23日起实施5项禁空令措施 中国流浪汉增多 失业者沦落街头 诉说背后心酸 台国安基金介入护盘 呼吁投资人理性看待市场波动 从唐诗宋词看古人的日常生活 李子柒获任四川省文联副主席 舆论热议其身份转变 欧盟五国将非法移民遣返至卢旺达 台南幼儿园教师涉嫌重击3岁女童 教育局启动调查 针灸为什么成为中国传统医学的重要组成部分

Google Cloud Storage 上传大文件有哪些方法,断点续传和并行上传应该如何选择

发布时间: 2026-10-10 02:24:02    最后更新: 2026-11-20 17:21:17    阅读: 371    约8 分钟阅读    
Google Cloud Storage 上传大文件有哪些方法,断点续传和并行上传应该如何选择
图片说明:示意图   图片来源:Public Domain(公有领域)
向 Google Cloud Storage 上传一个几GB甚至几十GB的大文件时,真正需要考虑的并不是简单地选择“断点续传还是并行上传”。Google Cloud Storage本身已经提供了可恢复上传机制,而并行上传则属于另一层面的性能优化。两者并不是互相排斥的技术,实际工程中完全可以同时使用:先保证上传任务能够在网络中断后恢复,再根据网络带宽、CPU、磁盘和对象大小决定是否进行并行传输。

对于单个大文件,最重要的机制通常是Resumable Upload,也就是可恢复上传。上传开始以后,客户端会建立一个上传会话,并持续把对象的数据发送到Google Cloud Storage。如果网络在传输过程中突然中断,客户端不需要从零开始重新上传整个文件,而可以继续此前尚未完成的部分。这一点对于几十GB甚至更大的文件尤其重要,因为一次完整传输可能持续很长时间,任何一次短暂的网络故障都可能让从头重传变得非常昂贵。

可恢复上传的价值主要在可靠性,而不是自动把一条网络连接变成多条高速通道。假设服务器上传一个20GB文件,网络已经传输了18GB之后连接断开,如果客户端能够恢复原来的上传会话,就没有必要重新发送已经成功传输的数据。对于公网环境、跨地区网络或者长时间运行的数据迁移任务,这种能力往往比单纯追求峰值速度更加重要。

Google Cloud Storage客户端工具通常已经对这类机制进行了封装,因此普通应用没有必要自己设计一套“每5MB保存一次上传状态”的系统。使用gcloud CLI、Google Cloud Storage客户端库或者Google提供的其他工具时,应优先了解对应工具是否已经支持resumable upload以及自动重试。自己重新实现上传状态管理,反而容易引入会话过期、重复写入、校验失败以及异常清理等问题。

如果目标不仅是可靠,而且要把一条高速网络的带宽尽可能利用起来,就需要考虑并行上传。这里的“并行”可以发生在两个层面。第一种是同时上传多个不同文件。例如数据迁移任务中有几十万个对象,与其让程序一个文件完成以后再上传下一个,不如建立适当数量的并发任务,让多个对象同时占用网络带宽。第二种则是把一个大型文件拆成多个部分,同时上传这些部分。

Google Cloud Storage还支持Parallel Composite Upload,也就是并行复合上传。这种方法会把一个较大的源文件拆成多个组件对象,然后并行上传这些组件,最后通过Compose操作把它们组合成一个新的对象。对于拥有高速网络和足够本地I/O能力的环境,这种方法能够提高大文件上传吞吐量。但它并不是免费的性能魔法,因为系统需要创建临时组件对象,最后还要执行组合操作,因此会增加请求数量和对象管理复杂度。

并行复合上传尤其需要注意对象大小和底层存储性能。假设网络可以达到数Gbps,但服务器本地磁盘读取只有几百MB/s,那么把文件拆成更多并发任务并不会凭空创造数据。相反,如果本地NVMe、CPU、网络接口以及GCS之间的链路都足够快,适当增加并发度才有可能真正提高吞吐量。

因此,判断是否需要并行上传,不能简单采用“150MB以下标准上传、150MB以上分段、5GB以上并行”这样的固定规则。不同网络、机器、客户端和文件类型之间差异非常大。一个在千兆公网环境中表现不错的分块大小,放到10Gbps甚至100Gbps的数据中心网络中可能完全不合适。正确的方法应该是基准测试:改变并发数、组件大小和传输工具,然后观察实际吞吐量、CPU占用、磁盘I/O和失败重试情况。

还需要特别区分“并行上传”和“断点续传”。它们解决的是两个不同的问题。断点续传主要解决的是“传输中断以后怎么办”,并行上传主要解决的是“怎样提高有效吞吐量”。一个任务完全可以既使用可恢复机制,又采用适当的并发策略。真正成熟的上传程序通常会同时具备自动重试、状态恢复、校验和以及并发控制。

校验同样不能忽略。大文件传输过程中,即使HTTP请求最终返回成功,也应该确保上传的数据符合预期。Google Cloud Storage提供对象校验相关机制,客户端和服务端可以利用校验和检测数据完整性。对于企业数据迁移、备份和归档任务,建议保留源文件的哈希或校验信息,并在上传流程中建立可验证的数据完整性链路。

网络位置也会影响最终速度。如果应用服务器、用户或者数据处理集群距离存储桶所在位置较远,网络往返时间和跨区域链路都可能影响性能。对于持续的大规模数据迁移,应该同时考虑存储桶位置、计算资源位置、网络出口能力以及数据处理架构,而不是仅仅调整上传线程数量。

并发也不是越高越好。假设服务器开100个上传线程,网络带宽已经达到上限,那么继续增加到500个线程可能只会带来更多TCP连接、上下文切换、内存消耗和重试压力。如果每个线程同时读取本地磁盘,还可能把存储设备的随机I/O压力推高。实际部署中应该寻找一个吞吐量趋于饱和、CPU和磁盘仍有余量、失败率没有明显增加的并发区间。

如果使用Google Cloud CLI或客户端库,还需要注意工具本身的并发和重试机制。对于批量上传,大量小文件和少量超大文件的优化方法并不一样。大量小文件通常受到请求数量、文件元数据和并发调度影响;单个超大文件则更容易受到网络带宽、磁盘读取、连接稳定性和传输吞吐量影响。把两种任务使用完全相同的参数,通常不是一个好主意。

安全方面,Google Cloud Storage上传本身可以通过HTTPS保护传输过程,而身份认证和授权则应该通过Google Cloud IAM等机制控制。需要让第三方直接上传时,可以根据业务架构使用适当的签名URL或其他临时授权机制,而不是简单地把长期有效的服务账号密钥放在客户端程序里。上传日志和失败记录也应该纳入监控体系,尤其是长期运行的数据迁移任务。

如果把整个问题压缩成一个工程决策流程,可以这样理解:单个大文件首先考虑Resumable Upload,确保网络中断不会让任务从零开始;当单连接无法充分利用可用带宽时,再评估并行传输;如果确实需要把单个超大文件拆开并行处理,可以进一步评估Parallel Composite Upload;批量文件迁移则重点优化并发任务调度。最终参数不要根据一个固定文件大小数字拍脑袋决定,而应该通过实际网络和硬件环境进行基准测试。

大文件上传真正需要优化的对象,其实不是某一个API,而是整条数据通路:源文件从磁盘读取出来,经过CPU和客户端软件处理,再进入网络接口,经过互联网或云网络,最后写入Google Cloud Storage。任何一个环节成为瓶颈,GPU服务器一样昂贵、100Gbps网络一样漂亮,最后都可能只得到一个并不漂亮的上传速度。好的传输架构不是把并发线程堆到最大,而是在可靠性、吞吐量、资源消耗和失败恢复之间找到实际可用的平衡。
作者头像
本文作者
程越(Kevin Cheng)
IT与人工智能技术资深编辑

喜欢这篇报道?

使用下面的功能,方便以后继续阅读和分享 MNewsTV

设为 Google 新闻首选来源 让 Google 新闻优先显示 MNewsTV 的最新报道 ›
★ 我的收藏 查看已经收藏的文章
关于文章收藏 收藏不需要注册帐号,收藏信息仅保存在当前浏览器中。 删除收藏请进入「我的收藏」进行管理。
分享这篇报道

捐助(Paypal): https://www.paypal.me/observeccp
订阅中国观察电报 Telegram: https://t.me/s/ObserveCCP