图片说明:示意图
图片来源:Public Domain
【中国观察2026年11月18日讯】
人工智能产业正在出现一项可能影响未来数年芯片投资和数据中心建设的新技术变化。微软研究团队开发的BitNet低比特大语言模型推理框架,展示了在普通CPU平台上运行大型模型的能力。在微软公开的技术测试中,经过专门优化的BitNet推理内核,在x86处理器上的速度最高达到传统FP16 CPU推理基准的6.17倍,部分测试场景的每Token能耗下降82.2%。研究团队还展示了在单一CPU系统上运行1000亿参数BitNet模型的实验结果。
这项技术引起关注的原因,并不只是让个人电脑有机会运行更大的语言模型。它触及了AI产业过去几年形成的一项重要投资假设:随着模型规模和用户数量不断增长,企业必须持续购买大量高性能GPU,建设大型数据中心,才能满足AI计算需求。如果低比特模型能够在CPU上完成越来越多的推理工作,那么AI计算的硬件配置、数据中心投资结构、云服务成本以及芯片厂商的收入来源,都可能发生变化。
然而,把BitNet直接解读为NVIDIA GPU时代即将结束,同样缺乏技术和财务证据。AI训练与AI推理是两种不同的计算任务,CPU替代部分推理工作,并不意味着GPU训练需求同步消失。更重要的是,GPU厂商也在不断改进推理效率,降低每个Token的成本。真正的产业变化可能不是GPU被CPU取代,而是AI计算开始按照任务类型重新分配。
一、BitNet的技术突破究竟在哪里
微软的BitNet b1.58采用一种与传统大语言模型不同的权重表达方式。普通FP16模型通常使用16位浮点数存储模型权重,而BitNet b1.58的每个权重只取三个可能值:-1、0和+1。
三个状态在信息理论上需要约1.585比特表示,因此被称为1.58-bit模型。
这意味着模型不再需要为每个参数保存传统16位浮点数。理论上,100亿参数模型的权重存储量可以从FP16格式约20GB,降低到约1.98GB。若按实际推理内核采用的2-bit权重打包方式计算,则约为2.5GB。1000亿参数模型对应的理论存储量分别约为19.75GB和25GB。
这还没有计算模型运行所需的其他内存,包括注意力机制产生的KV Cache、激活值、上下文数据、运行时缓存和系统开销。模型参数占用的内存,并不等于整台电脑运行模型所需的总内存。
BitNet真正重要的地方,在于它不仅减少了权重存储,还改变了计算方式。传统矩阵运算需要大量浮点乘法,而三值权重可以通过专门的整数运算、查找表和加法操作完成部分计算。微软开发的bitnet.cpp正是针对这一类模型设计的推理软件框架。
它包含I2_S、TL1和TL2等专门优化内核。不同内核采用不同的权重打包、解码和查表计算方法,在模型内存占用、CPU线程数量和运行速度之间作出不同取舍。
这里必须区分两个概念。BitNet b1.58是模型架构和训练方法,bitnet.cpp则是针对这类模型优化的推理软件。不能把它理解成任何普通FP16模型都可以直接转换成三值权重,并且在完全不损失模型能力的情况下获得相同效果。
微软论文所说的lossless inference,主要是指特定BitNet模型在优化内核下的推理结果可以与相应的高精度计算实现保持一致。这不等于把任意已经训练完成的FP16模型压缩成1.58比特后,仍然能够保持原来的全部知识和推理能力。
二、1000亿参数CPU测试,真正的实验结果是什么
社交媒体传播最广的说法,是普通电脑只用一颗处理器就能运行1000亿参数模型,而且速度提升6.17倍。
这句话把几组不同实验结果拼在了一起。
微软2024年10月发布的技术论文《1-bit AI Infra: Part 1.1, Fast and Lossless BitNet b1.58 Inference on CPUs》,实际使用了两套硬件平台:
一套是配备Apple M2 Ultra处理器和64GB内存的Mac Studio;另一套是配备Intel Core i7-13700H处理器、14个核心、20个线程和64GB内存的Surface Laptop Studio 2。
在Apple M2 Ultra上,BitNet 1000亿参数模型测试速度达到每秒6.58个Token。这个速度已经进入一般人阅读文字的速度区间,说明大型低比特模型确实有机会在CPU系统上进行本地推理。
Intel平台也进行了1000亿参数模型测试,但速度约为每秒1.70个Token。它并没有达到Apple M2 Ultra的水平。
更关键的是,论文中的6.17倍提速,是Intel i7-13700H在13B模型上的BitNet推理速度,与同平台FP16基准比较得出的结果。它不是1000亿参数模型的速度提升比例。Intel平台在1000亿参数规模下没有可用的FP16对照数据,因此不能声称1000亿参数模型也提升了6.17倍。
还有一个更重要的技术限定:论文附录明确说明,测试使用的模型规模配置属于研究用途的dummy setups,目的是展示bitnet.cpp推理内核的性能。论文还说明,相关演示模型并非由微软训练或发布。
这意味着,1000亿参数测试证明的是推理框架处理大型低比特模型结构的可行性,而不是微软已经推出一款经过完整训练、在复杂知识、数学、编程和商业任务上经过全面验证的1000亿参数产品。
微软后来发布的首款官方BitNet b1.58模型BitNet-b1.58-2B-4T,规模约24亿参数,使用4万亿Token训练。这才是更适合用来观察官方模型实际能力的产品。
这一区别对于投资分析非常重要。硬件能够装下1000亿参数,不代表这个模型已经具备商业竞争力;能够每秒生成几个Token,也不代表它可以满足数千名用户同时访问的云服务需求。
三、每Token能耗下降82.2%,对计算成本意味着什么
比单纯的速度提升更值得关注的是能耗。
微软论文没有只比较模型生成速度,还测量了每生成一个Token所消耗的能量,单位为焦耳(J/Token)。
在Apple M2 Ultra平台上,70B模型使用传统FP16推理基准时,每Token能耗为28.02焦耳;使用BitNet优化内核后下降到8.42焦耳,减少70%。
在Intel i7-13700H平台上,7B模型传统推理基准每Token能耗为11.305焦耳,BitNet优化后下降到2.017焦耳,减少82.2%。
这些数据揭示了一个值得企业计算部门重视的变化:AI推理成本不仅取决于芯片购买价格,还取决于每个Token需要消耗多少电力,以及一台机器在单位时间内能够处理多少请求。
可以进一步做一个简单的电费测算。
假设电价为每千瓦时0.10美元,只计算论文测得的处理器能耗,不计算服务器采购、折旧、内存、网络、制冷和运维成本,那么每百万Token对应的电费如下:
这不是商业云服务的实际报价,而是把论文中的能耗数据换算成电费后的示例。不同地区电价、处理器实际功耗、服务器负载和设备利用率都会改变最终成本。
尤其不能把这组CPU数据直接拿去与NVIDIA数据中心GPU的商业每Token价格比较。GPU服务器的成本需要考虑整机采购、加速卡利用率、并发量、网络、存储、制冷和服务等级;CPU实验的焦耳数据也没有包含完整数据中心成本。
但是,企业真正关心的计算成本问题已经出现了:如果某些AI任务使用CPU就能达到足够的响应速度,而且每Token能耗明显降低,企业还有多少必要为这些任务购买昂贵的GPU?
四、为什么CPU可能接管一部分AI推理工作
要理解BitNet的产业影响,必须先区分AI训练和AI推理。
AI训练是让模型从海量数据中学习,通过反向传播和参数更新不断调整权重。大型模型训练需要大量并行计算,涉及矩阵乘法、梯度计算、激活值和参数更新,对计算吞吐量、显存带宽以及多卡互联有很高要求。
AI推理则是模型训练完成后,接受用户问题并生成回答。它需要读取模型权重,处理输入上下文,逐步生成Token。
这两种工作负载的硬件要求并不完全相同。
GPU拥有大量并行计算单元和高带宽显存,特别适合大规模矩阵运算,也能够同时处理大量用户的推理请求。CPU则拥有更灵活的通用计算能力,在某些小批量、低并发、内存容量要求较高的任务中,可能具有成本和部署优势。
BitNet改变的是推理环节的部分计算要求。权重变得非常紧凑后,CPU不必像过去那样承担巨大的浮点运算和内存传输负担。专门优化的内核能够让CPU更有效地执行低比特计算。
未来可能出现这样的数据中心结构:
GPU负责大型模型训练、高并发推理和复杂计算;CPU负责部分低比特模型推理、AI代理任务协调、检索、数据处理和企业内部应用;ARM处理器负责低功耗云服务器和边缘设备;本地NPU则处理个人电脑和移动设备上的部分AI任务。
这是一种计算任务分层,而不是简单的芯片替换。
不过,CPU也有明显限制。大型模型推理需要持续读取权重和处理上下文,内存带宽、缓存容量和线程调度都会影响性能。特别是在大量用户同时请求时,GPU能够利用并行计算和批处理提高整体吞吐量,而单台CPU系统很难在所有工作负载上取得相同效率。
因此,BitNet最有可能首先影响的是部分本地推理、企业私有部署、低并发任务和边缘计算,而不是立即取代大型云平台的GPU集群。
五、NVIDIA真正需要面对的变化
截至2026年11月17日,NVIDIA公布的2027财年第三季度财报显示,公司季度营收达到1158亿美元,同比增长103%;数据中心收入达到1076亿美元,同比增长110%。公司还开始出货Vera Rubin NVL72系统,并继续扩大Vera CPU平台的部署。
这组数据至少说明,截至目前,AI计算基础设施需求仍然强劲。BitNet的出现没有在财务数据上形成GPU需求突然下降的迹象。
但NVIDIA需要面对的长期问题,是每Token计算成本下降后,客户是否会重新配置硬件采购。
过去,许多企业把AI基础设施投资重点放在GPU数量上。未来,如果低比特模型能够在CPU上处理越来越多的任务,客户可能不再按照所有AI请求都必须使用GPU的方式规划服务器。
例如,企业内部文档问答、简单客服、信息分类、基础代码辅助和部分自动化代理任务,不一定需要调用最昂贵的前沿模型。经过优化的小型模型或低比特模型可能已经足够。
这部分需求如果从GPU转向CPU,就可能影响GPU推理卡的新增采购量。
但NVIDIA还有几个重要优势。
第一,AI训练仍然高度依赖GPU。BitNet的CPU推理框架不能直接消除大型模型训练对高性能加速器的需求。
第二,GPU推理技术也在快速进步。NVIDIA通过Blackwell、Vera Rubin、TensorRT-LLM和Dynamo等软硬件组合,不断提升每瓦Token吞吐量和每美元计算效率。
第三,NVIDIA已经不再只把自己定位为GPU供应商。其Vera CPU、网络设备、数据处理单元和整机系统正在进入数据中心市场。换句话说,CPU推理的增长也可能为NVIDIA带来新的产品机会。
NVIDIA在2026年公布的GB300 NVL72推理成本资料中,引用SemiAnalysis InferenceX测试,宣称在特定交互性能条件下,每百万Token成本约为0.123美元。这是NVIDIA引用的特定平台和测试条件下的指标,不能与BitNet CPU论文中的电费换算结果直接比较,但它说明GPU厂商同样在大幅降低推理成本。
因此,NVIDIA面对的不是单纯的CPU挑战,而是计算效率竞争。未来客户购买的可能不再只是更多GPU,而是能够以更低成本完成指定任务的整套计算平台。
六、AMD可能同时面对CPU机会与GPU竞争
AMD的情况与NVIDIA有所不同。
AMD同时拥有EPYC服务器CPU和Instinct AI加速器。假如低比特推理扩大CPU的使用范围,EPYC服务器处理器可能从中受益;如果AI模型继续向大型化、高并发和复杂推理发展,Instinct加速器仍然拥有市场空间。
AMD 2026年11月3日公布的第三季度财报显示,数据中心业务收入达到85.46亿美元,同比增长97%。公司将增长归因于EPYC处理器需求以及Instinct MI450系列GPU的推出。AMD还公布了Helios机架级系统的客户部署进展。
这组数据说明,CPU和GPU需求目前并不是简单的零和关系。AI基础设施扩大,既需要加速器,也需要大量服务器处理器、网络和存储设备。
未来AMD可能获得两类机会。
一类是CPU推理市场扩大,企业希望使用已有服务器或购买更多EPYC服务器处理部分AI任务。另一类是GPU推理和训练市场继续增长,客户采购Instinct加速器,希望在NVIDIA之外建立第二套供应体系。
真正影响AMD收入的,是EPYC和Instinct分别能获得多少新增订单,以及客户是否愿意将更多AI工作负载迁移到AMD平台。仅凭BitNet的CPU性能数据,无法推算AMD未来GPU收入会减少多少。
七、Intel可能迎来CPU价值重新评估
Intel是BitNet这类技术变化中值得重点观察的公司。
微软的x86测试平台使用的正是Intel Core i7-13700H。论文显示,在该平台上,BitNet能够处理13B模型,并将相对于FP16 CPU基准的推理速度提升到6.17倍。100B模型在该平台上也有推理结果,但速度约为每秒1.70个Token,且没有对应的FP16对照结果。
这说明x86处理器并没有被排除在低比特AI计算之外。
对于Intel而言,潜在机会包括服务器CPU、企业本地推理、边缘计算和数据中心AI任务调度。如果更多企业选择将部分模型部署在CPU服务器上,Intel可能获得新增需求。
Intel在2026年第三季度的Data Center and AI业务收入达到73亿美元,同比增长78%。公司管理层还表示,Xeon处理器需求强劲,供应能力需要继续扩大。Intel同时展示了下一代Xeon、GPU D系列和企业级AI计算平台。
但这里也存在一个现实问题:BitNet的CPU效率并不只由指令集决定。内存带宽、缓存、线程数量、芯片功耗和软件内核优化都会影响结果。微软测试中,Apple M2 Ultra在大型模型上的表现明显高于Intel笔记本处理器,论文也专门指出内存带宽是影响性能的重要因素。
因此,不能因为BitNet支持x86,就直接推导Intel必然获得最大收益。Intel需要证明其新一代服务器CPU在真实企业推理环境中,能够提供有竞争力的每瓦性能、每机架吞吐量和总体拥有成本。
八、ARM的机会可能来自整个低功耗计算生态
ARM值得单独讨论,因为低比特AI与低功耗计算有天然的结合空间。
ARM架构已经广泛进入移动设备、云服务器和边缘计算设备。苹果M2 Ultra是微软BitNet论文中的测试平台之一,显示ARM处理器能够承担大型低比特模型推理任务。
但不能把Apple M2 Ultra的测试结果直接套用到所有ARM芯片。不同ARM处理器的核心数量、内存带宽、缓存和功耗差别很大。
ARM在2026年11月4日公布的2027财年第二季度业绩显示,季度收入达到14.4亿美元,同比增长27%;数据中心相关授权与版税业务继续增长,数据中心版税收入同比翻倍。ARM还表示,主要超大规模云服务商中的ARM服务器份额已经显著提高,并预计2026年底进一步增长。
这说明ARM的增长机会不只是个人电脑本地AI,而是云数据中心CPU架构的变化。
如果未来AI推理任务更多分配给CPU,云服务商可能更重视每瓦性能、机架密度和长期电费。ARM授权模式允许客户设计自己的服务器处理器,也符合大型云服务商希望降低对单一芯片供应商依赖的需求。
ARM的商业模式与Intel、AMD不同。它既可以通过芯片设计授权和版税收入受益,也开始通过自己的Arm AGI CPU扩大直接硅片业务。BitNet可能增加ARM架构在AI推理系统中的使用场景,但实际收入仍取决于客户采用量、芯片出货和授权合同。
九、微软为什么一边开放BitNet,一边继续投资GPU数据中心
微软的处境尤其值得研究。
它既是BitNet技术的开发者,也是全球大型云计算平台运营商。BitNet降低部分AI推理成本,表面上可能减少客户对Azure GPU资源的需求;但微软也可以通过本地模型、低成本推理、模型托管和AI代理平台扩大整体市场。
微软2026年10月28日公布的2027财年第一季度业绩显示,季度资本开支达到452亿美元,其中约四分之三用于短期资产,主要包括CPU和GPU,以及更高成本的内存和存储设备。公司预计第二季度资本开支将超过500亿美元,并预计2026年全年资本开支约1700亿美元。
微软同时披露,Azure增长受到客户需求和计算容量的双重影响。公司持续优化CPU和GPU资源,提高现有服务器的利用率,并增加自研Cobalt CPU和Maia系列AI芯片的部署。
更值得注意的是,微软正在扩大Foundry平台的模型选择,允许企业根据质量、速度和成本在不同模型之间进行选择。2026年第一季度财报电话会议中,微软表示,Foundry客户数量超过12万,开源模型收入同比增长10倍。公司也在强调通过模型和基础设施效率降低服务成本。
这揭示了微软的商业策略:不一定要求每个用户都使用最昂贵的GPU模型,而是希望掌握模型选择、云平台、企业数据、代理管理和软件应用的入口。
如果BitNet使一部分推理能够在CPU上完成,微软仍然可以通过Windows、Azure、Foundry、Copilot和企业AI管理服务获得商业价值。
当然,风险也存在。如果企业把模型完全部署在本地CPU服务器上,减少对Azure推理资源的购买,云平台就可能失去部分原本可以按Token计费的收入。微软需要通过软件订阅、企业代理平台、数据服务和混合云管理,把计算成本下降转化为更大范围的客户使用量。
十、数据中心资本开支会因此下降吗
这是整个技术变化最重要的资本市场问题。
过去几年,大型云服务商持续扩大AI数据中心建设,投入资金用于GPU、CPU、内存、存储、网络、供电和制冷系统。BitNet如果能够降低部分推理计算需求,理论上可以减少每单位AI服务所需的硬件投资和电力消耗。
但数据中心资本开支未必会因此下降。
原因是AI计算需求可能出现反弹效应:当每个Token的成本下降,企业可能不再只把AI用于少数高价值任务,而是把它嵌入更多软件、客服、搜索、办公和自动化流程。原本每天处理一百万Token的企业,成本下降后可能开始处理一亿Token。
AI代理进一步扩大这种需求。一个代理任务可能需要多次模型调用、检索、规划、检查和重新生成。即使单次调用更便宜,代理数量和任务复杂度增加,也可能让总Token需求大幅增长。
因此,BitNet可能同时带来两种相反作用:
一方面,每个Token的硬件和电力成本下降,单位计算需求需要的资本投入减少;另一方面,AI使用成本降低,企业部署更多模型和代理,总计算需求可能继续增长。
微软2027财年第一季度的资本开支和管理层指引,已经显示这种矛盾:公司一方面通过提高CPU和GPU利用率、改善模型效率降低成本,另一方面仍然计划继续扩大数据中心和计算设备投资。
对资本市场来说,未来需要观察的不是单纯的GPU采购数量,而是每一美元资本开支能够产生多少可计费Token、多少云收入和多少自由现金流。
如果AI使用量增长快于单位成本下降,数据中心资本开支可能继续增加;如果单位成本下降非常快,而客户使用量增长不足以抵消价格下降,数据中心投资回报就可能受到压力。
十一、真正的投资比较不能只看每秒Token数量
目前BitNet论文提供了CPU推理速度和能耗数据,但还不足以与NVIDIA、AMD数据中心GPU建立完整的商业成本比较。
要完成真正有意义的比较,至少需要在相同模型能力、相同输入长度、相同输出长度、相同批处理规模和相同延迟要求下,分别测试CPU和GPU。
还必须统一以下指标:
第一,每秒生成Token数量。它反映单台机器的推理速度,但不能单独代表商业服务能力。
第二,每瓦Token吞吐量。它反映电力效率,对于数据中心尤其重要。
第三,每百万Token的完整成本。除了电费,还要加入芯片采购、服务器折旧、内存、网络、机房、制冷和运维。
第四,并发处理能力。一个CPU系统每秒生成6个Token,可能适合少量本地用户,却不一定适合同时服务几千名用户。
第五,模型质量。低比特模型即使硬件效率很高,如果在复杂推理、数学、代码和专业任务上无法达到用户要求,也不能替代更高能力的模型。
第六,预填充和解码阶段的差异。模型处理长输入上下文与逐Token生成回答,是两种不同的计算负载。GPU在大规模并行计算和批处理上的优势,不能只用CPU单用户生成速度来衡量。
因此,目前能够得出的结论是:BitNet已经展示出CPU低比特推理在速度和能耗上的潜力,但还没有公开一组能够证明它在完整商业数据中心TCO上全面优于GPU的同条件测试。
十二、未来两年应当追踪的五项产业指标
第一,BitNet是否能够从研究用途的模型配置,进一步发展出经过大规模训练、具有稳定商业能力的100亿、700亿和1000亿参数模型。只有模型能力得到验证,硬件效率才有实际商业意义。
第二,Intel、AMD和ARM服务器处理器的AI推理收入是否出现明显增长。尤其要观察云服务商是否开始将更多原本分配给GPU的任务迁移到CPU。
第三,NVIDIA的GPU每百万Token成本是否继续下降,以及客户是否开始减少低端推理GPU采购。即使BitNet扩大CPU使用,NVIDIA也可能通过更高吞吐量和更低成本保持竞争力。
第四,微软、亚马逊、谷歌和Meta的数据中心资本开支是否继续增加。需要同时观察资本开支、云收入、AI业务收入、折旧、自由现金流和设备利用率,不能只看一项支出数字。
第五,AI代理和本地AI是否扩大Token总需求。如果低成本推理带来更多模型调用,计算需求可能继续扩大;如果模型效率提升快于应用增长,部分数据中心投资就可能出现回报压力。
结论:AI计算的竞争正在从芯片性能转向整体成本
BitNet的意义不在于证明GPU已经过时,而在于证明大型语言模型的推理不必永远依赖传统高精度浮点计算和昂贵的GPU设备。
它可能让CPU重新获得AI计算中的重要位置,也可能加快ARM服务器、企业本地模型和边缘AI的发展。对于NVIDIA,影响可能首先体现在部分推理市场的竞争;对于AMD,CPU与GPU业务可能同时获得新的计算需求;对于Intel,低比特CPU推理提供了重新展示服务器处理器价值的机会;对于ARM,低功耗云计算和自定义芯片市场可能继续扩大。
微软则处于一个特殊位置:它既希望通过BitNet降低模型推理成本,又希望通过Azure、Foundry、Copilot和企业AI代理平台获得更多客户。它不必要求所有AI计算都运行在GPU上,只要能够控制模型、数据、软件和云服务入口,就有机会从AI计算需求的扩大中获得收入。
数据中心资本开支也不会因为一项低比特技术出现就立即收缩。单位Token成本下降可能减少硬件需求,也可能因为AI应用普及而扩大总计算量。最终决定投资回报的,是新增AI收入能否覆盖芯片采购、数据中心建设、能源和融资成本。
对投资者来说,最需要避免的,是把一项技术论文直接转化为某家芯片公司收入即将下降的结论。BitNet的CPU测试与GPU商业部署并非同一条件,AI训练和推理也不是同一种业务。
真正值得长期观察的变化,是AI计算正在从单一GPU中心模式,逐步转向根据模型规模、任务复杂度、响应速度、并发需求和能源成本,灵活选择GPU、CPU、ARM和本地加速器的混合体系。
未来AI产业的竞争,可能越来越取决于谁能以更低的总体成本完成同样的任务,而不是谁拥有最多的芯片。
人工智能产业正在出现一项可能影响未来数年芯片投资和数据中心建设的新技术变化。微软研究团队开发的BitNet低比特大语言模型推理框架,展示了在普通CPU平台上运行大型模型的能力。在微软公开的技术测试中,经过专门优化的BitNet推理内核,在x86处理器上的速度最高达到传统FP16 CPU推理基准的6.17倍,部分测试场景的每Token能耗下降82.2%。研究团队还展示了在单一CPU系统上运行1000亿参数BitNet模型的实验结果。
这项技术引起关注的原因,并不只是让个人电脑有机会运行更大的语言模型。它触及了AI产业过去几年形成的一项重要投资假设:随着模型规模和用户数量不断增长,企业必须持续购买大量高性能GPU,建设大型数据中心,才能满足AI计算需求。如果低比特模型能够在CPU上完成越来越多的推理工作,那么AI计算的硬件配置、数据中心投资结构、云服务成本以及芯片厂商的收入来源,都可能发生变化。
然而,把BitNet直接解读为NVIDIA GPU时代即将结束,同样缺乏技术和财务证据。AI训练与AI推理是两种不同的计算任务,CPU替代部分推理工作,并不意味着GPU训练需求同步消失。更重要的是,GPU厂商也在不断改进推理效率,降低每个Token的成本。真正的产业变化可能不是GPU被CPU取代,而是AI计算开始按照任务类型重新分配。
一、BitNet的技术突破究竟在哪里
微软的BitNet b1.58采用一种与传统大语言模型不同的权重表达方式。普通FP16模型通常使用16位浮点数存储模型权重,而BitNet b1.58的每个权重只取三个可能值:-1、0和+1。
三个状态在信息理论上需要约1.585比特表示,因此被称为1.58-bit模型。
这意味着模型不再需要为每个参数保存传统16位浮点数。理论上,100亿参数模型的权重存储量可以从FP16格式约20GB,降低到约1.98GB。若按实际推理内核采用的2-bit权重打包方式计算,则约为2.5GB。1000亿参数模型对应的理论存储量分别约为19.75GB和25GB。
这还没有计算模型运行所需的其他内存,包括注意力机制产生的KV Cache、激活值、上下文数据、运行时缓存和系统开销。模型参数占用的内存,并不等于整台电脑运行模型所需的总内存。
BitNet真正重要的地方,在于它不仅减少了权重存储,还改变了计算方式。传统矩阵运算需要大量浮点乘法,而三值权重可以通过专门的整数运算、查找表和加法操作完成部分计算。微软开发的bitnet.cpp正是针对这一类模型设计的推理软件框架。
它包含I2_S、TL1和TL2等专门优化内核。不同内核采用不同的权重打包、解码和查表计算方法,在模型内存占用、CPU线程数量和运行速度之间作出不同取舍。
这里必须区分两个概念。BitNet b1.58是模型架构和训练方法,bitnet.cpp则是针对这类模型优化的推理软件。不能把它理解成任何普通FP16模型都可以直接转换成三值权重,并且在完全不损失模型能力的情况下获得相同效果。
微软论文所说的lossless inference,主要是指特定BitNet模型在优化内核下的推理结果可以与相应的高精度计算实现保持一致。这不等于把任意已经训练完成的FP16模型压缩成1.58比特后,仍然能够保持原来的全部知识和推理能力。
二、1000亿参数CPU测试,真正的实验结果是什么
社交媒体传播最广的说法,是普通电脑只用一颗处理器就能运行1000亿参数模型,而且速度提升6.17倍。
这句话把几组不同实验结果拼在了一起。
微软2024年10月发布的技术论文《1-bit AI Infra: Part 1.1, Fast and Lossless BitNet b1.58 Inference on CPUs》,实际使用了两套硬件平台:
一套是配备Apple M2 Ultra处理器和64GB内存的Mac Studio;另一套是配备Intel Core i7-13700H处理器、14个核心、20个线程和64GB内存的Surface Laptop Studio 2。
在Apple M2 Ultra上,BitNet 1000亿参数模型测试速度达到每秒6.58个Token。这个速度已经进入一般人阅读文字的速度区间,说明大型低比特模型确实有机会在CPU系统上进行本地推理。
Intel平台也进行了1000亿参数模型测试,但速度约为每秒1.70个Token。它并没有达到Apple M2 Ultra的水平。
更关键的是,论文中的6.17倍提速,是Intel i7-13700H在13B模型上的BitNet推理速度,与同平台FP16基准比较得出的结果。它不是1000亿参数模型的速度提升比例。Intel平台在1000亿参数规模下没有可用的FP16对照数据,因此不能声称1000亿参数模型也提升了6.17倍。
还有一个更重要的技术限定:论文附录明确说明,测试使用的模型规模配置属于研究用途的dummy setups,目的是展示bitnet.cpp推理内核的性能。论文还说明,相关演示模型并非由微软训练或发布。
这意味着,1000亿参数测试证明的是推理框架处理大型低比特模型结构的可行性,而不是微软已经推出一款经过完整训练、在复杂知识、数学、编程和商业任务上经过全面验证的1000亿参数产品。
微软后来发布的首款官方BitNet b1.58模型BitNet-b1.58-2B-4T,规模约24亿参数,使用4万亿Token训练。这才是更适合用来观察官方模型实际能力的产品。
这一区别对于投资分析非常重要。硬件能够装下1000亿参数,不代表这个模型已经具备商业竞争力;能够每秒生成几个Token,也不代表它可以满足数千名用户同时访问的云服务需求。
三、每Token能耗下降82.2%,对计算成本意味着什么
比单纯的速度提升更值得关注的是能耗。
微软论文没有只比较模型生成速度,还测量了每生成一个Token所消耗的能量,单位为焦耳(J/Token)。
在Apple M2 Ultra平台上,70B模型使用传统FP16推理基准时,每Token能耗为28.02焦耳;使用BitNet优化内核后下降到8.42焦耳,减少70%。
在Intel i7-13700H平台上,7B模型传统推理基准每Token能耗为11.305焦耳,BitNet优化后下降到2.017焦耳,减少82.2%。
这些数据揭示了一个值得企业计算部门重视的变化:AI推理成本不仅取决于芯片购买价格,还取决于每个Token需要消耗多少电力,以及一台机器在单位时间内能够处理多少请求。
可以进一步做一个简单的电费测算。
假设电价为每千瓦时0.10美元,只计算论文测得的处理器能耗,不计算服务器采购、折旧、内存、网络、制冷和运维成本,那么每百万Token对应的电费如下:
| 测试平台 | 传统推理 | BitNet推理 |
|---|---|---|
| M2 Ultra,70B | 约 $0.78 | 约 $0.23 |
| Intel i7,7B | 约 $0.31 | 约 $0.056 |
| M2 Ultra,7B | 约 $0.084 | 约 $0.030 |
这不是商业云服务的实际报价,而是把论文中的能耗数据换算成电费后的示例。不同地区电价、处理器实际功耗、服务器负载和设备利用率都会改变最终成本。
尤其不能把这组CPU数据直接拿去与NVIDIA数据中心GPU的商业每Token价格比较。GPU服务器的成本需要考虑整机采购、加速卡利用率、并发量、网络、存储、制冷和服务等级;CPU实验的焦耳数据也没有包含完整数据中心成本。
但是,企业真正关心的计算成本问题已经出现了:如果某些AI任务使用CPU就能达到足够的响应速度,而且每Token能耗明显降低,企业还有多少必要为这些任务购买昂贵的GPU?
四、为什么CPU可能接管一部分AI推理工作
要理解BitNet的产业影响,必须先区分AI训练和AI推理。
AI训练是让模型从海量数据中学习,通过反向传播和参数更新不断调整权重。大型模型训练需要大量并行计算,涉及矩阵乘法、梯度计算、激活值和参数更新,对计算吞吐量、显存带宽以及多卡互联有很高要求。
AI推理则是模型训练完成后,接受用户问题并生成回答。它需要读取模型权重,处理输入上下文,逐步生成Token。
这两种工作负载的硬件要求并不完全相同。
GPU拥有大量并行计算单元和高带宽显存,特别适合大规模矩阵运算,也能够同时处理大量用户的推理请求。CPU则拥有更灵活的通用计算能力,在某些小批量、低并发、内存容量要求较高的任务中,可能具有成本和部署优势。
BitNet改变的是推理环节的部分计算要求。权重变得非常紧凑后,CPU不必像过去那样承担巨大的浮点运算和内存传输负担。专门优化的内核能够让CPU更有效地执行低比特计算。
未来可能出现这样的数据中心结构:
GPU负责大型模型训练、高并发推理和复杂计算;CPU负责部分低比特模型推理、AI代理任务协调、检索、数据处理和企业内部应用;ARM处理器负责低功耗云服务器和边缘设备;本地NPU则处理个人电脑和移动设备上的部分AI任务。
这是一种计算任务分层,而不是简单的芯片替换。
不过,CPU也有明显限制。大型模型推理需要持续读取权重和处理上下文,内存带宽、缓存容量和线程调度都会影响性能。特别是在大量用户同时请求时,GPU能够利用并行计算和批处理提高整体吞吐量,而单台CPU系统很难在所有工作负载上取得相同效率。
因此,BitNet最有可能首先影响的是部分本地推理、企业私有部署、低并发任务和边缘计算,而不是立即取代大型云平台的GPU集群。
五、NVIDIA真正需要面对的变化
截至2026年11月17日,NVIDIA公布的2027财年第三季度财报显示,公司季度营收达到1158亿美元,同比增长103%;数据中心收入达到1076亿美元,同比增长110%。公司还开始出货Vera Rubin NVL72系统,并继续扩大Vera CPU平台的部署。
这组数据至少说明,截至目前,AI计算基础设施需求仍然强劲。BitNet的出现没有在财务数据上形成GPU需求突然下降的迹象。
但NVIDIA需要面对的长期问题,是每Token计算成本下降后,客户是否会重新配置硬件采购。
过去,许多企业把AI基础设施投资重点放在GPU数量上。未来,如果低比特模型能够在CPU上处理越来越多的任务,客户可能不再按照所有AI请求都必须使用GPU的方式规划服务器。
例如,企业内部文档问答、简单客服、信息分类、基础代码辅助和部分自动化代理任务,不一定需要调用最昂贵的前沿模型。经过优化的小型模型或低比特模型可能已经足够。
这部分需求如果从GPU转向CPU,就可能影响GPU推理卡的新增采购量。
但NVIDIA还有几个重要优势。
第一,AI训练仍然高度依赖GPU。BitNet的CPU推理框架不能直接消除大型模型训练对高性能加速器的需求。
第二,GPU推理技术也在快速进步。NVIDIA通过Blackwell、Vera Rubin、TensorRT-LLM和Dynamo等软硬件组合,不断提升每瓦Token吞吐量和每美元计算效率。
第三,NVIDIA已经不再只把自己定位为GPU供应商。其Vera CPU、网络设备、数据处理单元和整机系统正在进入数据中心市场。换句话说,CPU推理的增长也可能为NVIDIA带来新的产品机会。
NVIDIA在2026年公布的GB300 NVL72推理成本资料中,引用SemiAnalysis InferenceX测试,宣称在特定交互性能条件下,每百万Token成本约为0.123美元。这是NVIDIA引用的特定平台和测试条件下的指标,不能与BitNet CPU论文中的电费换算结果直接比较,但它说明GPU厂商同样在大幅降低推理成本。
因此,NVIDIA面对的不是单纯的CPU挑战,而是计算效率竞争。未来客户购买的可能不再只是更多GPU,而是能够以更低成本完成指定任务的整套计算平台。
六、AMD可能同时面对CPU机会与GPU竞争
AMD的情况与NVIDIA有所不同。
AMD同时拥有EPYC服务器CPU和Instinct AI加速器。假如低比特推理扩大CPU的使用范围,EPYC服务器处理器可能从中受益;如果AI模型继续向大型化、高并发和复杂推理发展,Instinct加速器仍然拥有市场空间。
AMD 2026年11月3日公布的第三季度财报显示,数据中心业务收入达到85.46亿美元,同比增长97%。公司将增长归因于EPYC处理器需求以及Instinct MI450系列GPU的推出。AMD还公布了Helios机架级系统的客户部署进展。
这组数据说明,CPU和GPU需求目前并不是简单的零和关系。AI基础设施扩大,既需要加速器,也需要大量服务器处理器、网络和存储设备。
未来AMD可能获得两类机会。
一类是CPU推理市场扩大,企业希望使用已有服务器或购买更多EPYC服务器处理部分AI任务。另一类是GPU推理和训练市场继续增长,客户采购Instinct加速器,希望在NVIDIA之外建立第二套供应体系。
真正影响AMD收入的,是EPYC和Instinct分别能获得多少新增订单,以及客户是否愿意将更多AI工作负载迁移到AMD平台。仅凭BitNet的CPU性能数据,无法推算AMD未来GPU收入会减少多少。
七、Intel可能迎来CPU价值重新评估
Intel是BitNet这类技术变化中值得重点观察的公司。
微软的x86测试平台使用的正是Intel Core i7-13700H。论文显示,在该平台上,BitNet能够处理13B模型,并将相对于FP16 CPU基准的推理速度提升到6.17倍。100B模型在该平台上也有推理结果,但速度约为每秒1.70个Token,且没有对应的FP16对照结果。
这说明x86处理器并没有被排除在低比特AI计算之外。
对于Intel而言,潜在机会包括服务器CPU、企业本地推理、边缘计算和数据中心AI任务调度。如果更多企业选择将部分模型部署在CPU服务器上,Intel可能获得新增需求。
Intel在2026年第三季度的Data Center and AI业务收入达到73亿美元,同比增长78%。公司管理层还表示,Xeon处理器需求强劲,供应能力需要继续扩大。Intel同时展示了下一代Xeon、GPU D系列和企业级AI计算平台。
但这里也存在一个现实问题:BitNet的CPU效率并不只由指令集决定。内存带宽、缓存、线程数量、芯片功耗和软件内核优化都会影响结果。微软测试中,Apple M2 Ultra在大型模型上的表现明显高于Intel笔记本处理器,论文也专门指出内存带宽是影响性能的重要因素。
因此,不能因为BitNet支持x86,就直接推导Intel必然获得最大收益。Intel需要证明其新一代服务器CPU在真实企业推理环境中,能够提供有竞争力的每瓦性能、每机架吞吐量和总体拥有成本。
八、ARM的机会可能来自整个低功耗计算生态
ARM值得单独讨论,因为低比特AI与低功耗计算有天然的结合空间。
ARM架构已经广泛进入移动设备、云服务器和边缘计算设备。苹果M2 Ultra是微软BitNet论文中的测试平台之一,显示ARM处理器能够承担大型低比特模型推理任务。
但不能把Apple M2 Ultra的测试结果直接套用到所有ARM芯片。不同ARM处理器的核心数量、内存带宽、缓存和功耗差别很大。
ARM在2026年11月4日公布的2027财年第二季度业绩显示,季度收入达到14.4亿美元,同比增长27%;数据中心相关授权与版税业务继续增长,数据中心版税收入同比翻倍。ARM还表示,主要超大规模云服务商中的ARM服务器份额已经显著提高,并预计2026年底进一步增长。
这说明ARM的增长机会不只是个人电脑本地AI,而是云数据中心CPU架构的变化。
如果未来AI推理任务更多分配给CPU,云服务商可能更重视每瓦性能、机架密度和长期电费。ARM授权模式允许客户设计自己的服务器处理器,也符合大型云服务商希望降低对单一芯片供应商依赖的需求。
ARM的商业模式与Intel、AMD不同。它既可以通过芯片设计授权和版税收入受益,也开始通过自己的Arm AGI CPU扩大直接硅片业务。BitNet可能增加ARM架构在AI推理系统中的使用场景,但实际收入仍取决于客户采用量、芯片出货和授权合同。
九、微软为什么一边开放BitNet,一边继续投资GPU数据中心
微软的处境尤其值得研究。
它既是BitNet技术的开发者,也是全球大型云计算平台运营商。BitNet降低部分AI推理成本,表面上可能减少客户对Azure GPU资源的需求;但微软也可以通过本地模型、低成本推理、模型托管和AI代理平台扩大整体市场。
微软2026年10月28日公布的2027财年第一季度业绩显示,季度资本开支达到452亿美元,其中约四分之三用于短期资产,主要包括CPU和GPU,以及更高成本的内存和存储设备。公司预计第二季度资本开支将超过500亿美元,并预计2026年全年资本开支约1700亿美元。
微软同时披露,Azure增长受到客户需求和计算容量的双重影响。公司持续优化CPU和GPU资源,提高现有服务器的利用率,并增加自研Cobalt CPU和Maia系列AI芯片的部署。
更值得注意的是,微软正在扩大Foundry平台的模型选择,允许企业根据质量、速度和成本在不同模型之间进行选择。2026年第一季度财报电话会议中,微软表示,Foundry客户数量超过12万,开源模型收入同比增长10倍。公司也在强调通过模型和基础设施效率降低服务成本。
这揭示了微软的商业策略:不一定要求每个用户都使用最昂贵的GPU模型,而是希望掌握模型选择、云平台、企业数据、代理管理和软件应用的入口。
如果BitNet使一部分推理能够在CPU上完成,微软仍然可以通过Windows、Azure、Foundry、Copilot和企业AI管理服务获得商业价值。
当然,风险也存在。如果企业把模型完全部署在本地CPU服务器上,减少对Azure推理资源的购买,云平台就可能失去部分原本可以按Token计费的收入。微软需要通过软件订阅、企业代理平台、数据服务和混合云管理,把计算成本下降转化为更大范围的客户使用量。
十、数据中心资本开支会因此下降吗
这是整个技术变化最重要的资本市场问题。
过去几年,大型云服务商持续扩大AI数据中心建设,投入资金用于GPU、CPU、内存、存储、网络、供电和制冷系统。BitNet如果能够降低部分推理计算需求,理论上可以减少每单位AI服务所需的硬件投资和电力消耗。
但数据中心资本开支未必会因此下降。
原因是AI计算需求可能出现反弹效应:当每个Token的成本下降,企业可能不再只把AI用于少数高价值任务,而是把它嵌入更多软件、客服、搜索、办公和自动化流程。原本每天处理一百万Token的企业,成本下降后可能开始处理一亿Token。
AI代理进一步扩大这种需求。一个代理任务可能需要多次模型调用、检索、规划、检查和重新生成。即使单次调用更便宜,代理数量和任务复杂度增加,也可能让总Token需求大幅增长。
因此,BitNet可能同时带来两种相反作用:
一方面,每个Token的硬件和电力成本下降,单位计算需求需要的资本投入减少;另一方面,AI使用成本降低,企业部署更多模型和代理,总计算需求可能继续增长。
微软2027财年第一季度的资本开支和管理层指引,已经显示这种矛盾:公司一方面通过提高CPU和GPU利用率、改善模型效率降低成本,另一方面仍然计划继续扩大数据中心和计算设备投资。
对资本市场来说,未来需要观察的不是单纯的GPU采购数量,而是每一美元资本开支能够产生多少可计费Token、多少云收入和多少自由现金流。
如果AI使用量增长快于单位成本下降,数据中心资本开支可能继续增加;如果单位成本下降非常快,而客户使用量增长不足以抵消价格下降,数据中心投资回报就可能受到压力。
十一、真正的投资比较不能只看每秒Token数量
目前BitNet论文提供了CPU推理速度和能耗数据,但还不足以与NVIDIA、AMD数据中心GPU建立完整的商业成本比较。
要完成真正有意义的比较,至少需要在相同模型能力、相同输入长度、相同输出长度、相同批处理规模和相同延迟要求下,分别测试CPU和GPU。
还必须统一以下指标:
第一,每秒生成Token数量。它反映单台机器的推理速度,但不能单独代表商业服务能力。
第二,每瓦Token吞吐量。它反映电力效率,对于数据中心尤其重要。
第三,每百万Token的完整成本。除了电费,还要加入芯片采购、服务器折旧、内存、网络、机房、制冷和运维。
第四,并发处理能力。一个CPU系统每秒生成6个Token,可能适合少量本地用户,却不一定适合同时服务几千名用户。
第五,模型质量。低比特模型即使硬件效率很高,如果在复杂推理、数学、代码和专业任务上无法达到用户要求,也不能替代更高能力的模型。
第六,预填充和解码阶段的差异。模型处理长输入上下文与逐Token生成回答,是两种不同的计算负载。GPU在大规模并行计算和批处理上的优势,不能只用CPU单用户生成速度来衡量。
因此,目前能够得出的结论是:BitNet已经展示出CPU低比特推理在速度和能耗上的潜力,但还没有公开一组能够证明它在完整商业数据中心TCO上全面优于GPU的同条件测试。
十二、未来两年应当追踪的五项产业指标
第一,BitNet是否能够从研究用途的模型配置,进一步发展出经过大规模训练、具有稳定商业能力的100亿、700亿和1000亿参数模型。只有模型能力得到验证,硬件效率才有实际商业意义。
第二,Intel、AMD和ARM服务器处理器的AI推理收入是否出现明显增长。尤其要观察云服务商是否开始将更多原本分配给GPU的任务迁移到CPU。
第三,NVIDIA的GPU每百万Token成本是否继续下降,以及客户是否开始减少低端推理GPU采购。即使BitNet扩大CPU使用,NVIDIA也可能通过更高吞吐量和更低成本保持竞争力。
第四,微软、亚马逊、谷歌和Meta的数据中心资本开支是否继续增加。需要同时观察资本开支、云收入、AI业务收入、折旧、自由现金流和设备利用率,不能只看一项支出数字。
第五,AI代理和本地AI是否扩大Token总需求。如果低成本推理带来更多模型调用,计算需求可能继续扩大;如果模型效率提升快于应用增长,部分数据中心投资就可能出现回报压力。
结论:AI计算的竞争正在从芯片性能转向整体成本
BitNet的意义不在于证明GPU已经过时,而在于证明大型语言模型的推理不必永远依赖传统高精度浮点计算和昂贵的GPU设备。
它可能让CPU重新获得AI计算中的重要位置,也可能加快ARM服务器、企业本地模型和边缘AI的发展。对于NVIDIA,影响可能首先体现在部分推理市场的竞争;对于AMD,CPU与GPU业务可能同时获得新的计算需求;对于Intel,低比特CPU推理提供了重新展示服务器处理器价值的机会;对于ARM,低功耗云计算和自定义芯片市场可能继续扩大。
微软则处于一个特殊位置:它既希望通过BitNet降低模型推理成本,又希望通过Azure、Foundry、Copilot和企业AI代理平台获得更多客户。它不必要求所有AI计算都运行在GPU上,只要能够控制模型、数据、软件和云服务入口,就有机会从AI计算需求的扩大中获得收入。
数据中心资本开支也不会因为一项低比特技术出现就立即收缩。单位Token成本下降可能减少硬件需求,也可能因为AI应用普及而扩大总计算量。最终决定投资回报的,是新增AI收入能否覆盖芯片采购、数据中心建设、能源和融资成本。
对投资者来说,最需要避免的,是把一项技术论文直接转化为某家芯片公司收入即将下降的结论。BitNet的CPU测试与GPU商业部署并非同一条件,AI训练和推理也不是同一种业务。
真正值得长期观察的变化,是AI计算正在从单一GPU中心模式,逐步转向根据模型规模、任务复杂度、响应速度、并发需求和能源成本,灵活选择GPU、CPU、ARM和本地加速器的混合体系。
未来AI产业的竞争,可能越来越取决于谁能以更低的总体成本完成同样的任务,而不是谁拥有最多的芯片。