DeepSeek的火热，不仅点燃了资本与市场的激情，也让AI推理的需求在短时间内骤然升温。需求膨胀的同时，产业内部出现了两种截然不同的判断。 “我认为未来AI推理主要在云和端侧，边缘推理的需求会越来越小。”AI芯片公司的销售晨坤认为，“因为边缘AI的性能和成本都不占优势，会是一个过渡状态。” 另一位资深芯片销售嘉铭有不一样的观点，“端侧提升AI性能，功耗和价格难以平衡，并不是一个好选择。我认为边缘AI推理的需求会持续增加。” 这种对未来格局的分歧，也折射出AI推理市场的不确定性。端、边、云的占比至今难有定论，但可以明确，在泛安防这个巨大的端侧AI推理市场，即便大模型掀起一场技术革命，格局依旧稳固。占据市场份额的公司依然处于易守难攻的位置。 然而，AI算力需求100TOPS以上的边缘推理市场，正悄然酝酿着一场变局。无论是待上市的摩尔线程、沐曦、燧原科技、天数智芯、登临科技，还是已经上市的云天励飞，或者是发布了新品的江原科技、后摩智能，都试图抢占AI推理市场的先机。 “国产芯片没有一款能全面超越英伟达4090，但通过极致的性能优化，可以在特定领域实现超越英伟达4090的极致性价比。”嘉铭直言。这些特定领域包括信创、交通、能源、通信、消费等领域。 无论是ChatGPT还是DeepSeek，当下最受关注的AI应用几乎都依赖云端AI推理。在可预见的未来，云端依然会在AI发展中扮演核心角色。但云、边、端三者究竟如何协同，业界存在明显分歧。 在深入探讨之前，有必要先明确：什么是云、边、端？在CNN（卷积神经网络）时代，如果按算力划分，小于8TOPS为端侧，小于64TOPS为边缘，大于64TOPS为云端。 然而，大模型正在重新定义端、边、云的边界。在本文中，将使用70B模型进行AI推理，单卡AI算力超过100TOPS@TF32，使用单台或少量服务器的应用视为边缘AI市场；小于10B模型的推理场景，则归入端侧市场。 “CNN时代之所以诞生边缘计算，是因为泛安防场景下，一路摄像头就需要4兆带宽。带宽不够时，就必须在边缘增加计算盒子。”晨坤说，“当前的AI推理主要以文本为主，即便未来向多模态发展，也不再需要处理实时视频流。端侧小模型（10B以内）完全可以满足识别和检测的需求。如果需要更高性能，直接调用云端AI就够了。因此，未来边缘推理的需求会逐渐下降。” 晨坤认为，随着端侧小模型能力不断提升，边缘AI在成本和性能上难以形成优势。生成式AI时代的推理需求，将主要由云端和端侧主导。 嘉铭持不同观点，在端侧大幅增加AI算力的必要性并不高，因为功耗与性价比难以兼顾。他认为，边缘AI推理的需求仍将保持快速增长。 从市场角度出发，云天励飞副总裁罗忆提出：“目前云端推理市场的绝对规模不大，但其占比正在逐步提升；相比之下，泛安防的边缘和端侧推理虽然体量巨大，但整体份额正在下降。等云端应用逐渐饱和后，端侧推理的需求或将迎来新一轮增长。” 在生成式AI席卷市场之前，AI推理最重要的战场，是泛安防。经历多年激烈角逐后，这一市场格局已相对稳定：华为、云天励飞、登临科技、算能科技、爱芯元智等公司各自握有优势。 罗忆也表示：“泛安防属于典型的存量市场。目前最大的开销是运维。在各地预算紧张的大背景下，预算首先保证运维开销，剩余资金才可能投向少量新设备。” “设备都有使用年限。原本计划5年更换的设备，一些地方用了8年，今年终于到了不得不更新的时候。”罗忆说，“不过各地做法不一：有的只是标清换高清，有的直接换成智能相机。从整体来看，智能摄像头的渗透率依然很低。” 泛安防端侧推理市场需求分散，芯片类型繁多，有的擅长视频编解码，有的AI能力更强。经过多年市场筛选，目前仍留在市场上的国产AI芯片公司，都已经各自分得属于自己的蛋糕。 实际上，在泛安防市场的客户目前更关注的是如何把有限的资源利用到极致。罗忆对此深有感触，“能够用有性价比的方式帮助客户完成智能化升级，做更多精细化的工作，才能留住泛安防客户。” 除了泛安防这个AI推理的大市场，生成式AI正在催生大量新应用——AI玩具、AI眼镜、AI戒指，以及基于小模型的各种智能硬件，这些潜在产物将带来新的端侧AI芯片需求。 与端侧相比，70B以下模型的边缘推理芯片市场更受国产厂商关注，其成长性和潜力显然更具吸引力。想要进一步探讨端侧AI添加作者微信BENSONEIT。 泰玮对“极致性价比”有切身感受：“我们瞄准商业市场，但商业市场的客户对成本有极致要求。他们甚至愿意用淘汰的英伟达3090、4090矿卡——这些二手GPU便宜得令人难以置信，但稳定性堪忧。我们只能靠性价比与稳定性，在这个市场与英伟达正面竞争。” 嘉铭也指出，4090确实具备性价比优势，但毕竟是消费级产物，不适合7×24小时连续运行。对于有合规要求、需要全天候运作的客户，他们可能选择英伟达L20，但使用量有限，性价比也不如4090。 国产AI芯片的优势，除了稳定性，还在于大显存和大带宽。李瑛举例：“运行满血版DeepSeek时，8卡的4090服务器需要两台，而我们产物单台就能跑满血版DeepSeek，TCO（总体拥有成本）优势明显。” Qwen3和DeepSeek量化模型的首字延迟和每秒Token数只是敲门砖。嘉铭强调：“如果这两个指标不够，说明TCO没有优势。但也几乎没有客户不因为这两个指标直接下单，还需要在实际场景中测试性能。” 嘉铭表示：“芯片落地时一般三个关键流程，编译、调精度、调性能。若是NPU等专用芯片架构，这三步每一步可能都需1–2个月，累计可能需要数月时间，GPGPU架构的芯片可大幅缩短落地时间，也降低了客户的TCO。” 李瑛认为，“若两种架构的芯片从零起步布局同一场景，GPGPU 因可依托已有的成熟生态体系，初期优势会比专用架构更突出。但随着专用架构芯片在算子库优化、软件生态构建等软件领域积累足够经验并达成成熟应用标准，且能充分满足主流业务的实际需求，GPGPU 的原有优势将大幅减弱，不再具备明显差异化特点。” “在DeepSeek火爆之后，AI算子的种类已经锐减，这时候只要把有限的算子优化好，不仅能缩小GPGPU相比专用芯片在软件生态方面的优势，如果做好了特定场景的算子优化，还能实现相比GPGPU数倍的性价比优势。”李瑛进一步表示。 “国内基于英伟达5090魔改的产物，性能调试已完成，很快将推向市场。性能比4090更强，价格接近，国产芯片还能有TCO或性价比优势吗？”晨坤提出疑问。 嘉铭则保持乐观：“我相信英伟达5090将成为新一代边缘AI推理王者，但并非无懈可击。国内各家公司也在设计下一代产物，准备与5090正面竞争。” “信创市场的规模没有想象中那么大，也没有那么容易进入。”罗忆认为，“目前信创市场的刚需主要是CPU，满足日常办公需求，AI算力的需求还相对有限。再加上各地财政预算收缩，购买AI算力和设备的意愿并不高，因此现阶段信创市场并不是AI推理芯片的理想赛道。” 李瑛对此乐观一些，“信创市场确实存在挑战，但也有机会。一方面，信创市场已经启动AI芯片测试报名，这意味着对AI算力的需求正在增长；另一方面，通过更灵活的产物形式，例如在PC上扩展加速卡，也能降低成本。” “医疗和能源市场也是我们重点关注的方向。”李瑛说，“医疗领域涉及大量敏感数据，这个领域的客户对替换国产芯片也有比较高的意愿。” 在罗忆看来，AI推理市场存在两个优质机会：一是互联网大厂，这些公司走在AI技术前沿，对算力需求庞大；二是各行业头部公司，这些公司也在数字化转型前沿，对AI算力有更多刚需。 “云天励飞现有的AI芯片能实现8TOPS-256TOPS算力，既能巩固泛安防存量市场，也能面向增量市场。我们同时在规划下一代产物，充分发挥后发者优势。”罗忆补充道，“作为上市公司，我们不仅有战略决心，还拥有资金和人才优势。更重要的是，过去11年公司在智能硬件、智算中心、智慧城市等多个领域积累了大量实践经验。这些宝贵的第一手资料，为芯片设计提供了明确指导。” 在泛安防市场站稳脚跟的登临科技，也将重点关注商业市场，在预算10万元左右的客户群中寻找对AI推理有实际需求的公司，比如中小公司。 走存算一体技术路线的后摩智能则瞄准不同赛道。后摩智能创始人兼CEO吴强说，“我们比较看重三个领域，一是平板和电脑这种消费终端类，这是大模型生产力工具，对AI性能有刚需。二是智能语音系统，大模型语音会议也是重点布局的一个方面。三是运营商的边缘计算，看中了5G+AI的趋势。” 吴强补充：“目前这三个方向已有早期客户。我们精力有限，先把这几块做扎实，未来只要涉及大模型和对功耗敏感的应用场景，都会逐步拓展。” 整体来看，国内AI芯片公司都在积极布局快速增长的大模型边缘AI推理市场。罗忆形象地总结：“大家现在是在跑马，但还没有真正圈地。要成功圈地，必须与大客户深度绑定。目前还没有厂商做到这一点。” 在这场AI推理的竞争中，生态合作伙伴尤其关键，其中ISV（独立软件开发商）扮演不可替代的角色。相比芯片公司，ISV更了解客户需求，也能在擅长的领域服务更多客户。 若把芯片公司和ISV的合作比作“0到1”的工作，那么芯片公司优化算子、提供高效编译器，让ISV开发解决方案，就是把AI从“1到100”实现规模化应用的过程。 明年，切换全国产工艺的AI芯片将陆续发布，谁能在特定场景中发挥大显存和极致性价比优势，谁就有机会赢得大客户的深度绑定，也可能在端-边-云格局中抢占更有利的位置。 可以预见，国产AI芯片的“围攻战”才刚刚开始。未来，随着技术成熟、生态完善以及大模型应用的持续落地，谁能分到更大的蛋糕？对于国产AI推理芯片的更多讨论，欢迎添加作者微信 BENSONEIT。
