端侧AI如何起飞？

中国电子报

2025-03-14 07:59发布于北京中国电子报官方账号

+关注

AI划重点 · 全文约2534字，阅读需8分钟

1.端侧AI技术近年来发展迅速，成为人工智能领域的热点之一。

2.苹果、华为等企业在消费电子领域布局端侧AI，推动AI应用落地。

3.除此之外，汽车、IoT等领域也加速端侧AI落地。

4.芯片作为硬件基础，通过算力优化和场景适配成为端侧AI落地的核心驱动力。

5.端侧AI芯片需求包括低功耗、高能效比和灵活适配多样化场景，芯片行业将拥有更多成长机会。

以上内容由腾讯混元大模型生成，仅供参考

两年前，ChatGPT点燃了全球生成式AI技术研发热潮，端侧AI应运而生。近两个月以来，DeepSeek以开源之姿，再次在全球人工智能领域掀起一股AI新潮。在AI大潮的诸多“弄潮儿”中，端侧AI率先冲刺，助推AI应用进一步落地。

就在端侧AI发展黄金期到来之际，作为硬件基础的芯片，通过算力优化和场景适配成为其中的核心驱动力；与此同时，率先布局的相关企业将有望吃到端侧AI爆发的第一波红利。

端侧AI奏响“集结号”

苹果M3 Ultra机型支持本地部署大模型

近期，端侧AI在多领域落地的动作不断。消费电子领域，联想于2月25日发布其AI PC新品YOGA2025系列，本地部署DeepSeek-7B，成为全球首家在终端设备上部署此规模大模型的厂商。3月5日，苹果时隔两年重磅更新的MacStudio配备了全新M3 Ultra和M4 Max芯片两个版本，苹果宣称 M3 Ultra 版本 Mac Studio 支持本地部署 6000亿参数的AI大模型运行。此外，近日华为的AI PC也传出新消息，预计其自研商用AI笔记本将在四月发布，除了搭载全面集成的DeepSeek大模型，其芯片及零部件或将实现全自研。

汽车领域，小米SU7 Ultra于2月27日上市，雷军通过微博宣布Xiaomi HAD端到端全场景智驾开启全量推送，小米SU7 Ultra出厂即搭载该智驾系统。吉利在3月3日的AI智能科技发布会上宣布完成全域AI智能化布局，其中阶跃星辰提供通用大模型技术，与吉利联合开源多模态交互框架，实现文本、语音、图像数据的融合理解。此外，吉利自研的超级智算中心2.0，算力资源超越万卡，综合算力达到23.5EFLOPS。

吉利千里浩瀚H9配备双 Thor芯片，还运用了车端AI大模型

事实上，除了上述高热度的领域，端侧AI还在涉及面更加广阔的IoT等领域加速落地。例如，今年2月，深思考人工智能在全球开发者大会上正式发布鸿蒙系统TinyDongni&deepseek超小端侧多模态大模型及硬件模组，并联合国产模组厂商推出两大解决方案，一方面为车载、机器人等场景提供实时AI处理能力，另一方面赋能工业检测、AI摄像头等高精度场景。深思考创始人& CEO杨志明表示，超小端侧多模态大模型及硬件模组的发布，不仅是技术的突破，更是端侧AI普惠化的里程碑。未来将持续优化多模态交互能力，推动AI在医疗、工业、消费等领域的深度应用。

“得益于算力与模型优化，端侧人工智能的进步速度将呈现指数级跃升。”联想集团董事长兼 CEO 杨元庆认为，两者进步的叠加效应有望在未来12个月实现3倍的整体性能提升。

高质量AI模型是普及关键

大模型纷纷部署于端侧之际，科技企业高调发力端侧AI，相关产品和应用纷纷上市。这背后的动作并不算新鲜，但根本动力却与以往大不相同。那么，端侧AI落地，时机是否已经成熟？

在AI百模大战的时代，焦点在云数据中心的集中式训练，但AI释放价值的关键更多在于推理。

联想三折叠AI PC概念机

“AI推理将从云端下沉到我们身边，无处不在。”Arm物联网事业部业务拓展副总裁马健告诉记者解释道，如果我们生活在连接带宽无限大、延时无限低、成本接近零的世界，那么AI部署在集中式数据中心是最有效的。但是这个假设并不成立，来自海量传感器、摄像头的视觉、声音等数据都回传到云端是不现实的，尤其是在对延时、隐私以及可靠性有严格要求的场景，边缘AI势在必行。

以DeepSeek为代表的开源模型，加速了AI从云走向端的进程，其带来的影响之一就是支持边缘设备，使得高性能AI应用能够在边缘设备上顺利运行。达摩院首席科学家、知合计算CEO孟建熠指出，大模型在云端的话，实施成本比较高，只有有限的企业可能在部分领域应用，而一旦到了端侧，就有大量的应用都会发展起来。

从目前的一些趋势来看，终端AI模型的质量、性能和效率正在显著提高。为此，高通高级副总裁兼技术规划和边缘解决方案业务总经理马德嘉（DurgaMalladi）以及市场资深经理Jerry Chang在其博文中从以下四方面进行了总结。

首先，当前先进的AI小模型已具有卓越性能。模型蒸馏和新颖的AI网络架构等新技术能够在不影响质量的情况下简化开发流程，让新模型的表现超越一年前推出的仅能在云端运行的更大模型。其次，模型参数规模正在快速缩小。先进的量化和剪枝技术使开发者能够在不对准确性产生实质影响的情况下，缩小模型参数规模。第三，开发者能够在边缘侧打造更丰富的应用。高质量AI模型快速激增，意味着文本摘要、编程助手和实时翻译等特性在智能手机等终端上的普及，让AI能够支持跨边缘侧规模化部署的商用应用。第四，AI正在成为新的UI。个性化多模态AI智能体将简化交互，高效地跨越各种应用完成任务。

芯片是新周期核心驱动力

虽然DeepSeek等大模型通过技术革新降低了端侧AI的门槛，但不足以构成端侧AI起飞的充分条件。作为硬件基础的芯片，通过算力优化和场景适配成为端侧AI落地的核心驱动力。

对于硬件玩家来说，端侧形态各异的设备与丰富应用，蕴藏着巨大的市场空间。为此，相关芯片企业争相在端侧AI领域布局。

大模型、智能体在边缘侧的落地需要具备更高性能和能效的边缘计算平台。2月底，Arm发布新一代边缘AI计算平台Armv9，可运行超10亿参数的端侧AI模型。此外，Arm近日与阿里巴巴合作，通过 KleidiAI 与通义千问模型的集成，加速端侧多模态AI体验。多年前高通就已经为此做了准备。高通早在十五年前就开始在终端侧开展针对AI的研究，其AI引擎已迭代到第十代；去年3月推出AIHUB，帮助不同开发者优化模型，使其部署在不同平台上。

搭载瑞芯微SOC芯片的桌面机器人可作为智能家居的主控中心

对于芯片企业而言，通过硬件创新推动端侧AI市场向上攀升的同时，也让自身吃到更多红利。以我国AIoT芯片领域的代表性企业瑞芯微为例，其在端侧AI方面可提供从0.2TOPs到6TOPs的不同算力水平的AIoT芯片。据悉，当前已有多个领域的客户基于瑞芯微主控芯片研发在端侧支持AI大模型的新硬件，如教育平板、AI 玩具、桌面机器人、算力终端、会议主机等产品。根据瑞芯微公布的2024年业绩预告，预计其2024年营收31亿元到31.5亿元，同比增长45.23%到47.57%；预计实现净利润5.5亿到6.3亿元，同比增长307.75%到367.06%。业绩增长背后，是AI技术快速发展、应用场景不断拓展对AIoT业务的带动。

业内人士向记者表示，端侧AI芯片的核心需求包括低功耗、高能效比和灵活适配多样化场景。伴随端侧AI发展黄金期的到来，芯片行业在推动AI应用普及的同时，将拥有更多成长机会。

作者丨杨鹏岳

编辑丨张心怡

监制丨连晓东

免责声明：本内容来自腾讯平台创作者，不代表腾讯新闻或腾讯网的观点和立场。