随着人工智能技术的飞速发展,端侧AI正逐渐崭露头角,成为智能硬件领域的重要驱动力。AI大模型不再仅仅束之于云端,而是开始渗透至各类终端设备,甚至包括智能手机、PC和汽车等常见产品。在E维智库第12届中国硬科技产业链创新趋势峰会上,安谋科技的产品总监鲍敏祺在其演讲的《端侧AI应用“芯”机遇,NPU加速终端算力升级》中,分享了AI端侧应用的创新机遇及其背后的技术挑战,特别是NPU(神经网络处理单元)如何助力终端算力的升级,推动AI大模型走向边缘计算。
安谋科技产品总监鲍敏祺
AI端侧应用的崛起
传统上,强大的AI计算能力主要集中在云端服务器中,通过庞大的计算资源和数据中心支撑各种AI应用。然而,随着计算需求的日益增长,AI技术正逐步向端侧迁移。鲍敏祺指出,端侧AI的主要优势在于时效性和数据安全性。与云端计算相比,端侧计算能够实时处理用户数据,避免了因数据传输而带来的延迟和隐私风险。例如,未来的智能手机不仅能够通过AI实时分析照片,还能够帮助用户快速整理长文本信息,甚至在图片库中根据内容进行智能搜索。
AI端侧的这一转变对算力提出了更高要求。尽管云端计算拥有强大的处理能力,但端侧设备由于硬件和带宽的限制,算力的提升必须在能效和成本之间找到平衡。鲍敏祺分享了高通的骁龙X Elite芯片的成功案例,说明了在提升AI算力的同时,如何保证功耗控制和计算效率。
NPU:端侧AI的核心加速器
在NPU的支持下,AI大模型可以在端侧设备中得到更好的应用和落地。鲍敏祺在演讲中详细介绍了安谋科技的“周易”NPU,其通过针对不同AI模型的硬件加速优化,显著提高了计算性能与能效比。NPU是专门为神经网络计算设计的处理单元,与传统的通用CPU和GPU相比,具有更高的计算效率和更低的功耗。
在端侧,AI模型的大小和计算量往往受限于设备的内存带宽和处理能力。以语言模型为例,鲍敏祺表示,在目前的端侧环境下,10至30亿参数的模型是较为普遍的,而7B模型则处于较为苛刻的边缘计算环境中。通过对NPU架构的优化,尤其是在图像、视频和音频输入等多模态数据的处理上,“周易”NPU能够有效提升计算效率,帮助设备实现实时处理和智能决策。
多模态AI:拓展端侧AI应用场景
鲍敏祺还提到,AI端侧不仅限于语言模型的应用。未来,AI将进一步拓展到多模态场景中,图像、音频、视频等不同类型的数据将被融合并进行智能分析。通过NPU的加速,端侧设备能够实现更加灵活和智能的交互方式。例如,智能汽车中的AI系统能够通过视频流分析驾驶员的行为和车内环境,实时优化车载系统的运行;可穿戴设备也能够在多模态数据的支持下,提供更加精准的健康监测和智能反馈。
这种多模态的应用将推动AI技术在各类终端产品中的深入应用,从传统的手机、PC到智能家居、智能汽车等设备,都将成为AI技术的“新大陆”。NPU作为硬件加速的核心组件,其在多模态数据处理上的优势,将使得AI体验更加丰富和个性化。
面临的挑战与未来展望
尽管端侧AI应用充满潜力,但在实现普及之前,仍然面临一些挑战。鲍敏祺指出,成本、功耗和生态系统的建设是目前AI端侧发展面临的主要难题。存储介质的带宽和功耗限制,使得AI计算在终端设备中难以像云端一样扩展和处理庞大的数据集。此外,AI模型的不断进化和迭代也需要更加成熟的软件和工具支持。
为应对这些挑战,安谋科技通过“周易”NPU的架构创新,不仅提升了计算能力,还优化了数据本地化和低精度计算,减少了数据搬运带来的功耗。特别是对于智能汽车、智能家居等领域,NPU的高能效和低延迟表现,使得端侧AI能够在有限的硬件资源下,提供出色的性能。
未来,随着硬件技术的不断进步和AI应用场景的不断拓展,NPU将成为端侧AI计算的核心加速器。鲍敏祺展望,端侧AI将不再仅仅局限于计算能力的提升,还将通过智能算法的不断优化,推动AI体验的个性化和智能化,为各类终端设备赋能,真正实现“AI为终端赋能”的愿景。