本次讲座核心围绕 边缘AI的发展趋势、技术挑战、NXP的硬件加速方案(Ara NPU)以及完整的软件生态(eIQ套件)。
1. 边缘AI的趋势与场景
未来方向:生成式AI(GenAI)与自主式AI(Agentic AI)正从云端向边缘迁移。
关键场景:智慧家庭与建筑(健康守护、预测性维护)、智能工厂(全自动、质量提升、解放人力)、未来出行(主动感知、软件定义、零拥堵)
边缘AI的核心要求:低延迟、实时决策、自主性、安全隐私、可扩展、成本可控。
2. 技术演进
从CNN感知式AI → Transformer生成式AI → AI Agent智能体架构。
3. NXP硬件加速方案:Ara NPU-高性能离散NPU,支持数百TOPS,适用于Agentic AI与Physical AI。
4. NXP软件生态:eIQ
5. 典型应用案例
二、我们将会学到:
1. 技术选型与架构设计
明确边缘AI的硬件选择:Ara NPU可作为i.MX8/9的加速扩展,适合需要高TOPS、低延迟的GenAI/Agentic任务。
理解CNN + Transformer融合部署:视频检索、视觉问答等场景需同时优化感知与生成模型。
2. 软件开发与优化
eIQ GenAI Flow:提供从STT → RAG → LLM → TTS的完整流水线,可快速构建对话式AI。
Agentic AI Framework:支持多Agent协作、函数调用、安全护栏(guardrails),降低自主系统开发门槛。
模型量化与部署:支持int4/int8,自动量化工具可保持高精度,减少再训练成本。
3. 实际性能参考
Llama2-7B在边缘运行:TTFT约1.4秒,TPS达14-23,已具备实用价值。
RAG模式:相比微调或全参数推理,更节省计算与内存,适合资源受限的边缘设备。
4. 安全与隐私
边缘部署可避免将敏感数据上传云端,结合RAG可进一步保护企业IP。
5. 快速原型与产品化
NXP提供完整开发板:如FRDM i.MX 8MP + Ara240 M.2模块,支持摄像头、麦克风、显示、SSD。
开源与标准兼容:支持Google ADK、A2A、MCP、OpenAI API,可复用云端生态。