边缘AI的“灵魂”，能否跟上Ta飞快脚步？
作者：Doctor M
边缘计算的快速发展使得计算能力加速向边缘迁移，AI也逐步从中心节点向更贴近数据源和业务现场的边缘侧拓展，边缘与云的关系已经呈现出既有分工又彼此合作的局面。在边缘侧，当边缘智能与边缘计算和人工智能相结合，能有效地执行实时、小数据的处理，开展AI模型的推理，并将结果回传至云端，这种“云—边—端”协同的边缘智能架构，解决了目前AI应用中存在的海量数据处理、实时响应以及数据安全等问题，为AI在更多行业的应用奠定了基础。
边缘智能：拓展AI应用边界
边缘人工智能 (Edge AI) 主要是指在用户设备上处理人工智能算法。具体来讲，Edge AI依靠的是设备自身的硬件来处理与机器学习和深度学习相关的数据和过程。Edge AI带来的好处主要有3个方面：一是减少延迟以改善用户体验；二是减少必要的带宽，从而降低互联网服务的成本；三是提高数据的安全性和隐私性。
IDC预测，到2025年，全球将有414亿台物联网设备，期间将产生73147EB数据，其中约四分之一属于实时生成的。要想完全在云端对这些数据进行处理和AI分析很可能超过系统和通信链路的处理极限，再加上网络带宽、数据安全等限制，要实现AI向多行业的渗透，困难重重。
随着人工智能向边缘侧的转移，AI行业的应用得到了极大扩展。根据德勤的分析，现在的AI计算已经在制造业、政府、零售、电信、医疗等不同应用场景下获得应用。很显然，边缘智能在拓展AI边界过程中发挥了重要作用，它能显著提升AI针对现场多样化业务场景的适应性，从而更好地支撑业务运营、为客户创造更多的价值。
图1：AI计算可以发生在不同的物理位置，而边缘智能则有效地拓展了AI应用边界 (图源：Deloitte)
制造业是国民经济的基础性产业，同时也是推动智能化发展最迫切的行业之一。根据IDC的预测，未来几年，边缘智能支出在生产过程智能化、智能供应链与物流、数据安全与合规等应用场景将保持20%以上的年均复合增长率。以产品质检为例，传统的产品质检主要依靠人工目视或传统的基于模式匹配技术的机器视觉，漏检、误检率高。采用Edge AI技术后，不仅显著提升了机器视觉的检测能力和适用性，产品质量也能得到有效控制。
在智慧城市建设中，AI应用已经渗透到城市管理、交通、民生等诸多方面，随着智慧城市向精细化和社区化下沉，边缘智能在智慧交通、应急响应、城市安全等场景下的应用日渐增多。IDC的预测是，在未来几年，边缘智能支出在城市运维管理场景这一市场将保持25%的增速。
5G支持的人工智能和创新应用对网络延迟有很高的要求，边缘智能在此过程中将发挥重要作用。比如电信运营商通过建设具备GPU的MEC边缘数据中心，就可以为行业用户提供边缘计算服务，降低企业自建边缘计算中心的成本。
对许多应用而言，边缘侧显然是进行机器学习处理的理想位置。在制造业、政府、零售、电信、医疗等重点领域，敏捷联接、实时业务、数据优化、应用智能、安全与隐私保护已经成为核心需求，边缘智能是实现行业数字化转型的关键。随着边缘智能技术和解决方案的不断完善，在汽车、消费电子、服装、钢铁、化工等信息化基础良好的行业，AI场景化应用也将逐步落地。IDC的预测是，到2024年，制造业、政府、零售、电信、医疗五大行业在边缘智能应用上的支出将达到159亿美元，占整体边缘智能市场支出的49%。
图2：到2024年，全球边缘计算AI领域的支出情况预测 (图源：IDC)
边缘人工智能面临的挑战
过去几年，人工智能正在成为许多组织商业计划中不可或缺的一部分。正如谷歌首席执行官Sundar Pichai宣称的那样，人工智能对人类的影响将远远超过火和电。IDC更是看好边缘计算及边缘智能在未来几年的发展前景，据其分析，到2024年，全球AI市场支出将达到1100亿美金，边缘智能将占到AI市场支出的29.5%。
良好的发展前景并非意味着前进道路一片坦途，在Edge AI的发展过程中，仍存在诸多技术挑战：
· 糟糕的数据质量
全球主要互联网服务提供商的数据质量差是Edge AI研发的主要障碍。最近的一份Alation报告显示，以IT公司为主的受访者中，其中有87%的员工认为，数据质量差是他们所在企业未能部署Edge AI基础设施的重要原因。
· 潜在的安全威胁
边缘计算的分散性增加了较多的安全风险。以物联网为例，那些提供数据的物联网设备多且分散，这使得Edge AI基础设施比较容易受到各种网络攻击。
· 受限的机器学习能力
在边缘计算硬件平台上，机器学习常常需要强大的计算能力的支持。在Edge AI基础设施中，计算性能仅限于边缘或物联网设备的性能。在大多数情况下，大型复杂的边缘人工智能模型必须在部署到边缘人工智能硬件之前进行简化，这样才能提高其准确性和效率。
· 边缘AI芯片：边缘智能的灵魂
AI计算极度占用处理器资源，它需要成百上千个不同类型的 (传统) 芯片来执行所需的运算。因此，几年前的AI计算几乎都是在数据中心、企业核心设备或电信边缘处理器上远程执行而不是在设备本地。
Edge AI芯片正在改变这一切。理由是：Edge AI芯片的体积更小，价格相对便宜，耗电量以及产生的热量也小得多。因此，可以将它们集成到手持设备和机器人等设备中，在本地执行密集型人工智能计算。此外，Edge AI芯片还能减少或消除向远程位置发送大量数据的需要，从而在可用性、速度、数据安全性和隐私性方面带来好处。
利用Edge AI芯片，可极大地增强企业的自身能力，能够深入分析来自联网设备的数据，并将分析结果转换为行动，同时避免将大量数据发送至云端产生的高昂成本、复杂问题和安全挑战
根据德勤的分析数据，2020年，Edge AI芯片的销量预计超过了7.5亿片，并创造26亿美元的收入。其中，消费类设备市场可能占到Edge AI芯片市场的90%以上。无论是从销售数量还是从其美元价值来看，这些Edge AI芯片的绝大多数将进入高端智能手机领域。在目前使用的所有消费类Edge AI芯片中，智能手机占到70%以上。当然，智能手机并不是唯一使用Edge AI芯片的设备，其他如平板电脑、可穿戴设备、智能音箱也在使用这些芯片，只是目前这些设备对Edge AI芯片销量影响要比智能手机小得多。
德勤还提出，至2024年，边缘人工智能芯片销量预计将超过15亿片，甚至可能远远超过这一数据，年销量增长率预计达到20%以上，是半导体行业整体长期预测9%的复合年均增长率的两倍还多。德勤还指出，虽然消费端的人工智能芯片市场比企业市场大得多，但增长速度可能低于企业市场。在企业市场，机器人、摄像头、传感器和其他物联网设备中将是AI芯片未来的重要应用场景。
作为边缘智能的灵魂，Edge AI芯片的重要性不言而喻，边缘设备只有通过AI芯片获得了自主计算的能力，才能称之为是真正的边缘智能。
现在的AI 芯片主要有两种，即云端AI芯片和边缘AI芯片。按照功能划分，可分为训练芯片和推断芯片，市场上的边缘AI芯片很多属于边缘推断芯片。虽然边缘AI芯片市场兴起时间不长，但参与者众多，其中包括NVIDIA、Intel、NXP、Xilinx、ST、Maxim等跨国企业，也有以寒武纪为代表的国内企业。
01 NVIDIA EGX边缘AI平台
NVIDIA是全球GPU的龙头，在AI训练市场拥有强大的领先优势。面向边缘计算市场，NVIDIA有两款性能出众的EGX边缘AI平台产品，一个是用于较大型商业通用服务器上的EGX A100聚合加速器，另一个是用于微型边缘服务器的微型EGX Jetson Xavier NX。这两款产品均拥有安全、高性能的AI处理能力。搭载了EGX A100的服务器可以管理机场中的数百台摄像头，而EGX Jetson Xavier NX则可用于管理便利店中的少量摄像头。
EGX A100是首个基于NVIDIA Ampere架构的边缘AI产品。它结合了NVIDIA Ampere架构所具有的突破性计算性能以及NVIDIA Mellanox ConnectX-6 Dx SmartNIC所具备的网络加速和关键性安全功能，能将标准型和专用型的边缘服务器转变为极具安全性的云原生AI超级计算机。其中，NVIDIA Ampere架构是NVIDIA的第8代GPU架构，为在边缘运行AI推理和5G应用等各类计算密集型工作负载提供了卓越的性能。
图3：使用EGX A100可创建更快、更高效和更安全的边缘AI系统 (图源：NVIDIA)
NVIDIA为EXG建立了庞大的合作伙伴生态系统，他们中有的是边缘服务器制造商，有的是混合云平台企业，比如Atos、Dell、富士通、GIGABYTE、HPE、IBM、浪潮、联想、Cisco等都是NVIDA生态系统上的重要一员。
02 Xilinx边缘智能解决方案Versal AI Edge
不久前刚刚并入AMD公司的Xilinx，在过去几年里一直忙于扩展其Versal AI Core、Versal Premium和Versal Prime芯片系列，以满足客户在云、数据中心、网络等领域的计算需求。现在，Xilinx正在将其业务拓展到蓬勃发展的边缘计算市场，并在2021年向业界介绍了其最新Xilinx Versal AI edge芯片系列中的七款新产品。这七款Versal Edge AI芯片预计将于2022年上半年面世，其目标是帮助客户实现各种实时工作负载，从自动驾驶汽车到机器人应用、工业应用、智能视觉系统、医疗用途、无人驾驶无人机，甚至外科手术机器人。
据Xilinx的信息，新的Versal AI Edge芯片系列每瓦性能是GPU的4倍，计算密度是其上一代芯片Xilinx Zynq UltraSCALE+MP SOC的10倍，同时还提供了更低的延迟和灵活的体系结构，新的Versal AI Edge系列将采用7nm工艺。所有七款Versal AI Edge芯片均采用双核Arm Cortex-A72 CPU和双核Arm Cortex-R5F处理器，以满足实时应用要求。
Versal AI Edge系列始于VE2002芯片，该芯片耗电6至9瓦，提供14个顶级INT4或7个顶级INT8性能，总内存为95MB。其余VE2102、VE2202、VE2302、VE2602、VE2802等5个芯片的功耗、性能、内存均按不同梯度升高。VE1752耗电50至60瓦，同时提供166个INT4或124个INT8性能以及253MB内存。在内部架构上，VE2002包含八个AI/ML引擎块，VE2101、VE2202、VE2302、VE2602、VE2802依次包含12个、24个、34个、152个、304个引擎块。VE1752虽然也配备了304个引擎块，但它们全部是AI引擎。
图4：Xilinx通用边缘AI产品家族 (图源：Xilinx)
结语
2017年8月，英特尔以153亿美元收购了位于特拉维夫的视觉安全技术公司Mobileye。紧接着，百度开始大规模生产第二代昆仑人工智能芯片，这是一种用于边缘计算的超快微芯片。在微芯片之外，谷歌的Edge TPU、NVIDIA的Jetson Nano，以及亚马逊、微软、英特尔和华硕，均投入到Edge AI芯片的开发热潮中，以增强其边缘计算的实力。其中，亚马逊的AWS DeepLens是世界上第一款支持深度学习的摄像机。
据IDC预测，到2024年，全球企业在边缘应用上的支出将达到2500亿美元，其中与AI技术相关的支出将达到326亿美元，占整体边缘市场支出的13%。十年前，我们可能无法想象Edge AI会达到今天的水平。现在，它已成为行业乃至客户服务设备的一部分。
