早在几年前，在房屋、汽车甚至手机中配备私人助理的概念，还是个是科幻小说的情节—它可以识别您的声音来播放您喜欢的音乐、商店、监控身体健康状况、控制家庭自动化并且处理各种生活琐事。但自从Apple在2011年推出Siri以来，具备数字助理的人工智能（AI）连接设备的数量大幅度地成长，目前包括Amazon的Alexa、微软的Cortana以及三星的Bixby等。
当连网设备失去网络连接时，我们的生活肯定会被打乱。用于语音识别的AI在云运行，因此没有网络就表示没办法提供语音协助。为了保护我们连接的设备，难道没有互联网连接，设备就无法在本地端处理工作了吗？事实上，如果将AI置于边缘，这就可以实现。
虽然将边缘AI应用于数字助理是一种可能的用途，但这个技术将对许多行业产生深远的影响，包括运输、国防、制造业和医疗保健等。边缘AI将如何改变这些行业，它为什么如此重要呢？
什么是边缘人工智能
边缘AI是指可以在硬设备本地端处理AI算法。处理的算法使用来自设备的数据（信号或传感器数据）。而使用边缘AI的设备无需连续连接到云即可正常运行，因为它无需互联网即可独立处理数据和做出决策。
边缘人工智能让智能更接近所需要的位置：设备
为了在边缘使用人工智能，设备除了包含最初设计用来执行其工作的零组件外，还要必须具备微处理器、传感器和AI算法。
其中一个范例是一种电池供电的设备，该设备可以连接到云，但在微处理器上运行的边缘AI软件应用可以实时处理数据。产生的数据就在设备上进行分析，并且存储在本地。必要时，设备可以连接到云并通过互联网传输其数据，以实现冗余存储和长期分析。如果设备持续地将数据传输到云，则电池寿命将受到负面影响。在这个简单的例子中，边缘AI可以延长设备的电池寿命。
机器学习基础：训练和推理
任何基于机器学习之解决方案的两个主要阶段是训练和推理。
• 训练：在此阶段中，将大量已知数据提供给机器学习算法，使其学习该做什么。利用这些数据，算法可以产出包含其学习结果的「模型」。此阶段就处理能力而言，要求极高。
• 推论：设备将学习到的模型与新数据一起使用，来推论它该识别的。简而言之，设备会解读正在询问的内容，然后完成被要求的工作。
训练阶段中的「已知数据」称为标记数据。这表示着每段数据（例如声音，图像等）都有一个描述其内容的标签。语音识别AI经过数千小时的标记语音数据训练，以便从口语句子中提取文本。然后可以使用自然语言识别将文本转换为计算器可以理解的命令。
一旦完成训练，设备就需要处理能力的一部分来执行推理阶段；这主要是因为推理是使用一组输入数据，而训练通常需要大量的样本。用于推理的生产模型也是冻结的，意指无法再学习，并且可能删除了无关的功能，也针对目标环境仔细地优化。最终结果是它可直接在嵌入式设备上运行。决策能力位于设备里面，因此可使其具有自主性。这就是的边缘AI。
设备上边缘人工智能的硬件挑战
如同许多新概念一样，边缘AI背后的技术已经存在了一段时间：机器学习算法在计算器和智能手机中很常见，而且运作得很好。然而对于嵌入式设备是如何呢？这些工具和硬件现在可以组合在一起，成为一个有意义的解决方案，这主要归功于：
• 设备处理能力的提高以及更多可用的模块，为AI图形处理单元（GPU）和特定应用集成电路（ASIC）提供了硬件加速。
• 不断改进AI算法模型及其性能。
• 工具和资源的质量使数据科学家、AI专家和开发人员研究过程更加轻松。
现在，我们不仅可以在超级计算器中整合AI功能，还可以在汽车、智能手机、网页、Wi-Fi路由器、工厂机器人或是从小型到大型，从简单到复杂的各种应用程序中整合AI功能。
在设备上有效地嵌入推理需要什么？
关于边缘AI，首先要选择正确的硬件。边缘设备上的AI推理可以在多个种硬件上执行。
• CPU: 在智能手机和嵌入式设备上，最近推出的任何Arm CPU（Cortex-A7及更高阶版本）都具有在边缘处理AI的能力。这可能不是最快或最有效的解决方案，但通常是最简单的。常用的是TensorFlow Lite软件，可提供大型TensorFlow框架中的关键功能。
• GPU: 对GPU(图形处理器)开箱即用的支持会有所不同，但通常会提供较大数据吞吐量，进而可提供出色的推理频率和较低的延迟。GPU还能从CPU移除的大量工作负载，可提高整体运行速度和效率。
• AI 专用硬件: ASIC和张量处理单元（TPU）。这些硬件组件提供了最有效的AI解决方案，但通常价格昂贵且较难设计。
进一步来分析GPU和AI专用硬件。
一种可能性是利用GPU的处理能力和并行能力。人工智能就像一个拥有数百个神经元的虚拟大脑：它看起来很复杂，但其实是由许多简单的元素组成（如神经元）。这就是GPU成为重点的地方。简单且独立的运行将应用于屏幕上的每一个单点（像素或顶点）。大多数机器学习框架（例如TensorFlow，Caffe，AML等）设计为利用适当的硬件。而几乎所有GPU都可用来完成这些工作。
另一个解决方案是整合专用硬件。透过定制的硬件来加速机器学习，如 AI专用芯片和AI ASIC。Google推出了Edge TPU，Arm推出了机器学习和物体侦测处理器；英特尔，微软和亚马逊也都在开发自己的解决方案。当前，最好的选择即是使用您的AI工具集所支持的GPU。
虽然目前边缘AI是一个热门话题，但它不会只是一时的流行，因为边缘AI可以带来真正的价值。
采用边缘人工智能的好处
1. 脱机可用性/延迟: 如果无论条件和连网状态如何都需要使用应用程序，就必须在本地端处理智能。由于远程的蜂巢式数据不稳定，或是DDoS攻击(分布式阻断服务)等许多因素，可能会导致延迟或完全失去连接。这对于基于云端的解决方案而言，是一个巨大的问题及挑战。但是，如果智能是在本地的设备上做维护，则无需担心。
2. 降低云服务成本: 云服务很方便，因为它的可扩展性和可用性，但这也表示会产生相当高的经常性成本；此成本通常随着解决方案的广泛采用而增加。这些成本是在产品的整个生命周期内产生的。但是，如果是出售运行AI的独立设备，则可大幅降低其经常性成本和基础架构需求。
3. 限制连网成本: 带宽和蜂巢式数据也十分昂贵。仅发送AI的计算结果给云做长期分析使用，而在本地处理数据数据，则可以大大地节省成本。如关于视讯安全的解决方案，megabytes之多的视讯数据将转换为几个bytes。
4. 合规性和机密信息: 当可以在本地收集和处理关键讯息时，为什么还要透过互联网发送重要信息呢？这并不意味着应减少对设备安全性的重视，而是可以少点担心并使客户也放心。
5. 反应时间十分重要: 在本地收集和处理数据可以加快反应时间，从而提高安全性、性能和用户体验。
6. 绿色意识: 在设计高效率的AI设备时，本地处理数据绝对有意义。中小型物联网设备每天将传输约1MB的数据，大致相当于20克的二氧化碳。以每年复利计算，10,000台设备，将造成多达80吨的二氧化碳污染。在本地处理数据可污染缩减到1吨以下，这对地球环境才是有益的。而基于视讯或图像的解决方案会产生更大的影响。
边缘人工智能的限制
边缘AI是比云端AI整合更新的技术，并且本质上具有一定的局限性。以下列出了一些限制和风险。
1. 具有边缘功能的设备: AI需要整合至一个设备上。可以是像智能手机这样的移动设备，也可以是与自动驾驶汽车一样大的设备。无论在哪里，设备都必须能够有效地运行AI解决方案。
2. 性能受到设备的限制: 边缘设备和大量的虚拟服务器相比，具有较少的处理能力。因此，从一开始就确定反应时间和解决方案的复杂性来进行正确的设计是非常重要的。
3. 需要连接性来更新模型: 尽管推理速度很快，训练通常也是一个漫长的过程，甚至在功能强大的专用硬件上也是相同。这就是为什么需要在专用机器上执行而不能在设备等级别的设备上执行的原因。每隔一段时间后，将需要更新模型来识别新的句子、支持新场景、执行新功能等；部署此更新的最有效方法是使用空中下载（OTA）机制。
采用边缘人工智能可带来效率和新机遇
以下为边缘AI如何影响变化的几个例子。
工业应用:
• 大大减少了设备故障和停机时间；这部分估计每年造成500亿美元的损失。
• AI能源管理可在制造过程中平均降低20％的能源消耗。
• 使用本地端AI的智能监控，可以快速识别和解决生产问题。
运输应用:
• 24/7/365可以运行，可最大化设备的投资回报率。
• 减少人工成本
• 估计可减少60％的有害排放量。
边缘AI是许多AI服务的下一步。高度的可用性、数据安全性，以及减少延迟和节省成本是未来AI系统的关键优势。无论是公司还是个人，现在都是拥抱此边缘AI的好时机。尽管有些人可能认为技术尚未成熟，但是它正在迅速发展与融合。只需有限的投入，就可以进行实验和实施概念验证，从而在全球采纳此技术前就可以获得竞争优势。有鉴于AI和IoT指数级的增长，边缘AI的成长是必然的，这绝对是个绝佳的投资机会。