作者：V Srinivas Durga Pras
由于计算机架构的革命性发展以及人工智能和机器学习应用的突破性进展，嵌入式系统技术正在经历一个转型时期。
根据设计，机器学习模型使用大量资源，并且需要强大的计算机基础设施。因此，它们通常是具有更多资源的运行设备，例如 PC 或云服务器，其中数据处理效率很高。机器学习应用程序、ML 框架和处理器计算能力现在可以直接部署在嵌入式设备上，这要归功于机器学习和高级算法的最新发展。这称为嵌入式机器学习 （E-ML）。
处理过程被移动到更靠近边缘的地方，传感器使用嵌入式机器学习技术收集数据。这有助于消除带宽和连接问题、通过互联网传输数据的安全漏洞以及数据传输功率使用等障碍。此外，它还支持使用神经网络和其他机器学习框架，以及信号处理服务、模型构建、手势识别等。根据最大化市场研究小组的报告，2021 年至 2026 年间，全球嵌入式 AI市场预计将以 5.4% 的复合年增长率增长，达到约 388.7 亿美元。
嵌入式机器学习的基本概念
如今，嵌入式计算系统正迅速扩展到人类企业的各个领域，从可穿戴健康监测系统、无线监控系统、物联网 （IoT） 上的网络系统、家庭自动化的智能家电到汽车的防抱死制动系统，都得到了实际应用。
用于嵌入式平台的常见 ML 技术包括 SVM（支持向量机）、CNN（卷积神经网络）、DNN（深度神经网络）、k-NN（K 最近邻）和朴素贝叶斯。使用这些技术进行高效训练和推理需要大量的处理和内存资源。即使具有深度缓存结构、多核改进等，通用 CPU 也无法处理深度学习模型的高计算需求。这些限制可以通过利用 GPU 和 TPU 处理器等资源来克服。这主要是因为复杂的线性代数计算，如矩阵和向量运算，是非平凡深度学习应用程序的组成部分。深度学习算法可以在GPU和TPU上非常有效和快速地运行，这使它们成为理想的计算平台。
在嵌入式硬件上运行机器学习模型称为嵌入式机器学习。后者根据以下基本规则工作：虽然模型执行和推理过程发生在嵌入式设备上，但神经网络等 ML 模型的训练发生在计算集群或云中。与普遍的看法相反，事实证明，深度学习矩阵操作可以在CPU功能受限的硬件上有效地执行，甚至可以在微型16位/ 32位微控制器上执行。使用极小的硬件（如超低功耗微控制器）来运行ML模型的嵌入式机器学习类型称为TinyML。
机器学习方法可以分为三大类：强化学习、无监督学习和监督学习。在监督学习中，可以学习标记的数据;在无监督学习中，可以在未标记的数据中找到隐藏的模式;在强化学习中，系统可以通过试错法从其直接环境中学习。学习过程被称为模型的“训练阶段”，它经常利用具有大量处理能力的计算机架构（如多个 GPU）进行。然后将训练好的模型应用于新数据，以便在学习后做出明智的决策。实现的推理阶段称为此过程。物联网和移动计算设备，以及处理资源有限的其他用户设备，经常用于进行推理。
机器学习技术
嵌入式机器学习的应用领域
智能传感器系统
机器学习技术在嵌入式传感器网络系统中的有效应用引起了极大的兴趣。包括GMM（高斯混合模型）、SVM和DNN在内的众多机器学习算法正在移动自组织网络、智能可穿戴系统和智能传感器网络等重要领域找到实际应用。
异构计算系统
包含多种类型处理内核的计算机系统称为异构计算系统。大多数异构计算系统都用作加速单元，以将计算要求苛刻的任务从CPU转移出去并加速系统。异构多核架构是一个应用领域，为了加速计算昂贵的机器学习技术，中间件平台将 GPU 加速器集成到已经存在的基于 CPU 的架构中，从而提高 ML 数据模型集的处理效率。
嵌入式 FPGA
由于其低成本、出色的性能、能源经济性和灵活性，FPGA 在计算行业中越来越受欢迎。它们经常用于预实现ASIC架构和设计加速单元。使用 FPGA 和基于 OpenCL 的 FPGA 硬件加速进行 CNN 优化是使用 FPGA 架构来加速机器学习模型执行的应用领域。
好处
高效的网络带宽和功耗
在嵌入式硬件上运行的机器学习模型可以直接从数据源中提取特征和见解。因此，不再需要将相关数据传输到边缘或云服务器，从而节省带宽和系统资源。微控制器是众多高能效嵌入式系统之一，无需充电即可长时间运行。与在移动计算系统上执行的机器学习应用程序相比，TinyML可以更大程度地提高嵌入式平台机器学习应用程序的电源自主性。
全面的隐私
嵌入式机器学习消除了在云服务器上传输数据和存储数据的需要。这降低了数据泄露和隐私泄露的可能性，这对于处理敏感数据（如个人个人信息、医疗数据、知识产权（IP） 信息和机密信息）的应用程序至关重要。
低延迟
嵌入式 ML 支持低延迟操作，因为它消除了向云进行大量数据传输的需要。因此，在各种工业场景中实现现场执行和控制等实时用例时，嵌入式机器学习是一个不错的选择。
嵌入式机器学习应用程序是使用方法和工具构建的，这些方法和工具可以在资源有限的节点上创建和部署机器学习模型。它们为希望最大化其数据价值的企业提供了大量创新机会。它还有助于优化其机器学习应用程序的带宽、空间和延迟。