在物联网融入人工智能可以极大地提升能力和灵活性,不过,首先需要克服重大的工程技术挑战。
By Nordic Semiconductor
早在1956 年,Allen Newell、Cliff Shaw和Herbert Simon合力制作了一个名为“逻辑理论家(The Logic Theorist)”的计算机程序。该程序由RAND Corporation资助开发,旨在模仿人类解决问题的技能,许多人认为它是人工智能(AI)的第一个范例。
时至今日,大语言模型(Large Language Model,LLM)已成为了人工智能的代言人。LLM 是一种计算算法,通过密集训练来学习文本文档中的统计关系,从而实现通用语言生成和其他自然语言处理任务。OpenAI 的 ChatGPT 可能是最知名的示例。
尽管 LLM 非常有用,但它只是人工智能中的其中一个小众应用;相比之下,把自动化系统收集的大量数据提供予机器学习 (Machine Learning,ML) 算法更加大有作为。ML是人工智能的一种应用,允许计算机在没有直接编程或指令的情况下进行学习,从而不断提高机器的智能。
全球互联的物联网能够让人们收集几乎无限量数据,这些数据不仅可以提供给云端的计算机,还可以用来促进 ML 算法,从而为物联网内数十亿联网设备提高智能。这意味着,即使是最普通的物联网设备也能不断提升智能,为未来的工业、商业、教育、医疗等领域带来巨大潜力。
就拿最不起眼的冰箱来说吧。全世界有数十亿台冰箱,占全球总耗电量的12%。通过不断向 ML 模型提供外部和内部温度数据、柜内存放食物的数量、柜门打开的频率,以及电网负荷较低时段等高级数据,智能冰箱压缩机控制器可以快速适应使用模式,以减省能源使用和碳排放。这是非常美好的愿景。目前的挑战在于如何将硬件和软件结合起来以实现无缝运行。
向边缘发展
1999 年,当Kevin Ashton提出 “物联网(the Internet of Things)”一词时,他对网络的设想与今天的物联网略有不同。Ashton预测数十亿个廉价、小巧的传感器将其数据传送到功能强大的集中式计算资源,并在那里进行繁重的计算操作。Ashton的预测很有远见,但也有失算之处:通过网络从许多设备发送连续数据是复杂、耗能且费用昂贵的事情。
如今,我们通过将物联网的智能分配到边缘,最大限度地减少了网络流量。因为当代物联网设备的资源虽然难与云计算机相比,但也已经能够独当一面,配备了专用应用处理器和充足的内存资源。这使得物联网能够支持广泛分布的计算资源,其中的单个设备均能够进行重要的边缘处理。
在最基本的层面上,边缘处理可让物联网设备对数据进行本地筛选,以确定哪些数据是不值一提,哪些数据则表明情况正在发生变化并应当转发做进一步分析。ML使得边缘设备不仅能检查数据是否超过预设阈值,还能推断出变化的含义,然后采取相应措施。
物联网无线解决方案的全球提供商Nordic Semiconductor的战略与产品管理执行副总裁 Kjetil Holstad表示:“我们将这项全新功能称为‘边缘人工智能(Edge AI )’,它为物联网产品带来了一些关键优势:可在本地实时处理输入,因此无需使用带宽通过无线链路发送原始数据,同时不会浪费时间等待云端的响应。其次,本地处理相比空中发送数据耗电更少,因而物联网设备可以运行更长时间或使用更小的电池。”
Holstad 补充道:“最后,或许是最重要的一点,通过在设备中添加边缘人工智能,Nordic客户可以为产品新增创新功能,从而在竞争中脱颖而出。”
监测机器轴承的温度传感器就是此类功能的示例。如果轴承温度逐渐升高,该传感器可以使用 ML 模型来推断这仅仅是机器在预热,无需担心;若轴承温度快速上升,则可能表明润滑出现故障,并触发传感器在发生损坏前关闭机器。
咨询公司德勤在“预测性维护(Predictive Maintenance)”定位文件中表示:“数据是任何预测性维护引擎的动力。其素质和数量是分析根本原因和提前预测故障的限制因素。物联网提供了大量精确数据,并与边缘人工智能一起为预测性维护领域带来了巨大的经济潜力。”
德勤公司指出,每年非计划性机器停机给工业制造商造成的损失估计高达 500 亿美元;实施预测性维护,每年平均可节省材料成本5%至 10%;设备正常运行时间可延长 10%至 20%;总体维护成本可降低 5%至 10%;维护规划时间可缩短 20%至 50%。
工程技术挑战
利用人工智能和 ML 增强物联网确实好处多多,但大规模实施这种技术却充满挑战。当今许多先进的 ML 模型都需要大量的计算资源和功耗来执行推理(运行 ML 模型并根据输入的数据做出决策)。然而,当今大量的物联网连接设备虽然能够执行一些边缘计算,但却缺乏人工智能和 ML所需的资源。
Tiny Machine Learning 或 TinyML(TinyML 基金会的商标术语,已成为该技术的代名词)是一种解决方案。TinyML 是 ML 的一个分支,它简化了 ML 技术,使其适用于电池供电、基于微控制器的嵌入式设备。TinyML 使得紧凑型物联网传感器能够以实时响应速度执行 ML 任务。
TinyML 使得当今的无线 SoC 能够支持 ML,而未来的新一代硬件将能够运行更先进的 ML 程序。在这方面,Nordic Semiconductor投入了数百万美元经费进行研究,将这类硬件推向市场。
Nordic Semiconductor公司Holstad解释道:“我们设计了能够以优化方式运行 ML的低功耗 SoC,不需要专用的 ML 加速器。关键在于将创新工程与最大数据处理能力和最小功耗相结合。”
“随着物联网中人工智能和 ML 不断发展,对其提出的要求也会越来越高;这可能意味着未来超低功耗嵌入式设备将配备专用 ML 加速器内核。但现在,我们的高效 SoC 和 SiP 展示了优化的力量,毋须加速器也可实现先进的 ML。”
例子包括Nordic双核nRF5340和新型第五代无线 SoC 产品nRF54H20。这些 SoC 采用了 Edge Impulse 的 TinyML 软件。(参见边栏Nordic 在其中:用于电池供电传感器的机器学习)。
Holstad解释道:“凭借 nRF53 和现在的 nRF54 系列,Nordic 成功地打破了处理能力和功耗之间的折衷权衡。这意味着开发人员可以立即获得在电池供电SoC 上支持高级 ML 所需的高处理能力和低功耗特性。而且,Nordic还提供了开展 ML 项目所需的全部开发工具和软件。”
ML大放异彩
尽管面临严峻的工程技术挑战,但开发人员已经开始将带有 ML 的物联网产品引入商业领域。挪威公司Sensorita就是一个示例,该公司推出的智能废物管理解决方案基于Nordic公司nRF9160 SiP蜂窝物联网产品和挪威生命科学大学研究的雷达技术,用于评估大型垃圾箱的装载水平和内容物。”
Sensorita首席执行官 Ulrikke Lien 表示:“客户移动废物处理箱,或者弃置与分类标示不同的废物,使得废物处理公司无法知道垃圾箱有多满、里面装了什么或何时应该取走。这给物流和生产计划带来了问题,而且不必要的回收操作也增加了二氧化碳排放量。”
Sensorita已通过一款结合雷达和 GPS 的坚固传感器解决了这一问题。传感器每小时多次获取垃圾箱内部的雷达图像,然后将这些图像发送到 Sensorita 云平台进行分析。通过利用在数百万幅雷达图像上训练出来的 ML 算法,传感器能够估算出垃圾箱的满载程度以及所装载的主要垃圾类型。
nRF9160 SiP 使用蜂窝网络定位数据和 GNSS 三角测量法记录每个垃圾箱的精确位置,并通过其 LTE-M/NB-IoT 调制解调器将传感器数据传输到 Sensorita 云平台。
Sensorita 还利用 ML 优化卡车在城市中清空垃圾箱的路线,结果节省了燃料、减少了工人的工时并降低了碳排放。
更高效的冰箱、预测性维护和垃圾箱优化固然重要,但这些都是小众产品。当 ML 在网络中广泛部署时,成果将是无比巨大的。其中一个示例就是对医疗保健的影响。像 Nordic 的 nRF54H20 这样的无线 SoC 将支持具有各种传感器(如心率、心率变异性、温度、呼吸频率、血氧、压力、疲劳和其他生理迹象传感器)的可穿戴设备。这种可穿戴设备不仅适用于健身爱好者,还适用于老年人、成年人和儿童。
有了 ML 和蜂窝物联网连接,可穿戴设备能够同时持续监测多种生命体征。如果某些或所有生命体征出现变化迹象,可穿戴设备的 ML 模型就能判断这种趋势是微不足道的,还是严重的医疗紧急情况。例如,血氧水平、心率、血压和呼吸的突然变化表明心脏问题迫在眉睫。如果情况严重,可穿戴设备能够通知急救人员,同时在其到达之前提供重要的数据。
这类设备可以减少医院就诊次数,同时优化对真正需要人士的护理,从而节省紧张的医疗预算。这将为全球节省数千亿美元。
在依靠电池运行的低功耗嵌入式设备上执行 ML 的能力,将会改变物联网,促使网络变得更加智能、强大和灵活,还将带来先前不可能实现的新型产品和应用。未来将会十分精彩,并且比人们想象的更快来临,敬请大家拭目以待。