今天,我们的生活高度依赖传感器。传感器作为人类“五感”的延伸,去感知这个世界,甚至可以观察到人体感知不到的细节,这种能力也是未来智能化社会所必须的。
不过,单个传感器的性能再卓越,在很多场景中还是无法满足人们要求。比如汽车中昂贵的激光雷达可以根据生成的点云,判断出前方有障碍物,但想准确得知这个障碍物是什么,还需要车载摄像头帮忙“看”一眼;如果想感测这个物体的运动状态,可能还需要毫米波雷达来助阵。
这个过程就好比我们熟悉的“盲人摸象”,每个传感器基于自己的特性和专长,只能看到被测对象的某一个方面的特征,而只有将所有特征信息都综合起来,才能够形成更为完整而准确的洞察。这种将多个传感器整合在一起来使用的方法,就是所谓的“传感器融合”。
对于传感器融合,一个比较严谨的定义是:利用计算机技术将来自多传感器或多源的信息和数据,在一定的准则下加以自动分析和综合,以完成所需要的决策和估计而进行的信息处理过程。这些作为数据源的传感器可以是相同的(同构),也可以是不同的(异构),但它们并不是简单地堆砌在一起,而是要从数据层面进行深度地融合。
实际上,传感器融合的例子在我们生活中已经屡见不鲜。归纳起来,使用传感器融合技术的目的主要有三类:
获得全局性的认知。单独一个传感器功能单一或性能不足,加在一起才能完成一个更高阶的工作。比如我们熟悉的9轴MEMS运动传感器单元,实际上就是3轴加速传感器、3轴陀螺仪和3轴电子罗盘(地磁传感器)三者的合体,通过这样的传感器融合,才能获得准确的运动感测数据,进而在高端VR或其他应用中为用户提供逼真的沉浸式体验。
细化探测颗粒度。比如在地理位置的感知上,GPS等卫星定位技术,探测精度在十米左右且在室内无法使用,如果我们能够将Wi-Fi、蓝牙、UWB等局域定位技术结合进来,或者增加MEMS惯性单元,那么对于室内物体的定位和运动监测精度就能实现数量级的提升。
实现安全冗余。这方面,自动驾驶是最典型的例子,各个车载传感器获取的信息之间必须互为备份、相互印证,才能做到真正的安全无虞。比如当自动驾驶级别提升到L3以上时,就会在车载摄像头的基础上引入毫米波雷达,而到了L4和L5,激光雷达基本上就是标配了,甚至还会考虑将通过V2X车联网收集的数据融合进来。
总之,传感器融合技术恰似一个“教练”,能够将性能各异的传感器捏合成一个团队,合而为一又相互取长补短,共同去赢得一场比赛。
选定了需要融合的传感器,怎么融合则是下一步要考虑的问题。传感器融合的体系结构,按照融合的方式分为三种:
集中式:集中式传感器融合就是将各个传感器获得的原始数据,直接送至中央处理器进行融合处理,这样做的好处是精度高、算法灵活,但是由于需要处理的数据量大,对中央处理器的算力要求更高,还需要考虑到数据传输的延迟,实现难度大。
分布式:所谓分布式,就是在更靠近传感器端的地方,先对各个传感器获得的原始数据进行初步处理,然后再将结果送入中央处理器进行信息融合计算,得到最终的结果。这种方式对通信带宽的需求低、计算速度快、可靠性好,但由于会对原始数据进行过滤和处理,会造成部分信息的丢失,因此原理上最终的精度没有集中式高。
混合式:顾名思义,就是将以上两种方法相结合,部分传感器采用集中式融合方式,其他的传感器采用分布式融合方式。由于兼顾了集中式融合和分布式的优点,混合式融合框架适应能力较强,稳定性高,但是整体的系统结构会更复杂,在数据通信和计算处理上会产生额外的成本。
对于传感器融合方案,还有一种按照数据信息处理阶段进行分类的思路。一般来说,数据的处理要经过获取数据、特征提取、识别决策三个层级,在不同的层级进行信息融合,策略不同,应用场景不同,产生的结果也不同。
按照这种思路,可以将传感器融合分为数据级融合、特征级融合和决策级融合。
数据级融合:就是在多个传感器采集数据完成后,就对这些数据进行融合。但是数据级融合处理的数据必须是由同一类传感器采集的,不能处理不同传感器采集的异构数据。
特征级融合:从传感器所采集的数据中提取出能够体现监测对象属性的特征向量,在这个层级上对于监测对象特征做信息融合,就是特征级融合。这种方式之所以可行,是由于部分关键的特征信息,可以来代替全部数据信息。
决策级融合:在特征提取的基础上,进行一定的判别、分类,以及简单的逻辑运算,做出识别判断,在此基础上根据应用需求完成信息融合,进行较高级的决策,就是所谓的决策级融合。决策级融合一般都是应用导向的。
如何选择传感器融合的策略和架构,没有一定之规,需要根据具体的实际应用而定,当然也需要综合算力、通信、安全、成本等方面的要素,做出正确的决策。
不论是采用哪种传感器融合架构,你可能都会发现,传感器融合很大程度上是一个软件工作,主要的重点和难点都在算法上。因此,根据实际应用开发出高效的算法,也就成了传感器融合开发工作的重中之重。
在优化算法上,人工智能的引入是传感器融合的一个明显发展趋势。通过人工神经网络,可以模仿人脑的判断决策过程,并具有持续学习进化的可扩展能力,这无疑为传感器融合的发展提供了加速度。
虽然软件很关键,但是在传感器融合过程中,也并非没有硬件施展拳脚的机会。比如,如果将所有的传感器融合算法处理都放在主处理器上做,处理器的负荷会非常大,因此近年来一种比较流行的做法是引入传感器中枢(Sensor Hub),它可以在主处理器之外独立地处理传感器的数据,而无需主处理器参与。这样做,一方面可以减轻主处理器的负荷,另一方面也可以通过减少主处理器工作的时间降低系统功耗,这在可穿戴和物联网等功耗敏感型应用中,十分必要。
有市场研究数据显示,对传感器融合系统的需求将从2017年的26.2亿美元增长到2023年的75.8亿美元,复合年增长率约为19.4%。可以预判,未来传感器融合技术和应用的发展将呈现出两个明显的趋势:
自动驾驶的驱动下,汽车市场将是传感器融合技术最重要的赛道,并将由此催生出更多的新技术和新方案。
此外,应用多元化的趋势也将加速,除了以往那些对于性能、安全要求较高的应用,在消费电子领域传感器融合技术将迎来巨大的发展空间。
总之,传感器融合为我们洞察这个世界提供了更有效的方法,让我们远离“盲人摸象”般的尴尬,进而在这个洞察力的基础上,塑造更智能的未来。