在影视作品中，不同年代人们所设想的“未来”人机界面（HMI）——从《大都会》中满工厂的仪表盘和杠杆，到《星际迷航》中的全息图，再到《少数派报告》中的触摸界面和增强现实（AR）技术，都已经不再是幻想中的事物。哪怕在近未来设定的漫威电影宇宙中，从指令舱到3D全息界面，似乎都并非遥不可及。那么，人机界面的现状究竟如何？
本文将深入探讨当今人机界面所采用的技术，包括触摸、手势、语音甚至脑机接口，并阐释这些技术的实现方式。
HMI初探
人机界面（HMI）又称操作员界面终端、本地操作员界面或操作员终端，是一个广泛的技术类别，涉及人类与机器进行通信、控制、接收反馈和编程的各种方式。这个术语可以用来描述人与机器之间的任何中介；不过，该术语常用于讨论工业HMI，例如用于控制大型工业系统或复杂机器，并为工作人员提供反馈的控制台和终端。HMI可以指用于操作员输入的系统（如键盘或触摸控制）、反馈系统或用于输入和提供机器系统反馈的任何技术组合。HMI通常出现在商业、工业、汽车、医疗保健和航空航天/国防等主要行业中。
一直以来，人们都在使用控制台、键盘、鼠标等计算机控制设备，以及命令行界面、图形用户界面（GUI）和发光显示器与机器进行通信。为了提高效率并简化界面设计，许多现代系统正在转而使用计算机、平板电脑、智能手机和虚拟控制方法，尽量减少系统现场的HMI。
近年来，触摸显示屏越来越流行，手势和语音控制系统已成为主流。一些利用手势和语音控制的新技术正在加速采用更现代的HMI技术，包括增强现实（AR）和虚拟现实（VR）。
HMI的现状
根据目前的预测，到2030年，HMI市场的复合年增长率（CAGR）将达到约10.4%，市场规模将达到116亿美元。随着许多传统工业系统和机器被替换、升级或改造为更现代化的HMI技术，对HMI的需求正日益增长。这些改造通常是为了提高效率、提供更高级别的操作数据和控制，以适应采用机器学（ML）、人工智能（AI）和复杂分析的更先进技术。
当前的HMI由仍在运行的旧系统、现代化的系统和具有更加顺应未来的界面的新型实验性系统组成。与许多工业系统一样，由于安全考量、人员培训成本、供应商和分销商动态以及其他市场动态等因素，主流HMI在某种程度上落后于HMI的技术进步。新的HMI技术可能需要数年到数十年的时间才能渗透到特定应用中，一些传统的HMI技术甚至已被纳入标准、安全协议和法规中。
当今的HMI技术包括但不限于：
控制台/终端界面（物理执行器）
命令行界面
图形用户界面（GUI）
基于网络和云端的界面
触摸显示器（触摸屏）界面
平板电脑和智能手机界面（即采用便携式无线连接硬件的界面）
手势界面
语音控制/声控界面
AR和VR头显和控制附件界面
脑机接口
直到近期，大多数机器系统还在使用基于控制台和终端的界面，但现在触摸显示界面已普遍应用于现代化的机器系统中。另一项新进展是智能手机和平板电脑控制界面的普及。这些界面通常可通过供应商的应用程序或第三方应用程序来实现，从而增强现有设备的控制选项。借助模块化升级或全套改造系统，可以对许多传统机器系统进行改造，使之具备触摸显示屏、基于网络/云的界面以及平板电脑/智能手机界面等更现代化的界面。
使用由ML/AI支持的自然语言处理的语音控制系统目前在智能家居控制器、扬声器和视听娱乐系统中无处不在，但由于安全和安保原因，在工业系统中的使用并不普遍。在工业和医疗保健应用中，语音控制界面通常只是起到辅助作用的HMI，这其中牵涉到速度、安全/安保问题以及用户/操作员习惯等因素；主要的HMI通常还是涉及触觉输入或手动控制的方法。
对于大多数现代化系统而言，新界面通常采用由制造商或供应商授权或直接购买的模块，一般不会在内部自行设计。这与过去的情况大相径庭，以往许多供应商在产品开发周期中都会定制设计自己的界面。使用第三方界面模块的做法，会给故障排除和客户服务带来一些挑战。尽管如此，它仍能大大增强机器系统的功能，提供比传统接口复杂得多的现代化接口。
新进入HMI市场的是AR/VR和脑机接口。目前，AR/VR头显还处于早期发布阶段，更多地用在故障排除、维护、培训和现场/系统评估等用途。
2024年的HMI实施情况
目前，HMI仍然采用传统硬件和软件打造，依靠无线或有线模拟和数字通信来处理中央处理器、微控制器和外设之间的数据通信。现代HMI的组成部分包括通信协议、信息处理、存储、模拟和数字接口以及软件和操作系统。
许多现代HMI都采用微控制器或计算机系统，其主芯片组集成了各种数字接口和外设。这使得开发HMI的企业能够快速添加蓝牙、Wi-Fi®和USB通信接口等功能，以及其他协议和外设，而无需从头开始创建这些功能。这种可扩展性有利于并行维护移动HMI（如平板电脑和智能手机）和专用HMI。
云服务必须托管应用程序，但如果应用程序可以通过蓝牙、Wi-Fi或其他通用接口直接连接，用户通常就可以在没有互联网连接的情况下访问这些应用程序。这样，工作人员就可以使用平板电脑或智能手机直接控制或监控机器系统，而无需靠近系统。
基于网络的HMI，也就是工作人员可用来进行监控和/或控制操作的网页界面，已经存在了数十年。近年来，云服务已经可以支持这些基于互联网的机器系统功能，甚至可以同时支持多个机器系统。传统的基于网络的系统通常需要直接连接到网页界面HMI。在某些情况下，专有系统可以轮询，甚至允许对内网连接的HMI进行一些控制。
不过，现代云端系统通常由软件即服务（SaaS）云产品提供支持，可适用于各种机器系统。这些可重新配置和重新编程的云系统通常具有提供分析、数据存储、自动化和从安全账户进行远程访问的功能。这一功能让熟练的工作人员可以访问机器系统数据，并通过接入云HMI的终端进行本地或远程控制。这样，无论机器位于何处，工作人员都可以通过同一终端同时操作多个机器系统。当需要高技能的工作人员来完成机器系统的某项任务，但该人员无法到达现场时，这种能力尤为有用。
远程手术（也称远程外科手术）就是这种需求的一个例子，熟练的外科医生可以借助云HMI服务，通过互联网远程操作机器人手术设备。远程手术为身处偏远地区或需要特殊类型手术的患者提供了机会，使他们能够接触到具有特定专业技能的外科医生，而外科医生无需靠近患者就可以完成特定手术。远程手术系统通常需要采用与现场自动手术设备兼容的机器人手术界面（即手术控制台）。不过，未来的技术发展可以使多种不同的机器人手术界面与不同类型的机器人手术系统兼容，从而进一步扩大这些系统的使用范围，提高工作人员的技能。
虽然AR/VR的早期原型和开创性方法早在几十年前就已出现，但直到近几年，这些HMI系统才变得越来越普遍。随着计算小型化和协同开发变得愈发成熟，AR/VR系统对用户越来越友好，实用性也越来越高，AR/VR HMI系统在业界正越来越受到重视。VR的一大主要用途是培训练习和远程系统控制。部署VR HMI的一个主要限制是，用户通常会有意识地忽略沉浸式虚拟体验之外的外部世界，这在许多工业环境中可能会带来危险或麻烦。
不过，将VR用作远程机器人系统或其他机器系统的显示和控制机制，是VR HMI未来的一条可行之路，而且这种做法越来越受欢迎。例如，VR操作员可以控制自主移动机器人（AMR），以进行培训或处理超驰事件。
AR技术正被用作建筑、排故、维护、检查、质控、装配和培训系统等应用的辅助技术。当今的AR系统包括带有类似于护目镜、用于显示叠加画面的头显设备，这些设备可以将关键信息/屏幕画面通过投影或透明显示屏叠加到用户视野范围内（如微软HoloLens、联想ThinkReality、RealWear Navigator和苹果Vision Pro）。
还有一些AR系统会如同VR头显一样完全覆盖用户视野，它们使用摄像系统和显示器将现实世界画面和叠加层一起投射到用户眼中，但此类AR产品比较少见。与AR系统配合使用的通常是语音控制HMI，以实现对AR头显的免提控制。这些语音控制系统往往会借助自然语言处理ML/AI技术来实现。
脑机接口（BCI）也是目前正在努力开拓推广的HMI。此类技术仍处于实验阶段，通常使用脑电图（EEG）或肌电图（EMG）脑电波信号来获取用户控制信号。不过，植入式脑机接口（BCI）也可以直接感知脑信号，用户甚至可以通过训练来操作这些系统获得额外的能力。
未来的BCI可能会尝试提供双向通信，使神经或皮质分流器能够直接与人脑对接（如Neuralink的植入式BCI芯片）。目前，BCI的主要用途是通过恢复失去的感官（如人工耳蜗和人造眼球）来帮助残疾人、通过实现更无缝的人机交流来增强人类的能力，以及促进大脑研究。
结语
人机界面正在不断发展，以实现更先进、可配置、直观、无缝的机器控制。随着显示、控制界面和计算机处理技术的不断小型化和日趋成熟，各行各业都在部署更先进的HMI。
过去，HMI只能安装在固定位置，并专用于单一的机器系统；而现在，平板电脑和智能手机等移动设备HMI或AR/VR系统可通过云端的互联网系统控制全球各地的机器系统，这些系统可以是有线连接的，也可以是通过5G和先进的Wi-Fi无线网络连接的。
未来的HMI甚至可能是植入工作人员大脑的脑机接口，可提供视觉信息，并可用于处理工作人员发出的控制信号，而无需物理或声音输入。
参考文献
[1] “Human Machine Interface Market Size, Share & Trends Analysis Report by Product (Display Terminals, Interface Software, Industrial Pcs, Others), by Application, by Region, and Segment Forecasts, 2023 - 2030,” Research and Markets, October 2023
[2] Kavyanjali Reddy et al., "Advancements in Robotic Surgery: A Comprehensive Overview of Current Utilizations and Upcoming Frontiers." Cureus 15, no. 12 (December 2023): e50415
[3] Baraka Maiseli et al., "Brain-computer interface: Trend, challenges, and threats." Brain Inform 10, no. 1 (August 2023): 20.