机器视觉之“眼”：图像传感器为什么如此关键？
迄今为止，人类已经经历了三次工业革命，目前正处于第四次工业革命的中期。在每个时代，传感器技术都得到了较大的发展。
第一次工业革命带来了机械传感器，第二次工业革命带来了电传感器，第三次工业革命则带来了磁性、光学、MEMS等多种传感电子产品。第四次革命暨工业4.0更是催生了智能工业传感器的诞生和应用。
顾名思义，传感器是可以感知周围世界，并将输入转换为计算机或过程控制器可以理解的内容的电子器件。工业传感器就像人类的神经终端，没有它们，工业过程对自己和环境的感知和控制都将是盲目的。作为自动化系统重要组成部分的工业传感器，为原本没有生命的机器提供类似人类的眼睛、耳朵和手的功能，从而提高了制造过程的精度、适应性和控制能力。
制造业中的机器视觉
由于传感器的部署，制造过程中曾经需要人工干预的每一步现在都被机器优化了，工业传感器为自动化系统提供了感知和响应环境变化的重要手段。
机器视觉是人工智能和计算机视觉的一个子集，主要借助工业传感器和图像处理算法来自动化传统上由人类执行的任务。现代制造工艺越来越复杂，需要多个步骤协同工作才能制造出完成版的产品。
在制造业中，机器视觉系统通过捕获和分析产品或组件的图像，以评估其质量、尺寸和其他关键参数。这些系统可以检测缺陷，以微米级的精度测量尺寸，并为工艺优化提供宝贵的数据。
虽然工业机器视觉和计算机视觉都利用了类似的底层技术，如图像处理算法和神经网络。但与计算机视觉不同的是，工业机器视觉是为特定的制造任务量身定制的，主要作用包括：
1、产品质量控制
借助高分辨率相机和先进的图像处理算法，机器视觉系统在质量控制和检验过程中提供了无与伦比的准确性和一致性，极大限度地降低了缺陷风险，确保产品符合严格的标准，并向客户交付高质量的产品。此外，通过在生产周期的早期阶段检测缺陷和偏差，还能有效地避免昂贵的返工过程，减少浪费。
2、提高运营效率
机器视觉在制造过程中的应用，一方面实现了重复性任务的自动化，简化了制造工作流程，加快了生产周期，减少了人工干预。另一方面，它带来的实时数据分析和决策能力可实现主动维护、优化资源分配和提高整个制造车间的生产率。因此，机器视觉不仅仅是自动化的一个环节，更是在制造过程中实现高精度和一致性的关键。
3、降低成本、优化资源
机器视觉技术极大限度地减少了重复性和劳动密集型任务对人力的需求，从而显著节省了成本并提高了资源利用率。
4、监管合规和风险缓解
机器视觉在制造业中的主要应用可以说是质量控制和检测，该系统可提供快速、准确和一致的产品检测能力。确保产品质量对于制造商在保持客户满意度和遵守法规方面至关重要，尤其是在制药和食品加工等高度监管的行业，通过机器视觉系统实施的强有力质量控制措施和可追溯性，制造商将大幅降低产品召回、责任索赔和不合规处罚相关的风险。
通俗地讲，机器视觉技术是一项使工业设备能够“看到”它正在做什么，并根据它所看到的内容做出快速决策的技术。使用高分辨率摄像头和先进算法，机器视觉可以及早检测缺陷，确保产品符合质量标准，极大限度地降低废品率，提高客户满意度。
以汽车制造业为例，在装配过程的白车身阶段，机器视觉能根据形状、尺寸、颜色或纹理等预定义标准准确识别和分类组件、零件和材料，并将它们放置在正确的产线位置。同时，机器视觉引导机器人系统还能以精确、快速和灵活的方式执行复杂的任务，如拾取和放置操作、焊接或组装等。
因此，彭博社预测机器视觉市场将将继续强劲增长，到2025年，估计全球市场规模将达到182.4亿美元。根据Fortune business insights的分析，2022年，全球机器视觉市场规模为90.1亿美元，预计将从2023年的96.8亿美元增长到2030年的168.2亿美元，在2023-2030年的预测期内，复合年增长率为8.2%。
图像传感器：机器视觉之“眼”
如本文开头所述，第四次革命催生了智能工业传感器，现在的视觉系统越来越多地连接到运行人工智能（AI）算法的计算机，其结果就是智能机器视觉在工业自动化中获得大规模使用。机器视觉相当于工业自动化的眼睛，利用摄像头、传感器和计算能力，机器视觉技术试图理解图像，并使机器能够完成制造和质量验证等工业任务。
图像传感器是机器视觉系统中使用的摄像头的精髓，它使系统更有效率，更安全。2D和3D图像的捕获、分组和分析比人类执行这些功能还要快且非常准确，机器视觉系统可以在生产线上检测到微小的不一致，并在必要时采取纠正措施。
图像传感器，有时也称为成像器，主要利用光电器件的光电转换功能将感光面上的光像转换为与光像成相应比例关系的电信号，通过测量物体在不同点发出的射线，可以构建、捕获和显示该物体的图像。图像传感器基本上是单色的，为了促进可见光的彩色成像，很常见的方法是在传感器上方采用一层滤色矩阵层。该滤镜将光分离为红、绿、蓝（RGB）分量，并插值单个像素的输出以显示颜色。
早期的数码相机使用的就是耗电量较大的电荷耦合器件（CCD）图像传感器。20世纪90年代出现了CMOS图像传感器，到2000年代中期，CMOS已成为市场上主导的图像传感技术。二者相比，CMOS图像传感器的能耗可比等效CCD器件低一个数量级，制造成本更低，并且随着CMOS工艺技术的发展而不断改进。早期还有人担心CMOS图像传感器因噪声可能较大会导致图像质量下降，随着技术的进步，这个问题基本得到了解决。目前，CMOS图像传感器在大多数应用中基本取代了CCD。
为机器视觉选择合适的图像传感器
虽然传感器的选择主要取决于具体的应用和要求，但有一些一般的考虑因素和规格应该放在首位，包括传感器的像素范围、精度和响应时间，以确保其能够满足应用的需求。
此外，传感器的输出信号必须与系统控制器的输入要求兼容，同时其物理尺寸和安装方法也必须适合安装位置。许多工业环境都很恶劣，因此确保传感器即使在面对各种温度、湿度、振动、污垢和灰尘时也能提供准确可靠的数据至关重要。设计人员在为制造过程中的机器视觉系统挑选图像传感器时可从以下几个要素入手：
像素和分辨率
像素越多，图像的分辨率就越高。这些像素越小，可以实现的分辨率就越高，在给定的图像大小内可以分辨出的细节也就越多。当然，并不意味着我们要追求极致的小像素，因为较大的像素可捕获更多的光并表现出更好的信噪比，二者之间需要一个重大的权衡。在实践中，工业应用的图像传感器通常使用1.5微米到10微米之间的像素尺寸。对于分辨率而言，虽然它通常是选择图像传感器时考虑的第一个参数，但分辨率并不是唯一重要的特征，还有许多其他因素，常见的考虑因素是传感器尺寸、帧率、快门类型、响应度和动态范围，接口类型、功耗、工作温度范围和机械格式也很重要。
帧率
帧率是每秒捕获的图像数量，它表示为每秒帧数或FPS。极大帧率与快门速度、分辨率有关，分辨率决定了每帧需要传输多少数据、从传感器读取数据的速度以及系统中可能的数据传输速度。为了监控快速生产线，可能需要更高的帧率。当使用图像传感器进行生产线检测时，帧率的计算很简单。如果要检查的对象以每秒10个的速度沿直线移动，则捕获每个对象的一次拍摄所需的极小帧速率为10FPS。常见的工业图像传感器帧率为几十FPS，单色传感器的帧率可能超过800FPS。
卷帘快门与全局快门
图像传感器上的像素如何曝光取决于相机上采用的快门类型。对快速运动的图像来说，会首选同时采样和曝光所有像素（并顺序读取每个像素）的全局快门。全局快门传感器比类似的卷帘快门更大、更昂贵，但它们提供了更高的灵敏度和响应度，这使它们对许多工业应用具有吸引力。全局快门长期以来一直用于CCD图像传感器，直至近期，与全局快门配合使用的CMOS图像传感器的可用性一直受到制造工艺复杂性的限制。现在，AMS-Osram和onsemi等制造商已经可以提供经济实惠的全局快门图像传感器。
动态范围
图像传感器的动态范围定义了传感器可以获取并产生输出信号的极小和极大光水平。传感器的动态范围越大，其捕获高对比度图像的能力就越强，人眼的动态范围约为100dB，机器视觉图像传感器的典型动态范围约为60dB至80dB。
价格
CCD在线性扫描应用中仍然很受欢迎，在相同的基础上定价，CMOS图像传感器更受欢迎。
具体到产品上，以安森美半导体（onsemi）的通用CMOS图像传感器为例，该系列图像传感器有VITA和KAC两种型号，VITA图像传感器是卷帘/全局快门图像传感器，具有较高的配置灵活性、高分辨率以及高速和高灵敏度等特性。KAC图像传感器采用全局快门和低噪声卷帘快门模式，具有可编程位深度和灵活的读出架构，支持散布的视频流。这些图像传感器具有1.3MP至26.2MP分辨率、4.5µm至4.8µm像素尺寸以及75fps至160fps的极大帧率。典型应用包括机器视觉、智能交通系统、监控以及其他需要功能性较强和图像质量出众的应用。
onsemi
适用于机器视觉的安森美通用CMOS图像传感器VITA 5000（图源：onsemi）
其中，VITA 5000是一款1英寸四超扩展图形阵列（QSXGA）CMOS图像传感器，像素阵列为2592 x 2048。高灵敏度4.8m x 4.8m像素支持流水线和触发式全局快门读出模式，也可以在低噪声滚动快门模式下运行。在滚动快门模式下，传感器支持相关双采样读出，降低噪声并增加了动态范围。VITA 5000具有片上可编程增益放大器和10位A/D转换器，图像的黑电平可以自动校准，也可以通过添加用户可编程的偏移来调整，图像数据接口由八个LVDS通道组成，可实现高达75FPS的帧率。VITA 5000采用68针LCC封装，有单色和彩色两种版本。
另一款产品KAC-12040图像传感器是安森美KAC系列中的一员，具有非常快的帧速率、卓越的NIR灵敏度以及灵活的读取模式，且具有多个兴趣区（ROI）。该读取结构可使用8、4或2个LVDS输出组，达到全分辨率70FPS的帧率。每个LVDS 输出组均有至多8个在160MHz DDR下运行的差分对组成，每组320MHz数据速率。该像素结构允许卷帘快门运行，实现具有优化动态范围的动作捕捉，同时还允许全局快门，用于精确的静止图像捕捉。
本文小结
对于制造商来说，工业自动化是效率的支柱，自动化的核心是一个经常被低估的组件——传感器，它对整个系统的无缝运行至关重要。这个微小但功能强大的器件就像工业自动化的感官，感知环境的变化，并将其转换为人类可读的输入信号，供控制器采取行动。
随着技术的不断进步，传感器技术的创新有望重新定义制造业效率和精度的含义。
根据Mordor Intelligence的预测，2024年，工业传感器市场规模约为273.9亿美元，预计到2029年将达到415.5亿美元，在预测期内将以8.69%的复合年增长率增长。
作为工业自动化的基础技术之一，机器视觉在先进的传感技术的加持下有了较大发展。现在，这项经过验证的技术正在与人工智能相融合，并引领制造业向智能制造或工业4.0的过渡。如果说智能制造的出现开创了一个新时代，那么，工业传感器和机器视觉等技术的进步在确保产品质量、提高生产率和优化流程方面正在发挥着关键作用。
