CMOS传感器在3D视觉、感测和度量上的应用
简述
3D成像技术早在数十年前已经出现，但是民用化产品却只在2000年代才推出市场，那时主流电影企业发布利用高清摄影机拍摄的3D电影。从那时开始，这一应用范围里，不论在速度、精度和3D图像分辨率都有飞跃进展，并且获得从消费性市场到机器视觉工业的广泛应用。
随着工业4.0变革来临，面对诸如复杂的物件辨识和尺寸量度任务，以至人机互动所需要的复杂互动，2D视觉在精度和距离测量方面均出现技术限制，市场对3D视觉的需求因而与日俱增。
3D视觉能提高机器人/机器系统在工业自动化应用的自主性和效率，提供2D视觉不能比拟的高精度质量检测，反向工程和物件度量等关键能力。另一方面，视觉系统导向机器人的应用正在增长中，这一技术需要3D视觉来实现更好的遥距导向、障碍物辨识和精确移动。
3D视觉也能保护需要大量人机互动的工厂工人，在系统级预防和排除危险状况，并通过监控系统，点算工场工人数目并把工人和机器人或物件分辨出来。
3D视觉的能力能够实现更安全、性能更好和更高效的终端用户辅助系统，正在对社会带来影响力。举个例子，3D视觉已成为无人驾驶车辆的先进自动驾驶者辅助系统和人机合作机器人等应用的关键技术。
2D视觉在条形码扫描或光学字体辨识等应用的功用是无可置疑的。它在工厂或仓库应用有不可或缺的角色，而随着区块炼技术的引进和电商市场发展，它在物流中心和运输应用有显着的增长。Teledyne e2v 拥有专为条形码扫描而设计的2D 成像产品，例如是集合高性能和能够实现高可靠性高速扫描的Snappy 传感器系列。
3D图像的生成有好几种技术和科技。主流技术计有：
• 立体视觉： 使用两部相机从不同角度对准主体，并使用校准技术把相机和具体深度信息之间的像素信息对齐。这类似于人类脑部目测距离的工作。
• 结构化光线： 把一个已知的光线图案投射到主体上，然后根据图案在主体上的扭曲状况，计算深度信息。
• 激光三角测量：激光三角测量通过将一部相机和一个激光光源配对，实现三维测量。系统根据激光光源和相机之间已知的角度偏距，以三角几何理论量度出激光线的几何抵销(数值与主体的高度成比例)。这是一项基于扫描主体的技术。
• 飞行时间：一个光源与一个图像传感器同步，根据发出脉冲光线和光线反射回馈到传感器的时间计算出距离。
每一种技术都有它的优缺点，所以技术的适用程度取决于应用类型(其中距离范围和深度精度要求是重点)。表一列出了相对不同条件的技术比较。
表 1 3D 成像技术“顶层”比较
虽然3D系统仍然占工业自动化和仓库应用视觉系统的一小部分，现在越来越多基于3D立体视觉、结构光线或激光技术的3D系统正在引进中。这些系统有固定的工作距离，需要大量校准工作以实现特定的侦测范围。而飞行距离系统则能解决这些挑战，并从应用角度提供更高灵活性，不过图像分辨率仍然是大部分这类技术面对的制肘。
Teledyne e2v在机器视觉拥有长远的成功历史，例如是线阵相机和影像传感器，而近期则积极打造用于3D成像的专用平台。这一平台将支持最新的工业应用，包括视觉导引机器人、物流应用自动化无人车辆、工厂监控和安全、手持式扫描仪以及户外应用。Teledyne e2v致力长期提供基于多种3D技术的产品，以满足客户应用的需求。
3D 视觉实现高速准确检测提高产能，表现超越2D
工厂已进入自动化工作，以提高产能和在产品查验和库存的方方面面节省时间和金钱。要优化这些因素，拥有视觉系统的机器需要更高速和以更佳性能工作。
因应这些发展，2D视觉遇上了限制，使得3D视觉被广泛引进，以实施更高精度的质量检验，反向工程或物件量度任务。三角测量技术正在这些应用中获大量使用，鉴于三轴图像要求高分辨率，需要非常高速的的传感器。
自十多年前起， Teledyne e2v已经和3D三角测量的市场领导者一同工作，以开发订制化传感器。去年Teledyne e2v 发布了能配合高速尺寸测量和查检技术挑战的标准传感器，以满足高速生产线的要求。
这一快闪 CMOS传感器系列很好地组合了一个 4,096 x 1,024像素分辨率和一个2,048 x 1,024 像素传感器，二者的帧率分别为1800 fps 和 1500 fps (8 位) ，兼容标准光学格式(APS兼容和 C-Mount)，读出速度分别为61.4 Gbps 和 25.6 Gbps。
新型的传感器设计用于为相机生商实现轻松和高性价比的集成解决方案，包括提供一系列片上功能，已达到宽广应用范围以及高灵活性：
• 高达100dB的高动态范围(HDR)模式，实现对同一影象里的高反光表面和阴暗范围进行测量和查验
• 多重取景窗口(Region of Interest，ROI)模式兼顾高测量速度和范围/分辨率
• 个别参数提供帧间“热”配置模式有助于实现灵活性和对环境条件的实时适配
• 多种曝光触发模式能够完全配合生产线速度
这些传感器能够为工业市场提供以下优势：
• 以2K或4K分辨率实现市场最高速率，提高产能
• 高性价比系统： Flash产品系列提供高性价比(市场最佳Gbps/售价比率)
• 允许对实时环境条件和生产线速度作出适应，实现高灵活性应用
3D 视觉提高工厂自主性和效率，性能超越2D
为了改进工厂自动化的自主性和效率，无人操作机器人的应用正在不断增加。随着工厂和仓库自动化程度越来越高，车间出现了人机密集工作，因而防止事故和提高安全度成为至关重要的任务。
在这些日益多变的工作环境里，飞行时间(Time-of-Flight，ToF)系统成为理想的解决方案，因为它们拥有实时3D信息和决策能力，以及能够在快速移动的场景中侦测出物件或人员。
飞行时间技术可分为两大类：直接飞行时间和间接飞行时间。
直接飞行时间是指系统通过直接计算光线从物件反射的时间量度出距离。
而间接飞行时间则是系统通过计算光波发射到物件以及从对像反射的相位差异而得出距离，从而建立3D图。
图2 直接飞行时间和间接飞行时间的优缺点比较
优点
• 全速(多相像素)
• 背景去除，兼容户外环境
• 低软件复杂性
缺点
• 混叠
直接飞行时间 – 脉冲重建
优点
• 无混叠
• 无错误距离测量(不受雾水、尘埃、多路反光影响)
缺点
• 严苛的速度要求(光脉冲速度以纳秒计算)
• 相对高的计算复杂性
Teledyne e2v提供采用订制化传感器的直接飞行时间系统，以及使用完整标准产品的间接飞行时间系统。
Teledyne e2v 在飞行时间技术和解决方案上有超过10年的经验，并以在用于自动化、机器人、汽车和监控工业专有传感器方面的成功范例为基础，实现创新飞行时间像素的强大能力。
我们的标准飞行时间传感器通过以下特点，对应客户需求：
• 高空间分辨率，实现大视场范围和高角度分辨率
• 快速实时无运动模糊3D测定，在全分辨率下实现超过30fps深度图
• 提供近、中、远距离侦测和管理
• 能在任何环境条件实现超高可靠度测距：具有在环境光条件下的出色高精度和强大功能，以及多系统工作
飞行时间技术处理复杂环境工作
相较其它3D技术，飞行时间具有快速、简单、低成本，以及在中至远距离提供出色的3D性能的特点。
再者，正如上文提及，飞行时间技术具有高灵活性 – 由于它无需按设定校准(如工厂校准)，因而可以固定在活动机器人上。系统也可以适应任何工作设定，使得飞行时间系统很好的配合复杂的环境和条件工作。
以下是一些飞行时间在工厂或仓库应用的的最适用范例：
• 量度箱子或包装的外形尺寸和体积：飞行时间系像系统能够量度箱子或包装的尺寸和体积，以便于最有效装盘或集运(优化装箱和货车载荷)或提高产线效率
• 用于智能高效仓存管理的货件识别：相较于2D传统成像处理系统，飞行时间成像系统能够以更短的时间检测货件或包装尺寸
• 抓取与放置：飞行时间系统检测和识别合适的物件进行抓取，并放置到合适的位置，相较使用2D传统成像处理系统，可实现更高准确性和更短时间。
与市场现有产品相比， Bora传感器(Teledyne e2v去年发布产品)为需要为固定物件进行分析的应用提供独特的优势。这一款传感器具有1.3MP高分辨率，能够以2D和3D撷取具有宽广视场的大面积现场，实现高性价比的优化系统。我司所有飞行时间传感器均设计用于高灵活性应用，可适应不同的工作条件并提供具有深度图的实时3D影像撷取，并在全分辨率下以四相工作实现超过30fps的高速度。
Bora传感器的功能亮点：
• 创新10µm 像素设计
• 1,280 x 1,024 像素空间分辨率
• 卓越的灵敏度和独有的片上门控全局快门模式，实现最快42ns 门控时间
飞行时间系统助力机器人在工厂环境以及其它应用中无人操控安全工作，比其它3D技术提供更多优势
图4 机器人导向应用范例
今日的导向系统大多使用传统激光雷达(Lidar)扫描仪和侦测物件，但由于它们有一些缺点，使得有越来越多使用如非直接飞行时间等其它技术的解决方案。相较于传统激光雷达(Lidar)扫描仪，非直接飞行时间系统能提供实时影像信息，并有快速响应时间和无运动模糊的特点。由于它们不含机械部件，因而也有性能更强大、紧凑尺寸的特点。而固态设计更低功耗和更少计算的特点则可实现低成本。
表 2. 传统Lidar 与非直接飞行时间“顶层”比较
在上述的应用中，飞行时间系统能解决不少挑战。系统需要处理从10米起的短、中、长距离测量，速度也要足够的快以避免产生瑕疵(现在市场上大部分飞行时间解决方案均集中于最大5-6米的短距踓)。另外，系统有可能需要在不同光线变化的条件下工作，例如机器人在工厂或仓库到处移动工作，但不会对同一区域内的其它机器人构成障碍。
2020年7月， Teledyne e2v 发布了 Hydra3D传感器，它是市场同级最佳飞行时间传感器，它的创新的像素和高度灵活配置，实现非常高的动态范围，为应用提供直观技术，以完美应付各种工作条件。Hydra3D 具有832 x 600像素分辨率，10µm三内存节点像素，允许最高3D性能水平，包括高深度分辨率，高速度和灵活工作条件。
Hydra3D 的创新多内存节点像素能够提供重建3D图像所需的三个相位，有助于在快速移动场景中撷取无运动模糊的精准3D信息。
三内存节点像素提供在单帧中建构3D图所需的多相位信息撷取和存储能力，无需像其它非直接飞行时间技术般使用多帧技术。这一技术在快速移动场景应用避免任何运动模糊是非常强大的功能。这类似于2D视觉技术中全局快门和卷闸快门的差异。
三内存节点像素能够以单个光脉冲撷取所有相位，实现光能优化使用。在下图的应用实例中，帧率保持不变，使得平均功耗大大减小。不过光能取决于高帧率或高精度 (配合多重捕获)。
图 5 单内存节点与三内存节点比较图
Hydra3D 传感器的主要特征如下：
1. 预计性能，有待实测确认
2. 只限于读出。曝光并非同时发生
3. 2D灰度模式
4. 单次读出， 2D灰度模式
CCD 年代的时间飞行
时间飞行的影象处理是相较传统2D视觉系统更复杂的技术。它涉及光学和照明系统，取决于多个参数(如传感器或视场、工厂校准、专有传感器配置) 以便于完全配合应用需求。
我们经常把时间飞行传感器和CCD传感器比较，因为复杂的设定需要在系统级投放大量力量以集成传感器，应用设定的控制因而 成为关键因素。
基于我们在飞行时间ToF CMOS传感器的专门技术以及与客户的紧密工作，Teledyne e2v获得关于飞行时间系统的原生挑战的深厚经验。为了帮助客户加快上市时间和获得适合应用要求的最佳飞行时间系统，我们提供从CMOS影像传感器到订制相机模式等一系列技术解决方案，涵盖完整系统到系统集成支持。这包括了一个使用我们的评估平台的参考设计，照明和光学评估，肉眼安全考虑，建模和仿真、算法和校准。
图 6 Teledyne-e2v 的飞行时间技术和能力可达到系统级
总结
随着工厂和物流仓库进入自动化年代，带动了高效无人操作工业系统的需求，特别是用于导向机器人和机器(用于物件辨识，导向，高速和精准度)的3D视觉技术。市场上存在多种3D技术，每种各有优缺点和配合技术，大部分取决于应用需求。所有的这些技术都需要具有精密功能的高效传感器。
Teledyne e2v拥有与市场领先厂商合作的成功案例，并提供包括3D视觉的广泛独有解决方案系列，以服务诸如工厂自动化、物流和测量应用。我们在高性能CMOS影像传感器的独有技术(集成先进像素和独特功能)结合超过10年的在飞行时间系统的具体经验，助力我们帮助客户解决3D视觉方面的种种挑战。
