恶劣条件下的成像如何破？eHDR智能线性化技术多图效果对比！
图像传感器广泛用于安防监控、随身记录仪、可视门铃和机器人等应用，必须能够在各种恶劣成像条件下稳定工作，以支持图像视觉和机器视觉等功能。高动态范围场景、运动物体或 LED 闪烁等恶劣成像条件，会导致摄像头难以准确捕捉画面。
什么是 HDR，为什么需要 HDR？
图像传感器的动态范围用于描述传感器在较暗和较亮区域中捕获图像细节的能力。只有动态范围较高的图像才能让人同时看到亮区和暗区的细节。人眼的动态范围可以达到 100 dB 以上，但单次曝光的摄像头很难达到这一水平。
为了扩展动态范围，常用的方法是拍摄多张曝光时间不同的低动态范围图像，然后将它们合并在一起以获得高动态范围图像。长曝光图像可捕捉图像中的暗区，而短曝光图像可捕捉亮区，因此在合并后的图像中，我们将能够看到分别利用长曝光信号和短曝光信号形成的暗区和亮区。
线性化与相关的挑战
合并各张图像的过程称为线性化。多张图像的线性化需占用大量内存，此外为实现高帧率，还需具备强大的处理能力作为支撑。
完成线性化后，在查看已合并的高动态范围图像时，还可能会遇到特定的图像质量问题。在恶劣的成像条件下，这些图像质量问题或伪影会变得更加明显。
例如，以下成像条件会导致伪影问题更加明显：
• 场景中有运动物体
• 场景中有 LED 灯闪烁
• 空间内邻近区域使用来自多张图像的数据
安森美 (onsemi)的白皮书《利用低带宽高动态范围 (eHDR) 技术提高物体识别精度》说明了 eHDR 相对于 LI−HDR 在带宽和节省能耗方面的优势。该白皮书重点介绍了由安森美的 AR0822 图像传感器提供支持的线性化模式，其中的嵌入式高动态范围 (eHDR) 技术无需依赖于主机 ISP/SoC，便能在传感器上创建 HDR 图像。AR0822 图像传感器的 eHDR 技术能够有效应对通过线性化将多张图像合成 HDR 图像时所遇到的重大难题，尤其是能够解决因恶劣照明条件而产生的种种问题。
智能线性化改善转换信噪比
一般的线性化过程会先使用长曝光信号，直至长曝光饱和（12 位 ADC 为 4095LSB），然后利用短曝光信号计算 HDR 图像中所需的线性化信号。在 HDR 图像中，由于短曝光信号的信噪比远低于长曝光信号，因此从长曝光信号转换到短曝光信号时会导致出现较明显的伪影现象。当 ISP 对该图像进行后处理时，伪影可能会进一步放大。
为了有效管理从长曝光到短曝光的转换过程，智能线性化会对长曝光和短曝光信号进行加权组合，从而计算出一个信号。其中，长曝光和短曝光依据各自的信号水平被赋予不同的权重。通过这种智能线性化处理，当从长曝光切换到短曝光时，信号会平滑传输。
图 1 显示了由顶部散射光照亮的相同场景，当我们由上至下观察这个灰色场景，会发现信号水平下降，图像也从短曝光转换到长曝光。图 1 的左侧图像未启用智能线性化功能。可以看到红色箭头处存在较明显的伪影现象，这正是因不同曝光水平而造成的转换伪影。
图 1 的右侧图像开启了智能线性化功能，可以看到伪影现象显著缓解，能给人以更舒适的观感，而且也降低了被机器视觉算法误认为是边缘的风险。由此可见，AR0822 的智能线性化技术有助于实现不同曝光水平下信噪比的平滑过渡，避免信噪比突然变化。
图 1.智能线性化技术能够确保图像在不同曝光水平下平滑过渡
智能线性化改善运动伪影成像
对运动场景进行多次曝光成像时，可能出现长曝光信号和经线性化的短曝光信号不等效的情况，这是由于场景中物体正在运动造成的，并有可能导致出现颜色伪影，即在运动发生的区域中存在色调变化。
减少长曝光时间在一定程度上有助于减小伪影的面积，但这种方法的可操作性不高，可能会造成大部分场景处于低光状态，导致整个场景的整体图像质量下降。
AR0822 传感器的智能线性化功能可以有效缓解场景中的颜色伪影。该功能会首先检测场景中的运动，即短曝光与长曝光在线性化信号水平上的差异。然后将根据检测到的运动程度，使用长曝光和短曝光的组合信号水平来减轻场景中的运动伪影。
图 2 为背景中有旋转风扇的例子，对比了在智能线性化关闭和开启两种情况下的成像情况。智能线性化关闭时，风扇叶片顶部附近区域出现了颜色伪影，这是由长曝光与线性化短曝光的信号水平差异造成的。在右侧图像，智能线性化算法检测到了这一情况并进行了校正。
图 2.智能线性化 – 减少运动伪影
图 3 放大了图 2 的部分细节。智能线性化关闭时，风扇叶片附近出现了黄色的运动伪影，而不是橙色。开启智能线性化可以有效减轻这种颜色伪影。
图 3.智能线性化技术能够有效缓解运动伪影
智能线性化改善 LED 闪烁成像
在一般线性化过程中，场景中不停闪烁的 LED 灯可能会导致图像传感器的某个颜色通道通过长曝光成像，而另一个颜色通道通过短曝光成像，具体取决于每个颜色通道的信号水平。因此，当某个颜色通道正通过长曝光成像时，LED灯处于开启状态；而当另一个颜色通道进行短曝光成像时，LED灯已经关闭。后续合并不同曝光时间的图像时，图像的色调可能会因此而改变。在比较糟糕的情况下，图像中会显示 LED 为关闭状态，而肉眼却看到 LED 正亮着。
智能线性化可以通过检测长曝光与短曝光的线性化信号的差异，来感测由 LED 闪烁引起的闪烁伪影。它能根据观测到的线性化信号的差异程度，智能地组合长曝光和短曝光，从而有效减轻颜色伪影。短曝光成像常会导致闪烁的 LED 呈关闭状态，而开启智能线性化则可以避免这个问题，让图像更接近我们人眼观察到的情况。
图 4 对比了智能线性化关闭和开启两种情况下的 LED 闪烁图像。智能线性化关闭时，场景中的一些 LED 灯会显示颜色伪影，这是由长曝光与短曝光的信号水平差异造成的。在右侧图像，智能线性化算法检测到了这一情况并进行了校正。
图 4.智能线性化 − 视频快照
图 5 放大了图 4 中的 LED 灯局部细节。智能线性化关闭时，在视频中会看到闪烁的伪影，或者在快照图像中会看到红色箭头所标记的颜色伪影。开启智能线性化可以有效减轻这些颜色伪影/闪烁伪影，如右侧图像所示。
图 5.智能线性化技术能够有效减少 LED 伪影
智能线性化的集成优势
随着摄像头分辨率的持续提升以及汽车或监控系统所连接的摄像头数量不断攀升，片外ISP/SoC的处理负担日益加剧，进而使得算力和功耗问题愈发凸显。将线性化算法转移到传感器有助于节省SoC的计算时间，同时提高传输帧率。凭借AR0822传感器的智能线性化等先进算法，安森美可以有效减轻多重曝光HDR图像产生的伪影，并且单个和多个传感器可以轻松集成到ISP/SoC上。
