在航空成像中使用单个相机还是多个相机?

介绍

为航空成像应用选择合适的相机时，一开始简单地寻找最大的传感器或最大的百万像素(MPs)似乎更容易一些。然而，使用多个较小的相机来代替一个较大的相机通常可以比单个相机更好。利用飞行器拍摄图像的优势在于相机可以捕捉到的广阔的景观视野。通过将多个相机并排组合在一起，并将这些图像拼接在一起，一个更大的视野(FOV)，即航空摄影测量中的图像镶嵌“Image Swath”，可以收集更多的数据，从而获得一个更有效的航空视觉系统。当然，多个相机的用例各不相同，可能需要更多的规划。

航空成像相机在飞行中观察几何图形的草图：飞行高度H，Swath宽度s，单个像素长度w = v·t_exp，飞行速度v和曝光时间t_exp以及沿飞行方向（由张角γ定义）和垂直飞行方向（由张角θ定义）的瞬时FOV。垂直飞行方向的FOV被分成各个观察方向θ_i。

镶嵌图像MOSAIC

像素高度

航空成像相机的选择不应该仅仅基于相机的分辨率。航空飞行器拍摄的图像是拼接在一起的镶嵌图像，通过不断增加镶嵌图像的像素高度。因此，可以通过拼接更多的图像来补偿图像的像素高度。用于航空成像的相机通常以相对较慢的速度拍摄图像，每两秒钟拍摄一张图像。相比之下，现代传感器技术每秒可以拍摄数十甚至数百张图像。为了用更小的传感器创建更大高度的镶嵌图像，相机需要增加拍摄图像的频率。如图1至图3所示，较大的传感器将为每幅图像提供更高的像素高度，但较短和较宽的双相机设置可以将图像拼接在一起，产生更高分辨率的镶嵌图像，从而增加图像的覆盖面积。因此，对于镶嵌图像应用，每幅图像更高的像素高度并不导致任何净增益。

图1 – 2000万像素相机拍摄的图像

图2 – 1600万像素相机拍摄的图像

图3 –两台900万像素相机拍摄的镶嵌图像

像素宽度

像素宽度标识一次可以测量多少区域。 更大的百万像素大小会有所帮助，但是如图3和4所示，通过将两个相机放在一起，较小的900万像素或500万像素相机对可以替代甚至超过较大传感器的像素宽度。 因此，图1和2之间百万像素的差异主要是由于垂直像素引起的。 如前所述，可以通过拍摄更多图像来补偿镶嵌图像中的像素高度。 因此，还应注意，实际的百万像素值对于航空成像不是一个好的参数，但是在选择相机时，还应考虑其他几个因素，例如：地面采样距离（GSD），动态范围，灵敏度和 噪声。

图4 –两台500万像素相机拍摄的镶嵌图像

拼接图像

像素宽度加倍

由于像素宽度的重要性，将相机组合在一起并有效地使像素宽度加倍是有利的。 并排安装两个相机时，需要很高的精度，以最大程度地减少构成镶嵌图像的重叠。 图5中显示了2000万像素相机和一组正确同步的900万像素相机之间的区别。

图5 –单相机和多相机设置比较以优化像素宽度

重叠

重叠是指每个图像中彼此匹配的像素数量。 这意味着每个图像将具有与另一个图像的特定区域重叠，并减少每个图像内的唯一像素。 在以往的解决方案中，需要多达80％的图像重叠才能获得可用的结果。 在图6中，三个堆叠的图像与所成像的部分景观有一些重叠。 这三个图像被拼接在一起，清楚地表明哪些区域不包含独特信息。 这说明了校准不当可能引起的问题。 将实时传感器数据与确定性触发结合使用，确保最小的重叠，可以增加可从镶嵌图中的每个图像收集的唯一数据的最大数量。

图6 -三幅图像的重叠部分，显示了每张图像唯一数据的丢失

触发解决方案

软件触发

软件触发可以是相机同时拍摄图像的方式之一。 典型的相机触发器可能被认为是按下按钮即可拍摄图像的物理按钮。 取而代之的是，对于航拍相机，需要有另一个选项可以用来自动触发相机。使用软件触发，相机内部运行的软件可以在定时循环中拍摄图像。

但是，由于软件触发准确性有限， 相机会在略微不同的时间拍摄图像，因此这种解决方案通常会导致异步系统。 时序不一致的原因是API在调用相机的时候必须操作系统进行处理， 而 其他任务或优先事项可能需要事先完成。这种 与触发时间的不一致会导致拼接未对齐，例如图7所示拼接不对齐被放大以可视化此效果。 基于尺寸和重量的限制，尽管现代的触发器变得越来越紧凑和轻巧，但还是有必要没有物理触发器。 相机也可以设置为时钟定时，但仍会导致基于每个相机内时钟的精度在稍有不同的时间拍摄图像。

图7 –从双相机设置获取的两个未对齐的并排图像

硬件触发

不使用软件触发，可以使用硬件触发器来激活相机。 每个相机都可以连接到自己的触发器，该触发器经过校准可以尝试补偿定时差异。 或者，两个相机都可以连接到同一触发器，然后触发器同时将信号发送到两个相机，同时激活它们以同时拍摄图像。 对于另一个准确的触发，可以选择一个相机作为主要相机，称为主相机。 这意味着它通过与辅助相机（称为从相机）建立物理连接来控制其他相机的操作。

图8 –软触发一个相机和激活相机的实时比较

该过程以硬件或软件触发器向主机发送信号开始。然后，主机将信号发送到从机，两个相机一起捕获图像。与纯软件解决方案不同，该过程是确定性的，因为可以考虑从属设备在接收到主设备信号后花费图像的时间（如图9所示）。发送信号的时间与从站实际激活的时间之间存在可测量的差异。可以分别在图8和9中比较激活相机的软件触发器和硬件触发器之间的延迟量差异。可以精确测量主机向从机发送信号与从机实际触发之间的时间，然后将其用于延迟主机自身的内部触发，这会导致一系列事件，如图10所示。定时主控和从属方法将确保两个相机都能在同一时间拍摄图像。

图9 –硬件触发器向相机发送信号和激活相机的实时比较

图10 –主从相机的触发配置

挑战

机载图像处理

在创建镶嵌的实时图像拼接的情况下，一个挑战可能是开发一种系统，该系统可以在一个小包装中足够快地处理图像和飞行数据。 存在许多可以在计算机或云上处理航拍图像的解决方案。 但是，为了充分利用航空视觉系统，让飞机捕获图像需要花费时间，而这些时间可能会花费在处理那些相同的图像上。

SWaP限制

当向能够进行机载图像处理的无人机增加必要的处理能力时，还需要考虑尺寸，重量和功率（SWaP）限制。这就是为什么重量更轻的无人机倾向于将图像直接保存到存储设备（即SD卡）中的原因。在空中进行图像处理或等待飞机降落以处理图像的便利性之间需要折衷。

拥有更多相机也会导致重量增加。无人机系统增加的重量越多，举升无人机所需的功率就越大。即使使用拆下沉重底盘的板机相机，为飞机上的相机添加额外的光学元件也会大大增加其重量。增加的重量将增加功率消耗并限制飞机的可能飞行时间。

但是，根据特定的相机和镜头，它们的重量可能会比单个较大分辨率的相机轻。应该注意的是，多台相机通常会覆盖更大的成像区域，或者提供更好的GSD，而第二台相机甚至可以提供一些冗余。因此，需要仔细考虑其优缺点。

飞机类型

无人机

汽油动力无人机通常更大，通常不受与电池驱动的小型无人机相同的功率限制的约束。 无人机相机的理想外形包括拥有更宽而不是更高的底座，或者根本没有底座，因为对于许多无人机而言，腿的长度限制了可以在无人机底侧安装的部件。 同时考虑到镜头，其结果是更扁平的外形更适合无人机相机。 另一方面，对于更高，功率更大的飞机，由于性能是头等大事，因此对这些问题的关注较少。

载人飞机

载人驾驶飞机消耗大量的动力，而且非常笨重/庞大，以至于增加几个相机的缺点可能不如小型飞机那么大。 因此，这些飞机可能可以同时容纳多个相机，从而实现包含许多大幅面相机的更强大的设置。

价格

从节省成本的角度比较每百万像素的价格，与1600万像素相机相比，两台900万像素相机的投资回报要好得多。 两台900像素相机的价格稍高一些，但像素宽度增加了65％以上，相对于性能而言，成本实际上要低得多。 如图11所示，每种设置的每百万像素成本表明，组合多相机时，整体收益不仅表现在性能上，而且在经济上也很有利。

图11 –单个和多个相机设置的每百万像素成本（越低越好）

结论

考虑到与航空成像相关的优势，使用多台相机可能是一个理想的选择，但最终决定最佳解决方案的是飞机的类型。 对于以电池为动力的飞机，必须做出一些折衷，但是对于大型汽油动力飞机，例如军用级无人机和有人驾驶飞机，最佳解决方案通常归结为纯粹的性能。

如果您对航空成像相机有任何疑问， 请与我们的相机销售代表联系：sales@znjtech.cn。

以上内容原文摘自https://www.lumenera.com ，由子健电子（上海）有限公司翻译整理， 转载请注明。