英语原文共 6 页，剩余内容已隐藏，支付完成后下载完整资料
用普通相机实现的计算型潜望镜
Charles Saunders[1,2], John Murray-Bruce[1,2] amp; Vivek K Goyal[1*]
计算从不同方向到达的光的数量可以使漫射反射表面在潜望镜中扮演镜子的角色，即在障碍物周围执行非视线成像。由于计算潜望镜迄今为止依赖于与飞行时间成比例的光行程距离，因此它主要是用昂贵的、专门的超快光学系统[1-12]进行的。这里我们介绍一种二维计算潜望镜技术，它只需要用普通数码相机拍摄一张照片。我们的技术恢复了不透明物体的位置和物体后面的场景（但不完全被物体遮挡），当物体和场景都在摄像机的视线之外时，不需要控制或时变照明。这种恢复是基于不透明物体的可见半影，其线性依赖于可通过光线光学建模的隐藏场景。使用廉价、无所不在的设备进行非视距成像在监测危险环境、导航和探测隐藏的敌方方面可能具有相当大的价值。
准确地对场景进行图像处理或检测隐藏在直接视图中的对象的能力有许多潜在的应用。非视距成像的主动光学方法是近年来发展起来的，其中大部分都依赖于瞬态成像。在典型的瞬态成像配置中，由光源和光探测器组成的成像设备缺乏对场景的直接观察，但具有对漫射反射表面的直接观察，而漫射反射表面本身具有对场景的直接观察。用短光脉冲照亮漫反射表面上的一小块区域，会产生非直瞄场景的瞬时照明，通过漫反射表面反射后到达探测器的光间接观察到非直瞄场景。基于瞬态成像的非直瞄场景几何恢复首先通过多延迟进行演示，并将模型扩展到场景元素的可变反射率和非脉冲照明[13]。随后的研究使用瞬态成像来推断具有非镜面的物体的形状，这些物体的表面隐藏在观察者的直接视野中[2,3]。这些早期的研究使用飞秒激光照明和皮秒分辨率条纹相机[1-3]。使用零差飞行时间传感器[14-16]可以显著降低瞬态成像采集的成本，并且随着单光子雪崩二极管（SPAD）探测器和带有时间相关单光子计数（TCSPC）模块的探测器阵列的日益可用性，使得它们能够用于基于瞬态成像的非直瞄成像。带TCSPC的SPAD在许多激光雷达（光探测和测距）应用中很常见，最近被用于远程三维（3D）成像，以及从每个像素[18-21]只有一个探测到的光子捕获光度和几何信息。除了降低非直瞄成像系统的成本外，基于SPAD的系统还促进了之前的往返距离从1米到几米的扩展，用于非直瞄隐藏目标的估计，以及将望远镜耦合到单个元素SPAD[9]，使远程人类定位超过50米。此外，还演示了用皮秒激光探测单个可见壁和用TCSPC进行SPAD的房间几何重建[22]。瞬态成像的其他既定应用包括物体运动和大小[23]的非直瞄估计和角反射特性的单视点估计[24]。
为了解决实验室条件以外现有方法的高成本和不实用性，我们开发了一种仅使用普通数码相机的计算潜望镜技术。成像方法是被动的，非直瞄场景的辐射度是由隐藏在视线之外且不受控制的源引起的。非直瞄分辨率是基于计算反演感兴趣的场景对已知大小和形状的遮挡物体半影的影响，而遮挡物体处于先验未知位置。以前利用半影的技术需要对遮挡器位置的精确了解，并使用激光照明和基于SPAD的检测[25,26]，需要遮挡器运动[27]，或者具有生成场景[28]移动部分的一维投影的更有限目标。最近的一项研究在光场重建[29]中使用了复杂封堵器的校准测量。本文还演示了利用激光照明在不形成图像的情况下对运动物体进行非直瞄跟踪。我们的方法不需要校准，控制照明，时间分辨光检测或场景运动，并获得一个全彩色二维（2D）图像。
我们使用一个由400万像素数码相机、一个20英寸（1英寸=2.54英寸）长宽比为4:3的液晶显示器（LCD）和一个尺寸为7.7英寸times;7.5英寸times;7.5英寸的黑色矩形阻挡物（由一个7毫米宽的黑色平板支撑）组成的实验装置来演示计算视野（图1）。选择这种封堵器形状是为了计算方便，但任何已知的封堵器形状和大小都可以类似地合并。补充资料中介绍了使用三维非黑色封堵器进行的其他实验。来自LCD监视器的光，来自未知显示场景和监视器背景光，照亮一个可见的白色朗伯体表面，该表面位于与监视器平行的前方方向，距离为1.03m。监视器用于方便测试多个场景；监视器用于方便测试多个场景；使用二维和三维漫反射场景的其他结果在补充信息中提供。相机测量包括遮挡器投射的阴影和半影，是一个原始的14位2016times;2016像素图像，颜色通道根据拜耳滤波器RGBG模式交错。对两个绿色通道求平均值，并对16times;16块上的每个颜色通道求平均值后，提取三个126times;126图像（每个颜色通道一个），并将其传递给计算机算法，用于遮挡器位置和场景图像恢复（图2）。当封堵器位于监视器和可见壁之间的处，并且监视器位于距离D处时，处的墙贴片的辐照度由下式得出：
图1计算型潜望镜实验装置
在笔记本电脑的控制下，标准数码相机获取可见成像壁上辐照度分布的快照，这是由感兴趣的场景中发出的光引起的遮挡物体的半影引起的。感兴趣的场景显示在LCD监视器上，以便于对许多场景进行实验。快照通过计算机算法进行输入，以恢复感兴趣场景的图像和估计隐藏封堵器的位置。
其中是监控场景的辐射度，上的积分表示整个场景在的贡献组合。被积函数中的第一个加权因子模拟了通量密度（分母）的径向衰减和两个预短效应：从相对于入射光方向的墙面片和从相对于该像素的视角的监视器像素，使用和分别模拟监视器和壁面法线，表示向量参数和之间的角度，表示向量的欧几里得范数。第二个加权因子V是一个布尔值的可见性函数，当从x到的路径未包含时，该值等于1，否则为0。系数描述了监视器随视角变化的辐射模型（见补充说明信息）。最后一个术语b()表示来自可见墙处建模场景区域S之外的源的贡献。公式（1）是适合我们设置的计算机图形的呈现公式[31]。
假设可见壁的反射为朗伯体，通过离散化方程（1）模拟可见壁的低分辨率数字照片，在相机的视场（FOV）中取的值。也就是说，对于每个颜色通道，我们得到一个简单的仿射模型,其中数字照片被矢量化为列向量，光传输矩阵一个A有15876行和许多列，这些列取决于尝试的重建分辨率（参见补充信息）。形成隐藏场景的图像相当于反转每个颜色通道的结果线性系统。
图2重建程序
- 相机测量数据是交叉的，以提供来自拜耳模式测量的RGB数据，绿色通道是平均值。
- 估计封堵器位置。
- 根据摄像机测量和估计的封堵器位置进行隐藏场景重建。
能见度函数相等，存在的遮挡-是中心的条件反射。如果没有封堵器，方程式（1）中的权重因子对x的依赖性太弱，无法很好地恢复（见补充信息）[2,13,25]。封堵器的存在引入了阴影和半影，使一些图像的形成成为可能，但日常经验表明，这是极其有限的。在离散形式下，如果没有封堵器，A的行太相似，无法进行条件良好的反转。由于封堵器的存在，能见度函数V的变化改善了反演A的条件，因为其列之间变得更加不同。通过将场景平面的一部分视为可分辨的，如果且仅当该部分在至少一个相机测量中可见，而在至少一个相机测量中不可见，我们定义了计算FOV（图3；参见补充信息）。
从单快照相机测量y中恢复和f是一个非线性问题。由于相对于隐藏场景的可恢复分辨率，测量数量的行数）较大，因此测量y靠近依赖于封堵器位置和背景b的低维仿射子空间。封堵器位置是通过下式从y估算出来：
其中A是封堵器位置的计算光传输矩阵；忽略未知b不会大大降低估计值（参见补充信息）。通过求解每个颜色通道的最大化得到的三个估计值平均得到一个。
图3计算视场
场景平面的一部分对摄影机FOV（区域A）可见，且被摄影机FOV的另一部分遮挡的部分形成计算FOV（区域B）。在计算视场中，多个遮挡器边缘的投影落在相机视场中的部分比只有一个遮挡器边缘的投影落在相机视场中的部分条件更好。最佳条件区域是场景平面的一部分，所有四个遮挡器边缘的投影都从该部分落在摄影机FOV（区域C）内。
根据估计的封堵器位置，计算真实光传输矩阵A的估计值。如果估计的封堵器位置准确无误，并且模型不匹配和背景贡献不连续，则将矢量化测量值y（对于每个颜色通道）乘以伪逆将得出隐藏场景的RGB内容的最小二乘估计。为了提高对噪声和模型失配的鲁棒性，我们利用横向空间相关性，通过全变分（TV）正则化提高场景梯度的稀疏性，从而在现实场景中得到普遍应用。
其中，表示TV半范数，是TV正则化参数。
为了进一步提高图像质量，我们在求解类似于方程（3）的优化问题（参见方法中的方程（7））之前，先对16times;16像素的相邻块和A的相应行的测量值y进行差分。由于任何来自计算视场外的光具有缓慢的空间变化，背景贡献b对于相邻像素近似为常数（即），因此近似取消。
其中，是A的第i行。这也为环境光提供了一定的鲁棒性，如补充信息中所述的附加实验所验证。最终，我们能够生成计算视场的图像，因为y中所有可感知的变化都是由于场景的这一部分。
我们还提出了一种替代的重建方法，利用光传输矩阵的一个性质，因为是不同的。不准确的封堵器横向位置或深度导致显示场景的偏移或放大（或缩小）估计。这种观测被用来产生多重的附加重建，这些重建是非线性组合产生一个单一的降噪图像（见方法中的方程（8））。
每个隐藏场景补丁是一个35times;35的监视器块像素；因为显示器的分辨率是1280times;1024， 获得个矩形场景像素，每个像素尺寸为（表示楼层功能）。画面与屏幕顶部和左侧边缘对齐，垂直占30.5cm，水平占40.3cm。摄像机到可见壁的距离约为1.5 m，其视场为43.7cmtimes;43.7cm，以（74.1 cm，26.4 cm）为中心。在此配置下，使用多个36times;29场景像素测试图像来评估我们的计算潜望镜。一个实验场景是一个拟人蘑菇图像，大约尺寸为26 cmtimes;19 cm（图4a，顶部）。175 ms的曝光可以在避免饱和的同时最大限度地提高信号强度，并取20个这样的曝光进行平均，得出3.5s的有效曝光。将快照输入计算机算法，通过估计封堵器位置、数据和光传输矩阵的垂直差分以及图像估计来生成重建（图4c，顶部）。该快照（图4b，top）也被输入另一个计算机算法中，通过估计封堵器位置、为假设的封堵器位置的7times;7阵列形成49个图像估计以及49个估计的非线性组合来生成重建（图4d，top）。为了进行比较，从快照和实际封堵器位置形成一个重建（图4e，顶部）。在台式计算机上使用未经优化的代码，初始遮挡器估计需要18分钟，随后的隐藏场景恢复（使用近似背景消除方法）需要额外的48分钟。大部分计算时间用于形成（）矩阵（参见方法）。将曝光时间减少到1秒以下，可以拍摄每秒一帧的电影（补充视频）。
提供了另外三个场景的结果（图4，底部三行）。最大化信号强度同时避免饱和所需的曝光时间在175 ms和425ms之间变化，20次此类曝光的平均值给出了计算方法的输入（图4b）。估计的封堵器位置在补充表S1中报告。
初始场景的结果（图4，上图）表明，我们的计算成像方法清楚地解决了中等大小的特征，如白色和红色斑块，以及较大的特征，如头部和黄色面部；较小的特征，如眼睛和单眉，可见，但精度较差。同样，对于第二个场景（图4，从顶部第二行），甚至帽子上的白色牙齿和蓝色加号也出现在重建中，以及更大的特征，如脸和帽子。这两个场景表明，难以从视觉上区分的测量（图4b）可能会产生清晰可识别的重建。
封堵器位置估计的精确度大致为厘米（补充表S1）。基于估计的封堵器位置（图4c，d）的重建与基于已知封堵器位置（图4e）的重建具有相似的质量，证明了对封堵器位置缺乏了解的稳健性。
结果表明，一个物体所投射的半影可能包含足够的信息，既可以估计物体的位置，也可以通过计算构建物体所创建的计算视场图像。在这种情况下，我们证明了普通数码相机可以进行二维彩色非直瞄成像，而不需要时变照明和高速传感。
图4不同隐藏场景的重建
- 显示器上显示四个地面实况场景
- 对应场景的摄像机测量。
- 利用微分框架和估计的封堵器位置进行单一重建。
- 降噪最终重建，通过结合49个假想封堵器位置的重建获得，约为估计值。
- 假设真实封堵器位置是已知的先验位置，并使用与d中相同的算法进行重建。
线上内容
任何方法、附加参考资料、自然研究报告摘要、源数据、数据可用性声明和相关的登录代码可从https://doi.org/10.1038/s41586-018-0868-6获得。
Received: 21 August 2018; Accepted: 12 December 2018; Published online 23 January 2019.
参考文献
-
Kirmani, A., Hutchison, T., Davis, J.,Raskar, R. Looking around the corner using transient imaging. In Proc. 2009 IEEE 12th Int. Conf. Computer
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[20285]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
课题毕业论文、外文翻译、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
