英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料

Kinect的多摄像机标定与点云融合工具

Diana-MargaritaCoacute;rdova-Esparzaa, Juan R.Tervenb,lowast;, HugoJimeacute;nez-Hernaacute;ndeza, Ana-MarcelaHerrera-Navarroc

摘要：本文介绍了一种工具，用于校准多个Kinect V2传感器。为了实现校准，每个摄像头至少需要三个采集数据。该方法使用Kinect传感器的坐标映射功能在相机、深度和颜色空间之间注册数据。该方法使用了一种新的途径，它在相邻传感器之间获得多个3D点的匹配，并使用它们来估计摄像机的参数。一旦相机校准，该工具可以执行点云融合转换所有的3D点到一个单一的参考。我们用四个Kinect V2传感器组成的网络测试了系统并得出了校准结果。该工具是在kinect的Windows SDK 2.0的MATLAB环境下实现的。

软件的元数据

代码的元数据

1.介绍

摄像机标定是一个估计内部摄像机参数的过程，称为内参数，如焦距，图像中心，倾斜，以及可选的，镜头失真。当处理多个摄像头时，估计每个摄像机关于参考物的旋转和平移也是有必要的，这些旋转和平移被称为外在参数。一组相机的内在和外在参数可以使图像中的度量测量得到矫正。结合颜色和深度信息的低价RGB-D相机的出现，如微软的Kinect，通过克服的二维图像中存在的缺乏深度信息的主要问题，彻底改变了计算机的视觉世界。通过给出的深度信息加上校准信息，有可能获得所谓的3D图像，即带有度量信息和颜色的图像。多RGB-D摄像机标定是广泛应用中的重要一步，如三维重建[ 1,2 ]，跟踪人[ 3 ]，运动捕捉[4,5]，增强现实[6,7]和临场感[ 8 ]。

2.问题及背景

摄像机标定是计算机视觉中的经典问题，并且通过几十年的研究已经产生了一些技术。这些技术可以根据3D，2D和1D的校准对象的尺寸进行分类。三维标定物如正交平面[ 9 ]提供了最准确的结果。但是，这些方法可能需要昂贵的校准装置和精心的设置。基于2D对象的方法，如一个单一的移动平面[ 10 ]是最流行的，因为它们提供了一个在简单和准确之间权衡的方法。由于校准点数量较少，一维物体如多重共线点[ 11 ]提供较准确的结果（有相同数量的采集装置）。但是，对于多摄像机校准来说，一维对象是最简单的并且是首选的，因为所有的相机可以在同一时间看到相同的校准对象[ 11,12 ]。最著名的摄像机标定工具箱来自于Bouguet[13]。此工具箱使用一个二维校准对象的棋盘图案的形式与已知的物理尺寸，其中的角的正方形被用作校准点。他们的方法的灵感来自于[10]的作用，并在MATLAB中得以实现。但是，这个工具箱可以校准一个单一的RGB相机。这个工具箱来自于Herrera等人[14]，通过校准Kinect相机延伸Bouguet[13]的作用（颜色和深度）。它还可以校准辅助彩色摄像机附加到Kinect上。可免费获得的Li等人和Svoboda等人的对于校准多台相机的研究脱颖而出。在[ 15 ]中，他们使用了一个基于特征描述符的校准图案，而不是常见的棋盘图案。他们的方法要求相邻摄像机同时观察校准图案的每个部分。相反，[ 16 ]的研究使用了一个一维校准对象组成的现成的激光指针。在他们的方法中，相机的数量取决于已知的相机参数的数目。对于多个Kinect的标定，Alexiadis等人[17]校准了一个Kinect传感器的网络。为了估计内部参数，他们使用了一个规则的棋盘图案和来自于[10]的方法。对于多台Kinect之间的外部参数，他们在所有的相机跟踪了一个有两个不同颜色的LED的东西，然后由成对的立体声校准，如[18]所述。Jones等人通过使用投影仪投射场景中的结构光来校准Kinect V2摄像机和投影仪。校准是没有人工干预，并在几分钟内完成。他们的校准软件可在[19]中得到。

在本文中，我们提出了一个校准工具的Kinect V2传感器网络。不同于以前描述的现有工具，我们的软件使用一个一维的校准对象类似于[11]中的建议，通过每个摄像头的三个采集装置，我们的方法可以同时获得所有相机的内在和外在参数。为了实现这一点，我们的方法是利用Kinect V2坐标传感器之间的映射，找到颜色，深度和3D相机空间之间的对应关系。我们的工具也能从多个摄像机融合点云数据来创建一个致密的三维全注册的点云。在我们的实验中，我们校准四个约90度的视点变化的Kinect V2传感器。我们得出了实验结果和一个关于多视点三维点云融合的说明性例子。

3.软件框架

本节概述了Kinect V2多摄像机校准工具的整体软件架构和功能。

3.1软件体系结构

校准工具实现五步骤流程如图1所示。在本节中，我们将简要介绍这些步骤。

图1.校准流程。校准过程有如下五个步骤：数据采集、预标定、点云匹配、内部参数初始化、非线性优化。

3.1.1数据采集

采集步骤包括从每个Kinect获得三种类型的数据：（1）校准点的三维坐标从一维校准对象获取——由一个有三个共线点的60cm的wand组成。这些3D坐标在每个Kinect传感器的深度相机中生成，表示为，，，，i是Kinect传感器的数量。（2）来自每个Kinect传感器的点云，。（3）点云在深度和彩色相机上的二维投影。所有这些数据被用于流程的下一步步骤。

我们的设置包括四个有约90度的视点变化的Kinect V2传感器，如图2所示。这种大角度差异有两个好处。第一，它产生一个360度的场景视图；第二，由于入射角角度的较大差异，传感器之间的干扰最小化。

图2.实验装置。四个有约90度的视点变化的Kinect V2传感器。

3.1.2预标定

预校准估计出在全局参考下由第一个Kinect传感器的深度摄像头给出的所有摄像头的状态。每个状态表示一个的刚性变换用于摄像头与参考物的校准。为了获得这些转换，我们用在数据采集步骤中获得的每个Kinect传感器的摄像头空间点，，。设置第一个Kinect（i=1）为参考，估量状态的问题归结为获得最佳旋转和平移，用于校准Kinect传感器的点与参考Kinect的点。我们希望解决和：

（1）

是适用于每一组点的刚性变换，用它们和参考值校准。

3.1.3点云匹配

流程中的下一个步骤的目的是找到大量的3D点对相邻的摄像机之间的匹配，使得它们可以被用来执行完整的摄像机校准，即寻找内在和外在参数。对于这次任务，有几种选择，如迭代最近点[20]，三维特征的检测和匹配[21]，和近R相邻体[22]。我们尝试了上述方法的结果没有显著差异。因此，我们选择计算成本较低的解决方案，即R-Nearest Neighbor。该过程如下所述。

首先，我们应用的转换过程中获得的预校准步骤中的每个点云，将它们与从第一个传感器的参考点云校准。一旦点云校准，我们搜索的参考点云之间的三维点匹配，其余使用半径内最近邻方法，在半径R=2mm内。如果点p和点q之间的距离近似为R，我们说点p和点q近R相邻。该算法返回最近的近R相邻体或认为没有这样的点的存在[22]。注意点云必须有重叠点才能找到对摄像头之间的匹配。

3.1.4内部参数初始化

从点云匹配中匹配的J个三维点和从数据采集步骤中获取的它们的二维投影，我们估量的内在参数在[23]中有建议。

（2）

其中，alpha;和beta;为水平和垂直焦距，gamma;是偏移，

表示摄像头的主点。

（3）

和我们要估计的内在参数是参考摄像头和摄像头之间已知的状态变换的旋转和平移元素。

3.1.5非线性优化

流程的最后一步通过预标定步骤使用的初始化外部参数和从内部参数初始化步骤中得到的内在参数实现了非线性优化。在这最后的优化中，我们利用包括径向和切向失真参数的模型，来纠正镜头失真。（见3.2）

3.2软件功能

本文提出的工具允许校准多个Kinect V2传感器。摄像头标定涉及到每个摄像机的内在和外在参数的估量。内在参数由水平焦距（alpha;），垂直焦距（beta;），主点或图像中心来描述。外在参数是每个摄像头与参考摄像头对齐的旋转矩阵R和平移向量T。校准参数与三维世界点（x，y，z，1）与二维图像点（U，V，1）的齐次坐标方程： （4）

我们的校准工具也能纠正径向和切向镜头扭曲。径向畸变，通常是由于透镜的形状造成，可以用2或3多项式表示。（5）[24]给出方程的经典模型用于纠正这种失真。

（5）

是图像坐标系中径向透镜畸变的修正。，，，表示工具估计的径向畸变系数。

切向透镜畸变来自制造缺陷，这种失真可以表示为方程（6）：

（6）

最后给出了方程的无失真图像坐标

（7）

其中和是标准化图像坐标

3.2.1点云融合

使用每个摄像机的校准数据，该工具箱能够将所有的点云与颜色融合成一个。要实施这一步，我们从每个Kinect V2传感器获取深度和颜色框架，然后我们让深度图像失真，并获取三维空间中每个像素的坐标方程[x,y,z]，z=深度。用相同的等式，我们使用彩色摄像头的内在和外在的参数来获得相应颜色的每个3D点映射到彩色帧上的点[x,y,z]。最后，我们使用的每个摄像头的外部参数，即每个摄像头和参考摄像头之间的姿势，来合并彩色3D数据，并用它把所有的点云转换成一个参考帧。图3显示四个Kinect V2传感器的点云融合

图3.点云融合。此图显示了不同的有约90度视点变化的Kinect V2传感器获取的点云融合

实施与实证结果

我们通过MATLAB实现校准工具。我们用Kin2工具箱从Kinect V2收集数据。应用程序入口是一个图形用户界面（GUI），如图4所示。这个平台允许为sect;3.1中提到的校准流程每一步的执行保存中间结果。GUI包含一个用于初始化校准参数和一个点云按钮的安装按钮，执行从数据采集步骤中获得的数据进行点云融合。

图4.多摄像机校准工具的图形用户界面

每个Kinect V2传感器连接到一台计算机。该工具在服务器和多个客户端之间实现TCP/IP网络会话，用来在传感器之间传输数据。服务器处理参考传感器，而客户端管理其余的传感器。在数据采集步骤期间执行网络通信，将所有传感器的数据传输到服务器。流程的其余部分在计算机上作为服务器就地执行。

图5.不同的配置的摄像头的非线性优化的均方根误差（RMSE）：无失真,2 Rad, 2 Rad 2 Tan, 3 Rad, and 3 Rad 2 Tan.

为了测试校准结果，我们校准每个传感器使用五种不同的配置：

1.无失真：包含内在参数的基本模型（水平焦距alpha;，偏移gamma;，主点或图像中心）

和外部参数（参考旋转R和平移t）。

2.2 rad：基本模型加两个径向畸变参数和。

3.3 rad：基本模型加三个径向畸变参数，，。

4.2 rad 2 tan：基本模型加两个径向畸变参数和两个切向畸变参数，，和。

5.3 rad 2 tan：基本模型加三个径向畸变参数和两个切向畸变参数，，， 和。这将被称为完整的模型。

图5显示在不同配置情况下的根均方重投影误差（RMSE）迭代非线性优化深度的变化彩色摄像机从一个单一的Kinect V2传感器使用距离为1毫米的点云匹配。我们看到一个还原的失真参数纳入的均方根误差。这种减少对于深度摄像头（图5（a））而言比彩色摄像头（图5（b））更多。对于深度摄像头，我们看到了一个小的改进，2.94%与第三的径向畸变参数K3提高RMSE由0.17像素的夹杂物（2rad 2tan）变为0.165像素模式（3rad 2tan）模型。同时，我们发现一个几乎无法察觉的改善，0.60%的切向畸变参数P1和P2的均方根误差从0.166像素的夹杂物（3rad）改善为0.165像素模式（3rad 2tan）模型。

对于彩色摄像头（图5（b）），也有第三的径向畸变参数的均方根误差列入0.371略有改善（2rad 2tan）模型的误差0.369（3rad 2tan）模型。这可能意味着深度摄像头的失真比彩色摄像头更多。其余的摄像头遵循类似的模式：与前两个径向畸变参数K1和K2的夹杂物均大幅改善，与第三的径向畸变参数纳入切参数的RMSE小改进。

表格1和2显示不同配置和多点云匹配距离（1mm，2mm，3mm）的校准参数随着根均方重新投影的误差。我们在1mm点云匹配距离得到了最好的结果。

结论

在本文中，我们介绍了一个Kinect V2传感器网络的校准工具。在采集步骤中，校准过程使用Kinect的坐标映射功能来提取颜色，深度和摄像头空间数据。通过每个摄像头的三个采集装置，校准工具是能够为每个摄像头获得的内在和外在参数。我们发现畸变参数的模型，减少了重投影误差，尤其是对于深度相机。校准工具也可以在校准摄像头之后被用来执行点云融合。在MATLAB中可实现代码，但依赖于数据采集的Kin工具箱。多摄像头标定与其他标定工具相比，我们的工具箱不需要最少数量的摄像头，也没有多个图像采集的平面目标，仅需要每个摄像头的三个采集装置就能获得正确的结果。校准工具在GitHub上，是免费的。

致谢

这项工

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[27662]，资料为PDF文档或Word文档，PDF文档可免费转换为Word