基于Kinect V2传感器的三维点云登记技术研究外文翻译资料

Research on 3D Point-cloud Registration Technology Based on Kinect V2 Sensor

Hong He, Hailing Wang, Lei Sun

Tianjin Key Laboratory for Control Theory amp; Applications in Complicated Systems, School of Electrical and Electronic Engineering of Tianjin University of Technology, Tianjin 300384, China;

E-mail: whl86947441@163.com

Abstract: A 3D point-cloud registration algorithm based on the Kinect V2 sensor is proposed for the point-cloud registration in 3D reconstruction. By the Microsoft Kinect V2 sensor to acquire the multi-view depth map of the object, the target area is extracted and transformed into 3D point cloud. In order to improve the robustness of ICP algorithm, an initial registration stage is added, before the accurate registration is performed by the improved ICP algorithm. Based on the initial registration, an iterative algorithm (ICP) is used for fine registration.The experimental results show that the registration method can not only guarantee the registration quality of 3D point cloud, but also reduce the computational complexity. It has higher maneuverability and robustness.

Key Words: Kinect V2, Point-cloud Registration, 3D Point Cloud, Improved ICP Algorithm

1. INTRODUCTION

The 3D reconstruction technique means that the 3D entities in the objective world can be reproduced in the computer by means of computer digitization.3D reconstruction technology involves computer graphics, computer vision, pattern recognition and many other disciplines.It plays an importantrole in human-computer interaction, robot navigation control, enhanced reality, cultural relic protection, reverse engineering, film and television entertainment,so the technology has been a hot topic among scholars.In recent years, the development of stereoscopic vision technology and the gradual popularization of coordinate measuring devices such as 3D scanner and lidar have made the 3D point-cloud model increasingly efficient.Point-cloud registration is the most important and difficult problem in 3D point- cloud model[1].

Microsoft launching 3D camera Kinect V2, it can quickly and easily complete the 3D point-cloud model reconstruction.Kinect V2 is used to obtain the 3D point cloud of the object. Under the application requirements of 3D reconstruction,an appropriate algorithm is designed to filter the depth map.And the ICP algorithm is properly improved to register and optimize the point-cloud data. The research of 3D point-cloud registration technology based on Kinect V2 sensor is proposed. First of all, the registration method not only guarantees the registration quality of 3D point cloud, but also reduces the computational complexity, and has high operability and robustness,which is of scientific and practical significance.

Fund Project: Tianjin Science and Technology Special Fund to support major science and technology projects (14ZCDGSF00028), 'Tianjin higher education institution Innovation Team Training Program funded' Project No. TD12-5015

1. ARCHITECTURE OF 3D POINT-CLOUD RECONSTRUCTION BASED ON KINECT V2

ObtainIing the depth information of surrounding objects, Kinect V2 depth camera can get the point-cloud information of 3D Object, and then reconstruct the 3D surface model of point cloud without touching object. The process of 3D point-cloud object reconstruction is shown in Figure 1.

Fig.1 3D point-cloud reconstruction flow chart.

You must calibrate before using Kinect v2.Calibration is of great importance for camera application[2].

1. THE WORKING PRINCIPLE OF KINECT V2 SENSOR

3.1 Hardware Structure Of Kinect V2

The system hardware platform mainly includes color camera, depth sensor, infrared transmitter and four yuan linear microphone array.The block diagram of the system hardware of Kinect V2 is shown in figure 2.

Fig.2 Block diagram of system hardware

Kinect V2 using Time of flight(ToF)[3] camera model to obtain the depth of information, the use of infrared as a light source. Compared to the generation of Kinect V1,

c	1264
978-1-5386-1243-9/18/$31.00 2018 IEEE

its accuracy has been greatly improved, which can be accurate to centimeter level and is also larger in the measurement range. The ToF basic principle is shown in Fig 3.

Fig.3 ToF basic principle

3.2 Pretreatment of Maps of The Depth

Owing to the impact of the Kinect V2 device itself or the measurement environment,the depth maps captured by the Kinect V2 camera usually produce some noise that will have a greater negative impact on the subsequent calculation.Therefore, it is firstly necessary to denoise the original depth map[4].

Image filtering can be expressed in formula (1):

.

(a)Color image(512 424) (b)depth map(514 424 Fig.4 original image

(a)After calibration (b)After calibration Fig.5 Actual environmental map

I (x, y)  ¹ _w(i, j) * I (i, j)

^w i, j Omega;

Since the camera and the color RGB camera that acquired the depth information are taken from different angles, the coordinates of the resulting raw data have not yet been corrected.The original color image and the corresponding depth map are shown as Figure 5. Due to

1. the presence of noise, black spots appear on the edges of the curtain and air conditioner.

among them: I (x, <e

剩余内容已隐藏，支付完成后下载完整资料</e

---

基于Kinect V2传感器的三维点云登记技术研究

Hong He, Hailing Wang, Lei Sun

Tianjin Key Laboratory for Control Theory amp; Applications in Complicated Systems, School of Electrical and Electronic Engineering of Tianjin University of Technology, Tianjin 300384, China;

E-mail: whl86947441@163.com

摘要：提出了一种基于Kinect V2传感器的三维点云配准算法，用于三维重建中的点云配准。 通过Microsoft Kinect V2传感器获取对象的多视图深度图，提取目标区域并将其转换为3D点云。 为了提高ICP算法的鲁棒性，在通过改进的ICP算法执行精确配准之前，添加初始配准阶段。 在初始配准的基础上，采用迭代算法（ICP）进行精细配准。实验结果表明，配准方法不仅可以保证三维点云的配准质量，而且可以降低计算复杂度。 它具有更高的机动性和坚固性。

关键词：Kinect V2，点云注册，三维点云，改进的ICP算法

1引言

三维重建技术意味着客观世界中的三维实体可以通过计算机数字化在计算机中再现。三维重建技术涉及计算机图形学，计算机视觉，模式识别等多个学科。它在人机中起着重要的作用。 交互，机器人导航控制，增强现实，文物保护，逆向工程，影视娱乐，因此该技术一直是学者们的热门话题。近年来，立体视觉技术的发展和坐标测量装置的逐步普及 例如3D扫描仪和激光雷达使得3D点云模型越来越高效。点云注册是3D点云模型中最重要和最难的问题[1]。

微软推出3D摄像头Kinect V2，它可以快速轻松地完成3D点云模型的重建.Kinect V2用于获取对象的3D点云。 在三维重建的应用要求下，设计了适当的算法对深度图进行滤波。并对ICP算法进行了适当的改进，对点云数据进行了登记和优化。 提出了基于Kinect V2传感器的三维点云配准技术研究。 首先，该登记方法不仅保证了三维点云的登记质量，而且降低了计算复杂度，具有较高的可操作性和鲁棒性，具有科学和现实意义。

2基于KINECT V2的三维点云重构体系结构

获取周围物体的深度信息，Kinect V2深度相机可以得到3D物体的点云信息，然后在不触碰物体的情况下重建点云的三维表面模型。 3D点云对象重建的过程如图1所示。

获得深度
深度图去噪		深度图的预处理		基于改进ICP算法的点云登记

获得彩色图像

图1三维点云重建流程图

您必须在使用Kinect v2之前进行校准。校准对于相机应用非常重要[2]。

3 KINECT V2传感器的工作原理

3.1 Kinect V2的硬件结构

系统硬件平台主要包括彩色摄像头，深度传感器，红外发射器和四元线性麦克风阵列.Kinect V2系统硬件框图如图2所示。

图2系统硬件框图

Kinect V2使用飞行时间（ToF）[3]相机模型获取信息深度，利用红外线作为光源。 与Kinect V1的产生相比，其精度得到了极大的提高，可以精确到厘米级，并且在测量范围内也更大。 ToF基本原理如图3所示。

图3 ToF基本原理

3.2深度图的预处理

由于Kinect V2设备本身或测量环境的影响，Kinect V2摄像头拍摄的深度图通常会产生一些噪声，对后续计算产生更大的负面影响。因此，首先需要对原始噪声进行去噪处理。 如图4。

图像过滤可以用公式（1）表示：

(1)

其中：Irsquo;（x，y）是噪声滤波后的图像。Omega;是像素（x，y）的邻域范围; w（x，y）是点（x，y）处滤波器的权重; 是唯一参数; I（x，y）是原始图像。

对于双边滤波，其权重系数由空间域权重和图像灰度等级组成域权重，即其中：

(2)

(3)

在该公式中，双边滤波器的效果由基于高斯的标准偏差决定功能，以及像素的相对空间位置和灰度范围是有限的。

4实现深度图和彩色图像

由于Kinect V2已经校正了深度相机和彩色相机的径向失真[5]，因此可以直接应用捕获的深度数据和颜色信息来生成3D点云数据。 从红外CMOS相机到捕获红外数据，对应于深度相机图像坐标系X，Y和Z坐标，Z轴对应于深度距离。由Kinect V2获得的原始深度图和彩色图像如图5所示。

图4原始图像

图5实际环境地图

由于获取深度信息的相机和彩色RGB相机是从不同角度拍摄的，因此尚未校正所得原始数据的坐标。原始彩色图像和相应的深度图如图4所示。（1）窗帘和空调的边缘出现噪音，黑点。

5 KINECT V2深度图的重建

对于目标对象的重建，我们使用直通滤波器来选择特定视场内的对象进行重建，这不仅可以避免不必要对象的干扰，还可以去除质量较差的边缘场数据。 Kinect V2。最后，选择最佳深度数据进行特定物体的三维重建[9]。假设深度图由（u，v，d）表示，其中像素坐标为深度图显示为u，v，深度为d表示。直通滤波器选择满足要重建条件的深度值。假设坐标（u0，v0）为深度图的中心点包括深度图的长度W和宽度h，我们可以通过等式（4）选择深度图中心周围的深度值。

(4)

其中r表示保留的比值。原始深度图如图6所示。图7经过直接过滤处理后

图6原始深度图 图7后通过滤波器

如图6所示，Kinect V2包含更多噪声数据，特别是在物体边缘。在图7中，我们可以使用这个光滑表面作为对象内部和外部平滑度的先验知识，以便纠正 数据流中的噪声，从根本上解决了误差累积的问题。

6基于改进ICP算法的点云登记

初始登记的常用方法是：中心权重法，标记法和特征提取法[6]。

在分析当前点云配准算法的基础上，在分析当前点云配准算法的基础上，对ICP算法进行了改进：

（1）对于点云的初始登记，提出了一种新的主方向绑定方法，可以快速减少平移和旋转位错，对仪器和点云没有特殊要求。因此具有广泛的适用性。。

（2）提出了一种基于特征点的改进ICP算法进行精度配准。利用kd树搜索最近点，通过计算曲率特征的特征点，大大提高了算法效率。特别适用于计算。 具有良好的收敛速度和配准精度的海量数据。

6.1改进的ICP算法

基于Besl [7]等，提出的ICP算法是最经典的点云配准算法，它使用基于最近点的迭代方法来最小化点云与目标之间的欧氏距离的误差和函数。 虽然经典ICP算法在鲁棒性和计算复杂性方面存在一些缺点，但它简单准确，因此解决多视图Kinect V2点云登记问题仍然是一种可行的方法。 为了提高算法的鲁棒性，增加了初始配准阶段和改进的ICP算法。

在本文中，我们采用样本均匀初始配准算法，然后使用改进的ICP算法进行精确匹配。

6.2样本均匀初始登记算法

样本共识初始对齐（SAC-IA）由贪心初始对齐方法和采样均匀方法组成[8]。贪心初始对齐算法在旋转不变特征中充分利用点云，因此具有很强的鲁棒性但由于其贪婪算法，它不可避免地陷入局部最优。因此，有必要使用采样一致方法来保持相应的几何关系，而不必尝试有限对应的所有组合。具体算法如下：

（1）从要注册的点云P中提​​取样本点。为了更全面地使用特征信息，请确保点之间的距离大于预设的最小距离值dmin。

（2）对于每个样本点，在参考点云Q中找到一组具有相似FPFH特征的点，从中随机选择一个点来表示样本点之间的对应关系;

（3）刚体变换矩阵由包含s个采样点和相应的点集的点集估计。同时，通过误差测量来评估变化矩阵的质量。错误度量通常由Huber评估公式计算：

(5)

是公式中相应点集变换后的距离误差。

（4）重复上述三个步骤，直到获得最优误差度量，得到最终的变换矩阵。最终结果采用Levenberg.Marquardt算法进行非线性局部优化。

6.3精确配准算法

对点云的初始配准进行采样后，位置与参考点云大致相同，但准确性尚未达到实际应用要求，仍需要通过精确配准调整云的位置。 准确登记阶段使用的算法从几个方面进行了改进：

1. 点云的准确性：Mitra etal证明了点结果对ICP结果的重要性。指出当输入点云具有较大的噪声时，算法将匹配不正确的点对，以便注册过程 本文的点云预处理只是为了防止这种情况的发生，为2.2的登记过程奠定了良好的基础。
2. 搜索策略：ICP算法效率低下的一个重要原因是每次迭代都需要遍历点云中的点来搜索匹配点。本文利用kd-tree结构形成一个有效的组织。 点云数据，对加速ICP算法的搜索过程有明显的影响。
3. 去除误差点：当ICP算法在注册后完成时，并非所有的对应关系都是正确的。不匹配的点会对旋转矩阵和平移矩阵的计算产生负面影响，应该精确地消除。 注册阶段。常用的排除方法包括阈值，比率，分布等。本文采用相对简单的最大欧氏距离来约束约束。此外，如果存在一对多的情况，则只有最近的点。 目标点可以作为对应点，其他伪对应应该被过滤掉。

7实验数据和应用效果

从图8可以看出，配准精度不足以满足要求。

图8仅使用初始注册对齐点云数据

从图9可以看出，首次使用初始注册然后使用精确注册不仅可以大大提高注册准确性，还可以保证注册方向的合理性，从而取得了良好的注册效果。

图9只有准确的登记才能使点云数据对齐

图10根据图8，该算法用于注册

图11根据图9，该算法用于注册

该算法不仅具有良好的配准精度，而且具有令人满意的配准速度。与原始ICP算法相比，基于特征点的改进ICP算法在海量数据下具有更高的效率。从表1的对比分析可以看出 大量的点云数据点，改进的ICP算法和原始算法在注册速度方面的优势越明显

表1：两种质量数据算法之间的配准速度比较

8结论

本文提出了基于改进ICP的三维点云配准算法。在使用改进的ICP算法进行精确配准之前，增加了初始配准阶段，然后采用迭代最近点算法（ICP）进行精细配准。 实验结果表明，该配准方法不仅保证了三维点云的配准质量，而且降低了计算复杂度，具有较高的可操作性和鲁棒性，使配准精度更高，更紧密，从而实现了 理想的登记效果。

参考文献：

1. Li S R,Li Q,Li H Y,Hou P H,Cao W G,Wang X D,Li H.Real time and accurate 3D reconstruction system based on Kinect

V2[J/OL].Journal of Software,2016,27(10):2519-2529.(2016-08-09)[2017-09-21].

1. Guo L P,Chen X G,Liu B. Color and depth camera calibration for Kinect V2 sensors[J].Journal of Chinese graphic graphics,2014,19(11):1584-1590. [2017-09-21].
2. Andrea Corti,Silvio Giancola,Giacomo Mainetti,Remo Sala. A metrological characterization of the Kinect V2 time-of-flight camera[J]. Robotics and Autonomous Systems,2016,75:.
3. Benyue Su, Jinyu Ma,Yusheng Peng, min Sheng ,Zhuzhang Ma.. registration method for fast cloud depth data [J]Chinese RGBD Journal of image and graphics, 2017,22 (05): 643-655. [2017-09-21].
4. L. Sun, Z. Liu, and M.-T. Sun, “Real time gaze est

   剩余内容已隐藏，支付完成后下载完整资料

   ---

   资料编号：[21110]，资料为PDF文档或Word文档，PDF文档可免费转换为Word