英语原文共 6 页，剩余内容已隐藏，支付完成后下载完整资料

2014年IEEE 17国际会议

智能交通系统(ITSC)

2014年,10月8日。中国青岛

基于激光雷达和摄像机融合的车辆检测

摘要

车辆检测对于高级驾驶辅助系统(ADAS)是十分重要的。激光雷达和摄像头都经常用于车辆检测中。一方面，激光雷达虽然有很好的距离信息但缺乏对象识别;另一方面，摄像头虽可以很好的识别检测对象但缺乏高分辨率的距离信息。本文提出了一种通过激光雷达和摄像头所测信息的融合从而实现车辆检测的方法。该方法以两个组成部分为基础:一个是假设生成阶段，生成潜在代表车辆对象的位置信息；另一个是假设验证阶段，对相应对象进行分类。假设生成是通过使用立体相机完成的，而验证是通过使用激光雷达完成的。该方法进行车辆目标检测的主要贡献在于利用了两个传感器的互补优势，增强了检测性能;此外,该检测方法与以视觉为基础的方法相比，错误检测率较小。

实验结果表明该测量方法的性能与当前普遍方法的水平大致相当，但它减少了出错率。

1．引言

在过去几年中,车辆检测已经成为高级驾驶辅助系统的一项重要组成部分(ADAS)。同时基于计算机视觉技术开发了不同的车辆检测算法。当前基于视觉技术的车辆检测技术主要通过不同的特征来提取部分感兴趣的区域(ROI)，并且在这些感兴趣区域内检测对象^[1]。Khammarietal用梯度和自适应增强算法（Adaboost算法）分类技术开发了基于视觉的车辆检测系统^[2]。Miller^[3],Paragios等^[4]应用Gabor滤波和自适应轮廓的算法。文献[5]通过车辆轮廓与车辆阴影的对称性来进行车辆检测。然而,基于视觉的方法经常受到光线强度的变化和地域限制的影响。同时,它也很难提取准确的距离信息，而通常这些距离信息对车辆的检测是至关重要的。在过去的二十年里，先进的驾驶辅助系统(ADASs)备受关注。这些系统包括横向导航辅助（lateral guidance assistance），自适应巡航控制(ACC)，碰撞传感或避免碰撞，城市中的驾驶情况检测，前馈辅助，交通标志识别，车头自动化，和全自动驾驶。这些系统的成功基本上取决于大量低错误率的(FA)汽车准确的时空环境的遥感信息获取。这些信息包括现在和下一时刻道路或车道状态，例如包括和行驶道路的曲率和边界信息，行车或越野障碍中车辆，行人的位置和移动信息。

对于某些系统来说，基于点对象的检测（point-object-based）建模和跟踪方法可以被应用，而对另一些系统来说，必须考虑扩展目标检测和跟踪算法。为了找到扩展对象的位置，方向，和移动信息，有必要测量主机车辆到目标对象的准确距离并且估计边界位置和对象的状态信息。为了实现这一目标。仅仅使用一个可用的传感方法是不够的，例如雷达,视觉,立体视觉,或激光雷达。

激光雷达也广泛用于高级驾驶辅助系统（ADAS）当中。它可以提供高精度和宽范围的信息数据^[6]。Dominguez等人提出了基于激光雷达感知环境信息的自主车辆感知方案^[7]。然而激光雷达系统的主要难题是解决激光雷达点面临的关联性问题,这是对区分对象(尤其是对点云数据)的挑战。众所周知，虽然雷达能够测量到物体的准确距离并且雷达在恶劣天气中也是稳定的，但是它没有高的横向分辨率。相反,一个视觉传感器具有足够的横向分辨率来找到一个对象的边界，但是测量的距离没有雷达准确。虽然昂贵的激光扫描雷达可以探测对象的感兴趣区域，但是汽车上安装的的激光雷达只能依靠检测反射镜来进行探测。结果是,它不能够找到所有的感兴趣区域。因此,似乎对一个ADAS问题，给出的更好的解决方案是融合多传感器的信息。

融合激光雷达和摄像头的信息来改善目标检测的性能,吸引了研究界的关注^[8][9]。Premebida等人融合了从激光雷达和摄像头获取的车辆检测和跟踪的信息^[10]。法瓦兹，纳沙希比等人利用了一个可转换的信息模型从而实现了激光雷达和摄像机数据的结合与分类^[11]。斯皮内洛等人提出了一种通过激光雷达的探测，从而对对象的位置信息进行处理的HOG-SVM分类器 ^[12]。在他们的研究中,采用贝叶斯分解表达式进行相应推理融合。基于多传感器数据融合的分类，大多数雷达和视觉融合算法在文献中是1级，其中包括子层次的校准，变量关系,关联，相关跟踪器和分类。同时在以上的工作中，原始的距离信息是通过激光雷达获取的，然后通过视觉技术来进行对象检测。这种传感器的融合系统被称为经典的雷达-摄像机融合系统。

本文的重点是通过融合来自激光雷达和摄像头传感器所获得的数据来进行车辆检测。在我们的方法中主要有两个阶段:一个假设生成阶段和一个假设验证阶段。在假设生成阶段，裁剪由摄像头获取的图像从中获取可能存在车辆的感兴趣区域。并从图像坐标到激光雷达坐标的数据转换来提取相应的测量值。在假设验证阶段,利用随机超曲面模型(伦琴数)对这些测量值进行计算从而估算对象的轮廓参数^[13]。最后,使用形状参数的支持向量机(SVM)对车辆和非汽车对象进行相应分类^[14]。

该方法的贡献可以总结为如下几点:第一，提出了传感器融合的方法。立体相机在假设生成阶段提供了检测对象的特性，而激光雷达在假设验证阶段提供了对象分类的距离信息。第二，首次提出了使用形状参数进行对象分类的方法。在本文中，伦琴数模型被应用于提取物体的形状参数从而进行对相关对象的分类。第三,使用该方法使得错误检测率大大降低。实验表明,本文提出的车辆检测的方法与基于视觉的技术相比，实现了高可靠性和较低的错误检测率。此外，从实现的角度来看，大多数融合的方法实现了卡尔曼滤波过滤或贝叶斯估计框架,但通过融合雷达和单摄像机图像探测威胁汽车也将模块化贝叶斯网络考虑在内 。与其他融合算法相比，该方法不是采取将威胁车辆作为一个点目标跟踪，我们将它模拟为一个延伸的刚体对象，并提出一个方法来同时精确估计威胁车辆范围内的位置、大小、姿态和运动特性。

通过一个现成的平台提供的真实的交通环境来对该方法进行评估^[15]。相关的传感器套件包括一个64束激光调速发电机和一个立体相机。已经完成了激光雷达和摄像头之间的校准工作^[16]。

本文的其余部分的结构如下:第二部分简要描述了假设生成阶段的过程。第三部分详细的介绍了假设验证阶段。第四部分介绍了交通环境下的实验结果。最后,本文在第五部分得出结论。

图1.哈尔特征图集合

2.假设生成阶段

生成阶段包括两个步骤:检测步骤和提取步骤。在检测步骤中，检测到可能表示车辆的区域;在提取步骤中, 提取检测对象的表面相关的激光雷达测量值。假设生成阶段的目的是提取潜在对象的测量范围。

2.1车辆检测

基于视觉的车辆检测是一个相当完善的研究领域。当前技术利用各种特性检测车辆^[17]，例如HoG特征（方向梯度直方图Histogram of Oriented Gradient, HOG）^[18]，哈尔特征^[19][20],边缘特性^[21]和光学流^[22][23][24]。 在本文中,我们使用哈尔（Haar-like）特征检测器和自适应增强

法检测车辆。此外，通过输入来自立体相机的图像来计算基于半全局（semi-global）匹配算法的稠密深度图^[25]。并从校准过程中获得潜在对象的范围测量值。

2.1.1哈尔特征

图1展示了哈尔特征中的基本模板。由于大多数车辆可以被假定为一个矩形的形状，因此，在本文中我们只使用其中包含两个和三个矩形的模板来计算哈尔特征。对角线模板(四个矩形模板)并不代表这种形状的有效信息。

2.1.2结合哈尔特征与演算法 Viola等人在实时环境中的人脸检测中首次提出AdaBoost 算法 ^[26]。他们提出了哈尔特征与AdaBoost演算法相结合的作为行人检测的分类器。一个单一的哈尔特征被认为是一个分类器,因为它可以区分整组图像中正样本和负样本。通过结合AdaBoost算法提出的几个分类器实现了高精度的检测。在本文中,哈尔特征被用来检测在城市环境中的车辆。

2.2测量值的提取

在验证阶段一旦发现一个潜在的车辆, 就需要根据相关的激光雷达表面测量值进行形状估计。但唯一的问题是在计算潜在车辆的位置时所需要提取的测量值。

图2. 随机椭圆超曲面模型

在本文中,我们使用半全局（semi-global）匹配算法计算图像的深度图^[25]。在此基础上深度地图、车辆位置都是捕获形成的数据信息ROI。相应的激光雷达传感器的测量范围也根据坐标转换来取得。

最后,这些测量值是用来估计形状信息(这里我们只使用激光雷达点对象的表面估计形状参数)。更多细节可以在第三部分中找到。

3.假设验证阶段

在验证阶段有两个步骤:形状的估算和分类。估计步骤通过利用来自激光雷达的信息来计算轮廓参数，而分类步骤通过利用支持向量机来验证对象。

3.1形状的估计

在假设生成阶段,激光雷达点是从单个对象获得的。在本部分中,提取对象的后侧相应的点来估算在一个二维坐标中的形状参数。

3.1.1随机超曲面模型

在本节中,称为随机超曲面模型(伦琴数)的贝叶斯方法被应用于目标参数的估算^[13]。如图2中所示,伦琴数假定一个测量值的来源是形状边界的一个随机的比例元素。水平轴代表了比例因子,而纵轴代表了随机规则下的比例因子的边界值的计算。此外,比例因子是在[0,1]区间内随机缩小的并且不受对象形状的约束。随机超曲面模型的定义如下：

作为一个star-convex形状,S(pk)是描述由中心mk和参数向量pk组成的对象的表面。如果s是在[0,1]随机画的一个区间，则测量源是假定的一个比例边界因子：

m_k s *(S_(pk) -m_k) (1)

一旦比例因子等于1，每个测量源就位于对象边界的位置。

图3. star-convex对象的形状例图 如图3中所示，r(￠)表示径向基函数，用来计算角度￠下从边界到中心的距离，被视为轮廓的极坐标表示法^[27]。这个表示法同样也适用于伦琴数,因为它仅限于star-convex形状。

假设r(￠)是以一个中心mk的参数向量bk为特征。形状参数是 pk =[bk，mk]T，此时物体表面可表述为如下：

是角￠的单位矢量。径向函数r(bk,￠)被认为是傅里叶级数的展开。因为r(bk, ￠)是一个周期为(0,2pi;)的周期函数，傅里叶级数展开的程度表述为：

形状参数向量bk可表述为：

此外，如果角度固定, (3)成为线性bk，即

其中，

因此,对于某种类型的star-convex形状傅里叶系数bk是表面的形状参数。

下标傅里叶系数编码粗糙的形状信息在更高指标的傅里叶系数中给出了更详细的信息。在本文中，13傅里叶系数(NF = 6)被认为能代表大多数细节的形状信息。

3.2贝叶斯状态估计

利用贝叶斯状态估计来计算测量物体表面的傅里叶系数。

噪声测量值yk起源于单一测量源zk，根据如下：

vk是零均值高斯噪声。

状态xk被认为是傅里叶描述符。因为形状参数不随时间变化而改变，动态的模型可以被认为是

Ak代表单位矩阵,wk为零均值高斯噪声。

基于(2)式，传感器模型(7)式变为：

地图状态xk 的测量值是yk。根据(5)，得到r(bk, ￠)与 角￠成线性关系

因此传感器模型变为

代数操作(10)式可用于估算傅里叶系数，如下：

基于以上方程，新的传感器模型如下：

其中测量噪声、比例因子和测量值映射到一个伪测量0。无迹卡尔曼滤波器(UKF)用于更新傅里叶系数的状态。卡尔曼滤波器（UKF）过滤的更多细节可以在^[13]中找到。

图4说明了基于伦琴数与贝叶斯估计形状的评估结果。我们可以看到,傅里叶系数代表大多数细节基于测量的形状信息。支持向量机被用来分析汽车和非汽车分类的相应的参数。

<p

剩余内容已隐藏，支付完成后下载完整资料</p

资料编号：[153399]，资料为PDF文档或Word文档，PDF文档可免费转换为Word