英语原文共 9 页，剩余内容已隐藏，支付完成后下载完整资料

基于自适应背景模型和目标识别的监控视频流分析

Pawel Forczmanski, Marcin Seweryn

West Pomeranian University of Technology

Faculty of Computer Science and Information Technology

摘要：本文提出了一种基于实时视频流分析的思想，它可以检测和跟踪无人监视的可疑物体。这是视觉监控系统发展过程中需要考虑的重要问题之一，它包括背景模型创建和与对象分类相关的数学原理。我们对背景差分方法进行了几项改进，用于阴影去除、自适应光照变化和前景区域碎片的整合。我们通过使用基于前景掩模的上下文信息方法来确定静态区域的类型，这种方法明显优于先前的基于边缘检测的技术。本文中开发的算法已经实现为一个工作模型，提供了免费的OpenCV库，并对从真实视觉监控系统获取的基准数据进行测试。

1 简介

典型的视觉监控系统旨在收集有关某些事物的信息，以便执行或采取适当的行动，特别是在涉及人类健康，生命财产或对环境有危险的情况时。实际上，人们通常使用闭路电视系统（CCTV）实现视觉监视，并用于对一个人或一个群体的密切观察[1-3]。视觉监控系统的典型特征是静态摄像机瞄准空间中的一个固定点进行视频采集，且在观察期间不会移动，相机镜头的焦距也是恒定的。背景建模是现代智能监控系统最重要的任务之一，它的效率决定了整个系统的工作性能，因此经常采用非常复杂的图像分析方法进行建模。由于闭路电视摄像机观察到的场景不是静态的，因此在背景分离的过程中必须考虑到许多不同的环境条件，例如可变照明[4]、大气现象和人或车辆引起的变化等。有许多基于不同原理的背景建模方法，但它们都可以分为两大类：基于像素的方法和基于块的方法。前一类方法主要分析图像中的每个单独像素，而后者将图像分成段（通常会有重叠），对于每个像素或片段，计算在分类中使用的几个特征值（用于区分背景和前景对象），然后跟踪每个检测到的对象。在大多数跟踪方法中假设运动是恒定的，方向不会以相当大的方式改变[5,6]，但是在跟踪人类的情况下这个假设是不成立的。智能监控系统的最后阶段涉及对象识别，采用的识别方法主要取决于系统的目的，因此访问控制环节中需要加入生物识别系统；车流量控制涉及“读取”牌照；室外安全系统用于人体检测和跟踪。在[7]中提出的系统中，每个检测到的对象按其占据的平均面积进行分类，而[8]的作者使用平均人体比例和大小来检测人类。这些方法易于实现，但其应用受到限制。

本文的结构如下，首先，介绍系统轮廓，然后是背景模型，对象检测器，跟踪器，接下来是对象分类器。最后，给出了一些实验结果和总结。

2 提出的系统

2.1 综述

我们提出了一种用于分析视频序列的算法，以便发现与公共设施中与被遗弃的物体相关的潜在安全事件。在过去几年中，已经提出了许多这样的算法，但问题似乎仍然没有解决，其主要问题在于如何进行适当的对象分类和跟踪。我们提出的系统能够自动检测前景物体，并对它们进行分类以跟踪它们的轨迹。我们可以区分存在于场景中的三类物体：移动人体，可能是危险物的物体和其他物体。例如车辆和其他移动物体。我们假设由系统产生的视频序列由一组静态背景和在其前景中移动的物体的帧组成。这些物体（例如人或车辆）以逐步的方式移动，这是由帧速率降低（通常等于或小于每秒25帧）引起的。在相机或观察点快速移动的情况下，应将序列切割成独立分析的片段。

我们提出的系统包括自适应背景模型，对象跟踪器和分类器。背景消除是背景模型的主要任务，相对于先前学习的背景模型，我们的模型中前景区域从当前帧分割，检测到前景斑点的序列随后发送到跟踪器，跟踪目标物体并预测其下一个位置。在跟踪开始时，每个新创建的对象都由对象分类器分类，其标签存储在对象跟踪器中。最后，模型在输出框架上标记了被跟踪对象的边界框。我们提出的系统的简化流程如图1所示。

图1 提出的系统总览

2.2 背景模型

我们的模型类似于[4]中提出的自适应背景模型，其中每个像素由R、G、B通道中的高斯混合建模。在我们的方法中，对帧中的每个像素使用五个高斯分布，这增加了模型在与[9]中所示的模型的比较中的鲁棒性。

模型根据背景模型中相应位置的现有高斯检查当前帧的每个像素值，如果未找到匹配，则将最小概率的Gaussian替换为新分布，其中当前值为平均值。然后根据以下内容更新现有高斯的权重：减小与新像素值不对应的分布权重，同时增加包含新像素值的分布权重。不匹配分布的参数重新保持相同。与新观测值相匹配的分布参数按照如下更新：

其中X_t是新像素值，eta;是概率密度函数，alpha;是学习率，mu;和sigma;是分布的参数，rho;isin;lt;0,1gt;。

接下来，每个分布的权值按照如下方法更新：

背景差分操作产生可能的前景像素的图像掩模，使用其连接的分量进行分组，这种方法的主要缺点是缺少阴影去除功能。移动物体投下的阴影将会是严重问题的根源，它可以极大地影响实时物体的定位和检测。在我们提出的系统中，使用基于[10]的阴影检测方法。在我们的方法中，该算法通过检测色调饱和度值（HSV）来检测颜色空间中的阴影，该颜色空间被证明比RGB颜色空间更接近于人类对颜色的感知。我们使用的方法基于观察，即构造阴影使像素变暗，而阴影和开放区域的色度变化不大，于是可以在HSV颜色空间中轻松描述此假设，并将检测阴影问题转变为检查三个简单条件：

其中SP是前景的新的二进制掩码，alpha;，beta;，tau;_h，tau;_s是经验参数（根据[10]中描述的启发式算法），I是当前帧，B是背景图像，而上标点H、S和V表示应当采用HSV中的哪个像素点，x和y是图像中的坐标轴。第一个条件用来检查阴影使区域变暗这一假设的第一部分，而接下来的两个条件用于检查阴影区域和开放区域的色调和饱和度是否变化不太大。阴影抑制函数的结果如图2和图3所示。

图2 检测移动物体以及去除阴影后的结果

2.3 物体追踪器

物体追踪器跟踪检测到的前景对象，每个被追踪的物体与下列信息有关，有边界框、最后位置和预测位置、序列号和组标签。追踪器使用卡尔曼滤波器来预测物体的下一步位置[11]，使用预测的位置或它们的最后位置与前景斑点之间的对应关系，以逐步的方式逐帧跟踪对象。我们使用基于卡尔曼滤波器的方法而不是非常流行的Mean-Shift算法[7]，因为卡尔曼滤波器的方法独立于物体外观，因此可以跟踪部分被遮挡的物体或随时间改变其轮廓的物体。

模型通过构造类似于[12]中提出的关联矩阵来完成将检测到的外观斑点与跟踪对象匹配。 对于所有斑点和物体的配对，如果前景斑点包括预测位置，我们测量从预测的物体位置到前景斑点中心的欧几里德距离；如果前景区域不包括预测位置，但它与被跟踪对象的最后一个边界框相交，我们测量从边界框中心到斑点中心的距离；如果前景斑点不包括预测位置且不与对象相交，则它们之间的距离等于正无穷，并将被忽略。在评估所有斑点和对象之间的距离之后，我们使用最接近它们的斑点来更新对象。如果斑点没有匹配的对象，则会创建一个新的跟踪对象。另一方面，当对象没有匹配到几个帧的任何前景斑点时，它将被删除。

2.4 物体分类器

本文中提出的大多数方法使用单个分类器来确定移动物体的类型。在我们的方法中，我们建议使用两个不同特征的独立分类器。第一个采用了定向梯度的直方图，这是在[13]中提出的，而第二个分类是基于类Haar的特征，由Viola和Jones在[14]中描述。 我们建议使用级联分类器，其中发送到分类器模块的每个对象首先由基于HOG的分类器进行分类，如果出现否定结果，则由基于Haar的分类器再次分类。这种分类方法旨在抑制假阴性的数量并减少计算的数量。

发送到HOG分类器的对象的图像被分成称为单元的小矩形区域。对于每个单元，评估梯度方向的直方图，然后将单元格分组为重叠的较大空间组，称之为块。为了提高性能，每个块都是经过对比度标准化的，对象的最终描述符是来自所有块的归一化单元响应的向量。 最后，描述符的分类由软边缘线性支持向量机（SVM）完成。

类Haar特征是矩形区域，模型将其分成较小的矩形，标记为白色或黑色。其中，单个特征的值等于位于白色和黑色矩形内的像素之和之间的差异。单类Haar特征是弱分类方法，不能用于识别人体轮廓等复杂对象。为了提高其性能并创建强大的分类器，Adaboost算法用于创建简单的Haar类特征的级联。在级联中，仅当前一特征的答案等于预期值时才评估后续特征，否则分类与负标签一起完成。最后，系统标记检测到的和分类后的对象。边界框的颜色根据对象的标签设置：绿色表示对于归类为人的对象，红色表示潜在的可疑对象。所有其他未经明确分类的对象都标有蓝色矩形。标记效果图可以在图3中看到。

图3 在PETS 2006（上一行）和PETS 2007（下一行）中的检测结果，左行李箱标有红色矩形，而移动的行李箱标有绿色；错误对象标有蓝色矩形

2.5 实验结果

上一节中描述的系统已经在使用OpenCV库的C 中实现[15]。在360times;288像素的分辨率下，我们在平均1,74GHz的PC上达到每秒5帧，这对于相当低端的硬件来说是可接受的结果。我们的系统在PETS 2006和PETS 2007的数据上进行了评估，PETS记录在伦敦[1]和格拉斯哥机场[2]的繁忙火车站中是否有遗落的行李箱。视频序列包含人们在PETS 2006中在整个平台上单独或成组移动，以及人们在PETS 2007中在机场游荡，每个场景还包含行李丢弃事件。我们根据表1的设置用于测试算法的参数。

我们定义成功的含义是正确地检测和分类遗落的行李物品，半成功是指正确地检测但错误地进行分类，失败是指未被发现的被遗落的行李。在测试过程中，我们使用了摄像机编号为3的视频序列，它提供了场景的最佳视图（参见图3中的示例结果）。测试的详细结果如表2所示。

在测试期间，我们观察到有色玻璃墙中的错误检测，这是由于附近的移动物体造成的。 此外，我们的对象分类器在几种情况下会出现在有色玻璃后的错误分类。两种错误分类的问题都是由于这些物体尺寸太小，导致对比度降低造成的，因此可以通过适当校准相机的曝光参数来解决。

表1 算法参数

表2 测试结果