结合不变矩和SIFT特征的图像拼接外文翻译资料

英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料

结合不变矩和SIFT特征的图像拼接

A.Annis Fathimaa*, R.Karthikb, V.Vaidehic*

aResearch Scholar, bStudent, Department of IT, Anna University,Chennai, India.

cProfessor, Department of IT, Anna University,Chennai, India.

摘要

图像拼接是将多幅摄影图像与摄像机网络重叠，产生全景图。随着图像拼接，视图扩大和信息量随着缝合的图像的数目增加而增大。在现有的方法中，来自相邻视图的整个图像导致在时间和计算复杂性的增加。在本文中，图像拼接使用不变矩结合SIFT特征的方法被提出以减少时间和计算复杂度。据观察，只有一小部分相邻的视图图像重叠。因此，该方法的目的是检测重叠部分提取匹配点。重叠区域确定使用基于梯度的优势边缘提取和不变矩。在推导区域，SIFT(尺度不变特征变换)特征被提取用以确定特征匹配。登记并进行RANSAC(随机抽样一致)算法和最终输出拼接图通过扭曲图像得到。与现有方法相比，所提出的方法减少时间和计算结果。

关键词：全景图；图像拼接；不变矩；SIFT特征。

1、简介

全景图是物理空间的广角视图，给出了完整场景的无缝表示。在计算机视觉中，通过图像拼接的方法生成全景图像。图像拼接结合了多个图像从相机网络重叠的字段和所得到的图像将比独立的图像有更多的信息量。它是为了克服损失的完整信息的情况下，从网络中的相邻摄像头，以避免任何冗余信息。这种技术被广泛应用于监视，视频摘要，遥感等目的。当一个区域被使用相机网络拍照，相邻摄像机捕捉其视野与重叠区域之间的相机。常见的或重叠的数据可能存在于图像中，并且图像的几何对准相对于其他可能不相同。

图像拼接的实现通过使用从多个视点之间采取的相应的图像之间获得的图像特征。块匹配和特征点匹配是从输入图像中识别匹配区域的两种基本方法。块匹配算法计算序列图像中固定大小块之间的相关性。这种方法包括NCC(归一化互相关)或使用FFT(快速傅立叶变换)[ 1 ]的相位相关。这些方法涉及一系列复杂的计算，它对于图像之间的细微差别是非常敏感的[ 2 ]。基于特征的方法提取每个图像的独特特征，并匹配这些特征形成整体一致。特征一般是不同的，容易提取，不受相机的视角。[ 3 ]。几何特征，包括线，边和角经常用于检测目标[ 4 ]。当边缘模糊和嘈杂时，边缘检测器的性能会急剧恶化。与边缘不同，角点提供了描述物体形状的大量信息。一个简单的特征检测器名为苏珊计算的像素的一部分附近有类似的强度的中心像素[ 5 ]。它避免了衍生工具的计算，但当图像受到噪声影响时，它的效率降低。快速检测仪，由罗斯腾和德拉蒙德[6-7]提出用以比较围绕一个点固定半径圆内的像素。一个点被归类为一个角落，只有当人们可以找到围绕一个点固定半径圆内的一个大的像素集周围的点都比中心点亮或暗。但快速检测器的主要限制是，检测到多个特征彼此相邻。

Harris角检测器对旋转，照明和噪声的变化是稳定的。然而，当处理图像规模较大的变化时，操作会失败[ 8 ]。加速鲁棒特征(SURF)是一个有效的尺度和旋转不变特征检测器[ 9 ]。它允许特征的复杂性和鲁棒性出现常见变形。但它不是视点和光照不变。

Mikolajczyk在各种特征描述的研究中发现的尺度不变特征变换(SIFT)表现最好[ 10 ]。SIFT从图像中提取独特的不变特征，可用于在对象或场景的不同视图之间进行可靠匹配。使用SIFT，图像信息转化为局部特征坐标是不变的移位，旋转，缩放，噪声，闭塞，光照变化部分不变性。

在参考图像与待匹配目标图像之间找到正确的对应点后，下一步计算的是两个输入图像之间的关系。这种关系可以定义为涉及两个图像之间的像素坐标的单应矩阵。目前广泛使用的两种估计单应关系的方法是随机抽样一致(RANSAC)和最小中值平方(LMedS)。LMedS稳定比如可以选择特征点匹配时的原始样本中有高达50%差配点。然而，计算速度相当缓慢[ 11 ]。RANSAC算法估计是在存在离群值的模型中估计的另一种方法。它即使在超过50%的数据点离群的情况下也能工作的非常好[ 12 ]。

一种利用随机角点法进行图像拼接的方法被提出[ 14 ]。采用Harris角点检测和登记的图像特征提取是利用RANSAC算法进行。自动图像配准是将阿尔维斯等人提出的[ 15 ]。在初始步骤中，通过分割提取前景对象，特征化，然后进行基于统计的旋转和平移参数估计的匹配。但这种方法的缺点是与分割阶段相关的巨大的计算复杂性。基于立木的图像拼接方法被提出[ 16 ]使用了SIFT特征。这种方法受到计算复杂度，因为从整个图像中提取的特征，而不是仅匹配区域。与现有的方法相关的主要挑战之一是在特征提取阶段所涉及的计算复杂度。在本文中，设计了一种用来克服图像拼接的计算复杂度的方法。第一步，从图像的重叠区域被识别和进行特征提取，从而减少了计算量。

论文的主要研究内容如下：提出了系统描述的匹配区域选择、提取SIFT特征和单应计算在第2节中给出。实施细则和结果在第3节进行了讨论，在第4节总结。

2、主要工作

本文提出了一种基于特征的图像拼接方法。最初，从输入图像的重叠区域确定使用组合梯度和不变矩方法，以减少处理区域的特征提取。SIFT特征提取特征点匹配。这些特征相匹配，以确定图像之间的对应关系。然后用RANSAC算法进行登记。最后，图像被扭曲成一个单一的帧，以产生图像拼接。

2.1 匹配区域选择

选择匹配区域是一个具有挑战性的任务，因为输入图像的视点，几何变化，如平移，旋转等变化。基于块的方法如NCC工程罚款，如果图像不受到几何变化，工作良好。简单的相位相关算法，用于确定匹配，如果输入图像变化仅由变化。当图像进行旋转会失败。分割和聚类为基础的方法被用以确定匹配区域。但这些方法不能给出可接受的结果。它也给处理带来了巨大的时间复杂度。减少时间复杂度的一种方法是只使用占主导地位的信息，如边缘图像。这可以大大降低匹配成本。传统的边缘检测方法如Sobel算子、Canny算子，Prewitt算子和罗伯茨算子进行边缘检测。这些方法在不同的环境和照明条件没有得到更好的结果。基于梯度的边缘检测自然彩色图像产生更好的结果。确定从图像的优势边缘后，图像被划分成相等大小的块，并比较彼此寻找相似性。简单的强度为基础的比较的图像是耗时的，如果图像旋转变化会得出不理想的结果。

不变矩在图像分析的许多领域得到了广泛的应用。有各种应用程序涉及不变矩作为其属性不改变旋转，规模和翻译[ 13 ]。因此，不变矩计算每个块，它是与目标图像块的相似性进行比较发现。

不变矩是基于矩描述的形状，经过一般平移，旋转，缩放变换后不变。一个二进制图像f(i,j)的矩给出公式1

(1)

p和q定义时刻的顺序。零阶矩用于表示二进制对象区域。二阶矩表示中心周围物质的分布。低阶不变矩多用于遥感图像配准中的配准问题。如果(x, y)是一个数字图像，那么中心矩定义如等式2。

(2)

矩当时通过适当缩放第二时刻，通过构造相应的中心矩，可以构造出平移和尺度变化的不变量，使用下面的公式。

(3)

从矩，得到七个不变矩的计算公式4至10。

(a) (b)

(c) (d)

图1 (a)、(b)为输入图像；(c)(d)提取边缘并分割成块

(a) (b)

图2 从图1的(a)、(b)进行匹配区域选择

七个不变矩M1至M7提到从方程4到10是旋转、缩放和平移下图像的典型不变特性。确定图像的占主导地位的边缘后，图像被划分成相等大小的块，如图1所示。从输入图像获得的矩值之间的绝对差异见表1。被认为是最小的绝对差异的块，并采取了作为匹配区域提取SIFT特征的以下步骤。图2(a)和(b)所示为图像的匹配区域的结果。

2.2 SIFT特征提取

SIFT算法用于提取匹配区域的特征。它有四个步骤：尺度空间极值检测、关键点定位，定向分配和关键点描述子。关于这些步骤的细节在[ 9 ]中有明确的讨论。从输入图像的选定区域提取SIFT特征，得到的匹配关键点如图3所示。第一图像的匹配特征点通过一条线连接到第二图像的相应特征点，以指示图像之间的对应关系。

表1 图像块矩值的绝对差分

图3 从输入图像中匹配特征点

2.3 单应矩阵计算

在参考图像和目标图像匹配后找到对应点。接下来的过程就是通过转换模型计算它们之间的关系，它被定义为一个矩阵称为矩阵。这涉及两个图像之间的像素坐标。随机抽样一致(RANSAC)的方法获得了内联点和变换矩阵。单应矩阵的估计使用RANSAC算法应用到目标图像，为了得到与参考图像对齐。将所得的变换图像显示在图4。应与参考图像对齐的目标图像进行翘曲过程和所得到的缝合图像，如图5所示。

图4 转化后的目标图像的单应矩阵估计

图5 最终拼接图像拼接

3、实验结果

该框架是利用MATLAB7.1英特尔实施(R)i3，拥有4GB RAM 2.3ghz。15个图像集的样本数据库创建的实验目标。在拼接过程中，第一步是通过使用基于梯度的方法确定的优势的边缘和不变矩推导的匹配区域的识别。将相邻视图图像的块之间的绝对差列成表格，并在第2.1节中给出图像的结果重叠部分。匹配点的演绎和单应估计结果在章节2.2和2.3分别给出。

该框架适用于数据集和示例图像结果如图5和图6。所提出的工作的性能进行了分析检测到的特征的数目和用于拼接图像的总时间。所提出的方法相比，对现有的方法[ 16 ]利用SIFT特征单独的特征提取。最好的，最坏的和平均的情况下，相应的意见载于表2和表3。表2给出了在现有和建议的方法中检测到的匹配点特征数的比较。匹配点计算的特征号的百分比减少也列。这些观察清楚地表明，所提出的工作框架是能够拼接图像的特征数少。表3给出了与现有的和建议的方法拼接的完整过程的时间比较表。

(a) (b)

(c)

图6 (a)和(b)输入图像(c)缝合图像

表2 匹配点检测特征数的比较

表3 图像拼接时间的比较

4、结论

本文提出了一种图像拼接方法，使用不变矩和SIFT特征已经提出了这项工作。据观察，近70%的特征不在图像的重叠区域。这些特征产生不必要的特征提取和匹配计算。为了解决这个问题，重叠区域被选择从输入图像通过比较在区域级别的不变矩的相似性。此步骤已显着降低计算的特征提取和匹配。实验结果表明，所提出的工作框架是非常有效的计算和时间复杂度降低83%的特征和时间分别为35%。

参考文献：

References

[1] Oh-Seol Kwon and Yeong-Ho Ha. Panoramic video using Scale Invariant Feature Transform with embedded color-Invariant values. IEEE transactions on Consumer Electronics 2010;56:792 - 798.

[2] Jan Yang, Linlin Wei, Zhiwei Zhang and Hongmei Tang. Image Mosaic Based on Phase Correlation and Harris Operator. Journal of Computational Information Systems 2012;8:2647-2655.

[3] Richard W. Pazzi, Azzedine Boukerche , Jing Feng and Ying Huang. A Novel Image Mosaicking Technique for Enlarging the Field of View of Images Transmitted over Wireless Image Sensor Networks, Mobile Netw Appl 2010 15:589 606.

[4] X. Dai and S. Khorram. A feature-based image

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[27050]，资料为PDF文档或Word文档，PDF文档可免费转换为Word