基于大数据的增强图像无参考质量评估模型研究外文翻译资料

英语原文共 13 页，剩余内容已隐藏，支付完成后下载完整资料

基于大数据的增强图像无参考质量评估模型研究

摘要-在本文中，我们研究了通过机器学习进行图像质量评估（IQA）和增强的问题。这一问题长期以来一直受到计算智能和图像处理界的广泛关注，因为对于许多实际应用，例如目标检测和识别，通常需要适当增强原始图像以提高视觉质量（例如可见性和对比度）。事实上，适当的增强可以显著提高输入图像的质量，甚至比最初捕获的图像更好，而最初捕获的图像通常被认为质量最好。在本文中，我们提出了两个最重要的贡献。第一个贡献是开发一个新的无参考(NR)IQA模型。给定一幅图像，我们的质量度量首先通过对比度、锐度、亮度等分析提取17个特征，然后使用回归模块生成视觉质量度量，回归模块是通过比相关图像数据集大得多的大数据训练样本学习的。在9个数据集上的实验结果验证了我们的盲度量与典型的最新全参考、简化参考和NA IQA方法相比的优越性和效率。第二个贡献是建立了一个基于质量优化的鲁棒图像增强框架。对于输入图像，在NR-IQA度量的指导下，我们进行直方图修改，以将图像亮度和对比度依次校正到适当的水平。经过测试，我们的框架可以很好地增强自然图像、低对比度图像、弱光图像和去雾图像。源代码将于发布https://sites.google.com/site/guke198701/publications.

索引项-大数据学习、增强、图像质量评估（IQA）、无参考（NR）/盲。

一、 导言

通过相机/智能手机拍摄或由计算机创建的照片始终需要进行后处理，以便在各种应用场景（例如，目标检测和识别）中实现更好的可视化和增强的实用性。2016年5月28日收到的主要手稿之一；2016年10月19日修订；2016年12月31日接受。出版日期2017年3月6日；当前版本日期2018年3月15日。这项工作部分由澳大利亚研究委员会在FT-130101457项目、DP-140102164项目和LP-150100671项目下提供支持，部分由新加坡教育部在M4011379项目和RG141/14项目下提供支持。K、 Gu和J.-F.Qiao在北京理工大学信息技术学院计算智能与智能系统北京重点实验室工作，北京100124（电子邮件：guke）。doctor@gmail.com；junfeiq@bjut.edu.cn)Tao博士就职于澳大利亚新南威尔士州悉尼悉尼大学信息技术学院工程与信息技术学院（电子邮件：dacheng）。tao@sydney.edu.au).W.Lin在新加坡南洋理工大学计算机科学与工程学院工作，邮编639798（电子邮件：wslin@ntu.edu.sg)。本文中一个或多个图形的彩色版本可在线获取，网址为http://ieeexplore.ieee.org.数字对象标识符10.1109/TNNLS。2017.2649101G此类后处理操作的目标是提高图像质量，如可见性、对比度和亮度。因此，如何寻求一个设计良好的图像质量评估（IQA）指标来准确预测增强图像的质量，甚至可以优化和改进增强方法，成为一项非常重要和有益的任务。传统的IQA研究主要用于测量常见的伪影，例如高斯模糊、噪声和JPEG/JPEG2000压缩。IQA研究的一种类型是以建立图像质量数据库为重点的主观评估，例如LIVE[1]、MDID2013[2]和VDID2014[3]。通过精心准备的测试设置，组织者邀请足够多的无经验观察者按随机呈现顺序对测试图像进行排序，然后在经过一些必要的后处理程序（如异常值筛选）后，对所有有效观察者的得分进行平均，得出最终平均意见得分（MOSs）。另一种IQA探索集中于客观评估。典型的客观IQA方法是使用数学模型、神经网络[4]和学习系统[5]开发的，以近似真实人类对图像质量的判断。主观和客观评估都很重要，它们起着补充作用。前者提供了基准结果，一个良好的客观指标预计将与之密切相关。然而，主观评估通常成本高昂，耗费大量时间，因此无法用于实时和在线系统。借助计算机强大的计算能力，客观指标可以在实际应用场景中评估图像质量，如增强[6]和色调映射[53]，在一定程度上取代了人类。近几年来，客观视觉质量评估呈爆炸式增长。根据实验期间要比较的参考源图像的可及性，客观IQA方法可分为三类，即全参考（FR）IQA【5】、【7】–【11】减少参考（RR）IQA【12】–【16】和无参考（NR）/盲IQA【17】–【21】。使用流行的大型图像数据库，例如LIVE、TID2008【22】、CSIQ【23】和TID2013【24】，根据主观评估，上述大多数IQA模型都被证明具有相当高的性能。目前的盲IQA方法大多是基于两个步骤提出的，即特征提取和基于SVR的回归模块。在这些NR-IQA算法中，为了模拟人眼的感知特征来估计

图1：增强图像的图示。（a） 和（b）自然图像及其增强版本【30】。（c） 和（d）夜间图像及其增强版【31】。（e） （f）烟雾图像及其去雾图像【32】。（g） （h）自然图像和直方图均衡化增强图像。

视觉质量。随着大量有效功能的开发，越来越多的研究人员转向求助于先进的神经网络和学习系统，例如，通用回归神经网络[4]、多核学习[25]、深层信念网[26]、[27]和成对学习排名方法[28]，为了更好地接近人眼对感知特征进行分组的能力，从而更可靠地推断总体质量分数。

上述大多数IQA方法在很大程度上局限于常见的工件。但随着过去几十年来压缩、传输和恢复技术的发展，上述伪影可能不再是图像质量的主导因素。相比之下，增强的IQA很可能发挥更重要的作用，因为增强技术能够生成更好的图像，甚至优于通常认为具有最佳质量的原始捕获图像。不幸的是，上述IQA方法在这个问题上失败了，因为大多数方法直接或间接地假设原始自然图像或从自然图像观察到的符合统计规则的图像具有最佳质量，因此无法正确判断适当增强图像的质量。

适当的图像增强技术可以提高视觉质量，如图1（a）–（f）所示，而不适当的技术会降低质量，如图1（g）–（h）所示。因此，准确评价增强图像的质量，判断增强是否合适，近年来引起了人们的广泛关注。Gu等人[30]，[33]首先系统地研究了这个问题；他们建立了CID2013和CCID2014图像对比度变化数据库，同时提出了基于相位一致性和图像直方图信息统计的RR-IQA技术。考虑到适当增强的图像应同时具有熵增量和显著性保持，设计了另一种RR-IQA算法【34】。最近，Wang等人[35]提出了一种FR质量度量，通过自适应地表示每个局部补丁的结构。具体而言，该方法将每个图像块分解为三个组件，即平均强度、信号强度和信号结构，然后分别测量其感知失真，并将其合并为一个分数【35】。

对于大多数增强图像，我们无法获得相关的原始参考。上述FRand RR-IQA度量在这种情况下无法工作，因此迫切需要盲/NR算法。不久前，Fang等人[36]提出了一种基于自然场景统计（NSS）规则的专用盲质量度量，它涉及平均值、标准偏差、偏度、峰度和熵。这种盲度量的一个主要限制是，自然图像被认为具有最高的质量。此外，该指标忽略了重要的影响因素，例如色彩和局部锐度。Chen等人[37]在进行回归模块得出最终质量度量之前，将GIST描述符[38]和颜色运动[39]串联为521维特征。尽管性能很好，但使用此类高维特征很容易引入过度拟合，并且所使用的特征与增强的IQA之间缺乏明确的联系和分析。

在本文中，我们提出了一种新的两步增强图像盲图像质量度量框架（BIQME）。对比度定义为使物体（或其在图像或显示器中的表现）可区分的亮度或颜色差异【40】。与反映亮度变化的亮度对比度相比，颜色对比度还包括饱和度和色调的变化。基于这种关注，在第一步中，我们综合考虑了图像的对比度、清晰度、亮度、色彩和自然度五个影响因素，共提取了17个特征。高质量的图像应该具有相对较大的对比度和清晰度，从而突出显示更多的细节。对于这两类特征，我们使用小波子带的修正熵、对比度能量和对数能量。此外，适当的亮度和色彩通常会使整个图像具有更宽的动态范围，这也有利于显示细节。最后一个问题是一个好看的图像所期望的自然性。本文使用经典的NSS模型[29]和最近发布的暗通道先验（DCP）[32]来估计图像的自然度。在第二步中，我们将重点放在从上述提取的特征学习回归模块上。与目前只使用少量训练数据的工作不同【17】、【18】、【25】、【26】、【28】、【36】，我们收集了超过10万张增强图像（远远大于相关图像数据库的大小）作为大数据训练样本，并通过新设计的高精度FR-IQA模型得出相应的客观质量分数作为训练标签，以学习拟议NR质量度量的模块。在与增强相关的质量数据库中，100000张训练图像和测试图像之间没有重叠。对比测试证实，与最先进的FR、RR和NR-IQA方法相比，我们的测量方法具有优异的性能和较低的计算成本。从功效和效率的角度来看，我们的IQA模型可以作为优化标准来指导直方图修改技术来增强图像。提出的增强方法可以提高自然图像、低对比度图像、弱光图像和去模糊图像的视觉质量。

与以往的工作相比，本文的五个贡献总结如下：1）据我们所知，本文是第一个用于图像增强的意见-unaware1盲IQA度量；2） 我们从增强的五个影响变量建立了一个新的IQA框架；3） 与当前NR-IQA模型中仅使用数百个训练样本相比，我们使用了大量100000个训练样本来构建BIQME度量；4） 我们的盲度量在相关图像数据库上的性能优于最近开发的FR、RR和NR-IQA技术；5）探索了一种基于BIQME优化的鲁棒图像增强新技术。本文的其余部分组织如下。在第二节中，我们提出了盲BIQME方法以及改进的FR IQA模型。在第三节中，彻底的实验验证了我们的BIQME度量与现代FR、RR和NR-IQA度量相比的优越性和效率。第四节介绍了质量优化的鲁棒图像增强方法。第五节对本文进行了总结。

二、无参考质量指标

我们的盲BIQME度量的设计理念在于五个影响因素，即图像的对比度、清晰度、亮度、色彩和自然度；相应地，总共提取了17个特征。然后，使用通过大量训练样本学习的回归模块来融合上述17个特征，以推断最终的质量分数。

A、 特征提取

对比度是决定图像增强效果的主要因素。信息熵是一种经典且常用的图像对比度度量方法。熵是一种全局度量，它表征图像中包含的平均信息量。一般来说，熵越大意味着图像的对比度越大，因此视觉质量越好。我们以图1（c）和（d）中所示的两幅图像为例。很明显，熵为6.9的图像[图1（c）]在视觉上比熵为7.6的图像[图1（d）]差。由于处理能力有限，人脑倾向于关注那些优先存储更多感知信息的区域。相位同余（PC）原理揭示，与傅立叶振幅相反，傅立叶相位包含更多的感知信息【41】。随后，进一步证明哺乳动物在傅里叶分量相位最大的区域提取特征【42】。因此，我们部署了一个简单但在生物学上合理的PC模型来检测和识别图像中的特征[4]，[43]，从而计算基于PC的熵。

更具体地说，类似于[30]，我们表示在具有奇偶对称性质的标度n上实现的Mo n和Me n滤波器。这两个滤波器是基于log-Gabor函数构建的，因为它能够保持直流分量并对自然图像进行编码[8]。在本文中，我们部署了由G（omega;，ok）=exp定义的二维log-Gabor函数[minus;（（log（omega;/omega;0））2）/（2sigma;2 r）]·exp[minus;（（ominus;ok）2）/（2sigma;2 o）]，其中ok=kpi;/k，omega;是滤波器的中心频率，sigma;r控制滤波器的带宽，k={0，1，hellip;，kminus;1} 是滤波器的方向角，K是方向数，sigma;o决定滤波器的角带宽。通过调整omega;和ok，我们相应地生成奇偶对称Mo n和Me n滤波器，并进一步为图像信号s生成正交对。在标度n上的位置j处，采取每个正交对来产生响应向量[en（j），on（j）]=[s（j）lowast; Me n，s（j）lowast; 其振幅值为（j）=（en（j）2 on（j）2）1/2。设F（j）=n en（j），H（j）=n on（j）。PC被定义为PC（j）=（U（j））/（ε n An（j）），其中U（j）=（F2（j） H2（j））1/2，ε是一个非常小的数字，以避免被零除。通过简化，PC可通过以下方式计算：

其中是一个阈值，用于通过将负面结果设置为零来删除负面结果。Tn预测噪声程度。theta;n（j）=cos[theta;n（j）minus; theta;（j）minus; |sin[theta;n（j）minus; theta;（j）|用于测量相位偏差。theta;（j）定义为j处相位的平均值。W（j）=（1 exp[（uminus; t（j））v]）minus;1是通过加权操作函数。t（j）=（1/N）N An（j）（Amax（j） ε）minus;对于过滤器响应，u提供了一个截止值，用于惩罚其下的低PC值。v定义为控制截止锐度的增益变量。因此，基于PCB的熵定义为

其中，spc由s中的像素构成，s对应于检测到的PC映射中40%的最大值。第二个测量是对比度能量，它估计感知图像的局部对比度【44】。使用它的原因在于对比度能量具有计算简单性，尤其是对比度感知属性[45]。我们使用高斯二阶导数滤波器来分离图像。为了模拟视觉皮层的非线性对比度增益控制过程，使用校正和分裂归一化对整个滤波器响应进行调整【46】。与[47]类似，我们计算了三个通道上的对比度能量

其中Y（sf）=（（sklowast; fh）2 （sklowast; fv）2）1/2。f={gr，yb，rg}分别是s的三个通道，其中gr=0.299R 0.587G 0.114B，yb=0.5（R G）minus; B和rg=Rminus;G【48】。对于参数alpha;=max[Y（sf）]，theta;控制对比度增益，phi;f用于用阈值约束噪声。fh和fv分别代表高斯函数的水平和垂直二阶导数。因此，对比度相关特征定义为Fct={Epc，CEgr，CEyb，CErg}。清晰度是另一个影响变量，与图像对比度的重要性相当。与本文中定位于全球感觉的对比相反，锐度更能感知局部变化。直观地说，对于照片来说，精细的细节通常可以在锐利的区域中解析，例如边缘和对象边界。在应用场景中，许多专业

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[604060]，资料为PDF文档或Word文档，PDF文档可免费转换为Word