自然图像抠图的封闭形式解决方案外文翻译资料

自然图像抠图的封闭形式解决方案

作者：Anat Levin, Dani Lischinski ,Yair Weiss

国籍：Israel

出处：IEEE Transactions on Pattern Analysis amp; Machine Intelligence,

2008, 30(2):p.228-242.

中文译文：

摘要：交互式数字抠图，提取的过程基于有限用户输入的图像的前景对象是图像和视频编辑中的一项重要任务。从从计算机视觉的角度来看，这项任务非常具有挑战性，因为它在每个像素上都是病态的我们必须估计前景和背景颜色，以及前景不透明度（“alpha遮罩”）来自单色测量。当前的方法要么将估计限制在图像的一小部分，估计基于附近像素的前景色和背景色在它们已知的地方，或通过交替前景色和背景色执行迭代非线性估计用alpha估计进行估计。

在本文中，我们提出了一种自然图像抠图的封闭形式解决方案。我们从前景和背景的局部平滑度假设推导出成本函数颜色，并表明在结果表达式中可以分析消除前景和背景颜色以获得alpha中的二次成本函数。这个允许我们通过求解稀疏线性方程组来找到全局最优alpha遮罩。此外，该闭式公式使我们能够预测通过分析与光谱图像分割算法中使用的矩阵密切相关的稀疏矩阵的特征向量来求解。我们证明高质量的遮罩可以从少量用户的自然图像上获得输入。

1.介绍

自然图像抠图和合成在图像和视频编辑中具有核心重要性。形式上，图像抠图方法将图像I作为输入，假设为是前景图像F和背景的合成图像B。假设第i个像素的颜色是对应的前景色和背景色的线性组合。

其中alpha是像素前景的不透明度。在自然图像抠图中，等式中右边所有符号都是未知的。因此，对于一个3通道的彩色图像，每个像素具有3个等式7个未知数。显然，这是一个严重欠约束的问题，需要用户交互才能提取好的遮罩。最近的方法期望用户提供一个triamp作为起点；一个例子如图1(e)所示。这三分标注图是一个粗略的（通常是手绘的）分割图像分为三个区域：前景（以白色显示），背景（以黑色显示）和未知（以灰色显示）。给定三分标注图，这些方法通常求解F、B、和alpha;同时。这通常通过迭代完成非线性优化，交替估计F和B与alpha;。实际上，这意味着为了获得良好的结果，三分标注图中的未知区域必须尽可能小尽可能。因此，基于三分标注图的方法通常在处理具有大量混合像素或前景对象有很多孔的图像时遇到困难[17]。在这种具有挑战性的情况下，一个伟大的可能需要大量的经验和用户交互构建一个可以产生良好遮罩的三分标注图。其他三分标注图界面的问题是用户不能直接影响最重要部分的遮罩

在本文中，我们提出了一个新的封闭形式的解决方案从自然图像中提取alpha遮罩。我们推导出来自前景和背景颜色F和B的局部平滑假设的成本函数，并表明在由此产生的表达式可以通过分析消除F和B，在alpha;中产生二次成本函数。这我们的方法产生的alpha 遮罩是全局最优的这个成本函数的，可以通过求解一个稀疏线性系统。由于我们的方法直接计算alpha;，而不需要对F和B进行可靠估计，少量的用户输入（例如一组稀疏的涂鸦）通常足以提取高质量的遮罩。此外，我们的封闭式配方使人们能够通过检查稀疏矩阵的特征向量来理解和预测解的性质，密切相关到光谱图像分割算法中使用的矩阵。除了为我们的方法提供坚实的理论基础外，这种分析还可以为用户提供有用的提示关于应该在图像中的何处放稀疏输入进行贝叶斯抠图会产生完全错误的抠图(b)。前景提取算法，如[10,12]。

产生硬分割（c）。从硬分割中自动生成的三分标注图可能会遗漏精细特征(d)。一个准确的在这种情况下需要手绘三分标注图(e)来产生合理的遮罩(f)。（图片取自[17]）1.1预先工作大多数现有的自然图像抠图方法都要求输入图像附带一个三分标注图[1,2,5,6,13,15]，将每个像素标记为前景、背景或未知。该方法的目标是解决未知像素的合成方程（1）。这是通常通过利用F和B上的一些局部规律性假设来预测它们中每个像素的值来完成未知区域。在CorelKnockOut算法[2]中，假设F和B是平滑的，预测是基于已知前景的加权平均值和背景像素（更近的像素获得更高的权重）。一些算法[6,13]假设本地前景和背景来自一个相对简单的颜色分布。也许这些算法中最成功的是贝叶斯抠图算法[6]，其中混合了定向高斯用于学习局部分布。那么alpha;、F和B被估计为最可能的鉴于这种分布。当前景和背景的颜色分布做不重叠，并且三分标注图中的未知区域很小。如图1(b)所示，一组稀疏的约束可能会导致完全错误的遮罩。相比之下，虽然我们的方法也对F和B做出了某些平滑假设，但它不涉及估计这些函数的值直到遮罩被提取之后。

泊松抠图方法[15]，也需要一个三分标注图作为其输入的一部分，并计算通过使用遮罩求解泊松方程来混合区域梯度场和狄利克雷边界条件。在里面局泊松抠图方法，抠图梯度场为通过取梯度合成方程，并忽略F和B.然后通过求解一个函数来找到遮罩渐变尽可能接近近似遮罩梯度场。当F或B不够平滑时在未知区域内，生成的遮罩可能不是正确，可能需要额外的本地操作以交互方式应用于哑光渐变场，以便得到满意的解决方案。这种交互式细化过程称为局部泊松抠图。正如我们将看，我们的方法对行为做出了较弱的假设F和B，这通常会导致更准确的遮罩。

最近，几种成功的方法提取了一个已经提出了来自其背景的前景对象[3,10,12]。这两种方法都可以翻译简单的用户指定的约束（例如涂鸦或边界矩形）到一个最小切割问题。解决最小割问题产生硬二元分割，而不是分数alpha哑光（图1（c））。硬分割可以通过侵蚀转化为三元图，但这仍然可能会错过一些精细或模糊的特征（图1（d））。虽然罗瑟等。[12]通过在硬边界周围的窄带中拟合参数alpha轮廓来执行边界抠图，这更类似于羽化而不是完整的alpha抠图，因为不能以这种方式处理宽的模糊区域。

我们的方法与着色密切相关Levin等人的方法。[9]，以及Grady等人的随机游走alphamatting方法。[8]。这两种方法通过最小化二次成本函数将涂鸦约束传播到整个图像。这里我们应用一个类似的策略，但我们的假设和成本函数被修改以便更好地适应抠图问题。

另一个用于交互式抠图的基于涂鸦的界面最近由Wang和Cohen[17]提出。开始从一些指示少量背景和前景像素的涂鸦中，他们使用信念传播迭代估计每个像素的未知数图片。虽然这种方法产生了一些令人印象深刻的结果，它的缺点是使用昂贵的迭代非线性优化过程，可能收敛到不同的局部最小值。

2、推导

为了说明的清晰，我们首先为灰度图像的alpha抠图导出一个封闭形式的解决方案。这个然后将解决方案扩展到彩色图像的情况。

如前所述，抠图问题很严重约束不足。因此，需要对F、B和/或alpha;的性质进行一些假设。推导出我们的解决方法在灰度情况下，我们假设F和B在周围的小窗口上近似恒定。

每个像素。注意假设F和B是局部平滑的并不意味着输入图像I是局部平滑的，因为alpha;中的不连续性可以解释I中的不连续性。这个假设在2.1节中会稍微放宽，允许我们重写(1)将alpha;表示为线性图像I的功能：

上面的成本函数包括一个正则化项在一个。添加该术语的一个原因是数值稳定性。例如，如果图像在第j个窗口中是不变的，没有先验就不能唯一确定aj和bj。此外，最小化a的范数会使解偏向于更平滑的alpha;遮罩（因为aj=0意味着是常数在第j个窗口上）。

在我们的实现中，我们通常使用窗口3times;3像素。由于我们在每个像素周围放置了一个窗口，窗户wj在（3）重叠。正是这种特性使得信息能够在相邻的像素。成本函数在alpha;、a和b中是二次的，其中3N具有N个像素的图像的未知数。幸运的是，当我们如下所示，a和b可以从（3）中消除，留下我们只有N个未知数的二次成本：alpha值的像素。

附：外文原文

Abstract

Interactive digital matting, the process of extracting a foreground object from an image based on limited user in- put, is an important task in image and video editing. From a computer vision perspective, this task is extremely chal- lenging because it is massively ill-posed — at each pixel we must estimate the foreground and the background col- ors, as well as the foreground opacity (“alpha matte”) from a single color measurement. Current approaches either re- strict the estimation to a small part of the image, estimating foreground and background colors based on nearby pixels where they are known, or perform iterative nonlinear es- timation by alternating foreground and background color estimation with alpha estimation.

In this paper we present a closed form solution to nat- ural image matting. We derive a cost function from lo- cal smoothness assumptions on foreground and background colors, and show that in the resulting expression it is possi- ble to analytically eliminate the foreground and background colors to obtain a quadratic cost function in alpha. This allows us to find the globally optimal alpha matte by solv- ing a sparse linear system of equations. Furthermore, the closed form formula allows us to predict the properties of the solution by analyzing the eigenvectors of a sparse ma- trix, closely related to matrices used in spectral image seg- mentation algorithms. We show that high quality mattes can be obtained on natural images from a surprisingly small amount of user input.

1.Introduction

Natural image matting and compositing is of central im- portance in image and video editing. Formally, image mat- ting methods take as input an image I, which is assumed to be a composite of a foreground image F and a background image B. The color of the i-th pixel is assumed to be a lin- ear combination of the corresponding foreground and back- ground colors,where i is the pixelrsquo;s foreground opacity. In natural image matting, all quantities on the right hand side of the com- positing equation (1) are unknown. Thus, for a 3 channelcolor image, at each pixel there are 3 equations and 7 un- knowns.

Obviously, this is a severely under-constrained problem, and user interaction is required to extr

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[596435]，资料为PDF文档或Word文档，PDF文档可免费转换为Word