交互式分割算法的比较评估外文翻译资料

英语原文共 11 页，剩余内容已隐藏，支付完成后下载完整资料

交互式分割算法的比较评估

摘要：

在本文中，我们提出了四种流行的交互式分割算法的比较评估。评估是作为一系列用户实验进行的，其中参与者被任命从公共数据集中提取100个对象：每个算法25个，限制在一个时间限制内每个物体2分钟，为了方便实验，开发了“涂鸦驱动”分割工具通过简单地标记前景和背景的区域来实现交互式图像分割。随着参与者的细化和完善各自的细分，相应的更新的分割掩码与已用时间一起存储。然后我们收集和评估每个记录的掩模相对于手动分段的地面实况，因此允许我们测量分割时间精度。使用两个标准评估：著名的Jaccard指数，以及本文提出的设计用于测量边界的新的模糊度量准确性。实验结果分析显示了建议方法的有效性并为评估算法的性能和特性提供了宝贵的见解。

关键词：图像分割、互动细分、客观评价、主观评价、模糊集、用户实验

1简介

图像分割是许多机器视觉和信息检索系统的重要组成部分。它通常用于将图像分割成某种意义上同质的区域，或者具有一定的语义意义，从而为后续处理阶段提供有关场景结构的高级信息。 使用细分的系统的不同要求导致了在分割算法的开发中分割的质量和性质产生了分化。一些应用程序只需要将图像划分为粗均匀区域，其他应用程序需要丰富的语义对象。对于某些应用来说，精度是至关重要的，对于其他的应用而言速度和自动化更重要。

许多研究和方法中认为影响图像分割的重要性和实用性是自动和互动。事实上，在众多的选择中选择最适合的关键应用算法已经成为一项艰巨而耗时的任务。因此，对图像分割算法质量评估方法的研究近来被认为是一个重要课题。已经提出了几个这样的分割评估基准：Ge et al. ^[1]，McGuinness等^[2]和江等人^[3]都讨论了监督评估的系统和基准，也就是说，关于地面实况参考的评价，Zhang等^[4]审查了无监督的评估方法。然而，迄今为止，所有这些方法，实际上绝大多数的细分评估研究都专注于自动化分割;相当少的注意力一直在致力于评估交互式细分。

自动分割算法是有些应用程序的有效解决方法，如多媒体索引和快速检索，粗糙，基于区域的细分。 然而，一些应用程序需要精确的语义对象。 当这样的对象是必需的时，通常是不可能的全自动分割; 需要高水平的信息来遍历“语义差距”补充均匀区域和感知对象。

交互式分割算法1为此提供了一种解决方案，通过调用人类操作者的帮助来提供通过一系列交互来检测和提取语义对象所需的高级信息。通常，操作员将图像的区域标记为对象或背景，并且算法使用新信息更新分割。 通过迭代地提供更多的交互，用户可以细化分割。因此，交互式分割的目的是提供一种从图像中快速，准确地准确地提取语义对象的方法。

在本文中，我们专注于通过广泛的用户实验来评估交互式分割算法的性能。为此，我们开发了完整的框架工作，用于自然图像上的交互式分割算法的性能评估和基准测试。本文的主要贡献如下：首先，在统一的环境中设计用于托管和评估不同分割算法的软件平台。该平台目前包括四个最先进的交互式分割算法，并从我们的网站提供给公众下载。第二，专门用于评估交互式细分的地面实况数据集。数据集包含从自然图像的100个对象与伴随的描述，并已在线提供。第三，我们提出和调查适用于评估交互式细分的两项指标，包括专门针对地面实况测量边界准确性的新基准。我们比较建议指标与其他潜在指标并展示他们的成效。最后，我们评估和比较四个交互式分割算法的性能和特点。

本文的其余部分安排如下。在第2节我们回顾了为评估选择的每个算法。在第3节中，我们讨论了选择评估的指标，并制定测量物体边界精度的新基准。在第4节中，我们将讨论用户实验，包括参与者的详细信息以及使用的软件和工具。我们介绍我们开发的交互式细分工具各种算法，我们使用的数据集和地面实例实验和我们的实验设置和部署策略。在第5节我们分析实验结果，验证所选择的评估指标，并演示哪些算法表现最好。最后，在第6节，我们提出我们的结论和未来的潜在工作。

2算法

不同的分割算法经常被应用于不同的应用领域，因此适合于不同的任务。例如，一些算法，如主动轮廓^[5]等类似的方法^[6]在从医学图像中提取感兴趣的区域方面是最有效的。其他算法，如GrabCut^[7]设计用于照片编辑应用程序，并从自然场景的照片中提取对象。由于预期应用的差异，人们不能指望为应用于不同领域（例如照片操纵）而设计用于例如生物医学图像分析的算法同样有效。

我们的评估侧重于适用于从照片和自然场景中提取物体的交互式分割技术。 具体来说，我们只评估算法，其交互可以通过图像网格上的图形输入来建模^[21]; 我们不考虑基于参数的交互式分割算法调整或其他形式的互动。 通过缩小我们的焦点，我们评估更直接可比的算法; 意图是一致和公正的评估，尽管可用算法

的较小子集。

我们选择了四种算法进行评估。我们选择的算法提供了对自然场景中对象提取,文献中现有方法使用的各种底层算法方法有良好覆盖。表1给出了文献中交互式分割方法的广泛分类，以及实现这些方法的样本算法。星号算法是我们选择用于评估的算法。注意，我们不考虑基于阈值或可变形模型的算法，因为前者不能以直观的方式适应图形输入，而后者往往在医学上表现更好。同样值得注意的是，在表1中未列出的交互式分割还有其他两种算法方法：人造神经网络和图集引导方法（参见Pham等人^[13]）。然而，他们的采纳主要是仅限于生物医学图像分析，所以我们不会进一步考虑。另外两种算法方法来交互式分割列在表1中：人工神经网络和图集引导方法参见Pham等人^[13]）。然而，他们的采纳主要是仅限于生物医学图像分析，所以我们不会进一步考虑。

表1 交互式分割的算法

在以下小节中，简要回顾了每个选择的算法。有关更多细节，读者可以阅读引用的出版物。

2.1种子区域生长算法

种子区域生长算法，由 Adams提出Bischof ^[8]是一种简单且计算量很低的技术，用于图像的交互式分割，其中相关区域由具有相似颜色值的连接像素表征。 虽然它没有任何统计，优化或概率学基础，受到一定限制，但由于其实施的速度和简单而受到欢迎。

种子区域生长技术需要输入一组已经分组为n个不相交集合的种子点S = {S j:0 lt;j?n}，其中n是分割中期望的区域的数量。对于简单的对象背景分割，n = 2，给出两组种子像素：对象种子的S 1和背景种子的S 2。在每个步骤中，选择与对象或背景种子相邻的单个像素，并将其添加到相应的种子集。像素被选择为与S 1或S 2中的像素的平均颜色具有最小距离的像素。该算法会反复进行，直到所有像素都被分组为止。

在他们的论文中，Adams和Bischof ^[8]使用简单的灰度差异和平均值来计算颜色距离。 在我们的方法中，我们使用了更多的感知统一的CIELUV色彩空间^[14]（假设D65参考白色为光源），并被用于改进性能测试。

2.2交互式图形切割算法

Boykov和Jolly提出的交互式图形切割算法参考文献^[10]，制定了内部的交互式分割问题MAP-MRF框架^[15]，随后确定一个全局使用快速最小切割/最大流量算法的最优解。由于算法的速度，稳定性和强大的数学基础，它已经变得流行，已经有几种变种和扩展。“GrabCut”算法^[7]和“Lazy Snapping”算法^[16]是Microsoft开发两个变体。

该算法通过最小化捕获用户交互提供的硬约束的成本函数和表示图像的空间域和范围域中的像素之间的关系的软约束来进行操作。如果L = {L p | pisin;P}是图像P的对象背景标记（即，分割）标签的能量可以表示为成本函数：

(1)

其D_P是数据惩罚函数，V_P,Q是相互作用势,并且N是所有相邻像素对的集合。数据惩罚函数表示一组硬约束，其控制哪些像素属于对象或背景，并且是从用户交互导出的。相互作用的潜力被用于鼓励类似相邻像素之间的空间相干性。

为了最小化等式（1），图像和用户交互被组合成加权无向图。通过为图像中的每个像素添加一个节点，然后将每个节点连接到其相邻像素，并以反映像素之间的相似性的加权边缘来构建该图。 图中的每个节点也使用反映用户交互（数据惩罚函数）的加权边缘连接到两个特殊终端节点。 使用该图，等式（1）可以使用参考文献中描述的min-cut / max-flow算法。

Boykov和Jolly^[10]也描述了一种鼓励机制，具有相似灰度直方图的断开区域被自动组合。我们在实现中没有使用这种机制。

2.3简单的交互式对象提取算法

简单的交互式对象提取算法^[9]}，使用用户标记的像素来构建对象和背景区域的颜色模型。然后根据与该模型的距离将图像中的像素分类为对象或背景。该算法最近已经被整合到了流行的成像程序GIMP作为“前景选择工具”。

该算法假设一个特征空间与人类对于距离的感知相对于欧几里得度量相关。 因此，该方法的第一步是将图像颜色转换为CIE-Lab空间.

一旦图像已经被转换成适当的颜色空间，下一步就是为用户标记指示的已知对象和背景像素生成颜色标签^[18]。使用生成的颜色标签，表示为聚类中心的加权集合，然后根据到前景或背景颜色标签中的任何模式的最小距离将未知图像像素分类为前景或背景。结果是一个置信矩阵，由零和一之间的值组成，零表示背景，一个表示前景。在算法的最后阶段，平滑了置信矩阵，并删除与最大对象断开的区域。

2.4使用二进制分隔树的交互式分割算法

二进制分区树算法，最初提出在参考文献^[11]，后来在参考文献^[12]进行了扩展和改进。 通过使用用户交互来分割和合并树中的区域，将分层区域分割转换为对象背景分割。该算法可以适用于使用任何自动分割技术，其可以被定制成以二进制分区树的形式产生分层输出，其中根节点代表整个图像，并且在树下方的节点表示以增加的级别细节，叶节点是单个图像像素。在我们的实现中，我们使用Adamek等人^[20]建议的基于RSST ^[19]的算法。

为了将树变换为对象背景分割，算法进行如下。在第一阶段，根据用户标记的像素作为对象和背景，为树的叶节点分配标签。第二阶段涉及将标签向上传播到树的根部。 每个标记叶节点被传播到根节点，用相同的标签标记每个中间节点，直到在先前的传播阶段当父节点已经被当前节点的兄弟节点已经被不同标记的情况发生时发生冲突。 在这种情况下父节点被标记为冲突，并且算法进行到下一个叶节点。 树中每个标记的叶重复一遍。 在算法的第三阶段，每个非冲突的标记节点被访问，其标签传播到子树中的任何未标记的子节点。

在该算法的这个阶段，某些子树可能仍然保持未标记，被判断为相对于由用户标记定义的区域不相同。在参考文献^[11]中介绍了填写这些未标记区域的原始技术，但是存在缺陷。 作为替代方法，Adamek ^[12]建议使用CIELUV空间区域的平均颜色之间的欧氏距离来计算该距离，提出用相邻但先前分类的区域的标签来标记每个未分类区域。如果有几个这样的区域，则选择具有最短距离的区域。

3评估

在本节中，我们将讨论用于评估的方法和指标。 为了有效地评估交互式细分，我们需要考虑三个标准^[21] ：

（1）准确性：对象对应于事实的程度。

（2）效率：执行分割所需的时间或精力。

（3）重复性：当用户具有相同意图时，在不同分段会话中产生相同结果的程度。

本节涉及测量精度; 效率和重复性在第4和第5节中被考虑。然而，要注意的是，对于交互式分割，这些标准是高度相关的。特别地，准确性和效率是相互依赖的：给予更多的时间用户通常

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[140844]，资料为PDF文档或Word文档，PDF文档可免费转换为Word