在线流的高效路由和调度外文翻译资料

英语原文共 10 页，剩余内容已隐藏，支付完成后下载完整资料

在线流的高效路由和调度

摘要

在线流是一组相关的并行流,通常发生在两个阶段的多级网络中计算任务,比如在图减少洗牌流。在线流允许应用程序抽象的来表达他们的语义网络,这样应用程序级的需求(如最小化完工时间的慢流)可以被更好地满足。在本文中,我们研究了多个在线流s路由和调度最小化平均在线流完成时间(CCT)。我们首先提出一个路由基础随机逼近算法,称为在线流1,针对单一在线流路由和调度。多个在线流问题更具挑战性,共存在线流s将分享相同的链路带宽等网络资源。为平均最小化有条件现金援助,我们推出一个在线多个在线流路由和调度算法,称为OM在线流,去证明它具有相当良好的竞争比。我们所知,这个算法是第一个有在线理论性能担保,同时为复杂在线流s路由和调度。与现有方法相比,更高效的OM在线流运行,它避免了频繁变更流的问题。广泛的模拟在Facebook的数据跟踪显示OM在线流显著优于当前的方案(如,平均减少了平均41.8%的有条件现金转移支付和执行时间）。

关键字

在线流;路由和调度;在线算法,数据中心网络

1.简介

分布式计算框架如图减少,森林女神和火花云应用程序中很受欢迎。在这些框架里,数据流为一份工作可能共享一个共同的绩效为目标,比如最小化完工完成时间最慢的流。然而,这样的应用程序级需求往往很大程度上忽略了云提供商优化网络级的目标

在线流抽象的首次提出是在上面的桥梁,它被定义为一组相关的并行流,通常发生在两个阶段(即洗牌流图减少)工作中。为了提高应用程序性能,除了个人流动,在线流应该考虑这样工作特定要求可以更好的满足。以图减少任务为例。一般来说,不能减少工作流都在开始洗牌前流完成了。因此,我们可以把这些相关的在线流称为在线流完成时间(CCT),并尽量减少最小化完工完成时间在这些流动。此外，在许多情况下，多个在线流可以在一个网络中共存。新到来的和现有的,没有完成传输的流都可以存在于网络中。因此,我们把平均完成时间(平均有条件现金转移支付)作为性能指标。在线流共存将争夺资源(如。路由路径链路带宽),多个在线流调度和路由是具有挑战性的。

最前的作品在网络级优化不可知论者在在线流的存在实际上可能会损害应用程序级的性能。在这里,我们专注于在线流性能结果;我们在表1中列出了最先进的研究成果。

一些文章研究在线流调度。不同的提出有效的启发式调度在线流旨在减小存在限制的在线流的最小化完工时间。邱教授提出第一个确定性算法和一个常数近似比例服务于多个在线流调度。他们的算法是基于离线模型不太实用,假设信息的所有在线流在开始。陈教授设计的新效用最优的调度程序在线流,定义不同的灵敏度与有关在线流完成时间不同。没有先验知识在线流,采用离散在线流服务分离在线流优先队列基于他们已经发送。还有的教授，[23]调查分散在线流调度问题。CODA是第一个承认在线流工作中个人流动使用机器学习技术。然后提出并实现容错在线流调度器。

不考虑流的路由,仅仅解决调度的在线流传输方法可能无法最小化存在限制的在线流的最小化完工时间。剑杆是第一个出版(唯一一个到目前为止我们所知),同时考虑在线流路由和调度。然而,他们的解决方案为多个在线流启发式方法,因此缺乏理论性能保证最小化存在限制的在线流的最小化完工时间。多个在线流路由和调度问题具有挑战性的是由于: 1)路由和调度单个在线流最小化完工时间是NP困难;2)网络中的多个在线流可能同时争夺传输资源(比如链接能力);3)在大多数实际的场景,我们没有未来关于在线流的信息,因此在线解决方案，我们提供新的解决方案复杂在线流路由和调度问题。我们从单一在线流路由和调度,然后提出一个有效的在线多个在线流路由和调度方案并保证理论性能保证。具体地说,我们有以下贡献:

针对单一在线流路由和调度,我们提出一个随机算法,称为唯一在线流调度算法，最小化完工完成时间最慢的流有高概率。

我们推出一个在线算法,称为OM在线流算法,解决多个在线流路由和调度问题。我们证明OM在线流算法有很好的竞争比例最小化平均完成时间。我们所知,这是第一个结果在线复杂在线流路由和调度理论性能保证。

与现有的启发式方法相比，OM在线流算法可以更高效地运行。更重要的是,当一个新的在线流到达或现有在线流完成传输，OM在线流算法路线中的每个在线流只有一次变动而其他算法经常变更所有流。

2.模型和问题定义

2.1系统模型

网络被建模为一个有向图G =(V,E),其中E是边集。网络的大小n表示。每个节点在数据中心网络可以是服务器或开关。每条边eisin;E。一个在线流相关并行流的集合是一个常见的性能目标(如最大流量最小化完工时间)。表示Ci(1lt;lt;m)作为在线流到达时间Ti,其中包含W个人流动。流j(1lt;lt;W)在在线流Ci被定义为包含目标节点,和v j gt; 0是流量。可用的路径设置流j 在线流 Ci和P(i,j)表示。一般来说,两个节点的路径的数量在网络可以一样大O(n)。然而,对于网络与特定的结构,两个节点之间的数据流将遵循一些给定的路径。因此,在本文中,我们假定任何一对节点之间的路径的数量由K =G(n)是有界的。不失一般性,我们假设一个在线流Ci的所有信息对其流动和开始传播,只要它的到来在网络时间Ti,类似以前的模型。时刻xge;Ti,流然后被迫路由路径权值,这实际上是分配给这个流的带宽。注意,在一段时间内可以是零x,这意味着这个流等传播。因此,路由和调度策略在线流定义

考虑一个有时间的系统。然后我们定义在线流完成时间的最小时间

这意味着最早的时候,所有的流动在完成传输数据。我们进一步定义为所有在线流的最小完成时间来频繁流动重路由开销将会导致严重的协调,在实践中是不可取的,因此,在我们的模型中,每个在线流(因此每个流)允许只能一种路由。我们说一个有效的策略,如果xge;0,eisin;e

2.2问题解决

与上面的设置中,我们定义在线多个在线流路由和调度问题如下。

问题1：在网络中,m个在线流C1,C2,hellip;hellip;,Cm到达时间T1,T2,hellip;,Tm。每个在线流Ci的信息:给出到达包括相应的源目的地、体积和可用的路径P(i,j)每个W i个人的流动。问题是设计一个算法来找到一个有效的路由和调度策略为每个在线流平均完成时间F ，m是最小化。在我们复杂在线流路由和调度问题,信息对未来在线流尚不清楚。因此，需要一种在线算法。在下面,我们开始调查特殊情况只有一个单一在线流网络(即m = 1)。然后,基于单一在线流调度和路由解决方案,我们提出一个在线算法来解决多个在线流的问题。

3.单个在线流的路由与调度

在本节中,我们考虑到特殊情况只有一个在线流m=1在网络。根据上述情况,为每个流jisin;C,。每条边e是再保险的能力。我们的目标是找到一个有效的策略,C与最低在线流完成时间。

3.1近似算法

在下面,我们获得一个随机算法单一在线流路由和调度问题,运行在多项式时间内的节点数n,并返回一个有效的策略,有条件现金转移支付最多4 ln2n乘以概率高的最优解。我们算法中使用的主要技术是凸规划和舍入。我们第一次使用程序P来捕获问题。但是我们应当看到后,程序P不凸,而不是有效地解决。我们解决问题通过使用一个基于二分搜索的方法来有效地解决程序P。然而，即使我们有针对程序P的解决方案，它也不会直接给出路由和调度策略。因此，我们需要另一个过程，通常称为舍入，以得到一个有效的策略。

整个算法相结合的算法1中给出所有这些成分,称为唯一在线流。我们首先介绍细节的描述程序P:

在这个程序中,变量t表示c,我们使用变量的最小完成时间X j,p表示我们是否选择路径 j流,这是为了在{ 0,1 }是一个整数变量但放松是一个实数。B j变量表示的平均带宽j流,这是定义的最后约束(提取物)。约束(年利)捕获的要求一个有效的策略。此外,我们包括约束(P.b)计划以减少完整性差距和舍入算法可以从中受益。约束(古滑坡体)旨在确保每个流沿着一个路由路径。程序P是我们问题的放松，这一事实将在下面中得到证实。然后我们给唯一在线流算法来解决单一在线流路由和调度与最小的有条件现金援助。唯一在线流始于程序P的最优解

3.2分析

如上所述,在数据中心网络等一些重要的场景,我们假定任何一对节点之间的路径的数量由K =G(n)是有界的。定理1:对于任何在线流 m=1，定义在一个有向图G ，n顶点,在O(1)算法运行并给出一个有效的策略,有条件现金援助最多4 ln2n乘以C的最佳的最小完成时间的概率至少表示在解决线性的时间复杂度与变量x和y程序。证明：我们证明包含三个部分:1)我们首先给出一个下界最小的完成时间C的引理1; 2)然后我们给一个上界算法返回的有限制的在线流的唯一在线流引理2；3)我们最终解决时间复杂度。

最优下界最小化完成时间:我们将证明P是一个单在线流路由和调度问题。让OPTP表示P的最优目标,让选择表示c的最小完成时间放松的事实意味着OPTPle;选择。引理1(P是一个目标)。任何有效的策略年代,存在一个可行解的P的客观价值的完成时间是一样的。

证明：假设T s我们定义了一个解决方案的完成时间P如下。

时间复杂度唯一在线流:程序P不凸,因为约束P，b和提取物。因此,它是必要的在多项式时间内找到最优解。为了解决这个问题，我们提出了一种基于二分查找的方法。主要的观察是,如果t是固定的,而不是一个变量约束都是线性的。这意味着我们可以解决线性规划可行性测试是否一个特定的t是可行的。因此，我们解决方案P的算法如下。首先我们二分搜索固定t 。然后,我们定义b j = v j 和我们解决以下可行性FLP线性规划:

当线性程序是不可行的,我们扩大t;否则,我们寻找小t。最后,我们会发现近最优t(由于我们寻找近似算法我们不需要精确的t),和相应的解决方案FLP程序P是由解决程序与基于二叉搜索方法。因此,在解决程序P,我们计算O(1)程序隔爆的变量,和数量的限制。我们需要解决的可行线性规划的数量通常是一个常数。之后我们得到最优解,主要的算法,即算法1,运行时间O(wk*c)。总之,我们的算法唯一在线流运行在。这就结束了定理1的证明。

扩展通用网络在数据中心网络,任何一对节点之间的路径的数量由K =G(n)是有界的。所以我们的算法唯一在线流算法能计算出一个有效的策略在多项式时间内。但是,假设K =G(n)可能不适用于其他网络,例如,无线网络与任意数量的节点。在这样的网络中，任意一对节点之间的路径数可以是超级多项式，这将使算法在多项式时间内无法求解程序P。具体地说,我们认为情况当P被定义为所有可能的直接使用边缘的简单路径从在此设置一些E。定理2：任何在线流C与P定义的所有(简单的指示)路径使用边缘,存在一个算法,它返回一个有效的策略,C和完成时间最多(4 ln2n)乘以C概率的最小完成时间至少3 4,运行时间方法的运行时间解决变量x和y的线性规划约束条件。

证明：证明框架为唯一在线流相似。然而,由于我们定义的路径组的方式改变,我们必须修改程序。具体来说,我们使用变量表示边缘e是否选择在j流,而不是变量p表示路径的选择程序p的约束程序的相应改变。我们还采用基于二分查找的方法来解决这个新程序。解决程序优化后,我们设计一个不同的舍入过程得到有效的路由。最后,正如在唯一在线流,我们减少带宽的因素,以确保策略是有效的。近似的分析比率主要是类似于之前,关键因素是利用我们的测量结果(引理。

4.在线流流动参数的影响

在本节中,我们研究的影响关键在线流算法的性能参数,如总在线流号码，在线流宽度,在线流大小,李在线流到达时间间隔。除非另有规定,我们认为Facebook的数据中心拓扑。一般来说,在上文中,我们可以看到,在线流算法总是优于基线,启发式和仅调度在不同场景。

4.1在线流数目

评估的影响在线流号码路由和调度方案的性能,我们固定其他参数,即。设置在线流宽度,在线流规模和平均里在线流到达间隔100年,分别为500 S和100 ms。然后我们将不同数量的在线流注入到网络,并计算平均的改善在线流算法，启发式和仅调度的在线流算法与基线相比。上文显示,平均的改善最小完成时间在线流数字使用的三个方案。原因是更多在线流将导致更严重的对网络资源的竞争,然后是有效的解决方案将获得更多的好处。在线流算法可以减少平均67.6%的最小完成时间的情况下与基线相比,它优于其他两个方案。

4.2在线流宽度

回想一下,在线流宽度是流动的数量。在这个实验中,我们修复在线流数量,规模和平均里在线流到达间隔为100年,500 s和100 ms,分别,然后研究在线流宽度的影响平均CCT。图3(b)表明,更大的在线流宽度、平均有条件现金转移支付的更多改进了三种方案。原因仍然是，更多的数据通信导致了对网络资源的更激烈的竞争。我们可以观察到在线流算法总是优于启发式和仅调度在线流算法。在线流算法可以减少平均70.7%的最小完成时间与当前算法相比,而启发式和仅调度的在线流算法只能减少62.5%和36.3%。

4.3在线流规格

这里我们修复c在在线流数量,宽度和均值里在线流到达间隔为100s,100ms年和100年。在每个实验,然后我们发送在线流大小相同的网络。

对不同在线流大小,上文显示在线流算法可以减少平均80.6%的平均最小化完工时间以前的算法相比。相比与启发

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[138161]，资料为PDF文档或Word文档，PDF文档可免费转换为Word