Multi-Objective Scheduling of Many Tasks in Cloud Platforms

Multi-Objective Scheduling of Many Tasks in Cloud Platforms Fan ZhangKavli Institute for Astrophysics and Space ResearchMassachusetts Institute of TechnologyCambridge, MA 02139, USAEmail

Multi-Objective Scheduling of Many Tasks

in Cloud Platforms

Fan ZhangKavli Institute for Astrophysics and Space ResearchMassachusetts Institute of TechnologyCambridge, MA 02139, USAEmail: f_zhang@mit.edu

Junwei CaoResearch Institute of Information Technology

Tsinghua UniversityBeijing, China, 100084Email: jcao@tsinghua.edu.cn

Keqin LiDepartment of Computer ScienceState University of New YorkNew Paltz, New York 12561, USAEmail: lik@newpaltz.edu

Samee U KhanDepartment of Electrical and Computer Engineering

North Dakota State UniversityFargo, ND 58108-6050, USAEmail: samee.khan@ndsu.edu

1

The scheduling of a many-task workflow in a distributed computing platform is a well known NP-hardproblem The problem is even more complex and challenging when the virtualized clusters are used toexecute a large number of tasks in a cloud computing platform The difficulty lies in satisfying multipleobjectives that may be of conflicting nature For instance, it is difficult to minimize the makespan of manytasks, while reducing the resource cost and preserving the fault tolerance and/or the quality of service(QoS) at the same time These conflicting requirements and goals are difficult to optimize due to theunknown runtime conditions, such as the availability of the resources and random workload distributions.Instead of taking a very long time to generate an optimal schedule, we propose a new method togenerate suboptimal or sufficiently good schedules for smooth multitask workflows on cloud platforms

Our new multi-objective scheduling (MOS) scheme is specially tailored for clouds and based on theordinal optimization (OO) method that was originally developed by the automation community for thedesign optimization of very complex dynamic systems We extend the OO scheme to meet the specialdemands from cloud platforms that apply to virtual clusters of servers from multiple data centers Weprove the sub-optimality through mathematical analysis The major advantage of our MOS method lies

in the significantly reduced scheduling overhead time and yet a close to optimal performance Extensiveexperiments were carried out on virtual clusters with 16 to 128 virtual machines The multitaskingworkflow is obtained from a real scientific LIGO workload for earth gravitational wave analysis Theexperimental results show that our proposed algorithm rapidly and effectively generates a small set ofsemi-optimal scheduling solutions On a 128-node virtual cluster, the method results in a thousand times

of reduction in the search time for semi-optimal workflow schedules compared with the use of the MonteCarlo and the Blind Pick methods for the same purpose

Key Words: Cloud computing, many-task computing, ordinal optimization, performance evaluation,

virtual machines, workflow scheduling

1 INTRODUCTION

Large­scale workflow scheduling demands efficient and simultaneous allocation of heterogeneous CPU, memory,and network bandwidth resources for executing a large number of computational tasks. This resource allocation problem

is NP­hard [8], [22]. How to effectively schedule many dependent or independent tasks on distributed sources that could

be virtualized clusters of servers in a cloud platform makes the problem even more complex and challenging to solve,with a guaranteed solution quality. 

The many­task computing paradigms were treated in [29], [30], [31]. These paradigms pose new challenges to thescalability problem, because they may contain large volumes of datasets and loosely coupled tasks. The optimizationrequires achieving multiple objectives. For example, it is rather difficult to minimize the scheduling makespan, the totalcost, to preserve fault tolerance, and the QoS at the same time. Many researchers have suggested  heuristics for theaforesaid problem [39]. 

   The execution of a large­scale workflow, encounters a high degree of randomness in the system and workloadconditions [14], [41], such as unpredictable execution times, variable cost factors, and fluctuating workloads that makesthe scheduling problem computationally intractable [17]. The lack of information on runtime dynamicity defies the use ofdeterministic scheduling models, in which the uncertainties are either ignored or simplified with an observed average.  Structural information of the workflow scheduling problem sheds a light on its inner properties and opens the door

to many heuristic methods. No free lunch theorems [40] suggest that all of the search algorithms for an optimum of acomplex problem perform exactly the same without the prior structural knowledge. We need to dig into the priorknowledge on randomness, or reveal relationship between scheduling policy and performance metrics applied. 

   The emerging cloud computing paradigm  [9],  [25],  [47]  attracts industrial, business, and academic communities.Cloud platforms appeal to handle many loosely coupled tasks simultaneously. Our LIGO [6] benchmark programs arecarried out using a virtualized cloud platform with variable number of virtual clusters built with many virtual machines

on a fewer physical machines and virtual nodes as shown in Fig. 1 of Section 3. However, due to the fluctuation of manytask workloads in realistic and practical cloud platform, resource profiling and simulation stage on thousands of feasibleschedules are needed. An optimal schedule on a cloud may take intolerable amount of time to generate. Excessive

3

   Motivated by the simulation­based optimization methods in traffic analysis and supply chain management, weextend the ordinal optimization (OO) [11], [12] for cloud workflow scheduling. The core of the OO approach is to generate

real model can be resolved with the optimization of the rough model. We do not insist on finding the best policy but a set

of suboptimal policies. The evaluation of the rough model results in much lower scheduling overhead by reducing theexhaustive searching time in a much narrowed search space. Our earlier publication [46] have indicated the applicability

of using OO in performance improvement for distributed computing system

  The remainder of the paper is organized as follows. Section 2 introduces related work on workflow scheduling andordinal optimization. Section 3 presents our model for multi­objective scheduling (MOS) applications. Section 4 proposes

the algorithms for generating semi­optimal schedules to achieve efficient resource provision in clouds. Section 5 presentsthe LIGO workload [42] to verify the efficiency of our proposed method. Section 6 reports the experimental results usingour virtualized cloud platform. Finally, we conclude with some suggestions on future research work

2 RELATED WORK AND OUR UNIQUE APPROACH

Recently, we have witnessed an escalating interest in the research towards resource allocation in grid workflowscheduling problems. Many  classical  optimization methods, such as opportunistic load balance, minimum executiontime, and minimum completion time are reported in [10], suffrage, min­min, max­min, and auction­based optimizationare reported in  [4], [26]

grid workflow scheduling.  To make a summarization, normally two methods are used. The first one, as introducedbefore, is by converting all of the objectives into one applying weights to all objectives. The other one is a cone­basedmethod   to   search   for   non­dominated   solution,   such   as   Pareto   optimal   front  [15]. Concept   of   layer   is   defined   byintroducing Pareto­front in order to compare policy performances [13]. An improved version [37] uses the count that oneparticular policy dominates others as a measure of the goodness of the policy. Our method extends the Pareto­frontmethod by employing a new noise level estimation method as introduced in section 4.2. 

Recently, Duan et al. [8] suggested a low complexity game­theoretic optimization method. Dogan and Özgüner [7]developed a matching and scheduling algorithm for both the execution time and the failure probability that can trade offthem to get an optimal selection. Moretti et al. [24] suggested all of the pairs to improve usability, performance, andefficiency of a campus grid

Wieczorek et al. [39] analyzed five facets which may have a major impact on the selection of an appropriate scheduling

strategy, and proposed taxonomies for multi­objective workflow scheduling. Prodan and Wieczorek [28] proposed a noveldynamic constraint algorithm that outperforms many existing methods, such as LOSS and BDLS to optimize bi­criteriaproblems. Calheiros et al. [2] used a cloud coordinator to scale applications in the elastic cloud platform. 

Smith et al.  [33]  proposed robust static resource allocation for distributed computing systems operating underimposed quality of service (QoS) constraints. Ozisikyilmaz et al. [27] suggested efficient machine learning method forsystem space exploration. To deal with the complexity caused by the large size of a scale crowd, a hybrid modelingand simulation based method was proposed in [5]. 

None of the above methods, to the furthest of our knowledge, consider the dynamic and stochastic nature of a cloudworkflow scheduling system. However, the predictability of a cloud computing is less likely. To better understand therun­time situation, we propose the MOS, which is a simulation based optimization method systematically built on top of

OO, to handle large­scale search space in solving many­task workflow scheduling problem. We took into account ofmulti­objective evaluation, dynamic and stochastic runtime behavior, limited prior structural information, and resourceconstraints.  

Ever since the introduction of OO in [11], one can search for a small subset of solutions that are sufficiently good andcomputationally tractable. Along the OO line, many heuristic methods have been proposed  in  [12]  and  [35]. The OOquickly narrows  down  the solution to a subset of “good enough” solutions with manageable overhead. The  OO isspecifically designed to solve a problem with a large search space. The theoretical extensions and successful applications

5

of OO were fully investigated in [32]. Constrained optimization  [20]  converts a multi­objective problem into a single­objective   constrained   optimization   problem   Different   from   this   work,   we   apply   OO   directly   in   multi­objectivescheduling   problems,   which   simplify   the   problem   by   avoiding   the   above   constrained   conversion   Selection   rulescomparison  [16]  combined with other classical optimization methods such as genetic algorithm, etc. have also beenproposed.

In this paper, we modify the OO scheme to meet the special demands from cloud platforms, which we apply to virtualclusters of servers from multiple data centers. 

3 MULTI-OBJECTIVE SCHEDULING

 In this section, we introduce our workflow scheduling model. In the latter portion of the section, we will identify themajor challenges in realizing the model for efficient applications

3.1 Workflow Scheduling System Model

     Consider a workflow scheduling system over S virtual clusters. Each virtual cluster has m i (i = 1, 2, …, S) virtual

Virtual Machines  deployed on 3  physical clusters

Physical 

Virtual  Cluster 1

Virtual  Cluster 2

Figure 2 A queuing model of the VM resource allocation system for a virtualized cloud platform Multiple workflow dispatchers are employed to distribute tasks to various queues Each virtual cluster uses a dedicated queue to receive the incoming tasks from various

workflows The number of VMs (or virtual nodes) in each virtual cluster is denoted by m i The service rate is denoted by δ i for queue i.

   To benefit readers, we summarize the basic notations and their meanings below. The subscript  i  denotes virtual

cluster i. The superscript k denotes the task class k.

Table 1. Notations Used in Our Workflow System

( )k i

( )k i

( )k i

( )k ( ) ( )k k

   For simplicity, we describe a bi­objective model for minimizing the task execution time and resource operational cost.The first metric J 1 is the minimization of the sum of all execution times t k. The minimization of the total cost J 2  is oursecond optimization metric

7

l i J

3.3 Four Technical Challenges

   To apply the above model, we must face four major technical challenges as briefed below

       (1) Limited knowledge of the randomness ­ The runtime conditions of the random variables ( ( )k

i

t ,  ( )k i

c ) in real timeare intractable. Profiling is the only solution to get their real time values for scheduling purpose. However, the collecting

of CPU and memory information should be applied to all the scheduling policies in the search space

         (2) Very large search space ­ The number of feasible policies (search space size) in the above resource allocation

problem is|Θ|= S * H (K,θ  i − K) = S (θ  i − 1)!/((θ  i − K)!(K  − 1)!). This parameter H (K,θ  i − K) counts the number of ways to

partition a set of θ  i VMs into K nonempty clusters. Then |Θ| gives the total number of partition ways over all the S

4 VECTORIZED ORDINAL OPTIMIZATION

The OO method applies only to single objective optimization. The vector ordinal optimization (VOO) [15] methodoptimizes over multiple objective functions. In this section, we first specify the OO algorithm. Thereafter, we describe theMOS algorithm based on VOO as an extension of the OO algorithm

4.1 Ordinal Optimization (OO) Method

P G ∩ ≥  ≥ S k α (3)Formally, we specify the OO method in Algorithm 1. The  ideal performance,  denoted by ( )( )k

i

J θ ,  is obtained  byaveraging an N times repeated Monte Carlo simulation for all the random variables. This N is a large number, such as

1000 times in our case. The measured performance or observed performance, denoted by ˆ( )( )k

i

J θ , is obtained by averaging aless times repeated Monte Carlo simulation, say n (n << N) times, for all the random variables. That is why it is called rough model. Then, we formulate the discrepancy between the two models in Eq. (4):

The values ω  and noise level can be estimated based on the rough model simulation runs. The values such as α, k, g are

defined before experiment runs in Eq. (3). Value η can be looked up in OO regression table. Value e is a mathematical

rank 2 in ˆJ( )θ , and the second best policy in J(θ) becomes rank 4 in  ˆJ( )θ    However, this variation is not too large.Selecting the top two policies in the rough model  ˆJ( )θ  has one good­enough policy in J(θ)

Figure 3 An example to illustrate how ordinal optimization works The search space consists of 10 scheduling polices or schedules in

ascending order Good-enough set G is shown by the left (best) 3 (set g = 3) policies We have to select two policies ( s = 2) to get at least one good-enough policy (k = 1) in this example Selecting four policies (s = 4) would include two (k = 2) good-enough policies.

In Algorithm 1, we show the steps of applying OO method. Suppose there is only one optimization objective. Fromlines 1 to 9, we use a rough model (10 repeated runs) to get the  s  candidate policies. Then we apply the true model

(N=1000) simulation runs on the s candidate policies to find one for use. We select the 10 repeated runs intentionally,

which accounts for 1% of the true model runs. In Corollary 1 below, we show this increases the sample mean variation byone order of magnitude. This variation is within the tolerance scope of our benchmark application

Corollary 1. Suppose each simulation sample has Gaussian noise (0, σ2). The variance of n samples mean is σ2/n.

5 Order the policies by a performance metric in ascending order { θ [1], θ [2],…, θ [| Θ |]}

9 Simulate each policy in the selection set N times

10 Apply the best policy from the simulation results in step 9        

In Theorem 1, we give a lower bound of the probability α, which is called alignment probability In practice, thisprobability is set by users who apply the ordinal optimization based method The larger this probability

value is, the larger the selection set S should be This is because the chance that a large selection set S contains at least k good-enough policies is larger than a small set S Suppose S equals to the whole

candidate set Θ, then the alignment probability α can be as much as 100%

Summarizing all the possible values of i gives Eq. (6).        

4.2 Multi-Objective Scheduling (MOS)

   The multiple objective extension of OO leads to the vectorized ordinal optimization (VOO) method [15]. Suppose theoptimization problem is defined in Eq. (7) below:

   (1) Dominance ( )f : We say θx dominates θy (θxf θy) in Eq. (7), if ∀ l∈ [1,…,m] ,, J l(θx)≤ J l(θy), and ∃ l∈ [1,…,m] , J l(θx)<

J l(θy)

   (2) Pareto front: In Fig. 4(a), each white dot policy is dominated by at least one of the red dot policies, thus the reddot policies form the non­dominated layer, which is called the Pareto front { }l  1

Figure 4 Illustration of layers and prateo fronts in both ideal performance and measured performance of a dual-objective optimization problem Red dots in (a) are policies in Pareto front We set g = 1 (all the policies in Pareto front are good-enough solutions), at least 1

in the first layer (s = 1) of the measured performance should be selected to align 2 good policies (k = 2).

   (3) Good enough set: The front g layers { { }l1 , ,{ }lg }  of the ideal performance are defined as the good enough set,denoted by G, as shown in Fig. 4(a).

   (4) Selected set: The front s layers { { } { }l1′ , , l′s }  of the measured performance are defined as the selected set, denoted

by S, as shown in Fig. 4(b).

13

     (5)  Ω  type: It is also called  vector ordered performance curve  in VOO­based optimization. This concept is used to

describe how the policies generated by the rough model are scattered in the search space as shown in Fig. 5. If thepolicies scattered in steep mode (the third Figure in both Fig. 5(a) and Fig.  5(b)), it would be easier to locate the goodenough policies for a minimization problem. This is because most of them are located in the front g layers. For example, if

we set g = 2, the number of good enough polices in steep type is 9 compared with 3 in flat type. In this example, we cansee that Ω type is also an important factor that size of selection set s depends on.

Figure 5 In (a), three kinds of Ω types are shown, by which 12 policies are scattered to generate 4 layers In (b), the corresponding Ω

types for (a) are shown The x identifies the layer index, and F(x) denotes how many policies are in the front x layers.

(b) Corresponding Ω type

J

2

 (θ

 )

Theorem   2  (Lower   bound   of   the   alignment   probability   of   multi­objective   problem):  Given   the   multiple   objective

optimization problem defined in Eq. (6), suppose the size of the jth layer { }lj  is denoted by l , j = 1,2,…,ipl, and the size j

of { }l′j  is l , j = 1,2,…,mpl, the alignment probability is:′j

( 1 1 )min ,

1 1

1 1

j j j

j

s s

j

i i

j= ′

∑ l  , then  conclusion of Eq. (9) is proven.      

     MOS guarantees that if we select the front  s  observed layers, S={ { } { } { }l1′ , l′2 , , l′s }, we can get at least  k  good

enough policies in G={ { }l1 , ,{ }lg }  with a probability not less than α, namely  P G S k ∩ ≥  ≥  α. The number k, g and α

are preset by users. k≤min( ∑g j=1lj,∑s j=1l′j). 

   The size of the selection set s is also determined by Eq. (5). In Chapter IV of [12], the authors did regressed analysis to

derive the coefficient table based on 10,000 policies with 100 layers in total. The analytical results should be revisedaccordingly since our solution space |Θ| and measured performance layers mpl are different.