Doctoral thesis of telecommunications engineering: SDN-based energy-efficient networking in cloud computing environments

Software-defined networking aims to change the inflexible state networking, by breaking vertical integration, separating the network’s control logic from the underlying routers and switches, promoting (logical) centralization of network control, and introducing the ability to program the network. Consequently, SDN is an important key for resolving aforementioned difficulties.

MINISTRY OF EDUCATION AND TRAININGHANOI UNIVERSITY OF SCIENCE AND TECHNOLOGY

Code No: 62520208

DOCTORAL THESIS OF TELECOMMUNICATIONS ENGINEERING

Supervisor: Assoc.Prof. Nguyen Huu Thanh

HANOI ­ 2018

I hereby assure that the results presented in this dissertation are my work under the guidance   of   my   supervisor   The   data   and   results   presented   in   the   dissertation   are completely honest and have not been disclosed in any previous works. The references have been fully cited and in accordance with the regulations. 

Tôi xin cam đoan các k t qu  trình bày trong lu n án là công trình nghiên c u c a tôiế ả ậ ứ ủ  

dướ ự ưới s  h ng d n c a giáo viên hẫ ủ ướng d n. Các s  li u, k t qu  trình bày trong lu nẫ ố ệ ế ả ậ  

án là hoàn toàn trung th c và ch a đự ư ược công b  trong b t k  công trình nào trố ấ ỳ ước đây. Các k t qu  s  d ng tham kh o đ u đã đế ả ử ụ ả ề ược trích d n đ y đ  theo đúng quy đ nh.ẫ ầ ủ ị

Hà N i, Ngày 19 tháng 01 năm 2018ộ

Tác giả

Tr n M nh Namầ ạ

First and foremost, I would like to thank my advisor, Associate Prof. Dr. Nguyen Huu Thanh, for providing an excellent researching atmosphere, for his valuable comments, constant support and motivation. His guidance helped me in all the time and also in writing this dissertation. I could not have thought of having a better advisor and mentor for my PhD. 

Moreover, I would like to thank Associate Prof. Dr. Pham Ngoc Nam, Dr. Truong Thu Huong   for   their   advices   and   feedbacks,   also   for   many   educational   and   inspiring discussions. 

My sincere gratitude goes to the members (present and former) of the Future Internet Lab, School of `Electronics and Telecommunications, Hanoi University of Science and Technology. Without their support and friendship it would have been difficult for me to complete my PhD studies

Finally, I would like to express my deepest gratitude to my family. They are always supporting me and encouraging me with their best wishes, standing by me throughout my life

Hanoi, 19th Jan 2018

CONTENTS

LIST OF FIGURES

LIST OF TABLES

1 Overview of Network Energy Efficiency in Cloud Computing EnvironmentsThe advances in Cloud Computing services as well as Information and Communication Technologies (ICT) in the last decades have massively influenced economy and societies around the world. The Internet infrastructure and services are growing day by day and play 

a considerable role in all aspects including business, education as well as entertainment. In the last four years, the percentage of people using Internet witnesses an annual growth of 3.5%, from 39% world population’s percentage in Dec­2013 to 51.7% in June­2017 [1]. 

To support the demand of cloud network infrastructure and Internet services in the rapid growth of users, it is necessary for the Internet providers to have a large number of devices, complex design and architecture that have the capacity to perform increasingly number of operations for a scalability. Consequently, many huge cloud infrastructures have been employed by Telcos, Internet Service Providers (ISPs) and enterprises for the exploded demand   of   various  applications   and  data   cloud­services  such   as  YouTube,   Dropbox,  e­learning, cloud office etc. To meet the requirements of these booming services all around the world, cloud network infrastructures have been built up in a very large scale, even geographically distributed data centers with a huge number of network devices and servers. 

In addition, the maintenance of the systems with high availability and reliability level requires a notable redundancy of devices such as routers, switches, links etc. As a result, having such a large infrastructure consumes a huge volume of energy, which leads to consequent environmental and economic issues:

­ Environmentally, the amount of energy consumption and carbon footprint of the 

ITC­sector is remarkable. The manufacture of ICT equipment is estimated its use and disposal account for 2% of global CO2 emissions, which is equivalent to the contributions   from   the   aviation   industry   [2]   The   networking   devices   and components estimate around 37% of the total ICT carbon emission [3]; 

­ Economically,   the   huge   consumed   power   leads   to   the   costs   sustained   by   the 

providers/operators to keep the network up and running at the desired service level and their need to counterbalance ever­increasing cost of energy

Although   network   energy   efficiency   has   recently   attracted   much   attention   from communities [4], there are still many issues in realization of the energy­efficient network including inflexibility and the lack of an energy­aware network. The main difficulties of the network energy efficiency as well as its research motivations are shortly described as follows: 

nowadays is the inflexibility issue. For changing the processing algorithm and the control plane   of   a   network,   its   administrators   should   carefully   re­design,  re­configure and migrate the network for a long time. In many cases, there is a technical challenge for an  administrator  to apply new approaches and evaluate  their  efficiency. Consequently,   the   flexible   and   programmable   network   is  strictly   necessary   Secondly, there   are   difficulties   in   evaluating   the   energy­saving   levels   of   new   energy­efficient approaches in a network due to the lack of the centralized power­control system. This system allows administrators and developers to monitor, control and managing the working states as well as power consumption of all network devices in real­time

Energy­aware networking for virtualization technologies in cloud environments: cloud 

computing has emerged in the last few years as a promising paradigm that facilitates such new   service   models   as   Infrastructure­as­a­Service   (IaaS),   Storage­as­a­Service   (SaaS), Platform­as­a­Service   (PaaS),   Network­as­a­Service   (NaaS)   For   such   kinds   of   cloud 

services, virtualization techniques including  network virtualization  [5] [6] [7] and  data  center virtualization [8] [9] [10]  have quickly developed and attracted much attention of 

research   and   industrial   communities   Currently,   research   in   virtualization   technologies mainly focuses on the resource optimization and resource provisioning approaches [8] [9]. There are very few works focusing on the energy efficiency of a network. With the benefits 

of flexible controlling and resource management of virtualization technologies as well as new network technologies such as Software­defined Networking (SDN) [11] [12] [13], researching in network energy efficiency in virtualization is an important and promising approach

Additionally,   the   SDN   technology,   the   emergence   of   new   trends   in   networking technology,   provides   new   way   to   realize   and   optimize   network   energy   efficiency. Software­defined   networking   [11]   aims   to   change   the   inflexible   state   networking,   by breaking vertical integration, separating the network’s control logic from the underlying routers   and   switches,   promoting   (logical)   centralization   of   network   control,   and introducing the ability to program the network. Consequently, SDN is an important key for resolving aforementioned difficulties

2 Research Scope and Methodology

a) Research Scope

The scope of this research focuses on the network energy efficiency in cloud computing environments,  including:   (1)  energy   efficiency   in   centralized   data   center   network;   (2) energy   efficiency   in   network   virtualization;   and   (3)   energy   efficiency   in   data   center 

b) Research   Methodology:   the   research   methodology   is   used   following   the 

The  SDN  technology   is  used   as  core   technology  in  this  dissertation   for  proposing energy­efficient network approaches. The first contribution of this dissertation is resolving 

the lack of energy­aware network in a DC by (1) proposing a SDN­based power­control  system (PCS) of a network. The proposed system allows the administrator of a network to 

flexibly control and monitor the state of network devices and the energy consumption of the whole network infrastructure. Thanks to the flexibility and availability of this PCS system, several energy­efficient algorithms are proposed and evaluated on it successfully.The   network   virtualization   (NV)   technology   in   cloud   environments   becomes   more popular and plays an important role for such cloud services including Network­as­a­service (NaaS), Infrastructure­as­a­service (IaaS). The energy­aware NV platform is necessary for 

network   energy   efficiency   Appropriately,  (2)   the  SDN­based   energy­aware   network 

power consumption of the network virtualization environment. Two novel energy­efficient 

virtual network embedding algorithms are also proposed and implemented in this platform 

that focus on increasing the energy­saving level and maintaining the reasonable resource optimization of a network

Virtual   data   center   technology   is   a   concept   of   network   virtualization   in   cloud environments that allows creating multiple separated virtual data centers (VDC) on top of 

the physical data center [8] [9] [10]. In consequence, (3)  an energy­aware virtual data  center   platform  is   deployed   On   this   system,   novel   energy­aware   algorithms   are   also 

proposed which focus on the following objectives: (1) resource efficiency that deals with efficient mapping of virtual resources on substrate resources in terms of CPU, memory and network   bandwidth;   and   (2)   energy   efficiency   that   deals   with   minimizing   energy consumption of the virtual data center while meeting virtual data center mapping demands.The above contributions of this dissertation are organized as the collection of several SDN­based network energy­efficient approaches which are presented in five chapters as follows:

The  first   chapter  presents   an   overview   of   energy­efficient   network   in   cloud 

environments and their classification. The difficulties of the network’s energy efficiency area as well as the background of the Software­defined Networking technology are also described in details

In  the  second   chapter,   a   SDN­based  power­control   system   (PCS)  of   a   data   center 

network is proposed. Based on this platform,  developers can  propose, implement and evaluate   several   network   energy­saving   algorithms   Two   energy­efficient   approaches, which are applied onto the PCS system, are also proposed with their results and algorithms published in:

Tran Manh Nam, Nguyen Huu Thanh, Doan Anh Tuan “Green Data Center Using  Centralized   Power­Management   Of   Network   And   Servers”,   The   15th 

international   Conference   on   Electronics,   Information,   and   Communication (IEEE ­ ICEIC), Jan 2016, Da Nang, Vietnam

Large   Data   Center   Networks”,   IEEE   ICCE   ­   The   International   Conference   on 

algorithms. Two energy­efficient embedding algorithms, namely heuristic energy­efficient  node mapping and  reducing middle node energy efficiency, are proposed in this section. 

Thanh Nguyen Huu, Anh­Vu Vu, Duc­Lam Nguyen, Van­Huynh Nguyen, Manh­Nam 

Tran, Quynh­Thu Ngo, Thu­Huong Truong, Tai­Hung Nguyen, Thomas Magedanz. “A  Generalized Resource Allocation Framework in Support of Multilayer Virtual Network   Embedding based on SDN”, Elsevier ­ Computer Networks, 2015.

Nam   T.M.,   Huynh   N.V.,   Thanh   N.H   (2016)   “Reducing   Middle   Nodes   Mapping Algorithm for Energy Efficiency in Network Virtualization”. In: Advances in Information and   Communication   Technology,   ICTA   2016   Advances   in   Intelligent   Systems   and Computing, vol 538. Springer, Cham. https://doi.org/10.1007/978­3­319­49073­1_54

Tran Manh Nam, Nguyen Tien Manh, Truong Thu Huong, Nguyen Huu Thanh (2018). 

“Online   Using   Time   Window   Embedding   Strategy   in   Green   Network   Virtualization”, 

International   Conference   on   Information   and   Communication   Technology   and   Digital Convergence Business (ICIDB­2018), Hanoi, Vietnam. (presented)

SDN­based  Energy­aware  Virtual  Data  Center  (VDC)  approach  is presented  in the 

fourth chapter. The VDC technology and its main problems, namely VDC embedding  problems,   are   described   in   details   Three  Joint   VDC   Embedding   and   VM   migration 

strategies are successfully proposed and evaluated on top of this SDN­based VDC concept. The experimental results and detailed algorithms of this chapter are published in:

Tran   Manh   Nam,   Nguyen   Van   Huynh,   Le   Quang   Dai,   Nguyen   Huu   Thanh,   “An  Energy­Aware Embedding Algorithm for Virtual Data Centers”, ITC28 ­ International 

Teletraffic Congress, Sep ­ 2016, Wurzburg, Germany

Van Huynh, Tuan Hoang. (2017)  “Joint Network Embedding and Server Consolidation   for Energy­Efficient Dynamic Data Center Virtualization”, Elsevier ­ Computer Networks, 

2017 ­ doi.org/10.1016/j.comnet.2017.06.007

In the last chapter, the conclusion of the dissertation and its future work are presented.

CHAPTER 1 AN OVERVIEW OF ENERGY-EFFICIENT APPROACHES IN CLOUD COMPUTING ENVIRONMENTS

This chapter provides an overview of the Internet status nowadays and the energy­efficient   approaches   in   cloud   computing   environments,   on   which   the   networking community   is   focusing   currently   The   chapter   also   addresses   the   difficulties   and motivations on network energy efficiency and the future Internet technologies in cloud computing environments including the Software­Defined Networking technology, network virtualization   technology   and   data   center   virtualization   technology   In   a   nutshell,   the research approaches and contributions of this dissertation are summarized in this chapter

1.1 Today's Internet

1.1.1 Cloud Computing Services and Infrastructures

The   advances   in   Information   and   Communication   Technologies   (ICT)   in   the   last decades have massively influenced economy and societies around the world. The Internet services   as   well   as   cloud   computing   services   are   growing   day   by   day   and   play   a considerable role in all aspects including education, business and entertainment. As we can see in the Table 1.¸ in the last four years, the percentage of people using Internet witnesses 

an annual growth of 3.5%, from 39% world population’s percentage in Dec­2013 to 51.7% 

in June­2017 [1].  

Table 1.: The Internet’s users in the world [1]

Date Number of  users World population’s  percentage

1.1.2 Energy consumption problems

Although the benefits of having that infrastructure are considerable, such a large system consumes the high volume of energy and leads to consequent issues:

Figure 1.: Estimate of the global carbon footprint of ICT (including PCs,

telcos’ networks and devices, printers and datacenters) [15].

­ Environmentally, the amount of energy consumption and carbon footprint of the 

ITC­sector   is   remarkable   (Figure   1.)   Gartner   Company,   the   ICT   research   and advisory company, estimates that the manufacture of ICT equipment, its use and disposal   account   for   2%   of   global   CO2   emissions,   which   is   equivalent   to   the contributions   from   the   aviation   industry   [2]   The   networking   devices   and components eliminate around 37% of the total ICT carbon emission [3]; 

­ Economically,   the   huge   consumed   power   leads   to   the   costs   sustained   by   the 

providers/operators to keep the network up and running at the desired service level and leads to their need of counterbalancing ever­increasing cost of energy (Figure

1. and Figure 1.)

Figure 1.: Energy consumption estimation for the European telcos’ network infrastructures

in the”Business-As-Usual” (BAU) and in the Eco-sustainable (ECO) scenarios, and

cumulative energy savings between the two scenarios [16]

Because of these issues, the requirement of designing a high performance and energy­efficient network has become a crucial matter for Telcos and ISPs towards greener cloud environments

Figure 1.: Operating Expenses (OPEX) estimation related to energy costs for the

European telcos’ network infrastructures in the ”Business-As-Usual” (BAU) and in the Eco-sustainable (ECO) scenarios, and cumulative savings between the two scenarios [17]

1.2 An Overview of Energy-Efficient Approaches

In this section, first, the most significant part of energy consumption of network device 

is   characterized   with   its   existing   researches   Secondly,   the   taxonomy   energy­efficient approaches, which are currently undertaken, is also presented

1.2.1 Energy consumption characteristics

Table 1.: Estimated power consumption sources in a generic platform of IP router

Efficient energy use, sometimes simply called energy efficiency concept, is far from being new in a computing system. To the best of our knowledge, the first support of power 

management system was published in 1999, namely “Advanced Configuration & Power  Interface”   (ACPI)   standard   [18]   Thenceforth,   more   energy­saving   mechanisms   were 

developed and introduced, especially in hardware enhancement with the new CPUs, which could be more efficient and consumed less energy. Tucker [19] and Neilson [20] estimated 

on IP routers that the control plane weighs 11%, data plane for 54% and power and heat management for 35%. Tucker and Neilson also broke out the energy consumption of data plane in more detail as described in Table 1  From 54% energy consumption of data plane, the buffer management weighs 5%, the packet processing weighs about 32%; the network interfaces weigh about 7%; and the switching fabric for about 10%. This estimation work provides a clear indication for developers in order to increase the energy­saving level of networks in the further researches

1.2.2 Energy-Efficient Approaches' Classification

From the general point of view, existing approaches are founded on few basic concepts. 

As shown in surveys of Raffaele Bolla et al. [4] and Aruna Banzino et al. [21], the largest part of undertaken energy­efficient concepts is founded on few energy­saving mechanisms and power management criteria that are already partially available in computing systems. 

These approaches, which are depicted in the Table 1., are classified as (1) re­engineering;  (2) dynamic adaptation; and (3) smart sleeping [4]. 

Table 1.: Classification of energy-efficient approaches of the future Internet [4]

1.2.2.1 Re-Engineering

The  re­engineering  approaches   focus   on   introducing   and   designing   more   energy­

efficient   elements   inside   network   equipment   architectures   Novel   technologies   mainly consist of new silicon (ex: for Application Specific Integrated Circuits (ASICs) [22], Field Programmable Gate Arrays (FPGAs) [23], etc.) and memory technologies (ex: Ternary Content­Addressable Memory (TCAM), etc.) for packet processing engines, and novel network   media   technologies   (energy­efficient   lasers   for   fiber   channel,   etc.)   The 

approaches can be divided into two sub­approaches as follows: (1) energy­efficient silicon  which focuses on developing new silicon technologies [24]; and (2) complexity reduction 

which focuses on reducing equipment complexity in terms of header processing, buffer size, switching fabric speedup and memory access bandwidth speedup [25] [26]

1.2.2.2 Dynamic Adaptation

The  dynamic   adaptation  approaches  of  network  resources  are   aimed   at   modulating capacities of devices (working speeds, computational capabilities of packet processing…) according to the current traffic demand [4]. These approaches are founded on two main 

kinds of power management capabilities provided by the hardware level, namely  power  scaling and idle logic. 

Power scaling capabilities allow dynamically reducing the working rate of processing 

engines or of link interfaces [27] [28]. This is usually accomplished by tuning the clock frequency and/or the voltage of processors, or by throttling the CPU clock (i.e., the clock signal is gated or disabled for some number of cycles at regular intervals). On the other 

hand,  idle   logic  allows   reducing   power   consumption   by   rapidly   turning   off   sub­

components when no activities are performed, and by re­waking them up when the system 

receives new activities. In detail, wake­up instants may be triggered by external events in a pre­emptive mode (e.g., “wake­on­packet”), and/or by a system internal scheduling process (e.g., the  system  wakes itself  up every certain  periods, and controls  if there  are new activities to process).

1.2.2.3 Sleeping/Standby

Sleeping and standby approaches are founded on power management primitives, which allow devices or part of them to turn themselves almost completely off, and enter very low energy states, while all their functionalities are frozen [4]. Thus, sleeping/standby states can be thought as deeper idle states, characterized by higher energy savings and much larger wake­up times. In more detail, the applications and services of a device (or its part) stop working and lose their network connectivity [29] [30] when it goes sleeping. As a result, the sleeping device loses its network ”presence” since it cannot maintain network connectivity, and answer to application/service­specific messages. Moreover, when the device wakes up, it has to re­initialize its applications and services by sending a non­negligible amount of signaling traffic

1.3 Software-defined Networking (SDN) technology

Recently, the future Internet technologies in cloud computing environments such as Software­defined   Networking   [11];   Network   Virtualization   (NV)   [6]   [7];   Network Function Virtualization (NFV) [31]; Virtual Data Center (VDC) [32] are booming and are strongly implemented in cloud environments [8] [9] [10]. On the way to realize these technologies and transfer to the industrial market, the flexible network is mandatory. SDN technology   with   its   characteristics   including   programmable,   capable   of   centralized management will play very important role in the innovation of all other techniques. In this Section, the overview of the SDN technology is depicted

1.3.1 SDN Architecture

Software­defined Networking (SDN) [11] is an emerging networking paradigm that gives hope to change the limitations of current network infrastructures. First, it breaks the vertical integration by separating the network’s control logic (the control plane) from the underlying routers and switches that forward the traffic (the data plane) [33]. Second, with the separation of the control and data planes, network switches become simple forwarding devices   and   the   control   logic   is   implemented   in   a   logically   centralized   controller   (or network operating system1), simplifying policy enforcement and network re­configuration and evolution

A simplified view of this architecture is shown in Figure 1  It is important to emphasize that a logically centralized programmatic model does not postulate a physically centralized system. In fact, the need to guarantee adequate levels of performance, scalability, and 

Figure 1.: SDN Architecture

1.3.2 SDN Southbound API - OpenFlow Protocol

OpenFlow [34] [35] is the first and also the most widely known SDN protocol for southbound API, it provides the communication protocol between the control plane on SDN controller and the forwarding planes on OpenFlow switches. OpenFlow specifies how these planes communicate and interact with each other since the connection is setup until the end. The OpenFlow protocol is layered above the Transmission Control Protocol, leveraging   the   use   of   Transport   Layer   Security   (TLS)   The   default   port   number   for controllers to listen on is 6653 for switches that want to connect

An OpenFlow switch has one or more tables of packet (Figure 1.) handling rules (flow table). Each rule matches a subset of the traffic and performs certain actions (dropping, forwarding, modifying, etc.) on the traffic. Depending on the rules installed by a controller application, an OpenFlow switch can be instructed by the controller behave like a router, switch, firewall, or perform other roles (e.g., load balancer, traffic shaper, and in general those of a middlebox). A flow­table contains several flow entries, each flow entry consists 

PacketIn  message to the controller which will take appropriate actions afterwards. After 

create a new entry matching this packet together with some action. That way, if later similar packets get into the switch, the switch does not need to ask the controller for further action

1.3.3 SDN Controllers

In Software­defined Networking, SDN Controller does exactly what its name suggests, controlling the network as the “brain” of network. It has the global view of a network, with all information about the network topology, flow tables of the OpenFlow switches, etc. Using this information, the SDN Controller manages OpenFlow switches via southbound APIs (e.g. OpenFlow) and leads to the deployment of applications and business logic 

’above’ via northbound APIs. 

The first developed SDN Controller is NOX which was introduced by Natasha Gude et 

al. in [36]. Subsequently, other open source controllers were also developed, e.g. POX [37], Beacon [38], and Floodlight (forked from Beacon) [39]. Later, multiple vendors such 

as Cisco, IBM, HPE, VMware and Juniper joined the SDN Controller market and each of them possessed their own products. From Beacon, HPE, Cisco, and IBM Controllers have moved towards OpenDaylight (ODL) [40]. Despite being one of the early controllers, and being less popular than its counterparts, the POX controller, written in Python, is still fully functional, easy to be grasped, installed and configured, that makes it ideal for academic researchers in their experiment. That also explains why this POX controller is selected in this dissertation for the SDN architecture. 

1.4 Difficulties on Network Energy Efficiency and Motivations

Although the concept of network energy efficiency is not new, there are still issues in realization of the energy­efficient network due to the inflexibility of a network and the lack 

of an energy­aware network. These difficulties are depicted as follows: 

Inflexible network: First, cloud services up­to­date frequently and lead to the change of 

network infrastructure. On the contrary, one important point of networks nowadays is the inflexibility issue. Administrators should plan and prepare well for any changes in the network, which might require re­designing, re­configuring and migrating. In many cases, there is a big challenge for any developers to apply any new approaches and evaluate them. Consequently, the network flexibility is vitally necessary. Secondly, there are difficulties in evaluating the energy­saving levels of new energy­efficient approaches in a network due to the lack of the power­control system of a network. Developers struggle when they propose and evaluate a new energy­saving approach. 

Cloud computing has been blooming in the last few years as a promising paradigm that facilitates new service models such as Infrastructure­as­a­Service (IaaS), Platform­as­a­

Service   (PaaS),   Network­as­a­Service   (NaaS)   On   the   cloud   computing   environments, 

virtualization   techniques   such   as  network   virtualization  [5]   [6]   [7]   and  data   center  virtualization [8] [9] [10] have rapidly been developed and attracted much attention from  industrial   communities  Currently,   virtualization   works   mainly   focus   on   the   resource   optimization and resource provisioning approaches  [7]  [41], while there are only few  works focusing on the energy efficiency. One of the main difficulties of network energy 

efficiency in virtualization technologies is the lack of energy measurement method of the network   infrastructure   in   cloud   environments   Consequently,   the   implementation   of energy­aware   platforms,   which   work   well   for   network   virtualization   and   data   center virtualization, is an important and promising approach in the energy efficiency area of the networking

Above difficulties as well as the potentials of SDN technology are great motivation for the   construction   of   SDN­based   energy­efficient   networking   in   cloud   computing environments   In   this   dissertation,   several   energy­efficient   networking   approaches   are proposed   with   specific   algorithms   and,   equally   important,   experimental   results   The detailed contributions are described in the next section. 

1.5 Dissertation’s Contributions

The contributions of this dissertation are: (1) proposing an energy­aware and flexible  data center network that is based on the SDN technology. A power­control system (PCS), 

which   can   be   easily   extended   and   adaptable   with   several   situations,   is   proposed   and developed based on SDN technology. Two energy­efficient algorithms are also proposed 

on this PCS system and their performance is evaluated and compare with other algorithms; 

(2)   proposing   energy­efficient   approaches   in   a   network   virtualization   for   cloud   environments; and (3)  proposing an energy­aware data center virtualization  for cloud  environments. The more detailed information of these contributions is described in the next 

Sections. 

1.5.1 Proposing an energy-aware and flexible data center network that is

based on the SDN technology

In the ideal case for energy­efficiency, devices should consume energy proportional to their traffic demand (load). That is, energy consumption in a low utilization scenario should be much lower than in a case of high traffic utilization. The energy consumption of the whole network depends on the number of active network devices and their current working   states   Consequently,   understanding   power   profile   of   network   devices   is   an important issue in order to contribute to the energy efficient approach and build a power­control system of a network. To achieve the target, the following works are implemented: (1) profiling an energy consumption of a single network device as well as of the whole network; (2) constructing a power­control system for a network that allow administrator to 

monitor and control the energy states of each network device as well as the whole network; (3) proposing the energy­aware routing algorithm that is based on the power profile of network devices; and (4) integrating the power­control system of network devices with the power   control   system   of   a   physical   machine,   and   then   proposing   a   VM   migration techniques for the optimization of the energy consumption. The detailed information of above contributions is described in the chapter 2.

1.5.2 Proposing energy-efficient approaches in a network virtualization for

cloud environments.

Recently, cloud computing has emerged in recent years as a promising paradigm that facilitates such new service models as Infrastructure­as­a­Service (IaaS), Platform­as­a­Service   (PaaS),   Network­as­a­Service   (NaaS)   For   such   kinds   of   cloud   services, virtualization   techniques   including   network   virtualization   [5]   [6]   [7]   and   data   center virtualization [8] [9] [10]  have been rapidly developed and attracted much attention from the research communities as well as the industrial market. As for network virtualization, an important   question   is   how   to   realize   and   evaluate   an   energy­saving   level   of   network virtualization mechanisms in cloud environments. The current lack of an energy­aware network virtualization constitutes significant difficulties in deploying and evaluating the energy­efficient   network   With   these   above   motivations,   an   energy­aware   network virtualization   concept   is   proposed   with   power   monitoring   and   control   abilities   The detailed contributions are described as follows:

Proposing  an  SDN­based  Energy­Aware Network  Virtualization  (EA­NV)  platform. Based on incoming virtual network requests (VNRs), the system performs separate Virtual Network Embedding algorithms (VNE) and evaluates their performance as well as the power­saving level

Proposing   a   novel  heuristic   energy­efficient  (HEE)   virtual   network   embedding  algorithm   and  reducing   middle   node   energy   efficiency  (RMN­EE)   virtual   network 

embedding algorithm. The experimental results of these two VNE algorithms show that the energy­saving level of the system increases while the acceptance ratio of the system, understood as resource optimization, is maintaining. 

Proposing   an   energy­aware  data   center   virtualization  platform   and   addressing 

challenges in providing energy­efficient VDCE. These platform works under the condition 

of dynamic  VDC  requests, in  which  virtual  data  center  requests arrive  and leave  the physical data center dynamically. The evaluation results show that the performance of conventional static VDCE algorithms is unstable and degraded under dynamic conditions.Proposing   a  novel  VDC  embedding   algorithm,  namely   HEA­E   algorithm,  with   the following objectives: (1) resource efficiency that deals with efficient mapping of virtual resources on substrate resources in terms of CPU, memory and network bandwidth; and (2) energy efficiency that deals with minimizing the energy consumption of the virtual data center while satisfying the mapping demands. The proposed VDC embedding algorithm is also   integrated   with   new   remapping   and   server   consolidation   strategies,   which   are developed   to   overcome   the   dynamic   VDC   mapping   problem   and   to   mitigate   the complexity of the joint embedding migration approach. Evaluation results show that our approach performs better than some existing ones in terms of acceptance ratio, resource utilization and energy consumption

The detailed information of above contributions is described in the chapter 4

CHAPTER 2 SDN-BASED ENERGY-AWARE

DATA CENTER NETWORK

For network energy efficiency, most efforts have focused on re­engineering approaches 

that are applying on single network device [24] [25] [26]. Although these approaches have gained good power­saving results, they only focused on saving energy of single device. In fact, a cloud data center network (DCN) recently consists of thousand of devices and is designed with different topologies. The traffic demands of a DCN continuously change minute by minute and the DCN is typically provisioned for peak workload while running well below capacity most of the time [42]. Consequently, the performance of a DCN strongly depends on the topology optimizing and traffic routing. This property also helps improving energy efficiency in low traffic demand scenario by optimization a DC network topology,   turning   on   the   only   necessary   part   and   re­routing   the   traffic   on   this   The 

remaining part of network components then is put into the  sleeping  mode in order to 

reduce power consumption. 

From   this   point   of   view,   a   centralized   power­control   system   that   has   monitoring, topology optimizations and traffic routing abilities for a DCN is necessary. Based on this system, several energy­efficient algorithms can be proposed and deployed with worthwhile power savings and optimal performance effects. Consequently, the power­control system (PCS) of a DCN is proposed with following contributions: 

Propose a power­control system that has following capabilities: (1) monitor the energy consumption status as well as its efficiency; (2) control the working states of the devices due   to   the   energy   consumption   of   the   system;   and   (3)   implementing   several   energy­efficient topology optimization and traffic routing approaches

Propose a novel energy­aware routing algorithm that efficiently works with different types of network devices in term of power saving. The algorithm routes a traffic demand 

based on the  power profile  of a network device and also based on the  power­scaling 

approach. 

Integrate with server management for constructing the centralized power­control system for both servers and data center network. 

2.1 Background Technologies

This Section describes the related work to this chapter including a DCN technique and architecture; the energy model of a network device; and current existing energy­aware network architectures. 

2.1.1 DCN technique and architecture

DCN in a Data center creates the links among elements inside this network and provides connectivity among them. DCN architecture, which lays out network components and installs network techniques within a data center, is usually implemented from two sub­technical points. First, selecting networking techniques inside a DCN, which satisfy the bandwidth demands and service requirements. Secondly, designing a network topology that satisfies the requirement and builds a cost­effective DCN to scale up the data center. 

So that in this Section, the existing DCN architectures models are described. The suitable DCN networking technique and topology, that are satisfied the requirement of building an energy­aware network platform in this dissertation, are also presented

2.1.1.1 DCN Technique

For building power­control system of a data center, DCN should have the flexibility to manage and upgrade its resources. For example, DCN should quickly detect the novel necessary topology that satisfies the traffic requirement and re­route the traffic onto this topology, or DCN could quickly detect starved VMs and schedule residual resources, e.g., migrating these VMs to an idle server with low overhead. Both above examples require a centralized and flexible control plane to coordinate the DCN devices. 

The traditional model for networking, despite being effective to the certain extent where 

it has to  use  antiquated methods of passing data,  could not  meet  the flexibility  level required to deliver today's massive amounts of data. Moreover, when the hardware and software are coupled, the network becomes expensive to maintain, scale, and harder for users to innovate and administrators to tune applications. 

To address these issues, we are turning to Software­defined Networking technology (SDN). SDN services, typically controlled and monitored from centrally located sources, have the global view of the entire network. With SDN, traffic flow is managed with software   applications,   which   are   significantly   more   dynamic,   being   a   solution   for optimization and tuning which are not available in local management of switches and routers. On the other hand, scalability is easier to be achieved in SDN, since the software scales to as many switches or routers as there are in the network. Adding hardware simply creates new pathways for the software to manage, monitor, and uses to create the most efficient traffic flow. With a central SDN solution, the network routing also could be customized easier, shaping it to the specific interests and needs of that data center. By using   algorithms   to   create   a   solution,   SDN   relies   on   OpenFlow,   Puppet,   and   other protocols to remain agile, flexible, and cost­efficient. 

consists   of  core,  aggregation,   and  edge  layers   (Figure   2.)   This   architecture   aims   to 

maximize the end­to­end bisection bandwidth. In a DCN with Fat­tree topology, switches 

at the aggregation and edge layers are arranged in blocks, namely Performance Optimized  Data Centers (PODs), which are responsible for routing end­to­end communications. Core 

switches in Fat­tree topology simply maintain the connectivity among these PODs, so that Fat­tree topology reduces the traffic load over the core layer. 

Figure 2.: Fat-tree DCN Topology

The  hierarchical   model   is  mostly  used  in  DCN  network  and  shows  many   realistic evaluation results. Nowadays, since most of the commodity network devices support these architectures that are used to connect the massive number of servers with each other. Facebook [51] and Google [52] are typical examples of using the hierarchical model in their DCN where both of these technology groups use the Fat­tree topology. 

2.1.1.2.2 Recursive Model

A recursive DCN consists of individual cells, each of which contains a single switch and number of servers, and each server bridges different cells. In a recursive model, DCell [53] and BCube [54] are typical examples of this model and implemented in many DCN. 

Figure 2.: Dcell DCN Architecture [53]

Dcell [53] is a server­centric hybrid DCN architecture where one server is directly connected to other servers (Figure 2.). The Dcell follows a recursively build hierarchy of cells and each server in this network consists many network interface cards (NICs). In DCell, a server is connected to a number of other servers and switches via communication links, which area assumed to be bidirectional

of devices: (1) server with multiple ports; and (2) switches that connect a constant number 

of   server  BCube  is   a   recursively   defined   structure   A  BCube0  is   simply  n  servers  connecting to an n­port switch. A  BCube1  is constructed from n  BCube0 s  and  n  n­port  switches. More generically, a BCubek (k ≥ 1)) is constructed from n BCubek−1 s and n k n­

port switches. Each server in a BCubek has k + 1 ports, which are numbered from level­0 to  level­k. It is easy to see that a BCubek has N = n k +1 servers and k+1 level of switches, with  each level having n k n­port switches

Figure 2.: BCube DCN Architecture [54]

Figure 2. shows a BCube1 with n = 4 with 2 levels. Source­based routing is performed 

using intermediate nodes as packet forwarder which is ensuring, decreasing the hamming distance between each consecutive intermediate host to the destination. Periodic searching for the optimal path is performed in order to cope with any failures in the network. One­to­

all, all­to­one and all­to­all traffic can also be routed by using redundant  (k+1)  ports on 

each host

Although most recursive DCNs architectures have the high scalability to allow DC expansion and there are also cost­effective because of using cheap switches, they are not commonly   seen   in   a   DC   In   particular,   most   of   the   recursive   DCNs   employ   a computational server as a network device and lack adequate field testing of their designs.2.1.1.2.3 Rack­to­rack Model

Due to the current occurrences of the bottleneck in the backbone links of two previous models,  recent  research  on DCN  architectures focuses  on making  a direct  connection between different racks, as opposed to setting trunk layers. In [55], a DCN topology, namely Jellyfish, uses a random graph to build end­to­end communication. Instead of a fixed topology, Jellyfish network simply guarantees that each switch has ports connecting 

to another switch while remaining ports are used to connect to servers. In [56], L.Gyarmati and T.A.Trinh proposed a rack­to­rack architecture, namely Scafida, which addresses large node degree within a DCN topology. Scafida architecture is scale­free topology where the longest path has fixed upper bound. Scafida provides methodologies to construct such a 

2.1.1.2.4 Using Fat­tree topology as reference architecture

Figure 2.: Fat-tree architecture with k = 4

Among the  above  DCN models of  architecture,  Fat­tree  [49]  topology  is the  most promising topology for deploying Cloud data centers. By providing parallel traffic which leads to all­to­all, one­to­all, or one­to­many communications, many large data centers such as Facebook [51], Google [52] use the Fat­tree topology for their DCN. On the other hand, Fat­tree topology has good oversubscription ratio (1:1) that is usually provided to ensure the size­independent quality of service. 

For the Fat­tree topology, there are four traffic scenarios are defined as follows: near  traffic scenario; middle traffic scenario; far traffic scenario; and mix traffic scenario.

Figure 2.: Diagram of the ElasticTree system [57]

Although the ElasticTree system works well for dynamically adapting, the diagram still lacks the monitoring module that provides the system with monitoring capability as well as visualization   capability   Consequently,   in   this   dissertation,   the   ElasticTree   system   is 

extended by adding more monitoring module and optimizing the Optimizer module. The 

next section will describe this extended system in more details. 

2.2 Power-Control System of a DC Network

In this section, a power­control system (PCS) is proposed, which is extended from ElasticTree system [57] by adding a new module and a new function. This system allows administrator to monitor and control the working state as well as the energy consumption 

of a network. In the next sections, the energy modeling of whole DC network is depicted first, and then the detailed diagram and components of this system are described in details. 

2.2.1 Energy modeling of a network

2.2.1.1 Energy modeling and profiling of a single network device

In   the   ideal   case   of   energy   efficiency   [58],   devices   should   consume   energy proportionally to their utilization (Figure 2.). That means, energy consumption in a low utilization scenario should be much lower than in the case of high traffic utilization. In the Figure 2., U(%) and P(%) are the utilization in percentage of a device and the power consumption in percentage of a device, respectively. U = 100% means that a device is working in full resource state, and P=100% means that a device is consuming a maximum energy. 

Figure 2.: Energy – Utilization relation of a network [58]

Recently, research communities [58] focus on answering an important question, how to  optimize the consumed energy volume by a device proportionally to its actual load. The 

energy consumption of whole network depends on the number of active network devices and their current working states. Consequently, understanding power profile of switch is an important   research   point,   which   leads   to   an   energy   efficient   approach   and   the establishment   of   power­management   system   of   a   network   As   an   initial   step   to understanding   the   energy   consumption   patterns   of   a   variety   of   networking   devices,   a detailed power instrumentation study is conducted. 

power. These static and dynamic sub­powers are denoted as P port s and P port d, respectively. 

This energy model is defined as follows:

(2.) (2.)Where: 

in its line cards;    denotes the number of ports working at state  p  while   is the power  consumption of a port working at state  p;    denotes a set of working speeds of a port. 

Currently, there are many working speeds of a switchport such as 40Gbps, 10Gbps, 1Gbps, 

100Mbps, and idle. denotes an extension consumed power. For example is PFPGA­Core in case 

of Gigabit NetFPGA­based switch. 

2.2.1.2 Energy modeling of a DC Network

Currently,   there   are   many   switches   with   their   ports   working   at   several   forwarding 

speeds: 40Gbps, 10Gbps, 1Gbps, 100Mbps, and idle. The consumed energy of each port’s 

state is different. Consequently, the energy consumption of a network is calculated as the total consumed energy of all switches with their states including ports’ forwarding speeds. From the general model of one switch in the equation  (2.), the energy model of whole network is described more detail in below equations:

 (2.)  (2.)

2.2.2 The Diagram of the Power-Control System

In this dissertation, the power­control system (PCS) is proposed, which is extended from ElasticTree system [57]. In ElasticTree, Heller et al. proposed to use monitoring protocol simple network management protocol (SNMP) [62] as an exchanged protocol for switch controlling and monitoring. Although SNMP is a worldwide protocol that is used in term of network monitoring, it is still inflexible protocol and has many limitations in term 

of controlling network in real time. To due with these limitations, the SDN­based PCS 

system   are   described   as:   (1)   extending   the  power   control  module   for   supporting   the 

Openflow protocol, the core protocol of SDN technology. Implementing the OpenFlow protocol on both controller and switches makes a seamless protocol for controlling and 

monitoring the network; (2) adding the  monitoring  module for real­time monitoring the 

network state and traffic by using OpenFlow protocol

The   PCS   architecture’s  diagram   is  depicted   in  Figure   2   The   data   center   network consists of all SDN switches with their connections, network topology and the power profile   of   switches   The   SDN   controller   of   this   PCS   consists   of   four   main   modules, 

the paths for all flows. 

Figure 2.: Power-control System of a Network

The   SDN   controller,   which   contains   all  optimizer,   routing,   monitoring  and  power  control modules, communicates with a DCN via the secure channel, known as OpenFlow 

protocol. The detailed descriptions of DCN and SDN controller are defined in the next Sections

2.2.2.1 Data Center Network Components

As we mentioned above, there are many advantages of Fat­tree network topology in a 

DC network. Accordingly, in this dissertation, the DCN network topology of the PCS is 

the Fat­tree topology. A k Fat­tree is a DC network architecture with three layers which are  edge,  aggregation  and  core  using  k­port  switches.  There   are  k  PODs  and  each   POD  contains k/2 edge switches and k/2 aggregation switches. Each k­port switch in the edge  layer uses k/2 ports which directly connect to  k/2  servers while remaining  k/2  ports is  connected   to   upper   aggregation   layer   of   the   hierarchy   There   are  (k/2) 2  k­port   core 

switches. Each core switch has one port connected to each of k PODs. The i th port of any core­switches is connected to PODi so that consecutive ports in the aggregation layer of each POD switch are connected to core switches on (k/2) strides. 

The number of core switches: 

(2.) (2.)Consequently, the power consumption of the whole fat­tree network,, when all switches are turned­on with their ports running at maximum speeds (full state) is defined as:

 (2.)  (2.)

Where    is a static (baseline) power consumption of a switch,    denotes an extension consumed power, and   is a power consumption of port in a maximum working state (speed)

2.2.2.2 Minimum Spanning Tree - MST

In order to minimize the energy consumption of a network, a minimum spanning tree (MST) topology is used which puts a part of the data center network in sleep mode in underutilized load situation. In a case of no traffic demand, the DC network maintains a MST for minimum connectivity between servers. As depicted in Figure 2., at initial phase when there is no traffic demand among servers, then: 

All servers are turned­off; 

only the leftmost core switch Swcore and the leftmost aggregation switch Swagg are turned 

on with their network interfaces running at the lowest operating speed; 

all access switches Swacc are turned on and run at the lowest operating speed.

Figure 2.: Fat-tree topology with Minimum Spanning Tree

In k fat­tree topology, the remaining of MST working topology are: one core switch; k 

aggregation switch (one for each POD); and    edge switches which work in the lowest mode. So that:

The number of working switches:

(2.)The number of lowest port (the 10Mbps is used as the lowest operating speed of a port):

(2.) (2.)Number of fastest speed ports (ports of edge switches which connect to servers):

(2.)Then, an energy consumption of the network in MST working topology is described as:

(2.)2.2.2.3 Software-Defined Networking Controller

In the diagram of the power­control system, the SDN controller is built as the central component which monitors and controls all DCN devices. The SDN controller performs different functionalities such as: collecting DCN information; network monitoring; routing and   defining   flow   tables   for   OpenFlow   switches;   executes   optimization   algorithm   for energy efficiency. As we mentioned above, the SDN controller is extended from the POX, which supports energy­aware functionalities. The Figure 2. illustrates the SDN controller 

with its components: Optimizer, Monitoring, Power Control, and Routing.

mandatory states of these switches and links among them including traffic utilization, working speeds, power states and DCN topology. This information is exchanged between OpenFlow switches and SDN Controller by using OpenFlow messages

Optimizer module: after collecting information from monitoring module, this module is 

in charge of optimizing the routes in the data center based on the current topology derived 

from the  Monitoring. Beside some routing mechanisms supported by the current SDN 

controllers such as Dynamic All Pairs Shortest Path, Spanning Tree, and a hierarchical load­balancing routing algorithm, researchers also can develop several algorithms focusing 

Routing module: based on the optimization results from optimizer module as well as the  traffic demand of the DCN, routing module routes the traffic demand on the active sub­ network which contains turned­on switches. 

2.3 Energy-Aware Routing based on Power Profile of Devices in Data Center Networks using SDN

The consumed power of DCN is calculated by the total power consumption of its devices   The   power   consumed   by   each   device   depends   on   the   following   factors:   the 

number of active ports; the capacity rates at which each port operates. Normally maximum­ speed port consumes the largest amount of power while the idle port consumes the least 

[58];   this   consumed   power   also   depends   on   specific   devices   which   are   individually different and based on their power profiles; the amount of traffic that goes through a port does not have any significant effects on its power consumption

In consequence, the power consumption of a DCN depends on the number of active links and switches as well as routing algorithm applied. For instance, [61] shows that the switchport of a commercial OpenFlow­enabled Pronto switch consumes 63mW, 260mW and 913mW in their working rates of 10Mbps, 100Mbps and 1Gbps, respectively (Table2.). As we can see, the ratio of energy consumption of 1Gbps port to 100Mbps port is approximately 3.5, it means that three 100Mbps ports are consumed less than one 1Gbps 

port. In contradiction to a common consensus that energy consumption of a network can be 

of accumulating the amount of traffic to go throughput in a high speed link, a routing algorithm can be performed to distribute the traffic to several low speed ports, so that more energy can be saved. 

Table 2.: Power Summary For A 48-Port Pronto 3240

Pronto. This consumed energy difference will have an impact on the routing and topology optimization processes such as accumulating and distributing traffic. From this point of view, the routing and topology optimization process must be based on the energy profile of devices

On this power­control system, one energy­aware routing algorithm is proposed based the power profiles of devices and topology optimization approach. The routing algorithm can flexibly implement routing and topology optimization as well as effectively work with different network devices. The energy­aware routing and optimization algorithm, which 

will be presented in the next section, is embedded in the optimizer and routing modules. 

2.3.1 Energy-Aware Routing and Topology Optimization Algorithm

In   this   section,   the   energy­aware   routing   and   topology   optimization   algorithm   is described that aims to save consumed energy of the whole network as well as has an ability 

to  aware  and adapts to  different  devices  Although  there  are  some  existing  multipath routing strategies in a SDN­based DCN [63] [64], the strategies do not focus on the network energy efficiency. In this dissertation, the proposed algorithm focuses on the energy efficiency of a network, other multipath routing problem are our future work and 

not analyzed in this paper. The algorithm is extended from  power scaling  strategy, the 

common used strategy [27] [28], and integrates well with power­control system. In order to adapt   to   different   network   devices,   in   this   dissertation   the   ratio   of   consumed   energy 

between working rates of a port of each device. The algorithm and RPCE ratios are described 

as in the next Sections

2.3.1.1 Port Consumed-Energy Ratio (RPCE)

As   described   above,   the   power   consumption   of   a   port   with   different   link   rates   is remarkable   and   it   also   energy­efficiently   affects   the   routing   and   topology   optimizing 

processes. So that in this dissertation, the  port consumed­energy ratios  ­  RPCE, among 

switchports’ forwarding rates is proposed. This ratio can be between 1Gbps to 100Mbps, namely; or 10Gbps to 1Gbps, namely; or extendable to 40Gbps to 10Gbps also. The ratios are depicted in the below equations:

(2.) (2.)These   above   ratios   will   be   used   in   the   next   algorithms   for   the   network   energy efficiency. The examples of  are ratio of an OpenFlow­enabled NetFPGA switch,  (Table2.) is 9.6; and ratio of a commercial Pronto 3240 Switch,  is 3.5. It means that if the offered 

traffic ups to 900Mbps, distributing this traffic through nice lower­speed ports (100Mbps) 

is more energy­efficient than route traffic though only one 1Gbps port (in case of using NetFPGA­based switch)  The power consumption of this NetFPGA­based switch at the 

1Gbps, 100Mbps, 10Mbps and idle states are described as in the table below.

Table 2.: Energy consumption of NetFPGA-Based OpenFlow Switch

2.3.1.2 Power Scaling Algorithm

The role of the  optimizer  module is to find a network subset which satisfies current 

traffic demand. Its input includes topology, network traffic utilization, the power profiles 

of   switches,   and   the   desired   fault   tolerance   properties   In   this   dissertation,   the  

power   scaling  approach   is   implemented   that   supports   reducing   energy   consumption 

significantly by adaptively changing the working rate of the processing engines or links such as reducing operating clock of devices or decreasing the link rate of a switchport.