Nghiên Cứu Các Thuật Toán Cân Bằng Tải Trên Môi Trường Điện Toán Đám Mây (tt)

Nghiên Cứu Các Thuật Toán Cân Bằng Tải Trên Môi Trường Điện Toán Đám Mây (tt)Nghiên Cứu Các Thuật Toán Cân Bằng Tải Trên Môi Trường Điện Toán Đám Mây (tt)Nghiên Cứu Các Thuật Toán Cân Bằng Tải Trên Môi Trường Điện Toán Đám Mây (tt)Nghiên Cứu Các Thuật Toán Cân Bằng Tải Trên Môi Trường Điện Toán Đám Mây (tt)Nghiên Cứu Các Thuật Toán Cân Bằng Tải Trên Môi Trường Điện Toán Đám Mây (tt)Nghiên Cứu Các Thuật Toán Cân Bằng Tải Trên Môi Trường Điện Toán Đám Mây (tt)Nghiên Cứu Các Thuật Toán Cân Bằng Tải Trên Môi Trường Điện Toán Đám Mây (tt)Nghiên Cứu Các Thuật Toán Cân Bằng Tải Trên Môi Trường Điện Toán Đám Mây (tt)Nghiên Cứu Các Thuật Toán Cân Bằng Tải Trên Môi Trường Điện Toán Đám Mây (tt)Nghiên Cứu Các Thuật Toán Cân Bằng Tải Trên Môi Trường Điện Toán Đám Mây (tt)Nghiên Cứu Các Thuật Toán Cân Bằng Tải Trên Môi Trường Điện Toán Đám Mây (tt)Nghiên Cứu Các Thuật Toán Cân Bằng Tải Trên Môi Trường Điện Toán Đám Mây (tt)Nghiên Cứu Các Thuật Toán Cân Bằng Tải Trên Môi Trường Điện Toán Đám Mây (tt)

MỞ ĐẦU

Ngày nay với việc sử dụng máy tính, điện thoại, các thiết bị điện tử ngày một phổ biến, bởi vậy mà điện toán đám mây cũng ngày càng trở nên quen thuộc với người sử dụng Điện toán đám mây đã đóng góp một phần không nhỏ đối với sự phát triển của ngành công nghiệp máy tính, cụ thể nó đã làm thay đổi cơ bản cách thức sử dụng các nguồn tài nguyên, cơ cấu vận hành cũng như việc lưu trữ, phân phối và xử lý thông tin Đa số chúng ta đều đã và đang sử dụng một hoặc nhiều các dịch vụ ứng dụng công nghệ điện toán đám mây trong đời sống hàng ngày cũng như trong quản lý doanh nghiệp

Điện toán đám mây còn gọi là điện toán máy chủ ảo, là mô hình điện toán sử dụng các công nghệ máy tính và phát triển dựa vào mạng Internet Thuật ngữ "đám mây" ở đây là lối nói ẩn dụ chỉ mạng Internet (dựa vào cách được bố trí của nó trong sơ đồ mạng máy tính) và như một liên tưởng về độ phức tạp của các cơ sở hạ tầng chứa trong nó Ở mô hình điện toán này, mọi khả năng liên quan đến công nghệ thông tin đều được cung cấp dưới dạng các

"dịch vụ", cho phép người sử dụng truy cập các dịch vụ công nghệ

từ một nhà cung cấp nào đó "trong đám mây" mà không cần phải

có các kiến thức, kinh nghiệm về công nghệ đó, cũng như không cần quan tâm đến các cơ sở hạ tầng phục vụ công nghệ đó Người

sử dụng điện toán đám mây chỉ cần quan tâm tới các dịch vụ máy tính đang được yêu cầu Các chi tiết bên dưới hệ thống của nó như thế nào thì được ẩn khỏi người dùng Các dữ liệu và các dịch vụ cung cấp nằm trong các trung tâm dữ liệu của đám mây có khả năng mở rộng lớn và có thể được truy cập ở bất kỳ đâu, từ bất kỳ thiết bị được kết nối trên thế giới Nhiều nhà cung cấp điện toán đám mây đã xuất hiện và có một sự tăng trưởng đáng kể trong việc

sử dụng dịch vụ này Google, Microsoft, Yahoo, IBM và Amazon

đã bắt đầu cung cấp dịch vụ điện toán đám mây Trong đó Amazon

là nhà tiên phong trong lĩnh vực này Các công ty nhỏ hơn như SmugMug, một trang web lưu trữ hình ảnh trực tuyến, có sử dụng dịch vụ điện toán đám mây để lưu trữ tất cả các dữ liệu và thực hiện một số dịch vụ của mình Điện toán đám mây được sử dụng trong các lĩnh vực khác nhau như web hosting, lập trình song song, dựng hình đồ hoạ, mô hình tài chính (IBM Clouds), các phương pháp duyệt và tìm kiếm trên web (web spider), phân tích gen (Amazon Clouds), v.v

Với tính tiện dụng và hiệu suất như trên, điện toán đám mây sẽ trở thành xu hướng tất yếu trong tương lai Sự gia tăng về

số lượng của người dùng điện toán đám mây đòi hỏi các nhà cung cấp dịch vụ phải đáp ứng nhiều yêu cầu hơn trong môi trường điện toán đám mây Trong khi đó tăng thêm số lượng máy chủ hoặc cấu hình máy chủ chỉ là phương pháp tạm thời Vì vậy mà các phương pháp cân bằng tải trên môi trường điện toán đám mây ngày càng được quan tâm và chú trọng Việc sử dụng một cách có hiệu quả các nguồn tài nguyên trên “đám mây” đang là vấn đề cần thiết Đây cũng là một thách thức to lớn trong lĩnh vực điện toán đám mây

Để đáp ứng được những yêu cầu trên thì việc thiết lập một thuật toán cân bằng tải hiệu quả và làm thế nào để sử dụng nguồn tài nguyên một cách hợp lý nhất chính là mục đích mà điện toán đám mây muốn đạt đến [1], [2] Chính vì vậy mà tôi chọn đề tài luận

văn là “Nghiên cứu các thuật toán cân bằng tải trên môi trường

điện toán đám mây” Luận văn sẽ thực hiện nghiên cứu các thuật

toán cân bằng tải trên môi trường điện toán đám mây đang được áp dụng hiện nay, đồng thời đề xuất cải tiến một thuật toán cân bằng tải động và thực hiện cho khung IaaS trong môi trường mô hình và

mô phỏng điện toán đám mây CloudSim Bộ phận trung tâm dữ liệu sẽ cân bằng tải các yêu cầu giữa các máy ảo có sẵn một cách

có hiệu quả và để các thông số trong hệ thống như thời gian đáp ứng, thời gian xử lý dữ liệu đạt được hiệu năng tốt nhất

CHƯƠNG 1 - CƠ SỞ LÝ LUẬN

1.1 Tổng quan về Điện toán đám mây

Những năm gần đây điện toán đám mây (cloud computing) nổi lên như một xu hướng công nghệ, hầu hết các nhà cung cấp công nghệ hoặc sử dụng phần mềm, phần cứng và cơ sở hạ tầng đều có thể tận dụng Công nghệ và kiến trúc dịch vụ điện toán đám mây cho phép khách hàng của các dịch vụ này không sở hữu tài sản trong các đám mây điện tử nhưng trả tiền trên cơ sở mỗi lần sử dụng Về bản chất, họ đang thuê cơ sở hạ tầng vật lý và các ứng dụng trong kiến trúc dùng chung Dịch vụ điện toán đám mây có thể từ lưu trữ dữ liệu cho đến các ứng dụng Web của người dùng cuối, cùng với các dịch vụ điện toán tập trung khác

Một sự khác biệt quan trọng giữa mô hình tính toán truyền thống và điện toán đám mây là khả năng mở rộng và tính chất co giãn mà điện toán đám mây cung cấp Thay vì một kiến trúc hệ thống tĩnh, điện toán đám mây hỗ trợ khả năng tự động mở rộng quy mô và nhanh chóng thu hẹp quy mô, cung cấp cho khách hàng các dịch vụ có độ tin cậy cao, thời gian đáp ứng nhanh chóng và sự linh hoạt để xử lý các biến động thông lượng và nhu cầu Điện toán đám mây cũng hỗ trợ nhiều người dùng, cung cấp các hệ thống cấu hình trong suốt một cách thống nhất mang tính chia sẻ được Công nghệ ảo hóa cho phép các nhà cung cấp điện toán đám mây để chuyển đổi một máy chủ thành nhiều máy ảo, do đó loại bỏ máy tính client-server (khách – chủ) với các hệ thống một mục đích Điều này tối đa hóa khả năng phần cứng và cho phép khách hàng tận dụng một cách triệt để và kinh tế theo quy mô sử dụng [1]

Hình 1.1: Mô hình điện toán đám mây

Các mô hình điện toán đám mây có thể được phân loại theo

phương thức quản lý và sở hữu, được phân ra thành các loại sau:

- Đám mây công cộng (Public Cloud)

- Đám mây riêng (Private Cloud)

- Đám mây cộng đồng (Community Cloud)

- Đám mây hỗn hợp (Hybrid Cloud)

1.2 Kiến trúc của điện toán đám mây

Kiến trúc điện toán đám mây gồm có các thành phần chính:

Hạ tầng, lưu trữ (Storage), nền tảng, ứng dụng, dịch vụ, khách hàng

KHÁCH HÀNG DỊCH VỤ ỨNG DỤNG NỀN TẢNG LƯU TRỮ

HẠ TẦNG

Hình 1.2: Các thành phần trong điện toán đám mây 1.3 Các mô hình dịch vụ của điện toán đám mây

Dịch vụ hạ tầng IaaS (Infrastructure as a Service):

Dịch vụ nền tảng PaaS (Platform as a Service):

Dịch vụ Phần mềm SaaS (Software as a Service):

1.4 Tổng quan về cân bằng tải

1.4.1 Khái quát về cân bằng tải

Cân bằng tải là việc phân bố đồng đều lưu lượng truy cập giữa hai hay nhiều các máy chủ có cùng chức năng trong cùng một

hệ thống Bằng cách đó, sẽ giúp cho hệ thống giảm thiểu tối đa tình trạng một máy chủ bị quá tải và ngưng hoạt động Hoặc khi một máy chủ gặp sự cố, cân bằng tải sẽ chỉ đạo phân phối công việc của

máy chủ đó cho các máy chủ còn lại, đẩy thời gian hoạt động liên tục của hệ thống lên cao nhất và cải thiện năng suất hoạt động tổng thể

Như vậy cân bằng tải là một phương pháp phân phối khối lượng tải trên nhiều máy tính hoặc một cụm máy tính để có thể sử dụng tối ưu các nguồn lực, tối đa hóa thông lượng, giảm thời gian đáp ứng và tránh tình trạng quá tải trên máy chủ

1.4.2 Chức năng và ưu điểm cân bằng tải

Chặn lưu lượng mạng, tách các lưu lượng thành các yêu cầu riêng biệt và quyết định máy chủ nào nhận các yêu cầu đó, duy

trì một cơ chế ở những máy chủ đang sẵn sàng, Cung cấp khả năng

dự phòng bằng cách sử dụng nhiều hơn một kịch bản, Cung cấp khả năng nhận thức nội dung phân tán bằng cách đọc địa chỉ URL,

chặn cookie và biên dịch XML

1.4.3 Các thông số đo lường trong cân bằng tải

Các kỹ thuật cân bằng tải trong điện toán đám mây hiện nay xem xét các tham số khác nhau như: phí tổn, thông lượng, hiệu năng, sự tận dụng tài nguyên, khả năng mở rộng, thời gian đáp ứng, khả năng chịu lỗi, thời gian di trú, lượng khí thải

1.5 Cân bằng tải trên môi trường điện toán đám mây

Điện toán đám mây có thể có một trong hai môi trường tĩnh hoặc động dựa vào cách phát triển cấu hình các đám mây bởi các nhà cung cấp điện toán đám mây Cân bằng tải trong điện toán đám mây cung cấp một giải pháp hiệu quả cho các vấn đề khác nhau về thiết lập và sử dụng trong môi trường điện toán đám mây Cân bằng tải phải cân nhắc đến hai nhiệm vụ chủ yếu, một là việc cung cấp tài nguyên hoặc phân bổ nguồn lực, một vấn đề khác là lập lịch

công việc trong môi trường phân tán Trích lập dự phòng có hiệu quả các nguồn lực và lập kế hoạch các nguồn tài nguyên cũng như nhiệm vụ để đảm bảo các tính chất sau: sẵn sàng tài nguyên khi có yêu cầu, các nguồn tài nguyên thực hiện có hiệu quả trong điều kiện tải cao hoặc thấp, tiết kiệm năng lượng khi điều kiện tải thấp,chi phí sử dụng tài nguyên thấp

Hình 1.3: Mô hình kiến trúc đám mây trong cân bằng tải

Người dùng 1 Người dùng 2 Người dùng n

Hàng đợi các yêu cầu

Trung Tâm Dữ Liệu Cung Cấp Dịch Vụ Đám Mây

1.5.1 Cân bằng tải tĩnh

1.5.2 Cân bằng tải động

Thuật toán cân bằng tải tĩnh phải thu thập thông tin và công việc trước khi các tiến trình thực thi Nhưng không phải thông tin nào cũng có thể biết trước khi các tiến trình chưa bắt đầu Để đáp ứng được một số yêu cầu cao hơn trong cân bằng tải, thuật toán cân bằng tải động ra đời Cân bằng tải động khác với cân bằng tải tĩnh,

sự phân công công việc được thực hiện ở trong thời gian các tiến trình chạy Tùy vào tình trạng tải của hệ thống mà các công việc, yêu cầu trong cân bằng tải động được phân công cấp phát tài nguyên tại thời gian chạy Tải sẽ được chuyển từ nút tải nặng đến các nút có tải nhẹ Chiến lược của các thuật toán cân bằng tải động

là tập hợp thông tin về trạng thái hệ thống và thông tin các yêu cầu

Bộ phận quản lý cân bằng tải cần phải tập hợp nhiều thông tin nhất

có thể trong thời gian ngắn nhất để có thể đưa ra các quyết định về việc phân công tài nguyên một cách tốt nhất Thuật toán cân bằng tải động hầu hết được ứng dụng vào hệ thống không đồng nhất về cấu hình, khác biệt về yêu cầu tài nguyên và các tác vụ Nó gồm các nút với tốc độ khác nhau, kích cỡ bộ nhớ khác nhau, và lượng tải có thể khác nhau, vì vậy mà sẽ có sự biến đổi các thông số trong quá trình xử lý Thuật toán cân bằng tải động sẽ xử lý các thông số trong quá trình chạy thuật toán và cải tiến chiến lược cân bằng tải tĩnh để hệ thống đạt được hiệu suất cao hơn [8]

1.5.3 Một số vấn đề trong cân bằng tải động

- Việc phân công công việc cho các nút tính toán phải dựa vào tình trạng hiện tại của hệ thống

- Việc tính toán tải thể hiện được để làm thế nào có thể tính toán khối lượng công việc của một nút cụ thể trong hệ thống

- Chuyển giao công việc sẽ xác định liệu một công việc sẽ được thực thi ở cục bộ hay từ xa

- Trạng thái hệ thống thể hiện khả năng hiện tại của các nút rằng các nút có bị quá tải hay tải nhẹ

- Phân công ưu tiên: là sự ưu tiên để thực thi của tiến trình cục bộ và từ xa ở một nút cụ thể

- Trao đổi thông tin tải hệ thống giữa các nút Để thực hiện được vấn đề này cần có chính sách thông tin trong hệ thống Chính sách thông tin này bao gồm các bước sau:

+ Yêu cầu: bộ xử lý bắt đầu tập hợp thông tin tải của các nút khác khi hoạt động cân bằng tải bắt đầu

+ Định kỳ: Bộ xử lý thông báo thông tin tải của chúng theo một khoảng thường xuyên giữa hai sự kiện tới các nút khác

+ Chuyển trạng thái: khi một bộ xử lý chuyển trạng thái của một nút, lập tức thông báo tới nút khác qua thông điệp truyền

- Giới hạn di trú: xác định tần số truyền đó là bao nhiêu thời gian một tiến trình có thể di trú từ một nút này tới một nút khác

1.6 Bộ mô phỏng điện toán đám mây CloudSim

1.6.1 Thiết kế các lớp trong CloudSim

1.6.2 Luồng giao tiếp giữa các thực thể lõi trong

sự khác biệt của hai loại hình cân bằng tải này Qua đó khẳng định tính cấp thiết của luận văn là rất quan trọng Trong chương này cũng trình bày về công cụ mô phỏng Cloudsim, đây là bộ

thư viện dùng để hỗ trợ mô hình hóa hệ thống điện toán đám mây rất hữu ích được dùng để mô phỏng trong bài luận văn này.Chương kế tiếp sẽ trình bày và phân tích môt số thuật toán cân bằng tải trên môi trường điện toán đám mây

CHƯƠNG 2 - MỘT SỐ THUẬT TOÁN CÂN BẰNG TẢI TRÊN MÔI TRƯỜNG ĐIỆN TOÁN ĐÁM MÂY

2.1 Giới thiệu chung

2.2 Thuật toán Round-Robin

Thuật toán cân bằng tải Round-Robin là thuật toán luân chuẩn vòng, nó phân phối tải đến các máy ảo theo thứ tự vòng tròn luân phiên công bằng Ý tưởng của Round-Robin là tất cả các máy ảo trong danh sách FIFO-First In First Out (vào trước ra trước) đều nhận được tải như nhau theo thứ tự vòng tròn mà không cần qua tâm đến năng lực xử lý của chúng khi phân phối tải đến Điều này

sẽ có hiệu quả đối với một hệ thống mà tất cả các máy ảo có năng lực xử lý như nhau Nhưng cũng chính điều này mà có thể dẫn đến việc một máy ảo có công suất lớn hơn những máy ảo còn lại phải đợi để được phân bổ tải tiếp theo khi mà nó đã xử lý xong Trong khi những máy khác phải bận xử lý các yêu cầu trên nó với tình trạng tải nặng, đối với hệ thống mà năng lực xử lý của mỗi máy ảo

là khác nhau Như vậy thời gian đáp ứng của yêu cầu xử lý không đạt được hiệu quả cao đối với máy ảo có năng lực xử lý khác nhau trong hệ thống và có thể dẫn đến sự nhàn rỗi trên các máy ảo có năng lực xử lý mạnh hơn các máy ảo còn lại [12]

2.3 Thuật toán Weighted Round Robin

Thuật toán Weighted Round-Robin kế thừa ưu điểm phân phối vòng tròn luân phiên của thuật toán Round-Robin Thuật toán Weight Round-Robin phân bổ tải dựa vào mức độ ưu tiên thông qua năng lực của mỗi máy ảo,mỗi máy ảo có trọng số ưu tiên khác nhau Các yêu cầu xử lý hay ứng dụng dịch vụ được phân phối đến máy ảo theo thứ tự vòng trònluân phiên Ngoài ra nó còn kết hợp khả năng xử lý của từng máy ảo dựa vào bảng trọng số có sẵn.Vì

vậy mà máy ảo nào có năng lực xử lý mạnh hơn sẽ được phân bổ nhiều tác vụ để xử lý hơn so với những máy ảo còn lại Nhờ có cải tiến này mà thuật toán Weighted đã tốt hơn thuật toán Round-Robin và thực hiện khá tốt trong trường hợp hệ thống có năng lực

xử lý không đồng nhất Nhờ vậy mà có thể phân bổ máy ảo để xử

lý tác vụ một cách tối ưu hơn, giúp cải thiện thời gian đáp ứng trong hệ thống cân bằng tải Mặc dù vậy hai thuật toán Round-Robin và Weighted Round-Robin vẫncó những hạn chế, chúng đã không xem xét đến thời gian xử lý cho mỗi yêu cầu riêng lẻ Mang đặc điểm cơ bản của thuật toán cân bằng tải tĩnh, hai thuật toán này không dựa vào thông tin trạng thái tảihiện tại của mỗi máy ảo, chỉ dựa vào thông tin biết trước khi phân phối tải Chính vì vậy mà nó cũng chưa đạt được hiệu quả cao trong quá trình cân bằng tải

2.4 Thuật toán cải tiến Maxmin trong môi trường điện toán đám mây

Trong bài báo [9] nhóm tác giả đã cải tiến thuật toán Max-min

để tạo ra một thuật toán tối ưu hơn Bằng việc sử dụng các thông số đầu vào như: số công việc, số lượng nguồn tài nguyên Khi lượng công việc tới hàng đợi, bộ xử lý đám mây sẽ tìm việc có thời gian thực thi lớn nhất sau đó chỉ định cho tài nguyên có thể hoàn thành sớm nhất

2.4.1 Quy trình chọn yêu cầu để cấp phát máy ảo

2.4.2 Cập nhật hàng đợi công việc cần xử lý và máy ảo

2.4.3 Đánh giá thuật toán

Phương pháp cải tiến này có cùng độ phức tạp giống thuật toán Max-Min trước đó nhưng nó đem lại hiệu quả khá tốt thể hiện

ở chỗ thời gian thực thi tại mỗi tài nguyên ít hơn và sơ đồ lập lịch khá tin cậy Thuật toán cải tiến Max-min giúp cân bằng tải tốt hơn các nguồn lực sẵn có và cũng giúp thực hiện đồng thời các nhiệm

vụ được đưa ra với xác suất cao hơn so với thuật toán Max-min

gốc

Phương pháp này được đánh giá là khá tốt, tuy nhiên chỉ đi tập trung vào nghiên cứu tới hai yếu tố chính là lượng công việc và nguồn tài nguyên Hơn nữa trong một số trường hợp khối lượng công việc quá nhiều, hoặc bản thân tài nguyên đang xử lý một công việc được yêu cầu thì việc đánh giá khả năng thực hiện công việc

kế tiếp sẽ không chuẩn xác và tối ưu

2.5 Thuật toán cải tiến thuật toán cân bằng tải để tránh tắc nghẽn trong môi trường điện toán đám mây

Giải thuật của thuật toán:

Bước 1: Ban đầu trạng thái của các máy chủ ảo vm=0, tất

cả các máy ảo ở trạng thái sẵn sàng Bộ phận quản lý đám mây là một cấu trúc dữ liệu bao gồm: JobID, VM ID và trạng thái VM

Bước 2: Khi có một yêu cầu đến từ hàng đợi Bộ phận

quản lý đám mây sẽ phân tích cấu trúc dữ liệu rồi chọn máy ảo sử dụng tải ít nhất để cấp phát Nếu có nhiều hơn một, máy ảo có hoptime ngắn nhất sẽ được lựa chọn

Bước 3: Quản lý đám mây cập nhật tự động dữ liệu sau khi

cấp phát tài nguyên

Bước 4: Quản lý đám mây theo định kỳ sẽ hiện trạng thái

về việc phân phối tải của các máy ảo Nếu như một máy ảo nào đó quá tải thì bộ phận quản lý đám mây sẽ di chuyển tải của máy quá tải sang máy ảo chưa sử dụng hết tài nguyên (Chưa bị quá tải)

Bước 5: việc lựa chọn máy ảo để di chuyển (underutilized

vm) dựa vào hoptime Máy ảo nào có hoptime ngắn nhất sẽ được lựa chọn

Bước 6: Bộ phận quản lý đám mây cập nhật dữ liệu đã thay

đổi sau một khoảng thời gian định kỳ

Bước 7: Lặp lại bước 2

2.5.1 Giải pháp cấp phát tài nguyên máy ảo cho các yêu cầu 2.5.2 Đánh giá thuật toán

Thuật toán này quan tâm tới các yếu tố đầu vào như các công việc đến, mức độ sử dụng của các máy ảo Khi có một danh sách các yêu cầu đến thì Cloud Manager sẽ phân tích trong cơ sở dữ liệu

để phân bổ các yêu cầu công việc cho các máy ảo (vm) nào đang được sử dụng ít nhất Nếu mức độ sử dụng của các máy ảo bằng nhau thì sẽ chọn máy ảo có hop time nhỏ nhất

Vậy trong thuật toán này nhóm tác giả đã chú trọng nghiên cứu tới một số thông số như danh sách công việc, mức độ sử dụng của máy ảo, trọng số hop time giữa các máy ảo Bộ phận quản lý đám mây - Cloud Manager sẽ phân bổ, điều tiết, cập nhật liên tục để các thông số khi tiến trình vào hoạt động, dựa vào bảng trạng thái để có thể phân công máy ảo có mức độ sử dụng và hop time phù hợp để thực hiện những công việc đến theo yêu cầu

2.6 Thuật toán Throttled

2.6.1 Giải thuật thuật toán Throttled

Thuật toán Throttled cân bằng tải bằng cách duy trì một bảng thông tin cấu hình của các máy ảo và trạng thái của chúng