DSpace at VNU: Tăng cường hạ tầng tính toán lưới bằng công nghệ ảo hóa và điện toán đám mây

Tăng cường hạ tầng tính toán lưới bằng công nghệ ảo hóa và điện toán đám mây Phạm Đức Hải Trường Đại học Công nghệ Luận văn Thạc sĩ ngành: Truyền dữ liệu và mạng máy tính; Mã số: 60 48

Tăng cường hạ tầng tính toán lưới bằng công

nghệ ảo hóa và điện toán đám mây

Phạm Đức Hải

Trường Đại học Công nghệ Luận văn Thạc sĩ ngành: Truyền dữ liệu và mạng máy tính; Mã số: 60 48 15

Người hướng dẫn: TS Nguyễn Hồng Quang

Năm bảo vệ: 2011

Abstract: Nghiên cứu sử dụng các đám mây IaaS (Infrastructure as a Service - Hạ

tầng tính toán như một dịch vụ) để tăng cường hạ tầng cho các lưới tính toán (Computing Grid) được xây dựng theo nhu cầu của các ứng dụng trên lưới với OpenNebula/StratusLab Nghiên cứu tổng quan về điện toán đám mây, chú trọng đám mây IaaS Tìm hiểu công nghệ ảo hóa của OpenNebula để xây dựng đám mây IaaS

So sánh với các bộ công cụ khác Tìm hiểu các nền tảng ảo hóa mã mở (XEN [21], KVM [20], OpenVz [28], ) và thương mại (Vmware [22], XenCitrix [29], Hyper-V [30], ) phục vụ cho việc tạo ra đám mây IaaS Cài đặt thử nghiệm OpenNebula để tạo

ra một đám mây IaaS Tìm hiểu công nghệ của StratusLab ứng dụng OpenNebula để cung cấp hạ tầng tính toán cho một nút lưới EGEE Cài đặt và cấu hình StratusLab lên đám mây OpenNebula đã lập Đưa ra các kiến trúc tăng cường hạ tầng tính toán lưới bằng công nghệ ảo hóa và điện toán đám mây trên cơ sở nghiên cứu OpenNebula và Stratuslab Trình bày và đề xuất qui trình tạo một ảnh ISO cho một máy thợ (worker node) theo một cấu hình đặc trưng ứng dụng có thể khởi động và chạy trên đám mây OpenNebula/StratusLab theo nhu cầu của một ứng dụng trên lưới EGEE Đánh giá

hiệu quả, hạn chế của giải pháp đề xuất và phương án cải tiến, khắc phục

Keywords: Công nghệ ảo hóa; Mạng máy tính; Truyền dữ liệu; Lưới tính toán; Điện

toán đám mây

Content

MỞ ĐẦU

1 Lý do chọn đề tài

Vài thập kỷ qua, nhiều nhà khoa học đã tập trung phát triển điện toán lưới nhằm mục đích giải các bài toán khoa học Những bài toán đòi hỏi tính toán trên dữ liệu lớn, những bài toán có độ phức tạp cao Nhiều bài toán đã được giải nhờ sử dụng tính toán lưới, ví dụ bài toán tối ưu nug30 [14] [15]

Bài toán tối ưu nug30 được đưa ra vào năm 1968 bởi Nugent [14] [15] Có n nhà máy,

có n địa điểm, giữa mỗi cặp địa điểm có một khoảng cách cho trước, giữa mỗi cặp nhà máy có một trọng số cho trước (ví dụ : khối lượng vật tư vận chuyển giữa hai nhà máy) Bài toán gán 30

nhà máy với 30 địa điểm khác nhau sao cho tổng của các tích khoảng cách giữa 2 điểm đặt nhà máy với trọng số giữa 2 nhà máy là nhỏ nhất?

Bài toán này thuộc lớp bài toán NP-Hard Cách giải đơn giản nhất là thử tất cả các trường hợp có thể như vậy sẽ mất 30! khoảng 2.65 x 10^32 phép toán cơ bản để có thể giải được Nếu nghĩ đơn giản một máy tính chạy nhanh có thể kiểm tra tất cả các trường hợp thì cũng phải mất khoảng thời gian bằng 100 lần tuổi của vũ trụ Năm 2000 nhóm nghiên cứu ở Mỹ

đã giải thành công bài toán trên bằng cách sử dụng tính toán lưới trên 10 siêu máy tính 400-CPU đặt tại tám địa điểm khác nhau, thời gian chạy mấy 7 ngày

Hay như dự án FightAIDS@Home [26] dựa trên tính toán lưới sử dụng các máy tính tình nguyện trên toàn thế giới nhằm tìm ra công thức thuốc chống lại bênh AIDS Một ví dụ khác là lưới EGEE với bộ công cụ gLite Lưới EGEE là lưới có khoảng 41.000 CPU và 5 triệu Gbytes của thiết bị lưu trữ Mục đích là tạo ra môi trường để nghiên cứu về sự va chạm của các hạt cơ bản trong dự án LHC (Large Hadron Collider)

Các ví dụ trên có thể cho thấy sức mạnh của tính toán lưới và vì sao các nhà khoa học

sử dụng hạ tầng tính toán lưới trong các nghiên cứu của mình Tuy nhiên đối với các nhu cầu thông thường và các nhu cầu thương mại thì sao ? Chi phí để chạy tính toán lưới là rất lớn Một

dự án mang tên BEinGRID [27] cho thấy họ có thể mang về lợi nhuận từ việc chạy môi trường tính toán lưới tuy nhiên nó không phải là một trường hợp phổ biến Những tiến bộ gần đây trong các kỹ thuật ảo hóa, cùng với băng thông Internet ngày càng tăng, các khái niệm rõ ràng

về điện toán đám mây dần được hình thành, nhất là từ năm 2007 trở lại đây Sự xuất hiện của

mô hình mới này chủ yếu dựa trên sự đơn giản và chi phí thấp những vẫn có thể sử dụng khả năng tính toán và tài nguyên lớn

Ảo hóa cho phép điện toán đám mây cung cấp khả năng chạy các ứng dụng mang tính

kế thừa trên các hệ thống điều hành cũ hơn, tạo ra một hệ thống thống nhất từ một tập hợp không đồng nhất các máy tính như mô hình tính toán lưới truyền thống tạo ra Ảo hóa cho phép

di trú công việc nhanh hơn trong các máy ảo khác nhau chạy trên cùng một phần cứng Đối với điện toán lưới và điện toán đám mây, ảo hóa là chìa khóa cho cung cấp và phân bổ nguồn lực công bằng Nếu nhìn ở góc độ bảo mật cơ chế ảo hóa chạy các máy ảo ở những chế độ lập với nhau (sandbox), đảm bảo an ninh và lây nhiễm mã độc giữa các máy ảo và nền tảng ảo hóa

Dịch vụ điện toán đám mấy cung cấp truy cập đến phần cứng rẻ tiền và các tài nguyên lưu trữ thông qua các hàm giao tiếp (API) rất đơn giản và được dựa trên mô hình dùng bao

thuê riêng tài nguyên đó Hơn nữa, người sử dụng cảm thấy thoải mái và yên tâm hơn khi lưu

dữ liệu của họ trong một môi trường đám mây Chính vì vậy các dịch vụ điện toán đám mây ngày càng được các nhà khoa học, các doanh nghiệp vừa và nhỏ và người dùng bình thường sử dụng

Điện toán lưới, điện toán đám mây, ảo hóa là những công nghệ thú vị và hiệu quả trong thời gian tới Trên góc độ nghiên cứu việc tăng cường hạ tầng tính toán lưới bằng cách sử dụng dịch vụ đám mây hạ tầng và công nghệ ảo hóa là một vấn đề thực tế, cấp thiết và thú vị Trong khuôn khổ luận văn tác giả tập trung tìm ra những giải pháp cụ thể cho phép thực thi hạ tầng tính toán lưới trên nền điện toán đám mây Trong quá trình tìm hiểu và nghiên cứu tác giả đã nhận thấy và lựa chọn hai dự án mã nguồn mở của một số nhà khoa học ở châu Âu đang tập trung giải quyết vẫn đề này, dự án OpenNebula [19] và Stratuslab [16] Luận văn cũng sẽ nghiên cứu các thức tạo ra một đám mây hạ tầng phục vụ công việc tính toán lưới

2 Tình hình nghiên cứu vấn đề

Như đã nêu trên, điện toán đám mây (Cloud Computing) đang là một chủ đề nghiên cứu rất thời sự của CNTT hiện đại Hạ tầng tính toán như một dịch vụ (IaaS) là một loại hình dịch

vụ của Đám mây

OpenNebula.org là một dự án nguồn mở với mục tiêu hướng đến việc xây dựng một bộ công cụ điện toán đám mây nguồn mở đạt chuẩn công nghiệp để quản lý hiệu quả cơ sở hạ tầng của các trung tâm dữ liệu phức tạp và không thuần nhất Sau hơn ba năm từ ngày công

bố phiên bẩn đầu tiên, OpenNebula liên tục phát triển và đã và đang được sử dụng trong nhiều

dự án đám mây lớn

Một trong những dự án được xây dựng trên nền OpenNebula là StratusLab với mục tiêu phát triển một phân phối đám mây nguồn mở hoàn chỉnh cho phép các trung tâm tài nguyên (lưới hay không lưới) cung cấp và khai thác một đám mây IaaS StratusLab đặc biệt chú trọng đến việc tăng cường cho các hạ tầng tính toán phân tán như lưới EGI (European Grid Infrastructure) [18]

EGI và tiền thân của nó là dự án EGEE là một hạ tầng tính toán lưới của châu Âu đã

và đang được sử dụng phục vụ cho những ứng dụng có khối lượng tính toán và lưu trữ dữ liệu khổng lồ Rất nhiều ứng dụng cho nhiều lĩnh vực khoa học khác nhau đã được xây dựng trên lưới EGEE Cả OpenNebula và Stratuslab đều đang tiếp tục phát triển và có nhiều triển vọng

3 Mục đích, nhiệm vụ và phạm vi nghiên cứu

Đề tài của luận văn nằm trong ý tưởng sử dụng các đám mây IaaS để tăng cường hạ tầng cho các lưới tính toán (Computing Grid) được xây dựng theo nhu cầu của các ứng dụng trên lưới với OpenNebula/StratusLab

Công việc nghiên cứu của luận văn sẽ gồm những nội dung chính sau :

– Nghiên cứu tổng quan về điện toán đám mây, chú trọng đám mây IaaS

– Tìm hiểu công nghệ ảo hóa của OpenNebula để xây dựng đám mây IaaS So sánh với các bộ công cụ khác

– Tìm hiểu các nền tảng ảo hóa mã mở (XEN [21], KVM [20], OpenVz [28], ) và thương mại (Vmware [22], XenCitrix [29], Hyper-V [30], ) phục vụ cho việc tạo ra đám mây IaaS

– Cài đặt thử nghiệm OpenNebula để tạo ra một đám mây IaaS

– Tìm hiểu công nghệ của StratusLab ứng dụng OpenNebula để cung cấp hạ tầng tính toán cho một nút lưới EGEE Cài đặt và cấu hình StratusLab lên đám mây OpenNebula đã lập

– Đưa ra các kiến trúc tăng cường hạ tầng tính toán lưới bằng công nghệ ảo hóa và điện toán đám mây trên cơ sở nghiên cứu OpenNebula và Stratuslab

– Tìm hiểu và đề xuất qui trình tạo một ảnh ISO cho một máy thợ (worker node) theo một cấu hình đặc trưng ứng dụng có thể khởi động và chạy trên đám mây OpenNebula/StratusLab theo nhu cầu của một ứng dụng trên lưới EGEE

– Đánh giá hiệu quả, hạn chế của giải pháp đề xuất và phương án cải tiến, khắc phục

4 Phương pháp nghiên cứu

Tìm hiểu, nghiên cứu, phân tích, tổng hợp tài liệu, xây dựng mô phỏng và đánh giá kết quả

5 Đóng góp và ý nghĩa thực tiễn của luận văn

Luận văn đã hoàn thành mục tiêu đề ra Luận văn đã tìm hiểu và đưa ra được kiến trúc đám mây hạ tầng theo mô hình điện toán đám mây để tăng cường hạ tầng cho việc triển khai

hạ tầng tính toán lưới Sử dụng cơ chế ảo hóa để có thể dễ dàng tạo ra, triển khai các nút trong điện toán lưới Đồng thời cũng tìm hiểu và đưa ra được các bước xây dựng một đám mây hạ tầng sử dụng phần mềm mã nguồn mở

Ngoài mở đầu, kết luận, tài liệu tham khảo, phụ lục, luận văn gồm bốn chương

Chương 1: Điện toán lưới, điện toán đám mây và công nghệ ảo hóa

Chương 2: Nghiên cứu bộ công cụ OpenNebula và Stratuslab

Chương 3: Kiến trúc tăng cường hạ tầng tính toán lưới dựa trên OpenNebula và

Stratuslab

Chương 4: Mô phỏng đám mây bằng OpenNebula và Stratuslab

References

I Tiếng Việt

1 Vũ Đức Thi, Trần Văn Lăng, Nguyễn Thanh Thuỷ, Phạm Kỳ Anh, Lê Anh Dũng,

Tính toán lưới và một số vấn đề nghiên cứu, phát triển tính toán lưới ở Việt Nam,

Hội thảo quốc gia lần thứ XI: Một số vấn đề chọn lọc của CNTT - TT, Huế,

2008

II Tiếng Anh

2 Ian Foster (July 20, 2002), What is the Grid? A Three Point Checklist, Argonne

National Laboratory & University of Chicago p 1-4

3 Peter Mell, Timothy Grance (01/2011), The NIST Definition of Cloud Computing,

NIST

4 Javier Fontán Muiños, dsa-research.org | OpenNebula.org (June 2011), Building

Clouds with OpenNebula 2.2 and StratusLab, Contrail Summer School, France

5 Ignacio M Liorente, dsa-research.org (2nd June 2010), Building Clouds with

OpenNebula and its Application to Grid Computing, CERN Seminar, Geneva,

Switzerland

6 B Rochwerger, J Caceres, R.S Montero, D Breitgand, E Elmroth, A Galis, E

Levy,I.M.Llorente, K Nagin, Y Wolfsthal, (2009), The RESERVOIR Model and

Architecture for Open Federated Cloud Computing, IBM Systems Journal, Vol

53, No 4

7 B Sotomayor, R S Montero, I M Llorente and I Foster (2009), Virtual

Infrastructure Management in Private and Hybrid Clouds, IEEE Internet

Computing, (vol 13 no 5)

8 Vangelis Floros, GRNET, (2011) StratusLabCloud: Early success stories and

community feedback, CloudScapeIII, Brussels, 15-16 March 2011

9 Ian Foster, Yong Zhao, Ioan Raicu, Shiyong Lu (2008), Cloud Computing and

Grid Computing 360-Degree Compared, IEEE Grid Computing Environments

(GCE08)

10 Katarina StanoevskaSlabeva, Thomas Wozniak, Santi Ristol (2010), Grid and

Cloud Computing A Business Perspective on Technology and Applications,

Springer

11 Massimo Cafaro, Giovanni Aloisio, (2011) Grids, Clouds and Virtualization,

Springer

12 Stratuslab (2011), Enhancing Grid Infrastructures with Virtualization and Cloud

Technologies, Quarterly Report, Quarterly Report QR3 (V1.0),14 March 2011

13 Stratuslab (2010), Reference Architecture for StratusLab Toolkit 1.0,Deliverable

D4.1 (V1.0),16 September 2010

III Trang Web bổ trợ

14 http://access.ncsa.illinois.edu/Stories/nug30/nug301.html

15 http://www.cs.berkeley.edu/~ejr/GSI/cs267-s04/homework-0/results/sonesh/

16 http://stratuslab.eu

17 http://developer.apple.com/hardwaredrivers/hpc/xgrid_intro.html

18 EGEE Portal: Enabling Grids for E-sciencE http://www.eu-egee.org/

19 Opennebula http://opennebula.org

20 KVM http://www.linux-kvm.org

21 XEN http://xen.org/

22 Vmware http://www.vmware.com/

24 Grid computing http://en.wikipedia.org/wiki/Grid_computing

25 Open Cloud Computing Interface http://occi-wg.org/

26 FightAIDS@Home http:// http://fightaidsathome.scripps.edu/

27 BEinGRID http://www.beingrid.eu/

28 OpenVz http://wiki.openvz.org/Main_Page

29 Xen Citrix http://www.citrix.com/lang/English/home.asp

30 Hyper-V http://www.microsoft.com/en-us/server-cloud/windows-server/hyper-v.aspx

31 http://legion.virginia.edu/

32 http://www.globus.org/

33 http://www.mersenne.org/

34 http://bochs.sourceforge.net/

35 http://wiki.qemu.org/Main_Page

36 http://www.ecsl.cs.sunysb.edu/bird/

37 http://denali.cs.washington.edu/

38 http://www.parallels.com/products/pvc/

39 http://plex86.sourceforge.net/

40 http://code.google.com/appengine/

41 http://www.microsoft.com/windowsazure/

42 http://aws.amazon.com/solutions/global-solution-providers/oracle/

43 http://sixsq.com/slipstream