Tìm hiểu điện toán đám mây và hiện thực ứng dụng quản lý tài nguyên ảo

1.2 TÌNH HÌNH NGHIÊN CỨU TRONG VÀ NGOÀI NƯỚC: 1.2.1 Tình hình nghiên cứu ở trong nước: - Đối với việc xây dựng hệ thống đám mây riêng thì đa số sử dụng những hệ thống từ các công ty lớ

THÀNH PHỐ HỒ CHÍ MINH

CÔNG TRÌNH NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG

TÌM HIỂU ÐIỆN TOÁN ÐÁM MÂY VÀ HIỆN THỰC ỨNG

DỤNG QUẢN LÝ TÀI NGUYÊN ẢO

MÃ SỐ: SV2012-145

S 0 9

S KC 0 0 3 9 2 1

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM



ĐỀ TÀI NCKH SINH VIÊN

TÌM HIỂU ĐIỆN TOÁN ĐÁM MÂY VÀ HIỆN THỰC ỨNG

DỤNG QUẢN LÝ TÀI NGUYÊN ẢO

MÃ SỐ: SV2012-145

THUỘC NHÓM NGÀNH: CÔNG NGHỆ THÔNG TIN

GIÁO VIÊN HƯỚNG DẪN: TH.S LÊ VĂN VINH

NGƯỜI CHỦ TRÌ:

NGƯỜI THAM GIA:

ĐƠN VỊ: KHOA CÔNG NGHỆ THÔNG TIN

MỤC LỤC

TÓM TẮT ĐỀ TÀI 2

1 PHẦN 1: ĐẶT VẤN ĐỀ 2

1.1 ĐỐI TƯỢNG NGHIÊN CỨU: 2

1.2 TÌNH HÌNH NGHIÊN CỨU TRONG VÀ NGOÀI NƯỚC: 2

1.2.1 Tình hình nghiên cứu ở trong nước: 2

1.2.2 Tình hình nghiên cứu ở nước ngoài: 2

1.3 NHỮNG VẤN ĐỀ CÒN TỒN TẠI: 2

2 PHẦN 2: GIẢI QUYẾT VẤN ĐỀ 3

2.1 MỤC ĐÍCH ĐỀ TÀI: 3

2.2 PHƯƠNG PHÁP NGHIÊN CỨU: 3

2.3 NỘI DUNG: 3

2.3.1 Tìm hiểu nội dung tổng quan về phần mềm mã nguồn mở OpenNebula 3

2.3.2 Kiến trúc của OpenNebula 4

2.3.3 Chi tiết các tầng trong kiến trúc của OpenNebula 5

2.3.4 Triển khai hệ thống đám mây riêng 6

2.3.5 Xây dựng ứng dụng quản lý tài nguyên ảo 12

2.4 KẾT QUẢ ĐẠT ĐƯỢC: 16

2.4.1 Tính khoa học: 16

2.4.2 Khả năng triển khai ứng dụng vào thực tế: 16

2.4.3 Hiệu quả kinh tế - xã hội: 16

3 PHẦN 3: KẾT LUẬN 16

3.1 KẾT LUẬN: 16

3.1.1 Những kết quả đã đạt được: 16

3.1.2 Những tồn tại: 16

3.2 ĐỀ NGHỊ: 17

3.3 POSTER: 18

4 PHẦN PHỤ LỤC (nếu có) 19

5 TÀI LIỆU THAM KHẢO 19

TÓM TẮT ĐỀ TÀI

- Ngày nay, máy vi tính đã trở thành một công cụ, một phần tất yếu của cuộc sống Chúng ta

sử dụng máy vi tính ở khắp mọi nơi, có thể là cho công việc, nghiên cứu hoặc trong bất kỳ lĩnh vực nào Khi việc sử dụng máy tính trong cuộc sống hàng ngày của chúng ta tăng lên, các nguồn tài nguyên máy tính mà chúng ta cũng cần tăng lên Đối với các doanh nghiệp nhỏ, các nguồn tài nguyên lớn như vậy trở thành một yếu tố rất lớn tác động đến công việc kinh doanh Với những vấn đề về cơ sở hạ tầng CNTT như máy hỏng, treo ổ cứng, lỗi phần mềm, v.v… đó thật sự là những vấn đề rất đau đầu cho các doanh nghiệp, đặc biệt là các doanh nghiệp còn non trẻ Công nghệ điện toán đám mây đã ra đời đã cung cấp một giải pháp cho tình trạng này

- Công nghệ điện toán đám mây cơ bản là việc tính toán sẽ được chuyển từ máy tính cá nhân

và thậm chí là từ cả các máy chủ ứng dụng của doanh nghiệp đến một đám mây máy tính Tuy nhiên, đám mây ở đây chỉ là một hình tượng để chỉ đến một tập các máy chủ ảo hóa có thể cung cấp các nguồn tài nguyên của các siêu máy tính, các hệ thống máy chủ đến cho khách hàng của họ Người sử dụng của hệ thống này chỉ cần quan tâm tới các dịch vụ máy tính mà họ đang yêu cầu Các chi tiết bên dưới hệ thống thực hiện như thế nào thì được ẩn khỏi người dùng Các dữ liệu và các dịch vụ cung cấp nằm trong các trung tâm dữ liệu của đám mây có khả năng mở rộng và có thể được truy cập ở bất kỳ đâu, từ bất kỳ thiết bị nào được nối mạng trên toàn thế giới

1 PHẦN 1: ĐẶT VẤN ĐỀ

1.1 ĐỐI TƯỢNG NGHIÊN CỨU:

- Hệ thống đám mây riêng dựa trên phần mềm mã nguồn mở OpenNebula

- Bộ giao diện lập trình ứng dụng APIs của phần mềm mã nguồn mở OpenNebula

1.2 TÌNH HÌNH NGHIÊN CỨU TRONG VÀ NGOÀI NƯỚC:

1.2.1 Tình hình nghiên cứu ở trong nước:

- Đối với việc xây dựng hệ thống đám mây riêng thì đa số sử dụng những hệ thống từ các công ty lớn như Microsoft, IBM… và phải trả chi phí cho việc sử dụng

- Bên cạnh đó, cũng có một số nhà nghiên cứu trong nước có tham gia nghiên cứu điện toán đám mây dựa trên phần mềm mã nguồn mở như OpenStack, CloudStack, OpenNebula, Eucalyptus… nhưng vẫn trong giai đoạn thử nghiệm

1.2.2 Tình hình nghiên cứu ở nước ngoài:

- Các hệ thống điện toán đám mây mã nguồn được nghiên cứu phổ biến ở nhiều nước trên thế giới Nổi tiếng có OpenNebula, CloudStack, Eucalyptus…

1.3 NHỮNG VẤN ĐỀ CÒN TỒN TẠI:

- Đa phần chỉ nghiên cứu cơ sở lý thuyết, ít triển khai thực tế

- Ứng dụng điện toán đám mây trong thực tế khi sử dụng đều dùng của các hãng lớn nên phải

2 PHẦN 2: GIẢI QUYẾT VẤN ĐỀ

2.1 MỤC ĐÍCH ĐỀ TÀI:

- Phục vụ cho công việc học tập và nghiên cứu về điện toán đám mây

- Tìm hiểu kiến trúc phần mềm mã nguồn mở OpenNebula

- Hiểu và giải thích được cơ chế xây dựng đám mây riêng trong thực tế

- Sử dụng giao diện lập trình ứng dụng để xây dựng chương trình quản lý tài nguyên ảo

2.2 PHƯƠNG PHÁP NGHIÊN CỨU:

- Phương pháp phân loại hệ thống hóa lý thuyết: người nghiên cứu tiến hành thu thập các

tài liệu có liên quan đến điện toán đám mây, đám mây riêng, phần mềm mã nguồn mở OpenNebula Sau đó, người nghiên cứu tiến hành sắp xếp lại các tài liệu đã thu thập được theo từng chủ đề

- Phương pháp phân tích và tổng hợp lý thuyết: người nghiên cứu tiến hành phân tích và

tổng hợp các nội dung căn bản của điện toán đám mây Đặc biệt là các nội dung về đám mây riêng và phần mềm mã nguồn mở OpenNebula Từ kết quả có trên, người nghiên cứu tiến hành đánh giá, xem xét và dùng những kết quả đó vào quá trình triển khai thực tế

- Phương pháp thực nghiệm: người nghiên cứu dựa trên kết quả thu được từ hai phương

pháp nghiên cứu đầu tiên để áp dụng vào quá trình cài đặt, triển khai cụ thể đám mây riêng bằng phần mềm mã nguồn mở OpenNebula và xây dựng phần mềm quản lý tài nguyên ảo dựa trên bộ giao diện lập trình mà OpenNebula cung cấp

hệ thống lưu trữ và quản lý mạng

- OpenNebula là kết quả của nhiều năm nghiên cứu và phát triển về quá trình quản lý các máy

ảo dựa trên các hạ tầng cơ sở phân tán lớn và linh động Những đặc tính nổi bật của OpenNebula cũng đã được phát triển để đáp ứng được các yêu cầu về quy trình nghiệp vụ của

nhiều công ty IT hàng đầu

- OpenNebula cũng được sử dụng như một nền tảng mở để nghiên cứu những thách thức đến

từ việc quản lý các đám mây dùng trong các doanh nghiệp Hiện tại, OpenNebula đã phát triển tới phiên bản 3.0

2.3.1.2 Các mốc phát triển của OpenNebula

- OpenNebula là dự án nghiên cứu từ năm 2005 Sau quá trình nghiên cứu thử nghiệm, thì đến tháng 3 năm 2008, OpenNebula chính thức được phát hành rộng rãi dưới dạng phiên bản

mã nguồn mở

Hình 1: Quá trình phát triển của OpenNebula [3]

- Kể từ sau năm 2008, các phiên bản tiếp theo của OpeNebula lần lượt được phát hành rộng rãi hơn đến cộng đồng Đáng kể là vào giữa năm 2009 thì OpenNebula đã chính thức được hệ điều hành Ubuntu – hệ điều hành mã nguồn mở nhân Linux nổi tiếng hỗ trợ vào các phiên bản của hệ điều hành này

- Các giai đoạn tiếp theo là sự cải thiện dần những tính năng của OpenNebula thân thiện hơn với người dùng Và đặc biệt là hỗ trợ thương mại điện tử Điển hình là hệ thống AmazonEC2 của công ty Amazon

2.3.2 Kiến trúc của OpenNebula

- Kiến trúc của OpenNebula có thể chia làm ba tầng chính:

Tầng đầu tiên: công cụ (tools) dùng để quản lý các công cụ được phát triển sử dụng

các giao diện được cung cấp bởi phần lõi của OpenNebula

Tầng thứ hai: lõi (core) gồm các thành phần chính như các máy ảo, các thiết bị lưu

trữ và các thành phần để quản lý các máy chủ

Tầng thứ ba: trình điều khiển thiết bị (drivers) gồm các trình điều khiển thiết bị để

quản lý các công nghệ ảo hóa, các thiết bị lưu trữ khác nhau và giám sát các công nghệ cũng như các dịch vụ lõi

Hình 2: Tổng quan kiến trúc OpenNebula [3]

2.3.3 Chi tiết các tầng trong kiến trúc của OpenNebula

- Ở tầng lõi bao gồm một tập các thành phần để điều khiển và giám sát các máy ảo, các mạng

ảo, các thiết bị lưu trữ và các máy chủ Các thành phần này thực hiện các hành động giám sát

và điều khiển bằng cách gọi các trình điều khiển thiết bị thích hợp

- Những chức năng chính ở tầng lõi bao gồm:

 Quản lý yêu cầu (Request Manager): xử lý các yêu cầu từ phía người dùng

 Quản lý máy ảo (Virtual Machine Manager):dùng để quản lý và giám sát các máy

ảo có trong hệ thống

 Quản lý chuyển tải (Transfer Manager): dùng để quản lý việc truyền tải các ảnh

đĩa của các máy ảo

 Quản lý mạng ảo (Virtual Network Manager): dùng để quản lý các mạng ảo đã

được tạo ra

 Quản lý máy chủ (Host Manager):dùng để quản lý và giám sát các tài nguyên vật lý

của các máy chủ

 Cơ sở dữ liệu: lưu trữ cấu trúc cơ sở dữ liệu cho OpenNebula

Tầng các trình điều khiển thiết bị:

- Ở tầng các trình điều khiển thiết bị, OpenNebula có một tập các module có thể linh hoạt

tương tác với các thành phần trung gian (middleware) cụ thể

- Có thể kể đến các module như:

 Ảo hóa trình siêu giám sát (virtualization hypervisor)

 Dịch vụ cho đám mây (cloud services)

 Các cơ chế chuyển tập tin (file transfer mechanisms)

2.3.4 Triển khai hệ thống đám mây riêng

- Sau quá trình nghiên cứu và tìm hiểu về các tính năng mà OpenNebula mang lại, trong phần này, chúng ta sẽ tiến hành cài đặt một hệ thống đám mây dạng IaaS sử dụng các công nghệ đƣợc cung cấp bởi phần mềm nguồn mở OpenNebula Đám mây này đƣợc biết với tên gọi là

đám mây riêng (private cloud)

- Trong phần cài đặt này, chúng ta sẽ sử dụng hệ điều hành Ubuntu để minh họa quá trình cài đặt thực tế một đám mây riêng sử dụng công nghệ của OpenNebula Trong khi cài đặt trên hệ

điều hành Ubuntu, chúng ta sẽ sử dụng quyền root để cài đặt

2.3.4.1 Mô hình cài đặt

Có hai chế độ cài đặt, chế độ thứ nhất là dùng chế độ shared file để chia sẻ các tập tin của máy ảo, chế độ thứ hai là dùng ssh để sao chép các máy ảo

Hình 3: Dùng chế độ SSH [3]

Hình 4: Dùng chế độ shared files [3]

Sau khi cài đặt, thƣ mục của OpenNebula sẽ có cấu trúc theo nhƣ hình sau:

Hình 5: Cấu trúc thƣ mục sau khi cài đặt [3]

2.3.4.2 Bước 1: Cài đặt OpenNebula

Tại cluster, ta cài đặt OpenNebula sau khi đã tải tập tin 1_amd64.deb tại trang chủ của OpenNebula (www.opennebula.org) bằng câu lệnh sau:

Ubuntu-12.04-opennebula_3.6.0-sudo dpkg -i Ubuntu-12.04-opennebula_3.6.0-1_amd64.deb

Sau đó ta thiết lập mật khẩu cho tài khoản oneadmin nhƣ sau:

sudo passwd oneadmin

2.3.4.3 Bước 2: Kiểm tra id và gán tài khoản oneadmin vào chung nhóm

Thực hiện trên cluster

id oneadmin

sudo usermod –u 999 oneadmin (với 999 l{ gi| trị uid mới cho t{i khoản oneadmin)

sudo groupmod -g 999 oneadmin (với 999 l{ gi| trị gid mới cho nhóm oneadmin)

sudo usermod –a –G libvirtd oneadmin

sudo usermod –a –G kvm oneadmin

sudo groupadd -g 999 oneadmin

sudo useradd -u 999 -g oneadmin -m oneadmin -s /bin/bash

sudo usermod -d /var/lib/one oneadmin

sudo passwd oneadmin

sudo chown oneadmin:oneadmin /var/lib/one

2.3.4.4 Bước 3: Cài đặt SSH, NFS, KVM, QEMU, LIBVIRT, BRIDGE UTILITY

Thực hiện trên cluster và các node

sudo apt-get install openssh-server openssh-client

sudo apt-get install nfs-kernel-server

sudo apt-get install qemu-kvm libvirt-bin ubuntu-vm-builder bridge-utils

2.3.4.5 Bước 4: Cấu hình mạng giữa cluster và node dùng Bridge (br0)

Thực hiện trên cluster

sudo nano /et c/network/interface

// Thoát khỏi file interface v{ restart lại network

sudo /etc/init.d/networking restart

Thực hiện trên các node

sudo nano /et c/network/interface

auto eth0

iface eth0 inet manual

// Tho|t khỏi file interface v{ restart lại network

sudo /etc/init.d/networking restart

2.3.4.6 Bước 5: Tạo biến môi trường và cấp quyền cho oneadmin

Thực hiện trên cluster

sudo nano ~/.profile

export ONE_XMLRPC=http://localhost:2633/RPC2

export ONE_AUTH=/var/lib/one/.one/one_auth

~/.profile

sudo echo "oneadmin:123" > $ONE_AUTH

sudo chown oneadmin:oneadmin $ONE_AUTH

sudo chown oneadmin:oneadmin -R /var/lib/one

sudo chmod 600 -R /var/lib/one

// Cấp quyền thực thi cho oneadmin trên thư mục home của nó l{ /var/lib/one

sudo chmod 700 -R /var/lib/one oneadmin

2.3.4.7 Bước 6: Cấu hình SSH

Thực hiện trên cluster và node

sudo nano /etc/ssh/ssh_config

File ssh_config (chú ý dòng StrictHostKeyChecking, mặc định dòng này là comment và giá trị là ask, ta bỏ comment và thay đổi giá trị là no)

sudo nano /etc/ssh/sshd_config

File sshd_config (chú ý dòng UsePAM, mặc định dòng này là yes, ta thay đổi giá trị là no) Sau đó, ta restart lại dịch vụ SSH bằng câu lệnh sau:

sudo /etc/init.d/ssh restart

Từ chỗ cấu hình dưới đây ta chỉ làm ở cluster

Tiếp theo, ta tạo RSA key cho user oneadmin:

exit

// Tại c}u lệnh n{y dùng quyền root đề thực thi

sudo sh -c "ssh-keygen -f ssh/known_hosts -F node01 1>> /etc/ssh/ssh_known_hosts"

2.3.4.8 Bước 7: Cấu hình NFS

Thực hiện trên cluster và node Tại cluster, ta vào tập tin /etc/exports để cấu hình thư mục chia sẻ chung Ta thêm vào tập tin exports các nội dung sau:

/var/lib/one 192.168.1.0/255.255.255.0(rw,sync,no_root_squash,no_subtree_check)

Tiếp theo chúng ta cần phải khởi động lại dịch vụ NFS Server bằng câu lệnh sau:

service nfs-kernel-server restart

Sau đó, tại các node con ta cấu hình để có thể sử dụng được thư mục đã chia sẻ trên

/etc/fstab

192.168.1.15:/var/lib/one /var/lib/one nfs rw,hard,intr 0 0

Với 192.168.1.15 là địa chỉ IP của máy cluster

Sau đó, ta tiến hành cài đặt nfs-client trên từng node con và tiến hành gắn thư mục dùng chung trên cluster vào các node con

sudo apt-get install nfs-client nfs-common

sudo mkdir -p /var/lib/one

sudo mount /var/lib/one

2.3.4.9 Bước 8: Tạo thư mục chứa images

Thực hiện trên cluster Tạo thư mục chứa ảnh ảo Đây sẽ là nơi lưu trữ ảnh ảo của các node con trong đám mây

mkdir /var/lib/images

chown –R oneadmin:oneadmin /var/lib/images

2.3.4.10 Bước 9: Cấu hình VNC, QEMU, LIBVIRT

Thực hiện trên cluster và node

sudo nano /etc/libvirt/qemu.conf

vnc_listen = "0.0.0.0"

dynamic_ownership = 0

user = "oneadmin"

group = "oneadmin"

sudo service libvirt-bin restart

sudo chown :oneadmin /var/run/libvirt/libvirt-sock

sudo nano /etc/libvirt/libvirtd.conf

unix_sock_group = "oneadmin"

2.3.4.11 Bước 10: Thêm các node

onehost create node01 im im_kvm vm vmm_kvm net dummy

onehost list

Tiếp theo, tải tập tin ttylinux.img về, giải nén và copy vào thư mục images

Đường dẫn để download file ttylinux:

Tiếp theo, chúng ta sẽ sử dụng câu lệnh sau để tạo mạng ảo:

onevnet create vnetUTE_template

onevnet list

2.3.4.13 Bước 12: Tạo ảnh ảo

Tạo tập tin mẫu để tạo ảnh ảo Tập tin mẫu này có tên là image.template và có nội dung nhƣ sau:

NAME = "ttylinux"

PATH = /var/lib/images/ttylinux.img

TYPE = OS

PUBLIC = YES

DESCRIPTION = "ttylinux OS for testing purpose."

Tiếp theo, chúng ta sẽ sử dụng câu lệnh sau để tạo ảnh ảo:

oneimage create image.template -d default

oneimage list

Với default là datastore mặc định của hệ thống Để biết đƣợc có bao nhiêu datastore ta sử dụng câu lệnh sau:

onedatastore list

2.3.4.14 Bước 13: Tạo máy ảo

Tạo tập tin mẫu để tạo máy ảo Tập tin mẫu có tên là vmUTE_template và có nội dung nhƣ sau:

Tiếp theo, chúng ta sẽ sử dụng câu lệnh sau để tạo máy ảo:

onevm create vmUTE_template

onevm list

Sau khi đã tạo máy ảo xong, ta có thể dùng chương trình virsh-install hoặc VNC để kết nối tới máy ảo và sử dụng

2.3.5 Xây dựng ứng dụng quản lý tài nguyên ảo

2.3.5.1 Mục đích của ứng dụng

- Trong chương trước, chúng ta đã tìm hiểu tổng quan về OpenNebula và cách làm thết nào

để cài đặt một đám mây riêng bằng OpenNebula cũng như là việc quản lý tài nguyên trên đám mây riêng đó Tuy nhiên, trong quá trình cài đặt cũng như quản lý, ta thấy còn nhiều bất cập như việc quản lý đám mây riêng lại dựa vào các câu lệnh trên chương trình Terminal của

hệ điều hành Ubuntu, các câu lệnh đôi lúc gây khó khăn, khó nhớ cho người quản lý… Vì nhóm nghiên cứu đã tiến hành xây dựng một ứng dụng chuyên về quản lý các tài nguyên ảo

của một đám mây riêng

- Dựa trên các yêu cầu phát sinh trong quá trình cài đặt cũng như quản lý đám mây riêng, trước tiên ứng dụng cần phải đáp ứng đầy đủ các yêu cầu chức năng cơ bản nhất Sau đó, để

có thể hỗ trợ tối đa cho người quản lý trong các tác vụ quản lý hàng ngày, ứng dụng cần phải hiện thực thêm các chức năng quản lý cấp cao hơn như là cho phép tạo và quản lý người dùng, tạo lập các nhóm người dùng quản lý riêng, cung cấp các mẫu cho việc tạo các mạng

ảo, máy ảo…

- Qua quá trình tìm hiểu, nhóm được biết là OpenNebula cũng cung cấp cho cộng đồng lập trình viên các bộ thư viện để giúp cho cộng đồng lập trình viên có thể dễ dàng tiếp cận cũng như xây dựng các ứng dụng hỗ trợ cho việc tương tác với OpenNebula.Do vậy, nhóm đã tiến hành tìm hiểu và nghiên cứu về bộ thư viện này cũng như xây dựng một ứng dụng điện toán

đám mây để quản lý một đám mây riêng

2.3.5.2 Giới thiệu về giao diện lập trình ứng dụng

2.3.5.2.1 Tổng quan kiến trúc giao diện lập trình ứng dụng

- OpenNebula được thiết kế để dễ dàng tương thích với các hạ tầng cơ sở khác nhau cũng như

dễ dàng mở rộng với các thành phần mới Kết quả là các hệ thống được xây dựng dựa trên OpenNebula đều có thể dễ dàng thích ứng với các loại đám mây trong công nghệ điện toán

đám mây như đám mây riêng, đám mây lai và đám mây công cộng

- Hình phía dưới đây miêu tả tổng quan về kiến trúc của giao diện lập trình ứng dụng: