Tiểu luận môn Tính toán lưới và điện toán đám mây CÀI ĐẶT GLOBUS TOOLKIT 5.2.0 TRÊN CENTOS 6.2

Trong bài báo cáo này, tôi sẽ nghiên cứu về cách cài đặt Globus Toolkit 5.2.0 trên hệ điềuhành CentOS 6.2 để xây dựng một hệ thống lưới tính toán với nhiều máy tính và cách chạymột ứng d

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

SINH VIÊN THỰC HIỆN: GIẢNG VIÊN HƯỚNG DẪN:

Huỳnh Thanh Việt – CH1301114 PGS.TS Nguyễn Phi Khứ

TPHCM, 06-2014

LỜI CÁM ƠN

Đầu tiên, em xin chân thành cám ơn thầy PGS.TS Nguyễn Phi Khứ đã truyền đạt hết sức nhiệt tình cho tôi những kiến thức quý báu trong môn Tính toán lưới và Điện toán đám mây

để tôi hoàn thành đề tài này

Em cũng xin gửi lời cám ơn chân thành đến các thầy cô trong trường Đại học Công NghệThông Tin đã tận tình giúp đỡ em trong thời gian học vừa qua

Xin cảm ơn tất bạn bè đã và đang động viên, giúp đỡ tôi trong quá trình học tập và hoànthành đề tài này

TPHCM, ngày 03 tháng 06 năm 2014

Lớp CH08 Học viên thực hiện

Huỳnh Thanh Việt

LỜI NÓI ĐẦU

Ngày nay, tính toán lưới (Grid Computing) đang là công nghệ nổi bật trên khắp thếgiới và đang được nhiều tổ chức lớn áp dụng Grid Computing hiện đang là nền tảng côngnghệ mới với nhiều chức năng tiên tiến cung cấp nền tảng công nghệ, năng lực tính toán chocác tổ chức và doanh nghiệp với các yêu cầu cụ thể Grid Computing đáp ứng tốt các nhu cầu

về bảo mật, nhu cầu cung cấp các chức năng cơ bản và khả năng quản lý các tiến trình tronglưới một cách hiệu quả

Các chương trình chạy trên môi trường mạng lưới có thời gian xử lý công việc ngắnhơn và đạt hiệu suất nhanh hơn vì có khả năng truy cập nhanh đến các nguồn tài nguyên phântán trong môi trường lưới

Các đặt tính nổi bật của Grid Computing bao gồm:

- Khai thác tài nguyên để xử lý chương trình

- Kết hợp nhiều tài nguyên tạo thành tổ chức ảo

- Khả năng xử lý song song đồng bộ và không đồng bộ

- Khả năng quản lý người dùng, quản lý tài nguyên và tiến trình

- Khả năng bảo mật cao với chứng thực, kiểm soát truy cập, mã hóa

Trong bài báo cáo này, tôi sẽ nghiên cứu về cách cài đặt Globus Toolkit 5.2.0 trên hệ điềuhành CentOS 6.2 để xây dựng một hệ thống lưới tính toán với nhiều máy tính và cách chạymột ứng dụng Grid dựa trên hệ quản trị tài nguyên GRAM được cài đặt trong GlobusToolkit

NHẬN XÉT CỦA GIẢNG VIÊN

MỤC LỤC

1 Khái niệm: 1

2 Lịch sử phát triển: 2

3 Tài nguyên: 3

3.1 Tài nguyên tính toán: 3

3.2 Tài nguyên lưu trữ: 3

3.3 Phương tiện liên lạc: 4

3.4 Phần mềm ứng dụng: 4

3.5 Các thiết bị đặc biệt: 4

CHƯƠNG 2: CÀI ĐẶT GRID 5 1 Mô hình mạng lưới 5

2 Cài đặt kết nối mạng 6

3 Cài đặt Globus Toolkit 5.2.0 8

3.1 Cài đặt JDK 8

3.2 Cài đặt Apache Ant 8

3.3 Cấu hình biến môi trường 9

3.4 Cài đặt GCC và G++ 9

3.5 Cài đặt tar 10

3.6 Cài đặt sed 10

3.7 Cài đặt zlib 10

3.8 Cài đặt GNU make 10

3.9 Cài đặt Sudo 11

3.10 Cài đặt OpenSSL 11

3.11 Cài đặt Perl 11

3.12 Cài đặt bộ thư viện Libtool 12

3.13 Cài đặt gói Globus Toolkit 12

4 Cài đặt Certificate Authority 13

4.1 Cài đặt SimpleCA 13

4.2 Cài đặt Certificate cho node phụ 14

5 Cấp Certificate cho Host 14

6 Cấp Certificate cho User 15

7 Ánh xạ người dùng Local với người dùng Grid 17

8 Cài đặt GridFTP 18

8.1 Cài đặt Xinetd 18

8.2 Cấu hình GridFTP 18

8.3 Chạy thử nghiệm GridFTP 19

9 Cấu hình Webservices Container 20

10 Cấu hình RFT 21

11 Cài đặt GRAM 22

TÀI LIỆU THAM KHẢO 26

DANH MỤC CÁC BẢNG, SƠ ĐỒ, HÌNH

Hình 1: Sơ đồ mô hình CA và Host

Bảng 1: Các máy trong mạng lưới

Bảng 2: Tên người dùng của từng máy

Bảng 3: Các gói phần mềm cài đặt

CHƯƠNG 1: TỔNG QUAN VỀ GRID COMPUTING

1 Khái niệm:

Một định nghĩa về Grid khá hoàn chỉnh được đưa ra bởi tiến sỹ Ian Foster như sau :

“Grid là một loại hệ thống song song, phân tán cho phép chia sẻ, lựa chọn, kết hợp các tài nguyên phân tán theo địa lý, thuộc nhiều tổ chức khác nhau dựa trên tính sẵn sàng, khả năng, chi phí của chúng và yêu cầu về chất lượng dịch vụ (QoS) của người dùng để giải quyết các bài toán, ứng dụng có quy mô lớn trong khoa học, kỹ thuật và thương mại Từ đó hình thành nên các “tổ chức ảo” (Virtual Organization (VO)), các liên minh tạm thời giữa các tổ chức và tập đoàn, liên kết với nhau để chia sẻ tài nguyên và/hoặc kỹ năng nhằm đáp ứng tốt hơn các cơ hội kinh doanh hoặc các dự án có nhu cầu lớn về tính toán và dữ liệu, toàn bộ việc liên minh này dựa trên các mạng máy tính”

Một hệ thống Grid có những đặc trưng sau:

Có sự kết hợp, chia sẻ các tài nguyên không được quản lý tập trung Grid tích hợp vàphối hợp tài nguyên, người dùng thuộc nhiều vùng quản lý khác nhau, nhiều đơn vị khácnhau trong một tổ chức, hay nhiều tổ chức khác nhau Công nghệ Grid tập trung giải quyếtcác vấn đề về bảo mật, chính sách quản trị, chi phí, thành viên,… nảy sinh trong quá trìnhchia sẻ và sử dụng tài nguyên

Sử dụng các giao diện và giao thức chuẩn, mang tính mở, đa dụng Grid được xâydựng trên các giao thức và giao diện tổng quát, đa dụng để giải quyết các vấn đề cơ bản nhưchứng thực người dùng, phân quyền, tìm kiếm và truy xuất tài nguyên

Đáp ứng yêu cầu cao về chất lượng dịch vụ Grid cho phép sử dụng phối hợp các tàinguyên để cung cấp nhiều loại dịch vụ với các mức chất lượng khác nhau, liên quan đến ví

dụ như thời gian đáp ứng, hiệu suất, tính sẵn sàng, bảo mật, cho phép kết hợp nhiều kiểu tài

nguyên để đáp ứng nhu cầu phức tạp của người dùng Mục tiêu là phải phối hợp làm sao đểkhả năng của hệ thống sau khi kết hợp phải lớn hơn hẳn tổng khả năng của từng đơn vị cấuthành nên Grid

2 Lịch sử phát triển:

Mặc dù công nghệ Grid Computing được nhắc đến rất nhiều trong thời gian gần đây,nhưng thực ra nhiều ý tưởng cơ bản về Grid đã xuất hiện dưới dạng này hay dạng khác tronglịch sử tính toán

Ví dụ như ý tưởng “chia sẻ năng lực tính toán” đã xuất hiện từ những năm 60-70 của thế

kỷ XX, lúc đó toàn bộ năng lực tính toán được chia sẻ từ các máy mainframe Năm 1965,những người phát triển hệ điều hành Multics (tiền thân của hệ điều hành Unix) đã đề cập đếnviệc sử dụng năng lực tính toán như là một tiện ích, một quan điểm rất gần với quan điểm vềGrid hiện nay Đó là một hệ thống cung cấp năng lực tính toán tương tự như hệ thống cungcấp điện, nước hiện đang được sử dụng trong cuộc sống hàng ngày Người dùng khi muốn sửdụng tài nguyên tính toán để xử lý công việc, chỉ cần cắm thiết bị vào hệ thống cung cấp, sửdụng và trả tiền giống như khi cắm thiết bị điện vào lưới điện Tuy trước đó đã có nhiều ýtưởng về Grid nhưng nguồn gốc của Grid chính thức được xác định vào năm 1990, khi thuậtngữ “siêu tính toán” (metacomputing) ra đời, dùng để mô tả các dự án kết nối các trung tâmsiêu máy tính của Mỹ nhằm kết hợp sức mạnh xử lý của nhiều siêu máy tính lại với nhau Đến năm 1995, 2 dự án siêu tính toán quan trọng, ảnh hưởng lớn đến các công nghệ nềntảng trong các dự án Grid ngày nay là FAFNER (Factoring via Network-Enabled Recursion)

và I-WAY(Information Wide Area Year) ra đời Khái niệm Grid ra đời ở phòng thí nghiệmArgonne National Laboratory vào tháng 7/1997, sau đó được đưa vào quyển sách "The Grid:Blueprint for a New Computing Infrastructure" viết bởi tiến sỹ Ian Foster (ArgonneNational Laboratory) và Carl Kesselman (University of Southern California) năm 1998 IanFoster đã từng tham gia dự án I-WAY, Carl Kesselman là người tham gia dự án Globus

Toolkit, một dự án nền tảng của công nghệ Grid và Metacomputing Từ đó đến nay, việc pháttriển công nghệ Grid trở nên rất sôi động với sự tham gia nghiên cứu, đầu tư của nhiều tổchức, tập đoàn công nghệ thông tin, nhiều quốc gia, và đã thu được những thành tựu bướcđầu Có thể nói, việc phát triển và xây dựng hệ thống Grid là sự kế thừa và phát triển các ýtưởng, các công nghệ hiện hành ở mức cao hơn Sự phát triển không ngừng của cơ sở hạtầng, phần cứng máy tính, mạng đã giúp các hệ thống Grid ngày nay thực hiện được nhiềuđiều hơn những ý tưởng trước đây.

3 Tài nguyên:

3.1 Tài nguyên tính toán:

Đây là tài nguyên phổ biến nhất, là các chu kỳ tính toán (computing cycles) được cung cấpbởi bộ vi xử lý của các thiết bị trong Grid Các bộ vi xử lý không cần phải cùng loại mà cóthể có tốc độ, kiến trúc, chạy phần mềm khác nhau Có 3 cách để khai thác tài nguyên tínhtoán của Grid:

 Cách đơn giản nhất là chạy các ứng dụng hiện có trên một node của Grid thay vì chạytrên máy tính cục bộ

 Thiết kế ứng dụng, tách các công việc thành các phần riêng rẽ để có thể thực thi songsong trên nhiều bộ xử lý khác nhau

 Chạy ứng dụng thực thi nhiều lần trên nhiều node khác nhau trong Grid

3.2 Tài nguyên lưu trữ:

Tài nguyên phổ biến thứ nhì trong Grid là tài nguyên lưu trữ Mỗi thiết bị trong Gridthường cung cấp một số dung lượng lưu trữ phục vụ cho việc thực thi ứng dụng trên Grid.Tài nguyên lưu trữ có thể là bộ nhớ trong, ổ đĩa cứng hoặc các thiết bị lưu trữ khác Bộ nhớtrong thường dùng để lưu trữ dữ liệu tạm thời cho ứng dụng, trong khi các thiết bị lưu trữ

ngoài có thể được sử dụng để tăng không gian lưu trữ, tăng hiệu suất, khả năng chia sẻ vàđảm bảo tính tin cậy của dữ liệu

3.3 Phương tiện liên lạc:

Khả năng liên lạc giữa các máy tính phát triển nhanh chóng đã giúp cho công nghệ Gridtrở nên hiện thực, do đó đây cũng là một tài nguyên quan trọng Ở đây bao gồm việc liên lạc,trao đổi dữ liệu giữa các thành phần trong Grid và giao tiếp giữa Grid với bên ngoài Một sốcông việc đòi hỏi một lượng dữ liệu lớn nhưng các dữ liệu này thường không nằm trên máyđang thực thi công việc Khả năng về băng thông trong những trường hợp như vậy là một tàinguyên then chốt, ảnh hưởng đến khả năng của Grid Việc giao tiếp với bên ngoài được thựchiện thông qua mạng Internet Grid có thể sử dụng các kết nối Internet để liên lạc giữa cácnode Vì các kết nối này không chia sẻ một đường truyền nên làm tăng băng thông truy cậpInternet Các đường truyền dự phòng đôi khi cần thiết để giải quyết tốt hơn các vấn đề về hưhỏng mạng và truyền dữ liệu lớn

3.4 Phần mềm ứng dụng:

Grid có thể được cài đặt các phần mềm mà có thể quá mắc để cài trên tất cả mọi máy tínhtrong Grid Các phần mềm này chỉ cần được cài trên một số node Thông qua Grid, khi mộtcông việc cần đến chúng, nó sẽ gửi dữ liệu đến node đã được cài đặt phần mềm và cho thựcthi Đây có thể là một giải pháp tốt để tiết kiệm chi phí về bản quyền phần mềm

3.5 Các thiết bị đặc biệt:

Là các thiết bị dùng trong khoa học, kỹ thuật như kính viễn vọng, các bộ cảm biến (sensor),… Các thiết bị này chủ yếu thu thập các dữ liệu khoa học, phục vụ cho các bước phân tích, xử lý sau này

CHƯƠNG 2: CÀI ĐẶT GRID

1 Mô hình mạng lưới

Tôi sẽ thực hiện mô hình với 4 máy bao gồm: một CA và ba Host

- CA: là node chính dùng để chứng thực quyền hạn cho Host và cho các User

- Host: là các node phụ được chứng thực bởi CA và chịu trách nhiệm quản lý các User củaHost đó

Hình 1: Sơ đồ mô hình CA và Host

may1_CA may1pc.viethuynh.com CentOS 6.2 Gói GT 5.2.0 All Sourcemay2_HostA may2pc viethuynh.com CentOS 6.2 Gói GT 5.2.0 All Sourcemay3_HostB may3pc viethuynh.com CentOS 6.2 Gói GT 5.2.0 All Sourcemay4_HostC may4pc viethuynh.com CentOS 6.2 Gói GT 5.2.0 All Source

Bảng 1: Các máy trong mạng lưới

Tên Máy Nhiệm vụ Tên người dùng

May1_CA Node chính dùng để chứng thực globus, may1

Bảng 2: Tên người dùng của từng máy

Globus Toolkit 5.2.0 gt4.2.1-all-source-installer.tar.gz /usr/local/globus-5.2.0Java SDK 1.7.0 jdk-7u3-linux-i586.rpm /usr/local/java

Apache Ant 1.8.3 apache-ant-1.8.3-bin.tar.gz /usr/local/ant

Bảng 3: Các gói phần mềm cài đặt

2 Cài đặt kết nối mạng

Phải đảm bảo rằng, các máy trong mạng lưới phải được kết nối với Internet để tiến hành càiđặt và cập nhật các gói phần mềm hỗ trợ

Cấu hình Host Name và DNS cho máy CentOS, việc thực hiện tương tự ở tất cả các máy:

- Gõ lệnh # setup , sau đó chọn “Network Configuration”.

- Chọn “Edit DNS Configuration” để cấu hình DNS

 Đặt “Hostname” theo dạng Domain name như sau: may1.viethuynh.com,may2.viethuynh.com, may3.viethuynh.com, may4.viethuynh.com

 Cấu hình Primary DNS là 8.8.8.8 và Secondary DNS là 8.8.4.4

 Sau khi điền vào các thông số cấu hình, ta thực hiện Save cấu hình và khởi động lại

dịch vụ mạng bằng lệnh: # service network restart

Cấu hình Card mạng eth0:

- Gõ lệnh sau để chỉnh sửa các thông số trong file ifcfg-eth0:

# vi /etc/sysconfig/network-scripts/ifcfg-eth0

Sau khi vào file trên, ta chỉnh sửa lại các thông số như sau:

- Sau khi cấu hình xong ta nhấn ESC và Save lại bằng lệnh :wq

- Khởi động lại dịch vụ mạng # service network restart

Kiểm tra kết nối Internet và phân giải DNS bằng lệnh ping 8.8.8.8 và ping goole.com

Disable Firewall trong CentOS: Gõ lệnh # setup, chọn Firewall Configuration, sau đó stick

vào Disable, Save và thoát

Chỉnh sửa lại nội dung File hosts trong thư mục /etc để các máy có thể phân giải tên và địachỉ IP bằng lệnh sau:

3 Cài đặt Globus Toolkit 5.2.0

Lưu ý: các bước cài đặt Globus Toolkit dưới đây đều được thực hiện tương tự trên tất cả cácmáy

Java(TM) SE Runtime Environment (build 1.7.0_03-b04)

Java HotSpot(TM) Client VM (build 22.1-b02, mixed mode, sharing)

3.2 Cài đặt Apache Ant

Tải file nén của Apache “apache-ant-1.8.3-bin.tar.gz” tại link:

http://mirror-fpt-telecom.fpt.net/apache/ant/binaries/apache-ant-1.8.3-bin.tar.gz

Sau khi tải về, ta dùng WinSCP để copy file “apache-ant-1.8.3-bin.tar.gz” vào mục /root.Giải nén vào thư mục /usr/local/ bằng lệnh:

# tar -zxvf apache-ant-1.8.3-bin.tar.gz -C /usr/local/

Vào thư mục /usr/local/apache-ant-1.8.3:

# cd /usr/local/apache-ant-1.8.3

Thực hiện lệnh sau để cấu hình apache ant:

# ant -f fetch.xml -Ddest=system

Kiểm tra cài đặt thành công bằng lệnh:

# ant -version

3.3 Cấu hình biến môi trường

Cấu hình các biến môi trường để dễ dàng truy cập trong suốt quá trình cài đặt và sử dụngGlobus Toolkit

Ở đây, chúng ta sẽ cấu hình các biến môi trường cho Java, Apache Ant và Globus Locationbằng cách gõ lần lượt các dòng lệnh sau:

Để cài đặt bộ biên dịch ngôn ngữ GCC, ta dùng lệnh:

# yum install gcc

# yum install gcc-c++

3.5 Cài đặt tar

Tar ( Tape Archive) là công cụ để nén hoặc giải nén các file trên hệ điều hành Linux

Để cập nhật bộ chương trình tar, ta dùng lệnh sau:

# yum install tar

3.6 Cài đặt sed

Sed ( Stream Editor), dùng để thao tác trực tiếp với văn bản như thay thế, xóa, in racác đoạn text

Để cài đặt sed, ta dùng lệnh sau:

# yum install sed

3.7 Cài đặt zlib

Zlib là một công cụ nén dữ liệu với kích thước lớn và tốc độ xử lí nhanh, hỗ trợ cáctính năng trong việc đọc hoặc thực thi các file nén

Để cài đặt zlib, ta dùng lệnh sau:

# yum install zlib

3.8 Cài đặt GNU make

Trong trường hợp ta viết một chương trình rất lớn được cấu thành bởi từ nhiều file,việc biên dịch sẽ rất phức tạp vì phải viết các dòng lệnh gcc rất là dài Để khắc phục tìnhtrạng này, công cụ GNU make đã được đưa ra GNU make được giải quyết bằng cách chứatất cả các dòng lệnh phức tạp đó trong một file gọi là makefile Nó cũng làm tối ưu hóa tiếntrình dịch bằng cách phát hiện ra những file nào có thay đổi thì nó mới dịch lại, còn file nàokhông bị thay đổi thì nó sẽ không làm gì cả, vì vậy thời gian dịch sẽ được rút ngắn

Để cài đặt GNU make, ta dùng lệnh sau:

# yum install make

3.9 Cài đặt Sudo

Sudo là viết tắt của từ “su do” có nghĩa là: “do something as the supervisor” Sudo làmột thay thế nâng cao của lệnh su trong Unix

Sudo cho phép cung cấp đặc quyền truy cập để vào một số lệnh và thực hiện các lệnh

đó như một người dùng đặc quyền