giải hệ phƣơng trình tuyến tính kích thước lớn trên nền tảng grid computing

Những siêu máy tính trên thế giới được xây dựng rất đắt tiền với hàng trăm ngàn hay hàng triệu bộ vi xử lý, để đầu tư cho những hệ thống máy như vậy tốn rất nhiều tiền của cho việc triể

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY

Ngành: Công nghệ thông tin

Cán bộ hướng dẫn: Tiến sĩ Nguyễn Minh Hằng

HÀ NỘI - 2010

Một lời cảm ơn từ đáy lòng con xin được gửi đến cha mẹ, những người đã nuôi nấng con thành người để được có ngày hôm nay

Em xin cảm ơn các quý thầy cô đã dạy dỗ em trong suốt 4 năm học ở nhà trường, cung cấp cho em những kiến thức quý báu để bước vào đời

Cảm ơn các bạn của tôi đã là những người động viên tinh thần cũng như ở bên tôi giúp đỡ tôi khi tôi gặp khó khăn

Thời gian 3 tháng vừa qua, mặc dù đã cố gắng để hoàn thành khóa luận một cách tốt nhất nhưng vẫn không thể tránh nổi những sai sót Em xin kính mong nhận được sự góp ý cũng như chỉ bảo của quý thầy cô Xin chân thành cảm ơn

Sinh viên

Nguyễn Đức Thịnh

Mục lục

Lời mở đầu 1

Tóm tắt khóa luận 3

Chương 1 : Tổng quan về công nghệ Grid Computing 4

1.1 Lịch sử phát triển của công nghệ Grid 4

1.2 Khái niệm 5

1.3 Các kiểu tài nguyên của Grid 6

1.3.1 Tài nguyên tính toán 6

1.3.2 Tài nguyên lưu trữ 6

1.3.3 Phương tiện liên lạc 6

1.3.4 Phần mềm, ứng dụng 7

1.3.5 Các thiết bị đặc biệt 7

1.4 Phân lọai các hệ thống Grid 7

1.4.1 Grid Tính toán (Computation Grid) 7

1.4.2 Grid Dữ liệu (Data Grid) 8

1.4.3 Scavenging Grid 8

1.5 Kiến trúc Grid 8

1.5.1 Bản chất Kiến trúc Grid 8

1.5.2 Chi tiết Kiến trúc Grid tổng quát 10

1.5.2.1 Tầng Fabric 10

1.5.2.2 Tầng Connectivity 11

1.5.2.3 Tầng Resource 12

1.5.2.4 Tầng Collective 13

1.5.2.5 Tầng Application 13

1.6 Grid computing đem lại những lợi ích gì ? 13

1.6.1 Khai thác tối đa tài nguyên xử lý 13

1.6.2 Khả năng xử lý song song 14

1.6.3 Chia sẽ tài nguyên ảo và tổ chức ảo 14

1.6.4 Sự truy cập đến các tài nguyên khác 14

1.6.5 Cân bằng tài nguyên 15

1.6.6 Độ tin cậy 16

Chương 2: Globus Toolkit 4 17

2.1 Khái niệm về Globus 17

2.2 Nguyên nhân thúc đẩy sự phát triển của Globus 18

2.3 Kiến trúc Globus 19

2.3.1 Các thành phần thường trực 19

2.3.1.1 Java WS Core 19

2.3.1.2 C WS Core 19

2.3.2 Các thành phần bảo mật 19

2.3.2.1 Cơ bản về bảo mật Grid và GSI 20

2.3.3 Các thành phần quản lý dữ liệu 25

2.3.3.1 GridFTP 25

2.3.3.2 Information services 26

2.3.3.3 Index Service 27

2.3.4 Các thành phần quản lý tài nguyên 27

2.3.4.1 Kiến trúc quản lý tài nguyên của Globus Toolkit 27

2.3.4.2 Chi tiết các thành phần 29

2.3.4.2.1 GRAM 29

2.3.4.2.2 Pre-WS GRAM 32

2.3.4.2.3 WS-GRAM 34

Chương 3 : MPICH và MPICH-G2 40

3.1 MPI 40

3.2 MPICH 41

3.3 MPICH-G2 41

3.3.1 Quá trình thực thi một ứng dụng 42

Chương 4 : Thí nghiêm triển khai hệ thống Grid cơ bản cho mục đích tính toán song song sử dụng Globus Toolkit và MPICH-G2 44

4.1 Triển khai Globus Toolkit 44

4.1.1 Chuẩn bị về phần cứng và phần mềm hệ thống 44

4.1.2 Cài đặt Globus Toolkit 45

4.1.3 Cấu hình các thành phần của globus toolkit 47

4.1.3.1 Cấu hình bảo mật 47

4.1.3.2 Cấu hình dich vụ GridFTP 50

4.1.3.3 Cấu hình gatekeeper 51

4.1.3.4 Cấu hình WS GRAM 52

4.2 Triển khai MPICH-G2 53

Chương 5 : Chạy và đánh giá hiệu năng của hệ thống Grid 54

5.1 Giới thiệu về 3 bài toán sẽ được thử nghiệm 54

5.1.1 Tính toán số PI 54

5.1.2 Hệ phương trình tuyến tính 54

5.1.3 Bài toán quy hoạch tuyến tính 55

5.2 Cách thức chạy 1 bài toán trên hệ thống Grid được xây dựng bởi 2 công cụ Globus Toolkit và MPICH 57

5.3 Kết quả chạy các chương trình và đánh giá kết quả 59

5.3.1 Kết quả chạy chương trình tính số PI 59

5.3.2 Kết quả chạy chương trình giải hệ phương trình tuyến tính 59

5.3.3 Kết quả giải bài toán quy hoạch tuyến tính 60

5.3.4 Nhận xét chung 62

Kết luận 63

Tài liệu tham khảo 64

Lời mở đầu

Trong thập niên qua, nền công nghệ thông tin thế giới phát triển đã đóng góp rất nhiều vào sự phát triển chung của thế giới Chúng ta có thể bắt gặp những ứng dụng của công nghệ thông tin ở khắp mọi nơi, giờ đây nhiều người sở hữu máy tính cá nhân, sở hữu những chiếc điện thoại, cập nhập thông tin qua những trang web, kết nối với nhau qua những phần mềm chat… Đấy là những thứ hiện hữu hàng ngày mà chúng ta trực tiếp sờ thấy và sử dụng nó, ẩn sau nó là những nghiên cứu, những công nghệ được rất nhiều nhà khoa học cũng như phát triển trên thế giới nghiên cứu để đóng góp vào sự phát triển của nền công nghệ thông tin nói riêng và nền khoa học thế giới nói chung

Khi nói đến máy tính, một khái niệm hay được nhắc đến là những chiếc máy tính

để bàn nhỏ gọn hay những chiếc laptop cá nhân Nhưng đó là những thiết bị cá nhân giúp chúng ta giải trí, làm việc, còn với những chiếc máy tính phải xử lý lượng dữ liệu từ khắp nơi trên thế giới một cách thường xuyên và liên tục thì sao Khi đó ,chúng ta lại được bắt

gặp khái niệm siêu máy tính (Super Computer) Những siêu máy tính trên thế giới được

xây dựng rất đắt tiền với hàng trăm ngàn hay hàng triệu bộ vi xử lý, để đầu tư cho những

hệ thống máy như vậy tốn rất nhiều tiền của cho việc triển khai cũng như bảo dưỡng, với mục đích sử dụng kết nối những người dùng hay tổ chức có chung một mục đích xử lý hay tận dụng tài nguyên máy tính của bất kỳ người dùng máy tính nào để tạo thành một

hệ thống mạnh mẽ phục vụ cho việc giải các bài toán về khoa học, thương mại, một lĩnh vực nghiên cứu mới được đưa ra, đó là Grid Computing Nói một cách tống quát nhất Grid là một loại hệ thống phân tán, bố trí song song, cho phép linh hoạt chia sẻ, tuyển lựa

và tập hợp các nguồn tài nguyên độc lập và rải rác về địa lý, tùy theo khả năng sẵn có, công suất, hoạt động, chi phí và yêu cầu về chất lượng dịch vụ của người sử dụng Grid Computing có rất nhiều ưu điểm mà có thể áp dụng cho việc nghiên cứu cũng như những

ưu điểm có thể áp dụng cho doanh nghiệp

Trên thế giới, ý tưởng về Grid Computing đã được hình thành và nghiên cứu từ rất lâu nhưng thực sự bùng nổ vào vài năm trở lại đây khi được các tổ chức cũng như tập đoàn lớn trên thế giới nghiên cứu và triển khai Tại Việt Nam, công việc nghiên cứu Grid Computing đã được triển khai từ khá lâu và gần đây nhất là đề tài cấp nhà nước “Nghiên cứu, phát triển hệ thống tính toán lưới để hỗ trợ giải quyết các bài toán có khối lượng tính

toán lớn (VNGrid)” do PGS.TS Vũ Đức Thi làm chủ nhiệm cũng đã đạt được một số

Tóm tắt khóa luận

1 Thông tin chung về khóa luận

Tên đề tài : Giải hệ phương trình tuyến tính trên nền tảng Grid Computing

Giảng viên hướng dẫn : TS.Nguyễn Minh Hằng

Sinh viên thực hiện : Nguyễn Đức Thịnh

2 Tóm tắt nội dung khóa luận

Khóa luận thực hiện nghiên cứu tìm hiểu các vấn đề chung của công nghệ Grid về mặt khái niệm, kiến trúc của một hệ thống Grid và những ích lợi của Grid mang lại Cung cấp một cái nhìn tổng quan về Grid

Tìm hiểu mô hình hoạt động của gói phần mềm Globus Toolkit, một gói phần mềm giúp xây dựng một hệ thống Grid, các vấn đề khi thực hiện triển khai tạo dựng một hệ thống Grid với Globus Toolkit

Tìm hiểu về MPICH, MPICH-G2, nguyên tắc hoạt động của MPICH kết hợp với Globus Toolkit để tạo dựng hệ thống Grid phục vụ việc tính toán song song sử dụng ngôn ngữ C và MPI

Thử nghiệm bài toán giải hệ phương trình tuyến tính theo thuật toán song song trên một hệ thống Grid để xem cách thức hoạt động và ưu điểm về khả năng kết hợp xử lý giữa các máy tính khác nhau

3 Các công cụ đƣợc sử dụng triển khai và thử nghiệm

 Globus Toolkit 4.2.1

 Centos 5.4

 MPICH-1.2.7

Chương 1 : Tổng quan về công nghệ Grid Computing

1.1 Lịch sử phát triển của công nghệ Grid

Trong những năm gần đây, chúng ta được nghe nhiều đến công nghệ Grid và những ưu điểm của nó Vậy Grid xuất hiện từ khi nào, từ bao giờ ? Trong quá khứ, những

ý tưởng tính toán có liên quan đến Grid đã xuất hiện, với những tên gọi khác nhau và cách tiếp cận khác nhau

Ví dụ như ý tưởng “chia sẻ năng lực tính toán” đã xuất hiện từ những năm 60-70 của thế kỷ XX, lúc đó toàn bộ năng lực tính toán được chia sẻ từ các máy mainframe Năm 1965, những người phát triển hệ điều hành Multics (tiền thân của hệ điều hành Unix) đã đề cập đến việc sử dụng năng lực tính toán như là một tiện ích, một quan điểm rất gần với quan điểm về Grid hiện nay Đó là một hệ thống cung cấp năng lực tính toán tương tự như hệ thống cung cấp điện, nước hiện đang được sử dụng trong cuộc sống hàng ngày Người dùng khi muốn sử dụng tài nguyên tính toán để xử lý công việc, chỉ cần cắm thiết bị vào hệ thống cung cấp, sử dụng và trả tiền giống như khi cắm thiết bị điện vào lưới điện

Tuy trước đó đã có nhiều ý tưởng về Grid nhưng nguồn gốc của Grid chính thức được xác định vào năm 1990, khi thuật ngữ “siêu tính toán” (metacomputing) ra đời, dùng

để mô tả các dự án kết nối các trung tâm siêu máy tính của Mỹ nhằm kết hợp sức mạnh

xử lý của nhiều siêu máy tính lại với nhau

Đến năm 1995, 2 dự án siêu tính toán quan trọng, ảnh hưởng lớn đến các công nghệ nền tảng trong các dự án Grid ngày nay là FAFNER (Factoring via Network-Enabled Recursion) và I-WAY(Information Wide Area Year) ra đời

Khái niệm Grid ra đời ở phòng thí nghiệm Argonne National Laboratory vào tháng 7/1997, sau đó được đưa vào quyển sách "The Grid: Blueprint for a New Computing Infrastructure" viết bởi tiến sỹ Ian Foster (Argonne National Laboratory) và Carl Kesselman (University of Southern California) năm 1998 Ian Foster đã từng tham gia dự

án I-WAY, Carl Kesselman là người tham gia dự án Globus Toolkit, một dự án nền tảng của công nghệ Grid và Metacomputing

Từ đó đến nay, việc phát triển công nghệ Grid trở nên rất sôi động với sự tham gia nghiên cứu, đầu tư của nhiều tổ chức, tập đoàn công nghệ thông tin, nhiều quốc gia, và đã thu được những thành tựu bước đầu Có thể nói, việc phát triển và xây dựng hệ thống Grid là sự kế thừa và phát triển các ý tưởng, các công nghệ hiện hành ở mức cao hơn Sự phát triển không ngừng của cơ sở hạ tầng, phần cứng máy tính, mạng đã giúp các hệ thống Grid ngày nay thực hiện được nhiều điều hơn những ý tưởng trước đây

1.2 Khái niệm

Một định nghĩa về Grid khá hoàn chỉnh được đưa ra bởi tiến sỹ Ian Foster như sau

“Grid là một loại hệ thống song song, phân tán cho phép chia sẻ, lựa chọn, kết hợp các tài nguyên phân tán theo địa lý, thuộc nhiều tổ chức khác nhau dựa trên tính sẵn sàng, khả năng, chi phí của chúng và yêu cầu về chất lượng dịch vụ (QoS) của người dùng để giải quyết các bài toán, ứng dụng có quy mô lớn trong khoa học, kỹ thuật và thương mại

Từ đó hình thành nên các “tổ chức ảo” (Virtual Organization (VO)), các liên minh tạm thời giữa các tổ chức và tập đoàn, liên kết với nhau để chia sẻ tài nguyên và/hoặc kỹ năng nhằm đáp ứng tốt hơn các cơ hội kinh doanh hoặc các dự án có nhu cầu lớn về tính toán

và dữ liệu, toàn bộ việc liên minh này dựa trên các mạng máy tính”

Một hệ thống Grid có những đặc trưng như sau:

 Có sự kết hợp, chia sẻ các tài nguyên không được quản lý tập trung Grid tích hợp

và phối hợp tài nguyên, người dùng thuộc nhiều vùng quản lý khác nhau, nhiều đơn vị khác nhau trong một tổ chức, hay nhiều tổ chức khác nhau Công nghệ Grid tập trung giải quyết các vấn đề về bảo mật, chính sách quản trị, chi phí, thành viên,… nảy sinh trong quá trình chia sẻ và sử dụng tài nguyên

 Sử dụng các giao diện và giao thức chuẩn, mang tính mở, đa dụng Grid được xây dựng trên các giao thức và giao diện tổng quát, đa dụng để giải quyết các vấn đề cơ bản như chứng thực người dùng, phân quyền, tìm kiếm và truy xuất tài nguyên

 Đáp ứng yêu cầu cao về chất lượng dịch vụ Grid cho phép sử dụng phối hợp các tài nguyên để cung cấp nhiều loại dịch vụ với các mức chất lượng khác nhau, liên quan đến ví dụ như thời gian đáp ứng, hiệu suất, tính sẵn sàng, bảo mật, cho phép kết hợp nhiều kiểu tài nguyên để đáp ứng nhu cầu phức tạp của người dùng Mục tiêu là phải phối hợp làm sao để khả năng của hệ thống sau khi kết hợp phải lớn hơn hẳn tổng khả năng của từng đơn vị cấu thành nên Grid

1.3 Các kiểu tài nguyên của Grid

1.3.1 Tài nguyên tính toán

Đây là tài nguyên phổ biến nhất, là các chu kỳ tính toán (computing cycles) được cung cấp bởi bộ vi xử lý của các thiết bị trong Grid Các bộ vi xử lý không cần phải cùng loại mà có thể có tốc độ, kiến trúc, chạy phần mềm khác nhau Có 3 cách để khai thác tài nguyên tính toán của Grid:

1 Cách đơn giản nhất là chạy các ứng dụng hiện có trên một node của Grid thay vì chạy trên máy tính cục bộ

2 Thiết kế ứng dụng, tách các công việc thành các phần riêng rẽ để có thể thực thi song song trên nhiều bộ xử lý khác nhau

3 Chạy ứng dụng thực thi nhiều lần trên nhiều node khác nhau trong Grid

1.3.2 Tài nguyên lưu trữ

Tài nguyên phổ biến thứ nhì trong Grid là tài nguyên lưu trữ Mỗi thiết bị trong Grid thường cung cấp một số dung lượng lưu trữ phục vụ cho việc thực thi ứng dụng trên Grid Tài nguyên lưu trữ có thể là bộ nhớ trong, ổ đĩa cứng hoặc các thiết bị lưu trữ khác

Bộ nhớ trong thường dùng để lưu trữ dữ liệu tạm thời cho ứng dụng, trong khi các thiết bị lưu trữ ngoài có thể được sử dụng để tăng không gian lưu trữ, tăng hiệu suất, khả năng chia sẻ và đảm bảo tính tin cậy của dữ liệu

1.3.3 Phương tiện liên lạc

Khả năng liên lạc giữa các máy tính phát triển nhanh chóng đã giúp cho công nghệ Grid trở nên hiện thực, do đó đây cũng là một tài nguyên quan trọng Ở đây bao gồm việc liên lạc, trao đổi dữ liệu giữa các thành phần trong Grid và giao tiếp giữa Grid với bên ngoài Một số công việc đòi hỏi một lượng dữ liệu lớn nhưng các dữ liệu này thường không nằm trên máy đang thực thi công việc Khả năng về băng thông trong những trường hợp như vậy là một tài nguyên then chốt, ảnh hưởng đến khả năng của Grid

Việc giao tiếp với bên ngoài được thực hiện thông qua mạng Internet Grid có thể

sử dụng các kết nối Internet để liên lạc giữa các node Vì các kết nối này không chia sẻ một đường truyền nên làm tăng băng thông truy cập Internet Các đường truyền dự phòng đôi khi cần thiết để giải quyết tốt hơn các vấn đề về hư hỏng mạng và truyền dữ liệu lớn

1.3.4 Phần mềm, ứng dụng

Grid có thể được cài đặt các phần mềm mà có thể quá mắc để cài trên tất cả mọi máy tính trong Grid Các phần mềm này chỉ cần được cài trên một số node Thông qua Grid, khi một công việc cần đến chúng, nó sẽ gửi dữ liệu đến node đã được cài đặt phần mềm và cho thực thi Đây có thể là một giải pháp tốt để tiết kiệm chi phí về bản quyền phần mềm

1.3.5 Các thiết bị đặc biệt

Là các thiết bị dùng trong khoa học, kỹ thuật như kính viễn vọng, các bộ cảm biến (sensor),… Các thiết bị này chủ yếu thu thập các dữ liệu khoa học, phục vụ cho các bước phân tích, xử lý sau này

Ghi chú: Các tài nguyên trên đây đến từ nhiều nguồn khác nhau, có thể không thuộc quyền quản

lý của một tổ chức, của một đơn vị mà có thể thuộc nhiều tổ chức, ở nhiều nơi khác nhau Một số tài nguyên có thể được sử dụng tự do, trong khi một số khác được sử dụng dưới những chính sách nhất định Các tài nguyên được “ảo hóa” (virtualize) để che dấu sự phức tạp, đa dạng nhằm đưa ra một cái nhìn thống nhất, đơn giản về toàn bộ tài nguyên trên Grid sao cho dưới mắt của người dùng, các tài nguyên Grid là một khối thống nhất

1.4 Phân lọai các hệ thống Grid

Công nghệ Grid Computing có thể được sử dụng theo nhiều cách khác nhau để giải quyết các loại yêu cầu ứng dụng Thông thường Grid được phân loại bởi kiểu của ứng dụng cần giải quyết Có 3 loại Grid như trình bày dưới đây Tuy nhiên không có ranh giới phân biệt rõ ràng giữa các loại Grid và trong thực tế, các giải pháp Grid thường là sự kết hợp 2 hay nhiều loại khác nhau

1.4.1 Grid Tính toán (Computation Grid)

Loại Grid này tập trung chủ yếu vào việc sử dụng năng lực tính toán Ở dạng Grid này, phần lớn các node là các máy tính hay các nhóm máy tính(cluster) có năng lực xử lý, tính toán rất lớn Hình thức thực hiện là chia tác vụ tính toán lớn thành nhiều công việc nhỏ thực thi song song trên các node của Grid Việc phân tán các tác vụ tính toán trong Grid sẽ làm giảm rất đáng kể toàn bộ thời gian xử lý và tăng khả năng tận dụng hệ thống Thông thường một hệ thống chính sẽ chia khối dữ liệu cần xử lý thành các phần nhỏ, sau

đó phân phối đến các node trên Grid Mỗi node sẽ thực hiện xử lý dữ liệuvà trả kết quả về

hệ thống chính để hệ này tổng hợp và trình diễn kết quả toàn cục cho người dùng

1.4.2 Grid Dữ liệu (Data Grid)

Ở đây, không gian lưu trữ là tài nguyên Một Grid Dữ liệu chịu trách nhiệm lưu trữ

và cung cấp khả năng truy cập dữ liệu cho nhiều tổ chức khác nhau Người dùng không cần biết chính xác vị trí dữ liệu khi thao tác với dữ liệu Các cơ sở dữ liệu, đặc biệt các cơ

sở dữ liệu liên hợp, đóng vai trò quan trọng trong các Grid Dữ liệu, nhất là khi có nhiều nguồn dữ liệu và xuất hiện nhu cầu kết hợp các thông tin từ các nguồn dữ liệu này Các Grid Dữ liệu có thể được sử dụng trong lĩnh vực khai thác dữ liệu(data mining) hoặc các

hệ thống thương mại thông minh Trong trường hợp này, không chỉ có hệ thống file hay các cơ sở dữ liệu mà toàn bộ dữ liệu của tổ chức cần tập hợp lại Ở đây có thể phải kết hợp giữa Grid Dữ liệu và Grid Tính toán

1.4.3 Scavenging Grid

Một Scavenging Grid thường được dùng với một lượng lớn các máy tính để bàn Các máy tính thường được kiểm tra định kỳ để xem khi nào bộ xử lý và các tài nguyên khác rảnh rỗi để thực hiện các tác vụ Grid Chủ nhân của máy để bàn thường có quyền xác định khi nào thì chia sẻ chiếc máy của mình

1.5 Kiến trúc Grid

1.5.1 Bản chất Kiến trúc Grid

“Tổ chức ảo”(VO) là đơn vị cơ bản quan trọng trong hệ thống Grid Việc thiết lập,

quản lý, khai thác, chia sẻ tài nguyên giữa các tổ chức ảo đòi hỏi phải có kiến trúc hệ thống mới, kiến trúc Grid Kiến trúc Grid dưới đây được xây dựng dựa trên quan niệm

“để các VO hoạt động hiệu quả đòi hỏi phải thiết lập được các quan hệ chia sẻ với bất kỳ đơn vị tham gia tiềm năng nào” Để làm được điều này, vấn đề “liên kết hoạt động” (interoperability) cần phải được tập trung giải quyết Trong môi trường mạng, “liên kết hoạt động” đồng nghĩa với việc sử dụng các protocol chung Do đó, kiến trúc Grid sẽ là kiến trúc protocol, với các protocol xác định các cơ chế nền tảng để người dùng và nhà cung cấp tài nguyên thương lượng, thiết lập, quản lý và khai thác các mối quan hệ chia sẻ tài nguyên

Kiến trúc Grid phải là kiến trúc dựa chuẩn, hướng mở, để dễ mở rộng, liên kết hoạt động tốt, có tính khả chuyển (portability) cao Các protocol chuẩn sẽ giúp định nghĩa các service chuẩn, nhờ đó có thể xây dựng các service cao cấp hơn một cách dễ dàng Sau khi

có được kiến trúc Grid, việc tiếp theo là xây dựng các hàm API và các bộ SDK để cung cấp các công cụ cần thiết để phát triển các ứng dụng chạy trên nền Grid Sở dĩ vấn đề

“liên kết hoạt động” được xem là vấn đề cơ bản vì các mối quan hệ chia sẻ có thể phải được thiết lập giữa các bên tham gia khác nhau về các chính sách, giữa các môi trường khác nhau về nền tảng, ngôn ngữ, môi trường lập trình,…Nếu không có nó, các thành viên trong VO sẽ thực hiện các chính sách chia sẻ song phương và không chắc rằng các

cơ chế sử dụng cho 2 thành viên này sẽ mở rộng được cho các thành viên khác Điều này khiến cho việc thành lập các VO động là không thể thực hiện hoặc cũng chỉ thành lập được VO theo một kiểu nào đó mà thôi

Cũng giống như Web đã làm bùng nổ việc chia sẻ thông tin bằng cách cung cấp các protocol và cú pháp chuẩn (HTTP và HTML) dùng cho việc trao đổi thông tin, ở đây cũng cần các protocol và cú pháp chuẩn để chia sẻ tài nguyên Để giải quyết vấn đề “liên kết hoạt động”, việc xây dựng các protocol là quan trọng Vì protocol xác định cách các thành phần phân tán trao đổi với nhau để đạt được một mục đích nào đó, xác định các cấu trúc thông tin cần thiết trong quá trình trao đổi Các VO thường hay thay đổi, nên các cơ chế xác định, chia sẻ và sử dụng tài nguyên cần phải mềm dẻo, gọn nhẹ, để các thỏa thuận chia sẻ tài nguyên có thể được thiết lập, thay đổi một cách nhanh chóng Các cơ chế chia

sẻ không được ảnh hưởng đến các chính sách cục bộ, và phải cho phép các thành viên quản lý được các tài nguyên của họ Vì các protocol quy định việc giao tiếp giữa các thành viên chứ không quy định thành viên đó phải như thế nào, nên khi dùng các protocol, các chính sách cục bộ được giữ lại Do đó các protocol được cần đến Khi đã có các protocol, thì việc xây dựng các service là cần thiết và quan trọng, các service là bản cài đặt cụ thể của các protocol Việc xây dựng các service cơ bản phục vụ truy cập đến tài nguyên tính toán, dữ liệu, tìm kiếm tài nguyên, lập lịch và đồng bộ hoá, sao chép dữ liệu,… cho phép xây dựng các service cao cấp hơn cho ứng dụng đồng thời trừu tượng hoá các chi tiết về tài nguyên Cũng cần phải xây dựng các bộ API và SDK, vì các nhà phát triển ứng dụng cần phải có công cụ để hỗ trợ phát triển các ứng dụng phức tạp trong môi trường Grid, người dùng cũng phải có khả năng thực thi được các ứng dụng này Sức mạnh, tính đúng đắn của ứng dụng, chi phí phát triển và bảo trì là những mối quan tâm

quan trọng Các API và SDK có thể giúp tăng tốc việc phát triển mã, cho phép chia sẻ mã, tăng tính khả chuyển cho ứng dụng Tất nhiên, API và SDK chỉ hỗ trợ thêm chứ không thể thay thế các protocol được

1.5.2 Chi tiết Kiến trúc Grid tổng quát

Sau gần 10 năm tập trung nghiên cứu, phát triển, tích luỹ kinh nghiệm, các nhà phát triển công nghệ Grid đã có những thống nhất đáng kể về kiến trúc Grid Một trong những kiến trúc Grid được chấp nhận nhiều nhất được đưa ra bởi Ian Foster,phần dưới đây sẽ giới thiệu về kiến trúc này Kiến trúc Grid, theo Ian Foster, là một kiến trúc phân tầng như trong hình 1.1 Các thành phần trong một tầng có chung đặc điểm, tính chất, có thể được xây dựng từ bất cứ tầng dưới nào Các thành phần được phân tầng dựa theo vai trò của chúng trong hệ thống Grid Đây là một kiến trúc mở.Kiến trúc này chỉ quy định các yêu cầu chung nhất về thiết kế và triển khai với mục đích chính là để tham khảo Việc xây dựng, cài đặt cụ thể tuỳ thuộc vào từng dự án, từng lĩnh vực ứng dụng Dưới đây là chi tiết của kiến trúc:

Hình 1.1.Grid protocol Architecture

1.5.2.1 Tầng Fabric

Đây là tầng thấp nhất của kiến trúc, đại diện cho các thiết bị vật lý và toàn bộ tài nguyên của Grid mà các tổ chức, người dùng muốn chia sẻ, sử dụng Các tài nguyên có thể tồn tại dưới dạng vật lý như các máy tính, hệ thống lưu trữ, các danh mục, tài nguyên

Application (Ứng dụng)

Collective (Tầng kết hợp)

Resource (Tầng tài nguyên)

Connectivity (Tầng kết nối) Fabric (Tầng thiết bị)

mạng, các loại sensor, cũng có thể là các thực thể logic - một thực thể trừu tượng - đại diện cho một tập các tài nguyên vật lý, như hệ thống file phân tán, các cluster,… Trong trường hợp các thực thể logic, việc triển khai có thể liên quan đến các protocol cục bộ (ví

dụ các protocol phục vụ dạng truy cập NFS, hoặc protocol quản lý tài nguyên, tiến trình trong cluster,…) nhưng các protocol này không liên

quan đến kiến trúc Grid Các thành phần của tầng Fabric thực hiện các hoạt động cục bộ trên các tài nguyên cụ thể (vật lý lẫn logic) như là bước tiếp sau của các hoạt động chia sẻ tài nguyên của các tầng trên Do đó, có một mối liên hệ phụ thuộc chặt chẽ giữa các chức năng của tầng Fabric với các hoạt động chia sẻ được hỗ trợ Các chức năng của tầng Fabric càng mạnh, càng nhiều sẽ cho phép các hoạt động chia sẻ phức tạp, phong phú hơn Kinh nghiệm cho thấy, việc quản lý tài nguyên ở tầng này ít nhất cũng phải có cơ chế cung cấp thông tin để xác được cấu trúc, trạng thái, năng lực của tài nguyên và cơ chế điều khiển chất lượng dịch vụ

1.5.2.2 Tầng Connectivity

Tầng Connectivity định nghĩa các protocol liên lạc và chứng thực cơ bản cần thiết cho các giao dịch mạng đặc trưng của Grid Các protocol liên lạc cho phép trao đổi dữ liệu giữa các tài nguyên tầng Fabric Các protocol chứng thực xây dựng trên các dịch vụ liên lạc nhằm cung cấp các cơ chế mã hóa, bảo mật, xác minh và nhận dạng các người dùng và tài nguyên Việc liên lạc đòi hỏi các công việc như vận chuyển, định tuyến, đặt tên Trong tương lai, việc liên lạc của Grid có thể cần các protocol mới, nhưng hiện nay nên xây dựng trên các protocol có sẵn của bộ TCP/IP protocol stack, cụ thể là các tầng Network (IP và ICMP), Transport (TCP,UDP) và

Application (DNS,OSPF,…)

Về khía cạnh bảo mật của tầng Connectivity, các giải pháp phải dựa trên các chuẩn bảo mật hiện hành khi có thể Cũng giống như liên lạc, rất nhiều chuẩn bảo mật đã được phát triển với bộ Internet protocol có thể áp dụng được.Việc chứng thực, phân quyền trong môi trường Grid là rất phức tạp Các công nghệ bảo mật truyền thống chủ yếu tập trung bảo vệ các giao dịch giữa các máy client và server Trong Grid, việc phân biệt client/server không tồn tại, vì các mỗi tài nguyên trong một lúc nào đó có thể là server (khi nó nhận yêu cầu), một lúc khác lại là client (khi nó đề xuất yêu cầu đến các tài

nguyên khác) Do đó, các giải pháp chứng thực cho các môi trường VO nên đạt được các yêu cầu về bảo mật trong Grid như đã giới thiệu

1.5.2.3 Tầng Resource

Tầng Resource dựa trên các protocol liên lạc và chứng thực của tầng Connectivity

để xây dựng các protocol, API và SDK nhằm hỗ trợ việc thương lượng, khởi tạo, theo dõi, điều khiển, tính toán chi phí và chi trả cho các hoạt động chia sẻ trên từng tài nguyên riêng lẻ một cách an toàn Bản cài đặt các protocol của tầng Resource sẽ gọi các chức năng của tầng Fabric để truy cập và điều khiển các tài nguyên cục bộ

Các protocol tầng Resource tập trung toàn bộ vào các tài nguyên riêng lẻ, không quan tâm đến trạng thái toàn cục và các hoạt động trong các tập tài nguyên phân tán

Các protocol tầng Resource được phân thành 2 dạng chính như sau:

- Các protocol thông tin

Sử dụng để thu thập thông tin về cấu trúc và trạng thái các tài nguyên ví dụ như cấu hình hiện tại, tải hiện tại, chính sách sử dụng,…

1.5.2.4 Tầng Collective

Trong khi tầng Resource tập trung vào các tài nguyên đơn lẻ, tầng Collective chứa các protocol, service, API, SDK không liên hệ đến bất kỳ một tài nguyên cụ thể nào mà thực hiện quản lý toàn cục, tập trung vào các giao tác giữa các tập tài nguyên Tầng Collective có thể bổ sung thêm nhiều loại hoạt động chia sẻ mới ngoài những gì đã có từ tầng Resource mà không cần bổ sung thêm các yêu cầu mới cho các tài nguyên đang được chia sẻ Các chức năng của tầng Collective có thể được cài đặt như các service (với các protocol tương ứng), hay như các bộ SDK(với các API tương ứng) được thiết kế để liên kết với ứng dụng Trong cả hai trường hợp, các cài đặt này có thể được xây dựng trên các protocol và API của tầng Resource và Connectivity

1.5.2.5 Tầng Application

Tầng trên cùng của kiến trúc Grid bao gồm các ứng dụng của người dùng chạy trong một trường VO Các ứng dụng được xây dựng theo cách sẽ gọi các dịch vụ định nghĩa bởi các tầng phía dưới Ví dụ : một chương trình phân tích bộ gen người cần phải chạy hàng ngàn tác vụ độc lập, mỗi tác vụ cần nhiều file chứa thông tin từng phần của bộ gen có thể sử dụng các chức năng Grid sau:

- Lấy các thông tin, thẻ chứng thực (các protocol tầng Connectivity)

- Truy vấn hệ thống thông tin Grid và các danh mục để tìm các tài nguyên thích hợp và vị trí các file dữ liệu đầu vào (các dịch vụ tầng Collective)

- Gửi các yêu cầu đến các tài nguyên để thực hiện tính toán, di chuyển dữ liệu,…

và kiểm soát quá trình thực thi công việc, thông báo cho người dùng khi mọi thứ hoàn tất, dò tìm và phản ứng với các điều kiện gây lỗi (tầng Resource)

1.6 Grid computing đem lại những lợi ích gì ?

1.6.1 Khai thác tối đa tài nguyên xử lý

Lợi ích đầu tiên cần nói đến đó là khả năng chạy một chương trình trên nhiều máy tính khác nhau Hay nói một cách khác ,đó là xử lý song song Trong một mạng lưới gồm nhiều máy tính ,rất ít khi các máy tính đều được sử dụng một cách tối đa những tài nguyên của mình ,thường thì với công việc văn phòng ,tính toán đơn giản ,máy tính chỉ sử dụng tối đa là 20% tài nguyên của máy, như vậy chúng ta nhìn thấy luôn sự lãng phí của những tài nguyên còn lại Triên khai hệ thống grid computing sẽ giúp tận dụng những tài

nguyên còn chưa được sử dụng kia để xử lý một bài toán chung, trong trường hợp này, tốc độ xử lý được tối ưu, sự lãng phí tài nguyên được giảm tới mức tối đa

Không chỉ thế ,grid computing cho phép ảo hóa những đĩa cứng còn trống thành một đĩa cứng mới , từ đây chúng ta có thể tận dụng tài nguyên lưu trữ dữ liệu

1.6.2 Khả năng xử lý song song

Khi kết hợp nhiều bộ vi xử lý để giải quyết một bài toán, chúng ta có thể hình tượng như sau, bài toán lớn được chia làm n phần cho n CPU xử lý, mỗi một CPU sẽ xử lý 1 phần trong đó Như vậy công việc chúng ta đạt được sẽ nhanh gấp n lần

Nhưng không phải ứng dụng nào cũng hợp lý nếu được triển khai một cách song song Công việc này đòi hoi người thiết ké ứng dụng phải tư duy và sáng tạo

Tuy nhiên xử lý song song sẽ là một phương án cần nghĩ đến đầu tiên trong nghiên cứu khoa học ,giải quyết những bài toán lớn, có tính độc lập của các thành phần cao

1.6.3 Chia sẽ tài nguyên ảo và tổ chức ảo

Grid computing cho phép tạo ra một môi trường cộng tác rộng lớn ,đồng nhất Mỗi môi trường đó là một tổ chức ảo Grid computing thậm chí còn cho phép kết hợp các tổ chức ảo, không đồng nhất với nhau để cộng tác với nhau Các tổ chức ảo này chia sẽ tài nguyên với nhau như là một mạng lưới lớn

Chia sẽ tài nguyên dữ liệu bằng cách trải rộng cơ sở dữ liệu trên nhiều hệ thống tạo nên dung lượng lớn hơn nhiều so với hệ thống đơn Cách trải rộng dữ liệu này làm tăng tốc độ truyền dữ liệu với công nghệ stripping Dữ liệu thường xuyên được sao lưu phục

vụ cho việc khôi phục dữ liệu

Ngoài ra ,còn có thể chia sẽ nhiều tài nguyên khác như thiết bị chuyên dụng, phần mềm

1.6.4 Sự truy cập đến các tài nguyên khác

Ngoài CPI và tài nguyên lưu trữ, Grid còn có thể truy cập đến các tài nguyên khác Các tài nguyên này có thể được cung cấp dưới dạng số lượng hoặc khả năng lưu trữ, băng thông Ví dụ, nếu một người muốn tăng băng thông truy nhập Internet để thực hiện việc khai thác dữ liệu tìm kiếm, công việc này có thể phân chia giữa các máy trong mạng Grid

có đường truyền Internet không phụ thuộc vào nhau Trong trường hợp này, khả năng tìm

kiếm được nhân lên khi mỗi máy có đường truyền riêng biệt Nếu các máy chia sẻ đường kết nối internet thì nó sẽ không tăng băng thông

Trong một mạng lưới, một số máy tính được cài đặt nhưng phần mềm đắt tiền, một

số khác thì không Người sử dụng không cần cài đặt phần mềm đó vẫn có thể sử dụng phần mềm này bằng cách gửi công việc đến máy đã được cài phần mềm để yêu cầu xử lý

Đó là khả năng tận dụng phần mềm của Grid

Một vài máy in có thể sử dụng những thiết bị đặc biệt, chẳng hạn như máy in Hầu hết các máy in được sử dụng từ xa Grid có thể chia sẻ được những thiết bị đặc biệt này Thậm chí Grid còn có thể chia sẽ những thiết bị, tài nguyên phức tạp như máy chuẩn đoán bệnh hay robot hỗ trợ phẫu thuật

1.6.5 Cân bằng tài nguyên

Grid liên kết các tài nguyên từ nhiều máy khác nhau tạo thành một hệ thống duy nhất Grid có thể thực hiện cân bằng tài nguyên trong các chương trình bằng cách lập lịch làm việc cho các công việc Chức năng này có ý nghĩ to lớn trong việc xử lý các trường hợp quá tải về xử lý, tính toán trong một tổ chức Cân bằng có thể được thực hiện bởi 2 cách sau : những điểm quá tải được đưa đến những máy rỗi trên mạng lưới, nếu toàn mạng Grid bận, những công việc có độ ưu tiên thấp được tạm ngưng để dành cho những công việc có độ ưu tiên cao hơn

Đôi khi có những công việc đột ngột được tăng độ ưu tiên do cần hoàn thành gấp Grid không thể xử lý được những công việc cần hoàn thành quá gấp Tuy nhiên Grid có thể xử lý được những công việc nhỏ và huy động một lực lượng lớn tài nguyên để xử lý

nó một cách nhanh nhất

Một lợi ích khác của Grid là cân bằng tải Khi một công việc liên lạc với một công việc khác, với Internet, hoặc các tài nguyên khác, Grid có thể lập lịch cho chúng để có thể giảm thiểu tối đa lưu lượng đường truyền cũng như khoảng cách truyền Điều này giúp Grid có thể giảm thiểu tắc nghẽn mạng

Cuối cùng Grid còn có khả năng thương mại tài nguyên Các trạng thái của tất cả các tài nguyên trong mạng được Grid quản lý Các tổ chức trên Grid có thể tạo tài khoản

và trả tiền để sử dụng các tài nguyên này khi cần thiết Điều này tạo nên tài chính mạng lưới

1.6.6 Độ tin cậy

Trong tương lai, một mạng lưới có thể có khả năng thay thế một hệ thống đáng tin cậy Grid mới chỉ bắt đầu công nghệ này Mô hình máy chủ đáng tin cậy sử dụng Grid có thể được mô tả như sau Một mạng lưới gồm nhiều máy tính được phân bố khắp nơi Do

đó, khi có một sự cố tại một nốt mạng nào đó trên mạng lưới, các điểm khác sẽ không bị ảnh hưởng Khi một máy tính bị hỏng hóc, phần mềm quản lý trong Grid tự động chuyển công việc xử lý từ máy này đến một máy nào đó trong mạng Trong trường hợp quan trọng, nhiều bản sao của công việc được tạo ra và được chuyển đến nhiều máy khác nhau trên mạng lưới

Chương 2: Globus Toolkit 4

Globus Toolkit là một bộ toolkit mã nguồn mở được sử dụng để xây dựng các hệ thống và các ứng dụng Grid Globus Toolkit hiện đang được phát triển bởi tổ chức Globus Alliance và nhiều tổ chức khắp nơi trên thế giới Globus Alliance là một cộng đồng và các cá nhân và tổ chức tham gia phát triển các công nghệ nền tảng cho Grid

Globus Toolkit cho phép hiện thực hóa các ý tưởng, mục tiêu đằng sau khái niệm Grid Bộ toolkit bao gồm các dịch vụ và thư viện phục vụ việc bảo mật, hạ tầng thông tin Grid, quản lý tài nguyên, quản lý dữ liệu, liên lạc, phát hiện lỗi,… Nó được đóng gói như một tập các thành phần có thể sử dụng độc lập hoặc kết hợp với nhau Mỗi tổ chức đều có những hoạt động, chính sách khác nhau, việc kết hợp, chia sẻ tài nguyên từ nhiều tổ chức

bị cản trở bởi tính không tương thích giữa các tài nguyên Globus Toolkit được xây dựng

để loại bỏ những trở ngại này Các service, interface, và protocol của nó cho phép người dùng truy cập đến các tài nguyên ở xa như thể nó đang nằm trong máy tính của họ trong khi vẫn cho phép các tổ chức thiết lập chính sách cục bộ của mình như quản lý việc ai được dùng tài nguyên và khi nào…

Mặc dù Globus được phát triển để phục vụ các dự án về khoa học và kỹ thuật, nhưng hiện nay Globus cũng đã được áp dụng vào các lĩnh vực thương mại Từ năm 2000, các công

ty hàng đầu thế giới trong lĩnh vực công nghệ thông tin như Avaki, DataSynapse, Entropia, Fujitsu, Hewlett-packard, IBM, NEC, Oracle, Platform, Sun, Microsoft ,đã bắt đầu xây dựng các chiến lược về Grid Computing trên nền tảng Globus.

2.1 Khái niệm về Globus

The Globus Toolkit (GT) đã được phát triển từ cuối những năm 1990 đến nay

nhằm hỗ trợ phát triển các dịch vụ theo định hướng ứng dụng tính toán phân tán và cơ sở

hạ tầng Các thành phần cơ bản bao gồm an ninh, truy cập tài nguyên, quản lý tài nguyên,

di chuyển dữ liệu, tìm kiếm tài nguyên, và v… Những công cụ này đã lần lượt được sử dụng để mở rộng hạ tầng cơ sở của Grid và các ứng dụng phân tán

 Globus được hiểu theo những quan điểm như sau :

- Một cộng đồng những người dùng và phát triển ,những cộng tác viên bằng cách

sử dụng hoặc phát triển những phần mềm mã nguồn mở ,liên kết các tài liệu cho việc tính toán phân tán và liên kết tài nguyên

- Là phần mềm GLOBUS TOOLKIT : một tập các thư viện và chương trình cần thiết để xây dựng một hệ thống phân tán và các ứng dụng được triển khai trên

nó

- Một nền tảng hỗ trợ cho cộng đồng : mã nguồn ,email … Tất cả đều có thể được giải quyết khi truy cập vào globus.org

 Globus toolkit cung cấp rất nhiều thành phần ,bao gồm :

- Một tập hợp các dịch vụ được thêm vào tập trung vào việc quản lý cơ sở hạ tầng

- Các công cụ để xây dựng những dịch vụ Web bằng Java, C, Python

- Hạ tầng bảo mật cao

- Là máy khách API hoặc dòng lệnh cho việc truy cập dịch vụ và tài nguyên

- Tài liệu đặc tả về các thành phần và cách dùng nó thế nào để xây dựng một ứng dụng

2.2 Nguyên nhân thúc đẩy sự phát triển của Globus

Phần mềm Globus được thiết kế để cho phép các ứng dụng sử dụng nguồn lực giữa các tài nguyên phân tán cho dù đó là máy vi tính, thiết bị lưu trữ, dữ liệu, dịch vụ, mạng lưới, hoặc cảm biến Ban đầu, việc phát triển Globus được thúc đẩy bởi nhu cầu của các

"tổ chức ảo" trong khoa học Trong thời gian gần đây, việc sử dụng Globus trong các ứng dụng thương mại đã trở nên ngày càng quan trọng Thương mại và khoa học có cùng một mối quan tâm là luôn luôn đỏi hỏi xử lý dữ liệu thường xuyên, nhưng không phải là liên tục Việc phát triển Globus bắt nguồn từ nhu cầu muốn truy cập và xử lý dữ liệu hay nhân rộng dữ liệu đó ra các máy tính khác nhau thuộc các tổ chức khác nhau và đặt tại các vị trí địa lý cách xa nhau Ví dụ:

 Một nhà khoa học (hoặc một nhà phân tích về kinh tế) cần truy cập dữ liệu nằm trong cơ sở dữ liệu khác nhau trong một một tổ chức hợp tác khoa học (hoặc doanh nghiệp)

 Một doanh nghiệp cần phải phân bổ tính toán, lưu trữ, và tài nguyên mạng động để

hỗ trợ thời gian khác nhau thương mại điện tử (hoặc vật lý phân tích dữ liệu

 Một kỹ sư có nhu cầu thiết kế và vận hành thử nghiệm trên các thiết bị điều khiển

từ xa, liên kết và so sánh các số liệu và mô phỏng vật lý

 Một nhà thiên văn học cần nhân rộng một terabyte dữ liệu một ngày đến các đối tác trên khắp thế giới

 Mô hình mã hoá khóa công khai (public key infrastructure(PKI))

 X.509 certificate

 Protocol Secure Sockets Layer (SSL)

Tất cả các kết nối liên lạc trong Grid đều được mã hoá theo công nghệ

RSA 1024 bit và truyền tải với protocol SSL

 Generic Security Service API (GSS-API)

Toàn bộ phần cài đặt của GSI đều tuân theo GSS-API (là một bộ API

chuẩn dành cho các hệ thống bảo mật được tổ chức Internet Engineering

Task Force (IETF) đưa ra)

GSI đã mở rộng các chuẩn này để cung cấp thêm chức năng đăng nhập một lần

(single sign-on), ủy quyền (delegation), identity mapping (ánh xạ thực thể)

Hình 2.1 Tóm tắt cấu trúc và chức năng các thành phần của GSI

2.3.2.1 Cơ bản về bảo mật Grid và GSI

 Symmetric Encryption

Mã hoá kiểu Symmetric dựa trên việc sử dụng một khoá bí mật để thực hiện mã hoá và giải mã dữ liệu Để đảm bảo dữ liệu chỉ được đọc bởi bên gửi và bên nhận, khoá được trao đổi một cách bí mật giữa 2 bên Nếu ai đó lấy được khóa bí mật đã sử dụng để mã hoá, họ có thể giải mã được thông tin Phương pháp mã hoá này kém an toàn nhưng tốc

độ mã hóa/giải mã lại nhanh hơn dạng mã hoá Asymmetric trình bày dưới dây

 Asymmetric Encryption

Phương pháp này được gọi là phương pháp mã hoá khoá công khai, cũng được sử dụng rất thường xuyên Phương pháp này sử dụng một cặp khoá để mã hóa (được gọi là khóa công khai (public key) và khóa bí mật (private key)) Khóa để mã hoá khác với khoá được sử dụng để giải mã Phương pháp mã hoá khóa công khai yêu cầu các bên phải bảo

vệ kỹ các khóa bí mật của mình, trong khi khóa công khai của họ không cần được bảo vệ,

có thể được công bố rộng rãi trong cộng đồng.Thông thường, khóa công khai được để

Proxy và ủy quyền (Phần mở rộng bởi GSI, phục vụ single sign-on)

PKI (CA và Certificate)

SSL/TSL (Chứng thực và bảo vệ thông

điệp)

trong các chứng chỉ điện tử (digital certificate) được cấp bởi Certificate Authority, nơi chịu trách nhiệm quản lý các khóa công khai và người chủ của khóa công khai tương ứng

Hệ thống khoá công khai thực hiện bảo mật hai lần trên thông điệp trao đổi giữa các bên Trước hết, bên gửi sẽ mã hóa thông điệp bằng khóa bí mật của mình, sau đó mã hoá tiếp lần nữa bằng khóa công khai của bên nhận Khi nhận được thông điệp, bên nhận sẽ thực hiện giải mã bằng khóa bí mật của mình trước, sau đó tiếp tục giải mã bằng khóa công khai của bên gửi Bằng cách này, không ai khác có thể đọc được thông điệp trừ khi có được khóa bí mật của một bên, nhưng điều này rất khó thực hiện được vì hai bên gửi và nhận không trao đổi khóa cho nhau, và khóa bí mật được giữ ở mỗi bên.Các thuật toán phát sinh khóa bí mật và khóa công khai được thiết kế sao cho một thông điệp được mã hoá bởi một khoá thì chỉ có thể được giải mã bởi khoá còn lại tương ứng, và không thể giải mã bởi khoá dùng để mã hoá Các cặp khoá được phát sinh bằng cách tìm 2 số nguyên tố cực lớn khác nhau Ngay cả khi khóa công khai được để công khai rộng rãi, cũng rất khó để các máy tính hiện nay có thể tìm ra khóa bí mật từ khóa công khai Các thuật toán này tăng độ tin cậy về bảo mật nhưng lại tốn rất nhiều thời gian để mã hóa, đặc biệt là khi phải mã hóa một lượng lớn dữ liệu Do đó, trong thực tế, người chỉ dùng phương pháp public key encryption để trao đổi khóa của phương pháp symmetric encryption giữa hai bên, và sau đó, việc mã hoá/giải mã được sử dụng bằng khoá symmetric này

 Digital certificates (Chứng chỉ điện tử)

Chứng chỉ điện tử là một tài liệu điện tử chứa thông tin định danh tài nguyên, người dùng Grid và khóa công khai tương ứng Một chứng chỉ điện tử là một cấu trúc dữ liệu chứa khóa công khai và các thông tin chi tiết về chủ của khóa công khai đó Một chứng chỉ được xem như là một thẻ nhận dạng điện tử không thể làm giả sau khi đã được đóng dấu bởi CA trong môi trường Grid Khi một thực thể trong Grid muốn bắt đầu một phiên làm việc với đối tác nào đó, nó sẽ đính kèm chứng chỉ điện tử của mình vào thông

điệp thay vì khóa công khai Bên nhận kiểm tra chữ ký của CA trong chứng chỉ vừa nhận được Nếu chữ ký đó là của một CA mà bên nhận tin tưởng, thì nó có thể chấp nhận và tin tưởng rằng khóa công khai trong chứng chỉ thực sự đến từ nơi gửi (thao tác này đề phòng trường hợp giả danh người chủ của khóa công khai) Sau đó, bên nhận sẽ sử dụng khóa công khai của bên gửi để giải mã SSL session ID, SSL ID này dùng để mã hoá tất cả các

dữ liệu truyền thông giữa 2 bên Các chứng chỉ điện tử của GSI dựa định dạng chứng chỉ X.509, một định dạng chuẩn về chứng chỉ điện tử do tổ chức Internet Engineering Task Force (IETF) đưa ra Những chứng chỉ này có thể dùng được với các phần mềm dựa trên PKI khác bao gồm các trình duyệt web của Microsoft, Netscape Có 2 loại chứng chỉ khác nhau được dùng trong môi trường Grid

 User certificate

Một người dùng sẽ cần một user certificate để đại diện cho mình, chứng chỉ này xác định tên người dùng thực sự của Grid chứ không phải tên một server hay tên máy trạm Ví dụ, có một ai đó tên Bobby, thì trong chứng chỉ điện tử của anh ta có thể có một distinguished name như sau:

“/O=Grid/O=GridTest/OU=test.domain.com/CN=Bobby"

 Server certificate

Nếu một người dùng muốn chạy các ứng dụng yêu cầu chứng thực trên server, sẽ cần phải có một server certificate Server certificate sẽ ghi fully-qualified domain name của server vào user certificate của người đó

Để user certificate có hiệu lực, full-qualified DNS name của người đó phải giống như trong user certificate Ví dụ : nếu tên server là “Darksky”,tên trong server certificate có thể là :

/CN=Service/Darksky.<domain>.<com>

 Certificate Authority (CA)

Việc bảo mật trong Grid được xác lập thông qua việc sử dụng các chứng chỉ ở mức host và người dùng, các chứng chỉ này sau đó được ánh xạ vào các người dùng cục bộ trên host Để có được các chứng chỉ này, các bản yêu cầu xin cấp chứng chỉ được tạo ra, gửi đến một CA tin cậy, CA này sẽ thực hiện ký xác nhận vào chứng chỉ và gửi lại người

Các trách nhiệm chính của một CA bao gồm :

- Xác định được các thực thể đang yêu cầu cấp chứng chỉ

- Cấp phát, loại bỏ và lưu trữ các chứng chỉ

- Bảo vệ các CA server

- Quản lý không gian tên cho các chủ sở hữu chứng chỉ

- Theo dõi các hoạt động

Globus Toolkit có cung cấp một module simple CA để phục vụ cho việc thử nghiệm các ứng dụng trong một trường Grid Trong trừơng hợp này, simple CA kiêm luôn chức năng của CA và RA Một vấn đề then chốt trong môi trường PKI là đảm bảo tính tin cậy, có thể tin tưởng của hệ thống Trước khi một CA có thể ký, đóng dấu và cấp chứng chỉ cho

các thực thể khác, nó cũng phải làm một việc tương tự cho chính nó, để bản thân CA có thể được đại diện bằng chứng chỉ của mình Điều đó có nghĩa CA cần phải làm các công việc sau:

1 CA phát sinh ngẫu nhiên cặp khóa cho nó

2 CA lưu trữ bảo mật khóa bí mật của nó

xạ các DN vào các người dùng cục bộ trên tài nguyên Sau khi được ánh xạ, một DN có thể sử dụng tài nguyên trên host như là một người dùng cục bộ, tức DN có toàn quyền của người dùng cục bộ Điều này cho phép phân cho các người dùng Grid khác nhau các quyền khác nhau trên tài nguyên thông qua các người dùng cục bộ được ánh xạ Để từ chối truy cập đối với một DN, chỉ cần loại bỏ DN đó ra khỏi Grid map file

Trong Globus Toolkit, trên hệ thống Linux, Grid map file được lưu trong file :

/etc/grid-security/grid-mapfile Grid-mapfile là một file text, mỗi dòng là một ánh xạ

giữa DN và user cục bộ, có dạng như sau:

“DN” <user cục bộ>

Ví dụ : "/O=Grid/OU=GlobusTest/OU=simpleCA-b.ar.com/OU=ar.com/CN=Nguyen Thinh" thinh

 Các file quan trọng

/etc/grid-sercurity Hostcert.pem Là server certificate được

sử dụng trong mutual authentication

Hostkey.pem Khóa bí mật tương ứng

server certificate Grid-mapfile File ánh xạ giữa tên người

dùng Grid (subject hay DN) với người

dùng cục bộ

/etc/grid-sercurity/certificate CA certificate

Sa-signing-policy.conf

$HOME$/.globus Usercert.pem Certificate của người dùng

(subject name,khóa công khai, chữ ký của

CA)

Userkry.pem Khóa bí mật của user

certificate (được mã hóa bằng passphare)

 Các công cụ liên quan

Grid-cert-request Sử dụng để tạo một cặp khóa công

khai/bímật và một bản yêu cầu cấp chứng chỉ trong thư mục ~/.globus/

Grid-cert-info -all -startdate

-subject - enddate -issuer -help

Lấy thông tin về chứng chỉ Ví dụ :

$ Grid-cert-info –subject

“/O=Grid/O=GridTest/OU=test.domain.com/CN=GreenStar

Grid-proxy-init -hours

-bits -help

Thực hiện khởi tạo proxy và đăng nhập vào Grid

Grid-proxydestroy Logout khỏi Grid, thực hiện hủy proxy cục

bộ Lưu ý, các proxy ở xa không bị huỷ Grid-proxy-info -subject -issuer

-type -timeleft -strength -help

Lấy thông tin về proxy

2.3.3 Các thành phần quản lý dữ liệu

2.3.3.1 GridFTP

Giao thức GridFTP đưa ra một cơ chế sử dụng cho mục đích truyền sữ liệu an toàn, tin cậy, đạt hiệu suất cao Grid được sử dụng rộng rãi trong các nhu cầu truyền tải

liệu với khối lượng lớn dữ liệu GridFTP được xây dựng trên nền tảng của giao thức FTP

và đưa ra 2 kênh giao tiếp: một kênh điều khiển và 1 cây dữ liệu Các lệnh và những dòng phản hồi được di chuyển trên kênh điều khiển, dữ liệu được chuyển qua kênh dữ liệu GridFTP trong Globus được trình bày như một thành phần có cấu trúc hỗ trợ nhiều lựa chọn bảo mật, nhiều giao thức di chuyển, điều phối việc di chuyển dữ liệu sử dụng nhiều máy tính khác nhau tại nguồn và đích và các đặc tả chức năng GridFTP (trong Globus) được thiết kế hỗ trợ tạo đường truyền tin cậy thông qua Grid Sercurity Infrastructure (GSI), Kerberos, hoặc cơ chế bảo mật SSH GSI là phương thức bảo mật thường thấy trong GridFTP

Hình 2.2 Sơ đồ tóm tắt hoạt động gridFTP

2.3.3.2 Information services

Grid Information Service (GIS) chịu trách nhiệm cung cấp các thông tin động và

tĩnh về tính sẵn sàng và khả năng hiện hành của các tài nguyên cũng như các thông

tin khác về toàn bộ hệ thống Grid Các thông tin này sẽ được dùng để xác định vị trí các tài nguyên theo những tiêu chí cụ thể, để xác định các trình quản lý liên kết với

tài nguyên, để xác định các tính chất của tài nguyên, xác định chiến lược sử dụng

hiệu quả tài nguyên, và phục vụ nhiều mục đích khác trong quá trình chuyển các

đặc tả về tài nguyên cấp cao của ứng dụng thành các yêu cầu cụ thể đến từng trình

quản lý tài nguyên

2.3.3.3 Index Service

Hệ thống quản lý thông tin tài nguyên Grid trong GT4 đã có nhiều đổi khác so với GT2 Index Service cũng có các chức năng tương tự như MDS, nhưng nó cung cấp thông tin về các Grid Service dưới các định dạng XML Không giống như GT2, thành phần GRIS bị loại bỏ vì mỗi Grid Service đều có một tập các thông tin liên quan của riêng nó Các thông tin này đã được lưu trữ theo một cách thức đã được chuẩn hoá, đã có các cách thức dễ dàng để truy vấn và hiểu các các dữ liệu của service thông qua các interface chuẩn của một Grid service Các service được yêu cầu phải thông báo các thông tin cơ bản của mình, cho phép người dùng lấy thông tin từ bất cứ Grid service nào

 Index Service đóng vai trò của một GIIS trong mô hình quản lý thông tin Grid, là một trong những GT4 Base Services Nó thực hiện thu thập, tổng hợp và truy vấn các Service Data, theo dõi quá trình điền dữ liệu; tạo Service Data theo yêu cầu

Nó có thể được sử dụng cho để xây dựng các Service Data chỉ mục mang các thông tin trạng thái từ nhiều service instance phục vụ việc khám phá, lựa chọn và tối ưu hoá việc sử dụng tài nguyên

2.3.4 Các thành phần quản lý tài nguyên

2.3.4.1 Kiến trúc quản lý tài nguyên của Globus Toolkit

Như đã biết, vấn đề quản lý tài nguyên là một thách thức lớn cho công nghệ Grid Computing Nhóm phát triển Globus Toolkit đã đưa ra một giải pháp khá hoàn chỉnh để giải quyết vấn đề quản lý và chia sẻ tài nguyên trong Grid

Hình 2.3 Kiến trúc quản lý tài nguyên của Globus Toolkit

Trong kiến trúc này, ngôn ngữ Resource Specification Language (RSL),được sử

dụng để trao đổi các yêu cầu về tài nguyên giữa các thành phần: từ ứngdụng (application) đến resource broker, resource co-allocator và resource manager.Tại mỗi bước của quá trình này, các thông tin về yêu cầu tài nguyên được đặc tảtrong chuỗi RSL của ứng dụng hay được xây dựng lại bởi một hay nhiều resourcebroker và co-allocator Thông tin về khả năng, tính sẵn sàng, tính chất của các tàinguyên có thể lấy từ một Information service

Resource broker chịu trách nhiệm chuyển đổi từ một đặc tả RSL cấp caothành

các đặc tả RSL chi tiết hơn qua quá trình chi tiết hoá Nhiều broker có thể phối hợp với nhau để cùng giải quyết một yêu cầu về tài nguyên, một số broker chuyển các yêu cầu của ứng dụng thành các yêu cầu chi tiết hơn về tài nguyên, rồi một số broker khác định vị các tài nguyên thoả yêu cầu Bản đặc tả chi tiết về vị trí các tài nguyên, có thể được chuyển cho một resource co-allocator, đây là module chịu trách nhiệm phối hợp và quản lý tài nguyên trên nhiều site

Resource co-allocator thực hiện chia nhỏ các yêu cầu tài nguyên trên nhiều site

thành từng thành phần nhỏ và chuyển chúng đến resource manager thích hợp Mỗi

Resource manager trong hệ thống chịu trách nhiệm lấy yêu cầu trong RSL và chuyển nó

thành các thao tác thực hiện trên hệ thống quản lý tài nguyên cục bộ của site

Information service chịu trách nhiệm cung cấp khả năng truy cập hiệu quả và rộng khắp

đến các thông tin về khả năng và tính sẵn sàng hiện tại của các tài nguyên Thông tin này dùng để định vị các tài nguyên với các đặc tính cụ thể, để xác định Resource Manager liên kết với tài nguyên, xác định tính chất của tài nguyên, và phục vụ cho rất nhiều mục đích trong quá trình biên dịch từ đặc tả yêu cầu tài nguyên cấp cao thành các yêu cầu đến các resource manager cụ thể

Mô hình trên đã giải quyết đƣợc các vấn đề:

1 Quản lý được các tài nguyên không đồng nhất, đa dạng trong nhiều vùng quản trị khác nhau, thông qua module Resource Manager Resource Manager một mặt cung cấp một giao diện chung thống nhất để sử dụng tài nguyên, che đi sự phức tạp của tài nguyên; một mặt tương thích với từng công cụ quản lý tài nguyên, các chính sách, các cơ chế bảo mật cục bộ

2 Để điều khiển trực tuyến và mở rộng các chính sách, RSL được định nghĩa để hỗ trợ trao đổi, tìm kiếm giữa các thành phần khác nhau trong kiến

trúc

3 Sử dụng các resource broker để thực hiện chuyển đổi, ánh xạ các yêu cầu cấp cao của ứng dụng thành các yêu cầu cụ thể đến các resource manager Điều này giảm bớt độ phức tạp cho người dùng khi đặc tả các tài nguyên cần dùng

4 Giải quyết vấn đề phối hợp cấp phát (co-allocation) bằng cách xác định nhiều chiến lược khác nhau, gói gọn, tích hợp trong các resource coallocator

2.3.4.2 Chi tiết các thành phần

2.3.4.2.1 GRAM

Grid Resource Allocation and Management (GRAM) là thành phần ở tầng thấp nhất trong mô hình trên, thành phần quản lý tài nguyên cục bộ (resource management) GRAM giúp đơn giản hoá việc sử dụng các hệ thống, tài nguyên ở xa bằng cách cung cấp một giao diện chuẩn, đơn giản để yêu cầu và sử dụng các tài nguyên để thực thi các công việc GRAM xử lý các yêu cầu về tài nguyên để thực thi các ứng dụng từ xa, cấp phát các