TÍNH TOÁN LƯỚI VÀ ỨNG DỤNG CHO BÀI TOÁN KINH TẾ

Nó quy định chính sách về cung cấp và nhu cầu nguồn tài nguyên và khuyếnkhích cho các chủ sở hữu nguồn tài nguyên tham gia vào lưới TÓM TẮT ĐỀ TÀI Tính toán lưới Grid Computing, đang phá

Trường Đại Học Công Nghệ Thông Tin

BÀI THU HOẠCH MÔN

TÍNH TOÁN LƯỚI

ĐỀ TÀI:

TÍNH TOÁN LƯỚI VÀ ỨNG DỤNG CHO

BÀI TOÁN KINH TẾ

LỜI CẢM ƠN

Lời đầu tiên, em xin gửi lời chân thành cảm ơn đến Ban Chủ nhiệm trường Đại học công nghệ thông tin TP HCM đã tạo điều kiện cho em được tiếp cận với bộ môn Tính toán lưới

Em xin cảm ơn thầy PGS.TS Nguyễn Phi Khứ đã tận tình truyền đạt kiến thức cho em cũng những gì thầy đã giúp đỡ, hướng dẫn để em thực hiện bài tiểu luận.

Em cũng xin gửi lời cảm ơn sâu sắc đến quý thầy cô trong Khoa Công nghệ Thông tin cùng các bạn bè thân hữu đã nhiệt tình đóng góp ý kiến, cũng như động viên để em hoàn thiện hơn đề tài của mình.

Mặc dù đã rất cố gắng nhưng đề tài khó tránh khỏi những thiếu sót và sai lầm, em mong thầy cô và bạn bè cho ý kiến để đề tài ngày càng hoàn thiện hơn.

Một lần nữa, em xin chân thành cảm ơn!

Tp HCM, 15 tháng 7 năm 2013

Bùi Chí CườngCH1101007

MỤC LỤC

LỜI CẢM ƠN

MỤC LỤC

DANH MỤC HÌNH ẢNH 5

DANH MỤC CÁC TỪ VIẾT TẮT 6

NHIỆM VỤ ĐỀ TÀI 7

TÓM TẮT ĐỀ TÀI 7

CHƯƠNG I : GIỚI THIỆU VỀ TÍNH TOÁN LƯỚI (GRID COMPUTING) 8

1 Định nghĩa 8

2 Mô hình tổng quan về tính toán lưới 9

3 Các thành phần của hệ thống mạng lưới thực tế 16

4 Các giao thức và dịch vụ mạng lưới (Grid Protocols and Services) 18

5 Các dạng Grid - Types of Grids 22

CHƯƠNG II - KIẾN TRÚC HƯỚNG DỊCH VỤ CỦA GRID CHO BÀI TOÁN KINH TẾ 25

1 Các yêu cầu kinh tế cho hệ thống mạng lưới 25

2 Kiến trúc hệ thống cho việc tính toán kinh tế 26

2.1 Grid Resource Broker (GRB) 28

2.2 GRACE Framework – Leveraging Globus Tool 28

2.3 Grid Open Trading Protocols và Deal Template 30

2.4 GRID Open Trading APIs 31

2.5 Các cơ chế Pricing, Accounting, và Payment 32

CHƯƠNG III - NIMROD-G GRID RESOURCE BROKER VÀ THUẬT GIẢI ECONOMIC SCHEDULING 35

1 Giới thiệu 35

2 Nimrod-G Resource Broker 36

3 Dịch vụ và người sử dụng cuối 38

4 Kiến trúc 39

5 Nimrod-G Grid Resource Broker 41

5.2 The scheduler 42

5.3 Bộ phận điều phối và cơ chế truy cập 42

5.4 Agent (Tác nhân) 43

6 Lập kế hoạch và bài toán tính kinh tế 43

7 Thuật toán lập lịch 45

CHƯƠNG IV - GRIDSIM: MÔ HÌNH GRID VÀ BỘ CÔNG CỤ MÔ PHỎNG 48

1 Giới thiệu 48

2 Kiến trúc hệ thống 49

2.1 SimJava Discrete Event Model 51

2.2 Thực thể Grid Sim 51

2.3 Mô hình ứng dụng 52

2.4 Mô hình giao thức tương tác 53

2.5 Mô hình tài nguyên - Mô phỏng đa nhiệm và đa xử lý 56

2.6 Mô phỏng việc lên lịch trong nguồn tài nguyên chia sẻ thời gian 57

2.7 Mô phỏng việc lên lịch trong nguồn tài nguyên chia sẻ không gian 58

3 Tóm tắt và nhận xét 60

CHƯƠNG V - KẾT LUẬN 62

CHƯƠNG VI - THAM KHẢO 64

DANH MỤC HÌNH ẢNH

Hình 1 - Sự tương tác với các thực thể của Grid 9

Hình 2 - Mô hình tổng quan 10

Hình 3 - Mô hình phân tầng 11

Hình 4 - Các thành phần của hệ thống tính toán lưới 18

Hình 5 - Các giao thức và dịch vụ mạng lưới 19

Hình 6 - Kiến trúc quản lý tài nguyên mạng lưới 21

Hình 7 - Kiến trúc hệ thống cho việc tính toán kinh tế 27

Hình 8 - GRACE Framework 29

Hình 9 - Grid Open Trading Protocols và Deal Template 30

Hình 10 - GRID Open Trading APIs 32

Hình 11 - Các cơ chế Pricing, Accounting, và Payment 33

Hình 12 - Economic Model 36

Hình 13 - Chất lượng dịch vụ dựa trên việc quản lý tài nguyên 37

Hình 14 - Nimrod-G Grid resource broker 37

Hình 15 - Kiến trúc Nimrod-G 40

Hình 16 - Luồng thao tác trong môi trường Nimrod-G runtime 41

Hình 17 - Các bước lập lịch phù hợp trong Nimrod-G broker 46

Hình 18 - Mô hình kiến trúc của GridSim Platform 50

Hình 19 - Sơ đồ dòng chay trong GridSim dựa vào mô phỏng 52

Hình 20 - Mô hình giao tiếp thực thể thông qua thực thể đầu vào và đầu ra 53

Hình 21 - Sơ đồ sự kiện cho việc tương tác giữa tài nguyên 54

Hình 22 - Sơ đồ tương tác giữ tài nguyên chia sẽ không gian và các thực thể khác 56

Hình 23 - Mô hình đa xử lý chia sẽ không gian dựa vào sự phối hợp sự kiện 60

1 DANH MỤC CÁC TỪ VIẾT TẮT

Từ, ngữ danh từ viết tắt Từ, ngữ danh từ đầy đủ

GRIS Grid Resource Information

Server

NHIỆM VỤ ĐỀ TÀI

Đề tài này tìm hiểu các hệ thống tính toán lưới (Grid Computing) và đề xuất cách tối

ưu chi phí của tính toán phân tán cho việc quản lý các nguồn lực và lập kế hoạch ứngdụng Nó quy định chính sách về cung cấp và nhu cầu nguồn tài nguyên và khuyếnkhích cho các chủ sở hữu nguồn tài nguyên tham gia vào lưới

TÓM TẮT ĐỀ TÀI

Tính toán lưới (Grid Computing), đang phát triển như là hạ tầng cho thế hệ tính toántương lai, cho phép chia sẽ, lựa chọn, và tập hợp các nguồn tài nguyên phân tán về mặtđịa lý để giải quyết các vấn đề quy mô lớn trong lĩnh vực khoa học, kỹ thuật và thươngmại.Khi các nguồn tài nguyên trong Grid là không đồng nhất và về mặt phân tán theođịa lý khác nhau và một loạt các chính sách sử dụng và chi phí cho người sử dụng đadạng ở các thời điểm khác nhau và ưu tiên cũng như các mục tiêu với thời gian khácnhau Việc quản lý các nguồn tài nguyên và lịch trình của ứng dụng trong một môitrường lớn và phân tán là một nhiệm vụ phức tạp Đề tài này đề xuất cách tối ưu chi phícủa tính toán phân tán cho việc quản lý các nguồn lực và lập kế hoạch ứng dụng Nóquy định chính sách về cung cấp và nhu cầu nguồn tài nguyên và khuyến khích chocác chủ sở hữu nguồn tài nguyên tham gia vào lưới

CHƯƠNG I : GIỚI THIỆU VỀ TÍNH TOÁN LƯỚI

(GRID COMPUTING)

1 Định nghĩa

Tính toán mạng lưới là một công nghệ cho phép các tổ chức ảo chia sẻ tài nguyên phântán theo một mục đích chung mà không yêu cầu phải có một trung tâm điều khiển tậptrung

Tổ chức ảo: có thể mở rộng từ những bộ phận nhỏ trong cùng 1 viện cho đến tổ chức

gồm nhiều thành viên nằm rải rác khắp địa cầu Một số tổ chức ảo như:

1 Đội thiết kế Blended Wing Body của hãng Boeing

2 Bộ phận quản lý sản phẩm Global VPN của hãng Worldcom có mặt trên 28quốc gia

3 Phòng kế toán tài vụ của 1 công ty

Tài nguyên: có thể là một tài nguyên tính toán như máy tính cá nhân, máy tính xách

tay, trạm làm việc, máy chủ, nhóm máy tính (cluster), siêu máy tính hoặc có thể là tàinguyên lưu trữ như ổ đĩa cứng trong máy PC, các thiết bị lưu trữ chuyên dụng nhưRAID Các thiết bị đo lường, dò (sensor) cũng là 1 dạng tài nguyên cần chia sẻ Thậmchí băng thông mạng, phần mềm cũng là tài nguyên của một tổ chức ảo

Hình 1 - Sự tương tác với các thực thể của Grid

2 Mô hình tổng quan về tính toán lưới

Mạng lưới (Grid) là hệ thống phần cứng và phần mềm kết nối mạng máy tính thế hệsau, cho phép chia sẻ các tài nguyên tính toán (computing resources) của các máy tínhnối mạng, làm tăng gấp nhiều lần hiệu năng và tốc độ xử lý thông tin Tính toán mạnglưới (Grid Computing) là công nghệ nền trong việc hình thành mạng lưới, là nền tảngphần mềm chạy trên nền các thiết bị phần cứng kết nối mạng truyền thống giúp xâydựng những ứng dụng mạng lưới có năng lực năng lực tính toán rất mạnh mẽ, có khảnăng chuyển tải những khối lượng dữ liệu khổng lồ, khả năng lưu trữ và truy cập thôngtin trên mạng mà bằng những giải pháp phần mềm và công nghệ mạng Internet truyềnthống chỉ dựa trên nghi thức TCP/IP không thể đạt tới

Hình 2 - Mô hình tổng quan

Mạng lưới được xây dựng trên nền tảng kiến trúc mở và phần tầng (có thể so sánh vớicấu trúc phân tầng của họ giao thức nền tảng trao đổi thông tin trên mạng Internet làTCP/IP) Trong mỗi tầng của mạng lưới, các thành phần (component) được chia sẻ cácthuộc tính chung và có thể được bổ xung những tính năng mới mà không ảnh hưởngđến các tầng khác:

1 Tầng tác chế (Fabric): giúp định vị các tài nguyên mạng lưới

2 Tầng kết nối (Connectivity): giúp kết nối mạng lưới trên các mạng

3 Tầng tài nguyên (Resource): giúp chia sẻ các tài nguyên mạng lưới

4 Tầng kết hợp (Collective): giúp kết hợp và định vị nhiều kiểu tài nguyên

5 Tầng ứng dụng (Application): giúp kết nối các ứng dụng hướng người dùng đểtruy cập và sử dụng tài nguyên mạng lưới

Hình 3 - Mô hình phân tầng

Chúng ta hãy đi sâu hơn vào mô tả chi tiết kiến trúc phân tầng nói trên của mạng lưới

và so sánh với họ nghi thức TCP/IP nổi tiếng của mạng Internet

1 Tầng tác chế (Fabric layer):

- Chức năng chính của tầng này là cung cấp các loại tài nguyên chia sẻ, đượcphép truy cập của mạng lưới thông qua các giao thức mạng lưới Các loại tàinguyên này bao gồm: tài nguyên tính toán, các hệ thống lưu trữ dữ liệu, cáccatalog thông tin, các tài nguyên mạng và các đầu cảm biến (sensors)

- Các thành phần ở tầng này được triển khai ở mức cục bộ; các thao tác tàinguyên đặc biệt diễn ra trên các tài nguyên đặc biệt trong tầng này chính là mộtkết quả của các thao tác được chia sẽ ở tầng cao hơn Như vậy là có một sự ràngbuộc tinh vi, chặt chẽ giữa các chức năng được cài đặt ở lớp nền với các thao tácchia sẻ được hỗ trợ ở tầng khác

- Các loại tài nguyên trong tầng này đều bị ràng buộc bởi hai cơ chế :

o Cơ chế quản lý tài nguyên (Resource Management Mechanism): cho phép cungcấp khả năng điều phối chất lượng dịch vụ

o Cơ chế thẩm tra (Enquiry Mechanism): cho phép tìm hiểu cấu trúc, tình trạng vàcác tính năng của tài nguyên.

o Các phân loại tài nguyên chính trong tầng tác chế:

+ Tài nguyên tính tóan: là các cơ chế bắt buộc tuân thủ khi bắt đầu chạy chươngtrình, cho phép kiểm soát, điều khiển việc thi hành các tiến trình

+ Cơ chế quản lý: cho phép quản lý các loại tài nguyên đã được xác định rõ vịtrí làm cho các tiến trình đạt được lợi ích nhiều hơn

+ Cơ chế thẩm tra: có khả năng xác định rõ phần cứng , phầm mềm nhờ cácthông tin về tình trạng của hệ thống (tải hiện thời, tình trạng hàng đợi …) + Tài nguyên lưu trữ: là cơ chế bắt buộc cho việc lấy về và tải lên các tập tin từ

hệ thống lưu trữ, cho phép đọc một phần của tập tin cũng như cho phép chọn lọc

dữ liệu từ các tập tin ở xa

+ Cơ chế quản lý: làm cho việc di chuyển tập tin dễ dàng hơn (không gian, băngthông đĩa, băng thông mạng, tải của CPU …)

+ Cơ chế thẩm tra: xác định tình trạng phần cứng và phần mềm thông qua cácthông tin tải Thí dụ dung lượng đĩa còn trống, băng thông sử dụng …

+ Các bộ sưu tập: là cơ chế bắt buộc để hiện thực và truy vấn các bộ sưu tậpcũng như các thao tác cập nhật như trong cơ sở dữ liệu quan hệ …

2 Tầng kết nối (Connectivity layer)

- Đây là tầng quan trọng để tạo nên hạt nhân của các giao thức xác thực và truyềnthông bắt buộc của các giao dịch đặc trưng trong hệ thống mạng lưới Giao thứctruyền thông cho phép chuyển đổi dữ liệu qua lại giữa các loại tài nguyên ở tầngchế tác Giao thức xác thực được xây dựng trên các dịch vụ truyền thông đểcung cấp các cơ chế mã hóa và bảo mật trong việc kiểm tra xác thực người dùng

và tài nguyên mạng lưới

- Truyền thông bao gồm các công đoạn: truyền thông tin, định tuyến và đặt tên.Những giao thức này tương tự như các giao thức trong TCP/IP: InternetProtocol (IP) , Transport Protocols (TCP , UDP) và các giao thức tầng ứng dụng(DNS , OSPF , RSVP …)

- Các vấn đề bảo mật phức tạp trong mạng lưới được giải quyết bằng các giảipháp xây dựng và nâng cấp từ các chuẩn đã có Trong truyền thông hiện có rấtnhiều các chuẩn bảo mật được phát triển trong ngữ cảnh Internet Giải pháp xácthực trong môi trường mạng lưới các tổ chức ảo bao gồm các đặc điểm sau :

o Cơ chế đăng nhập một lần (Single Sign On): người dùng chỉ cần đăng nhập vàomạng lưới một lần duy nhất Sau đó hệ thống phải quản lý người dùng đã xácthực và cho phép truy cập các tài nguyên được phép trong lớp chế tác mà khôngyêu cầu cung cấp các thông tin xác thực nữa

o Cơ chế ủy quyền (Delegation, Proxy): người dùng có thể ủy quyền lại cho mộtchương trình trong một khoảng thời gian xác định truy cập đến các loại tàinguyên mà anh ta được phép sử dụng Chương trình này cũng có thể ủy quyền

có điều kiện một phần các tập quyền của nó cho chương trình con khác Hệthống mạng lưới phải hiểu, kiểm soát chặt chẽ và đáp ứng tốt cơ chế ủy quyềnnày một cách trong suối đối với chương trình được trao ủy quyền

o Cơ chế tích hợp đa giải pháp bảo mật địa phương (Integration with various localsecurity solutions): Đặc điểm của mạng lưới là mỗi site chứa tài nguyên mạnglưới đều có cơ chế bảo mật tại chỗ không giống nhau (các cơ chế xác thực nhưKerberos, LDAP, Active Directory, username/password, ) Cơ chế bảo mậtmạng lưới phải có khả năng giao tiếp bên trong với các cơ chế bảo mật địaphương mà không yêu cầu thay thế toàn bộ các giải pháp bảo mật hiện có,nhưng cần có cơ chế ánh xạ bảo mật trong các môi trường cục bộ khác nhau

o Cơ chế quan hệ tin tưởng dựa trên người dùng (User-based TrustRelationships): người dùng có thể sử dụng các loại tài nguyên có được từ sự kết

hợp của nhiều nhà cung cấp khác nhau Việc kết hợp đó không bắt buộc các nhàcung cấp tài nguyên phải tác động qua lại lẫn nhau nhựng phải đảm bảo cấuhình của cơ chế bảo mật hiện có Ví dụ, xem xét trường hợp một người dùng cóquyền sử dụng hai site A và site B Khi đó người dùng có quyền dùng site A và

B cùng một lúc mà không cần phải thông qua các quản trị viên của các site A và

B, khi các site này đã được thiết lập cơ chế quan hệ tin tưởng dựa trên ngườidùng

o Giải pháp bảo mật của mạng lưới cũng đồng thời cung cấp khả năng hỗ trợ cơchế bảo vệ truyền thông một cách linh hoạt và khả năng hỗ trợ này được cho làđáng tin cậy hơn giao thức TCP/IP truyền thống trên Internet

3 Tầng tài nguyên (Resource layer)

- Tầng này được xây dựng trên nền tảng sẵn có của tầng kết nối Đây là tầngdùng để xác định các giao thức chính cho các quá trình thương lượng, khởi tạo,kiểm tra, điều khiển, tính toán và kiểm toán chi phí của các thao tác được chia sẻtrên các tài nguyên Những giao thức trong tầng tài nguyên sẽ gọi các chức năngtrong tầng chế tác để truy cập và sử dụng các loại tài nguyên cục bộ

- Có hai loại giao thức chính trong các giao thức của tầng tài nguyên:

o Giao thức thông tin (Information protocol): cho phép lấy các thông tin về cấutrúc, tình trạng của một loại tài nguyên nào đó trong mạng lưới

o Giao thức quản lý (Management protocol): dùng để sắp xếp quản lý thứ tự cáctruy cập đến các tài nguyên được chia sẻ

4 Tầng kết hợp tập thể (Collective layer)

Trong khi tầng tài nguyên chỉ cho phép truy cập đến một loại tài nguyên đơn thìtầng kết hợp tập thể lại chứa các giao thức và dịch vụ cho phép giao tiếp giữa cáctài nguyên trong mạng lưới Tầng này bao gồm các dịch vụ chính như sau:

o Các dịch vụ thư mục (Directory Services): cho phép các thành phần tham giatrong hệ thống mạng lưới tổ chức ảo tìm hiểu sự tồn tại và các thuộc tính củacác loại tài nguyên của họ Một dịch vụ thư mục cũng cho phép người dùng truyvấn các thuộc tính của tài nguyên, loại tài nguyên, tính khả dụng …

o Các dịch vụ chứa chấp, lập lịch, môi giới (Co-allocation, Scheduling & BrokerServices): cho phép các thành phần tham gia vào mạng lưới tổ chức ảo gởi yêucầu đến một hay nhiều máy chủ cho các mục đích chứa chấp, lập lịch và môigiới truy cập các tài nguyên tương ứng

o Các dịch vụ giám sát và dự báo (Monitoring and Diagnostic Services): chophép hệ thống hỗ trợ kiểm soát tài nguyên trong mạng lưới các tổ chức ảo

o Các dịch vụ nhân bản dữ liệu (Data Replication Services): cho phép hỗ trợ việcquản lý lưu trữ tài nguyên trong mạng lưới tổ chức ảo (kể cả mạng và năng lựctính toán) tạo điều kiện cho truy cập tài nguyên đến mức cao nhất có thể

o Các hệ thống lập trình hỗ trợ mạng lưới (Grid-enable Programming Systems):tương tự như mô hình lập trình giao tiếp ứng dụng (API) thông thường, nhưngdùng trong môi trường mạng lưới Hệ thống này cho phép sử dụng các dịch vụmạng lưới để xác định các thông tin tài nguyên, thực hiện cơ chế bảo mật mạnglưới, định vị trí tài nguyên và tất cả những gì có liên quan đến mạng lưới

o Hệ thống quản lý tải và môi trường cộng tác (Workload Management System &Collaboration Framework): tương tự như môi trường giải quyết vấn đề PSE(Problem Solving Environment), hệ thống này cung cấp các đặc tả, cách dùng

và quản lý đa bước, quản lý tính đồng bộ, đa luồng, đa thành phần… trong cáctiến trình tính toán

o Dịch vụ tìm kiến phần mềm (Software Discovery Service): hỗ trợ tìm kiếm vàlựa chọn phần mềm cài đặt và làm nền tảng cho mạng lưới

5 Tầng ứng dụng (Application layer)

Đây là tầng cuối cùng trong kiến trúc mạng lưới, bao gồm tất cả các ứng dụnghướng tới người dùng trong môi trường mạng lưới của các tổ chức ảo Về nguyêntắc, người sử dụng có thể tương tác với mạng lưới thông qua tầng ứng dụng mộtcách trong suốt mà không nhận biết được sự có mặt của các tầng khác trong mạnglưới.

3 Các thành phần của hệ thống mạng lưới thực tế

Bốn khía cạnh chính đặc trưng cho một Grid:

- Đa lĩnh vực và riêng biệt: tài nguyên lưới phân tán về địa lý trên nhiều lĩnh vực

và thuộc sở hữu của các tổ chức khác nhau Sự tự chủ các chủ sở hữu nguồn tàinguyên cần được tôn trọng với quản lý tài nguyên cục bộ và chính sách sử dụng

- Tính không đồng nhất: Grid là sự đa dạng của các nguồn tài nguyên khôngđồng nhất trong tự nhiên và sẽ bao gồm một phạm vi rộng lớn của công nghệ

- Khả năng mở rộng: Một lưới có thể phát triển từ một cho đến hàng triệu nguồntài nguyên Điều này đặt ra vấn đề của sự xuống cấp hiệu suất tiềm năng Do đó,các ứng dụng đòi hỏi một số lượng lớn các nguồn tài nguyên địa lý nằm phảiđược thiết kế để có độ trễ và băng thông lớn

- Khả năng thích nghi : trong Grid , tài nguyên bị lỗi nhiều hơn là ngoại lệ Trongthực tế, với nguồn tài nguyên lớn trong Grid, xác suất của một số tài nguyên bịlỗi là rất cao Quản lý nguồn tài nguyên hoặc các ứng dụng phải tùy chỉnh chúngsao cho phù hợp và sử dụng hiệu quả các tài nguyên sẵn có

Các bước cần thiết để phát triển Grid thực tế bao gồm:

- Sự tích hợp của phần mềm cá nhân và các thành phần phần cứng thành mộtnguồn tài nguyên mạng kết hợp (Ví dụ: hình ảnh một hệ thống cluster)

- Việc triển khai:

o Middleware ở mức low-level cung cấp truy cập an toàn và minh bạch cho cácnguồn tài nguyên

o Middleware ở mức high-level và các công cụ phát triển ứng dụng, tập hợpnguồn tài nguyên phân tán.

- Sự phát triển và tối ưu hóa các ứng dụng phân tán tận dụng lợi thế nguồn lực và

2 Core Grid Middleware

Tầng này cung cấp các dịch vụ cốt lõi như quản lý quá trình từ xa, đồng phân bổnguồn lực, truy cập lưu trữ, đăng ký thông tin và phát hiện, an ninh, và các khíacạnh của chất lượng dịch vụ (QoS) như đặt và giao dịch tài nguyên

3 User-Level Grid Middleware

Tầng này bao gồm các môi trường phát triển ứng dụng, công cụ lập trình, vàmôi giới tài nguyên để quản lý nguồn lực và lập kế hoạch các nhiệm vụ ứng dụng

để thực hiện trên nguồn lực toàn cầu

4 Grid Applications and Portal

Là một giao diện cho phép người dùng sử dụng các ứng dụng lưới, do đó lướitrở nên ẩn với người dung

Hình 4 - Các thành phần của hệ thống tính toán lưới

4 Các giao thức và dịch vụ mạng lưới (Grid Protocols and

Services)

Dựa trên nền tảng kiến trúc mạng lưới, ta có thể thấy được thành phần chủ đạo củamạng lưới (bao gồm các dịch vụ và nghi thức đặc trưng) nằm trong các tầng kết nối, tàinguyên và kết hợp tập thể Các thành phần này là cốt lõi của công nghệ tính toán mạnglưới Đây là hạt nhân của mọi hệ thống mạng lưới, cũng giống như bộ xử lý trung ương(CPU) của máy tính cá nhân Có thể liệt kê một số nền tảng chính của công nghệ tínhtoán mạng lưới như sau:

- Cơ chế cho phép xác thực và truyền thông an toàn trên mạng máy tính GSI cungcấp một số dịch vụ hữu ích cho mạng lưới như khả năng xác thực lẫn nhau, cơ chếđăng nhập một lần, cơ chế uỷ quyền Động cơ chủ yếu để phát triển GSI là:

o Nhu cầu của việc truyền thông an toàn (với khả năng xác thực cao và đáng tin cậy)giữa các thành phần tham gia mạng lưới.

o Nhu cầu hỗ trợ bảo mật khi trao đổi xuyên qua các ranh giới của các tổ chức khôngcho phép triển khai cùng một hệ thống bảo mật tập trung

o Nhu cầu hỗ trợ cơ chế đăng nhập một lần cho các người sử dụng của mạng lưới,bao gồm cả việc giao uỷ nhiệm thư cho các thanh phần tính toán sử dụng và truycập nhiều tài nguyên mạng lưới

Hình 5 - Các giao thức và dịch vụ mạng lưới

- GSI dựa trên các công nghệ mã khoá công khai (Public Key Infrastructure hayPKI), Chứng thư X.509 (Certificate), Nghi thức truyền thông bảo mật (SecureSocket Layer hay SSL) Những chuẩn công nghiệp về bảo mật trên được thêm vào

cơ chế đăng nhập một lần (SSO) và uỷ quyền (Proxy) tạo nên nền tảng bảo mậtvững chắc của mạng lưới

- Nghi thức chuyển giao dữ liệu dạng tập tin (như FTP) hay dữ liệu (như HTTP) cóhiệu năng cao, an toàn và đáng tin cậy nhất trên mạng Internet hiện nay GridFTPđược các nhà chuyên môn đánh giá cao vì nó cung cấp các tính năng đặc trưng phùhợp với kiến trúc mạng lưới:

o Bảo mật theo chuẩn GSI trên các kênh điều khiển và kênh truyền dữ liệu Đây làđiều kiện tiên quyết của các ứng dụng mạng lưới

o Tạo lập và quản lý các kênh truyền dữ liệu song song, cho phép tăng tốc độ truyền

o Xác thực các kênh truyền dữ liệu

o Tái sử dụng các kênh truyền dữ liệu và dẫn truyền các lệnh điều khiển

- Cung cấp các công cụ cần thiết để xây dựng một kiến trúc thông tin mạng lưới, dựatrên nghi thức truy cập dịch vụ thư mục đơn giản (Light Directory Access Protocolhay LDAP) để truy vấn thông tin mạng lưới từ nhiều thành phần khác nhau, tạo ramột không gian tên (name space) đồng nhất cho thông tin về các tài nguyên mạnglưới có thể có của nhiều tổ chức khác nhau Khả năng truy xuất đồng bộ trên diệnrộng của MDS cung cấp các thông tin về tài nguyên mạng lưới sau:

o Cấu hình chi tiết, tài nguyên bộ nhớ, tốc độ CPU, số lượng máy tính chạy bó songsong, số lượng và kiểu card giao tiếp mạng

o Thông tin tài nguyên tính toán thời gian thực như mô tả tình trạng mạng với kết nốiđiểm-điểm, độ tải của CPU máy chủ tham gia mạng lưới

o Thông tin đặc biệt cho mỗi công việc như là yêu cầu về bộ nhớ, CPU, hay là cấutrúc phần cứng để chương trình vận hành hiệu quả hơn.[list]

- Cung cấp một phương thức truy vấn tài nguyên đồng nhất trên mạng lưới gồm cấuhình hiện hữu, khả năng, trạng thái Các tài nguyên này có thể bao gồm:

Hình 6 - Kiến trúc quản lý tài nguyên mạng lưới

Hình trên mô tả là tổng quan các thành phần khác nhau của kiến trúc quản lý tàinguyên mạng lưới cài đặt bằng công cụ nền GLOBUS Từ đây, ta có thể thấy có bathành phần chính trong hệ thống quản lý tài nguyên mạng lưới theo Globus, đó là ngônngữ đặc tả tài nguyên mở rộng (RSL), giao diện với các công cụ quản lý tài nguyên cục

bộ (GRAM), bộ phận phân phối liên hợp (Co-allocator) Cơ chế này cho phép tạo giaodiện chuẩn để truy cập các công cụ quản lý tài nguyên cục bộ, khi một site tham giamạng lưới Một số hệ thống còn có thể cung cấp các dịch vụ phân phối liên hợp, chophép kết nối một yêu cầu với nhiều hệ thống GRAM Ngôn ngữ đặc tả tài nguyênmạng lưới (Resource specification Language hay RSL): là ngôn ngữ mô tả và truyềntải các thông tin yêu cầu tài nguyên tính toán, lưu trữ và chuyển tải thông tin, giữa cácthành phần trong kiến trúc quản lý tài nguyên mạng lưới.

5 Các dạng Grid - Types of Grids

Trong thực tế mạng lưới - Grid được cài đặt ở nhiều dạng khác nhau phù hợp vớiứng dụng cụ thể Một số người phân loại các dạng Grid này dựa và cấu trúc của tổ chức

ảo tham gia vào mạng lưới, trong khi đó người khác lại định nghĩa Grid theo tính chấtcủa tài nguyên được chia sẻ

Trong phần này chúng ta sẽ tìm hiểu một số dạng Grid

- Departmental Grids

Departmental grids được triển khai để giải quyết vấn đề cho 1 nhóm người cụ thể trong

1 công ty hay xí nghiệp Các tài nguyên không chia sẻ cho các nhóm người dùng khác.Sau đây là các dạng mạng lưới thuộc và lớp này - Departmental Grid

- Cluster Grids:

Mạng lưới nhóm - Cluster grid Sun Microsystems dùng để nói về 1 mạng lưới gồm 1hoặc nhiều hệ thống kết hợp lại nhằm cung cấp 1 điểm truy xuất đơn cho người dùng.Mạng lưới này phù hợp với các ứng dụng yêu cầu hiệu năng tính toán và băng thônglớn

- Infra Grids:

Infra grid là thuật ngữ được dùng bởi IBM để định nghĩa 1 mạng lưới tối ưu việc sửdụng tài nguyên trong 1 xí nghiệp

- Enterprise Grids

Enterprise grids bao gồm các tài nguyên nằm rải rác trong 1 công ty, xí nghiệp và cungcấp dịch vụ cho tất cả người dùng Nó bao gồm các dạng sau:

o Enterprise Grids: Một enterprise grid, theo tổ chức Platform Computing, được triểnkhai trong các công ty lớn có chi nhánh ở nhiều nơi trên thế giới có nhu cầu chia sẽtài nguyên

o Intra Grids: Theo IBM, tài nguyên chia sẻ trong các nhóm khác nhau của 1 xínghiệp tạo thành 1 intra grid Intra grid có thể chỉ hạn chế trong 1 mạng cục bộ hoặccác mạng riêng ảo VPN Thông thường intra grid được bảo vệ bởi hệ thống tườnglửa của công ty

o Campus Grids: Campus grids, theo Sun Microsystems, cho phép nhiều dự án hoặcnhiều bộ phận chia sẻ tài nguyên tính toán theo hướng cộng tác Campus grids cóthể chứa các máy trạm, máy chủ, cũng như các tài nguyên tập trung được quản lýcục bộ nằm tại các bộ phận khác nhau trong 1 tổ chức, ví dụ như 1 trường đại học

- Extraprise Grids

Extraprise grids được thiết lập giữa các công ty, các đối tác, và khách hàng Các tàinguyên mạng lưới thông thường được chia sẻ thông qua các mạng riêng ảo Sau đây là

1 số dạng Grid điển hình thuộc loại này:

o Extra Grids: Extra grids, theo IBM, cho phép chia sẻ tài nguyên với các đối tác bênngoài Liên kết giữa các tổ chức này được thiết lập bằng cách dịch vụ tin cậy, nhưcác mạng riêng hay mạng riêng ảo

o Partner Grids: Tổ chức Platform Computing định nghĩa Partner Grids là các mạnglưới giữa các tổ chức, công ty, xí nghiệp trong cùng lĩnh vực mà có nhu cầu cộngtác nhằm thực hiện dự án chung

- Global Grids

Là những mạng lưới được phát triển dựa vào mạng Internet công cộng Nó có thể đượcthiết lập bởi các công ty nhằm hỗ trợ việc kinh doanh mua bán thông qua việc cung cấpcác dịch vụ giá trị gia tăng Một số dạng Grid thuộc loại này bao gồm:

o Global Grids: Global grids, theo Sun, cho phép người dùng khai thác các tài nguyênbên ngoài Global grids cung cấp sức mạnh của các tài nguyên phân tán trên khắpthế giới nhằm phục các công việc tính toán và cộng tác của người dùng

o Inter Grids: Inter grids, theo IBM, cung cấp khả năng chia sẻ tài nguyên tính toán

và lưu trữ thông qua Web

o Mạng lưới tính toán - Compute grids được thành lập nhằm mục tiêu duy nhất làchia sẻ tài nguyên tính toán

o Desktop Grids: Đây là mạng lưới tập hợp sức mạnh tính toán của các máy tính đểbàn Do hệ điều hành Windows thống trị họ máy tính này nên các mạng lưới thuộcdạng này chủ yếu chạy trên nền Windows

o Server Grids: Một số tập đoàn lớn thường có các tài nguyên máy chủ được quản lýbởi bộ phận IT nằm tại nhiều địa điểm khác nhau Họ muốn tạo Server Grids đểchia sẻ những tài nguyên đắt giá này Thông thường các mạng lưới này chạy trên hệđiều hành Unix/Linux

o High-Performance/Cluster Grids: Mạng lưới gồm các hệ thống dành riêng cho tínhtoán như các siêu máy tính hoặc nhóm máy tính hiệu năng cao (được thiết kế chocác ứng dụng tính toán lớn)

o Mạng lưới dữ liệu - Data Grids: Tài nguyên chủ yếu được chia sẻ trong mạng lướinày là dữ liệu Nó được xây dựng nhằm tối ưu các thao tác hướng dữ liệu như: lưutrữ, truy xuất, trao đổi

CHƯƠNG II - KIẾN TRÚC HƯỚNG DỊCH VỤ CỦA GRID CHO BÀI TOÁN KINH TẾ

1 Các yêu cầu kinh tế cho hệ thống mạng lưới

Chúng ta hãy hình dung ra một tương lai mà trong đó nền kinh tế có trí thông minh

và hoạt động trong một môi trường peer-to-peer và tính toán lưới, như 1 hệ thống sẽđóng một vai trò quan trọng trong việc thiết lập một mô hình dịch vụ theo định hướngtính toán phân tán Để cung cấp giá trị lớn hơn cho người sử dụng hơn so với các hệthống truyền thống, một hệ thống quản lý nguồn tài nguyên trong lĩnhvực kinh tế cầnphải cung cấp các cơ chế và công cụ cho phép người sử dụng tài nguyên (người sửdụng cuối) và các nhà cung cấp (chủ sở hữu nguồn tài nguyên) có thể đặc tả yêu cầucủa họ và tạo điều kiện thuận lợi cho việc thực hiện các mục tiêu của họ Đó là:

- Nhu cầu thể hiện yêu cầu, giá trị, và mục tiêu [value expression]

- Phương pháp lập kế hoạch để chuyển chúng đến vùng phân bổ tài nguyên [valuetranslation]

- Các cơ chế để thực thi các lựa chọn và phân bổ các dịch vụ khác biệt, cùng với đó

là sự thích ứng với những thay đổi giá trị trong thời gian chạy [value enforcement].Các yêu cầu tương tự cũng được nêu ra cho các hệ thống giành cho thị trường giaodịch trong một môi trường quản trị domain duy nhất (cluster) và chúng được giới hạntrong mô hình kinh tế hợp tác khi đặt mục tiêu cho phúc lợi xã hội Hệ thống mạng lướicần sử dụng các mô hình kinh tế khác nhau giành cho nhiều đối tượng các nhà cungcấp tài nguyên và người tiêu dùng tài nguyên khác nhau có mục tiêu, chiến lược, và cácyêu cầu khác nhau tại 1 thời điểm nhất định

Về cơ bản, người sử dụng tài nguyên cần một mô hình tiện ích (utility model) chophép họ xác định yêu cầu và ràng buộc về tài nguyên.Ví dụ, mô hình môi giới tàinguyên Nimrod-G cho phép người sử dụng xác định thời hạn và quỹ ràng buộc cùngvới các thông số tối ưu hóa như tối ưu hóa thời gian [value expression] Họ cần mô

hình môi giới cung cấp các chiến lược để lựa chọn nguồn lực thích hợp [valuetranslation] và khả năng thích ứng động với các thay đổi trong nguồn lực sẵn có tại thờigian chạy để đáp ứng yêu cầu người sử dụng [value enforcement] Mô hình môi giớiNimrod-G hỗ trợ tất cả các yêu cầu này Chủ sở hữu nguồn tài nguyên cần các cơ chếcho các sơ đồ phát sinh giá (price generation schemes) để tăng cường hiệu quả sử dụng

hệ thống và các giao thức (protocols) giúp họ cung cấp các dịch vụ cạnh tranh [valueexpression] Đối với thị trường cạnh tranh và lành mạnh, cơ chế phối hợp là cần thiết

để giúp thị trường đạt được một trạng thái cân bằng giá giá mà tại đó cung cấp mộtdịch vụ tương đương với số lượng yêu cầu Các tài nguyên trong hệ thống mạng lưới

có các lịch biểu riêng của chúng (ví dụ, hệ điều hành hoặc hệ thống hàng đợi) dùng đểphân bổ nguồn tài nguyên [value translation] Một số nghiên cứu hệ thống hỗ trợ tàinguyên đặt trước (ví dụ, đặt một khe thời gian từ t1 đến t2 sử dụng Gara Globus và đấuthầu một công việc) và phân bổ nguồn lực trong thời gian dự trữ [value enforcement].Một số hệ thống nghiên cứu đã khám phá ra hệ thống QoS dựa trên tài nguyên (ví dụ,thời gian CPU và băng thông mạng) phân bổ trong các hệ điều hành và hệ thống hàngđợi, nhưng sự bao gồm của QoS vào các hệ thống chính thống đã làm chậm tốc độ hơn(ví dụ như Internet chủ yếu là sử dụng các chính sách nỗ lực phân bổ tốt nhất, nhưngđiều này đang thay đổi với IPv6)

2 Kiến trúc hệ thống cho việc tính toán kinh tế

Hình dưới đây thể hiện kiến trúc của 1 hệ thống Computional Economy (GRACE).Kiến trúc này có độ tổng quát hóa vừa đủ để có thể sử dụng trong trong các mô hìnhkinh tế khác nhau nhằm quyết định chi phí cần thiết để truy cập dịch vụ sử dụng tàinguyên Các thành phần chính của hệ thống bao gồm:

- Core Grid Middleware

- Grid Service Provider

Hình 7 - Kiến trúc hệ thống cho việc tính toán kinh tế

Hai nhân tố quan trọng trong một hệ thống mạng lưới là Resource Provider (GSPs –Grid Service Provider) và Resource Consumer (GRBs – Grid Resource Broker) Trongmột hệ thống mạng lưới sử dụng trong kinh tế, GRB áp dụng chiến lược sử dụng tàinguyên rẻ nhất có thể trong một khoảng thời gian nhất định nào đó Mặt khác, GSP sửdụng chiến lược sao cho khả năng hoàn lại khoản đầu tư là cao nhất Nhà đầu tư cốgắng sử dụng tối đa tài nguyên bằng cách đề nghị một mức phí dịch vụ cạnh tranh đểthu hút người tiêu dùng Để đạt được điều này, hệ thống mạng lưới cần cung cấp cáccông cụ và cơ chế cho phép người cung cấp lẫn người tiêu dùng có thể diễn đạt nhu cầucủa họ Người tiêu dùng tài nguyên của 1 hệ thống mạng lưới tương tác với các Broker

để thể hiện yêu cầu của họ, như ngân sách mà họ sẵn sàng đầu tư để giải quyết một vấn

đề đúng thời hạn họ cần kết quả Họ cũng cần có khả năng giao dịch giữa 2 yêu cầu vàchỉ đạo các tính toán thích hợp Các GSP cần có các Tool để thể hiện chính sách giá và

cơ chế để giúp họ tối đa hóa lợi nhuận và việc sử dụng tài nguyên Các mô hình kinh tế

khác nhau có thể được áp dụng cho việc giao dịch tài nguyên trong môi trường tínhtoán Grid.

1.1.1 Grid Resource Broker (GRB)

GRB đóng vai trò như 1 môi giới giữa người sử dụng và tài nguyên của hệ thốngmạng lưới bằng cách sử dụng các Middleware Service Nó chịu trách nhiệm trong việctìm kiếm, lựa chọn nguồn tài nguyên, tạo sự ràng buộc dữ liệu với phần mềm và cácnguồn tài nguyên phần cứng, cùng với việc khởi động tính toán, thích nghi với nhữngthay đổi nguồn tài nguyên trong Grid và hiển thị trên Grid như là một tài nguyên duynhất, thống nhất Các thành phần của nhà GRB như sau:

- Job Control Agent (JCA): đây là Control Engine chịu trách nhiệm kiểm soát 1 côngviệc thông qua hệ thống Nó phối hợp việc đưa ra lịch trình hợp lý, xử lý việc tạo racác công việc thực tế, tình trạng các công việc, tương tác giữa client và user

- Schedule Advisor (Scheduler): Đây là bộ phận chịu trách nhiệm chính trog việckhai phá tài nguyên (bằng cách sử dụng Grid Explorer), lựa chọn tài nguyên vàphân công công việc để chắc chắn rằng đáp ứng đầy đủ yêu cầu của người dùng

- Grid Explorer (GE): Chịu trách nhiệm khai phá tài nguyên bằng cách tương tác hệthống mạng lưới – thông tin về server và xác định danh sách máy có quyền truy cập

và theo dõi tình trạng của nguồn tài nguyên

- Trade Mangager (TM): Hoạt động dưới sự chỉ đạo của thuật toán lựa chọn nguồntài nguyên (Scheduler) để xác định chi phí truy cập tài nguyên Nó sử dụng các thưmục tài nguyên và dịch vụ trao đổi GRACE cho việc giao dịch với nhà cung cấpdịch vụ Grid

1.1.2 GRACE Framework – Leveraging Globus Tool

Lớp middleware của hệ thống mạng lưới cung cấp các dịch vụ có ích trong việc kếthợp người sử dụng Grid và nguồn tài nguyên từ xa thông qua một kênh tài nguyên môigiới hoặc ứng dụng Grid Nó cung cấp các dịch vụ cốt lõi như: quản lý quá trình truy

cập từ xa, đồng phân bổ nguồn tài nguyên, quyền lưu trữ, thông tin thư mục, tính bảomật, xác thực, và chất lượng sịch vụ (QoS).

Hình 8 - GRACE Framework

Các thành phần của ứng dụng Globus bao gồm:

- Grid Market Directory: Cho phép chủ sở hữu tài nguyên đưa ra các dịch vụ thu hútngười dùng

- Grid Trade Server (GTS): Đâ là một thành phần sở hữu tài nguyên, trong đó baogồm việc quản lý quá trình thương lượng với người sử dụng và quá trình bán quyềntruy cập tài nguyên

- Pricings Policies: các chính sách giá này định nghĩa mức giá mà chủ sở hữu tàinguyên muốn tính phí cho người sử dụng Chủ sở hữu tài nguyên có thể có nhiềubảng giá khác nhau nhằm tối đa hóa lợi nhuận thu được và có thể thay đổi tùy thờiđiểm ứng với mỗi người tiêu dùng Một chính sách giá đồng thời cũng được xâydựng trong quá trình đấu giá Trong đó, mức giá sẽ được cập nhật dựa trên chi phí

mà người sử dụng thanh toán cho dịch vụ và người có giá cao nhất sẽ có quyền truycập vào hệ thống mạng lưới.

- Resource Accounting and Charging: các thành phần này chịu trách nhiệm báo cáolại quá trình sử dụng tài nguyên và lập hóa đơn dựa trên thỏa thuận giữa người sửdụng và đơn vị môi giới dịch vụ hoặc chủ sở hữu dịch vụ

1.1.3 Grid Open Trading Protocols và Deal Template

Các giao thức giao dịch nguồn tài nguyên xác định các quy tắc và định dạng cho cáccâu lệnh giao dịch giữa 1 GRACE (Trade Manager) và 1 Trade Server

Hình 9 - Grid Open Trading Protocols và Deal Template

Trong mô hình này, các TM liên hệ với các TS của chủ sở hữu tài nguyên thông quamột yêu cầu đối với một lệnh đặt TM xác định yêu cầu sử dụng tài nguyên trong 1Deal Tamplate (DT), có cấu trúc đơn giản với các trường đại diện cho 1 deal item hoặcbởi 1 “Deal Template Specificatin Language” Nội dung của các DT bao gồm: thờigian bắt đầu, thời hạn sử dụng, bộ nhớ, và dung lượng yêu cầu TM sẽ sử dụng DT ,cập nhật nội dung của nó và gửi lại cho TS Quá trình thương lượng này giữa TM và

TS sẻ tiếp diễn cho tới khi 1 bản thỏa thuận được 2 bên đồng ý Tùy theo bản thỏathuận này mà một giao dịch được diễn ra hay không.

1.1.4 GRID Open Trading APIs

Kiến trúc của GRACE hỗ trợ API có thể được sử dụng bởi các công cụ trong Grid hơaccác ứng dụng được lập trình cho việc tính toán lợi ích kinh tế khác API cung cấpphương thức cho Client/Broker trao đổi thông tin vớ Server:

Hình 10 - GRID Open Trading APIs

1.1.5 Các cơ chế Pricing, Accounting, và Payment

Trong môi trường tính toán Grid Economy, cả chủ sở hữu tài nguyên và người sử dụngđều muốn tối đa hóa lợi nhuận của họ Có rất nhiều các nhà cung cấp GSP cùng đưa radịch vụ tương tự nhau, chúng cần có cấu trúc giá cạnh tranh để thu hút người sử dụng,

sử dụng hiệu quả nguồn tài nguyên và tối đa hóa lợi nhuận Các nguồn tài nguyên được

sử dụng bởi các ứng dụng application cần được hạch toán và tính phí Các cơ chế thanhtoán cần phải được hỗ trợ Người sử dụng có thể mua quyền truy cập tài nguyên hoặctrả sau đó Mỗi GSP cần quản lý quá trình này bằng cách sử dụng các hệ thống nhưQBank hoặc các hệ thống mạng lưới toàn cầu như GridBank (GBank) làm môi giớithanh toán cho các truy cập dịch vụ của người sử dụng

Hình 11 - Các cơ chế Pricing, Accounting, và Payment

Phương pháp xác định Price:

- Một mô hình tính giá đơn giản là một mô hình giá cố định, nhưng mô hình nàykhông hiệu quả nếu người sử dụng yêu cầu QoS Các yêu cầu sẽ thay đổi qua thờigian trong ứng dụng Mô hình tính toán giá dựa trên nhiều tham số sau:

o Dữ liệu truy cập trước đó

o Các thỏa thuận, hợp đồng với nhà cung cấp dịch vụ

o Số lượng mua hàng