CÀI đặt & TRIỂN KHAI GLOBUS TOOLKIT TRÊN hệ điều HÀNH WINDOWS

Báo cáo môn học Tính toán hiệu năng cao (môn tự chọn) - chương trình cao học ngành Khoa học máy tínhĐề tài : CÀI ĐẶT & TRIỂN KHAI GLOBUS TOOLKIT TRÊN HỆ ĐIỀU HÀNH WINDOWS

ĐẠI HỌC ĐÀ NẴNG ĐÀO TẠO SAU ĐẠI HỌC NGÀNH KHOA HỌC MÁY TÍNH

BÁO CÁO MÔN HỌC TÍNH TOÁN HIỆU NĂNG CAO

ĐỀ TÀI:

CÀI ĐẶT & TRIỂN KHAI GLOBUS TOOLKIT

TRÊN HỆ ĐIỀU HÀNH WINDOWS

Nguyễn Trọng Nguyên Nguyễn Minh Quỳnh

Đà Nẵng, 2014

MỤC LỤC

Chương 1 CƠ SỞ LÝ THUYẾT 4

1.1 Giới thiệu 4

1.2 Các thành phần chính của Globus Toolkit 5 5

1.2.1 Data Management Components 5

1.2.1.1 GridFTP 6

1.2.1.2 RLS 8

1.2.2 Execution (Jobs) Management Components 8

1.2.3 Security Components 9

1.2.3.1 GSI C 9

1.2.3.2 SimpleCA 9

1.2.3.3 MyProxy 9

1.2.3.4 GSI-OpenSSH 10

1.2.4 Common Runtime Components 11

1.2.4.1 XIO 11

1.2.4.2 C Common Libraries 12

1.3 Các chuẩn tính toán lưới 12

1.3.1 Open Grid Services Architecture (OGSA) 13

1.3.2 Open Grid Services Infrastructure (OGSI) phiên bản 1.0 13

1.3.3 Web Services Resource Framework (WSRF) 14

Chương 2 TRIỂN KHAI VÀ ĐÁNH GIÁ KẾT QUẢ 15

2.1 Môi trường triển khai 15

2.2 Kết quả các chức năng của chương trình 16

MỞ ĐẦU

Lĩnh vực công nghệ thông tin trong đời sống ngày nay đóng một vai trò cực kỳ quan trọng và trở thành một phần không thể thiếu Điều đó cũng đặt ra cho ngành công nghệ thông tin nhiều bài toán khó cần được giải quyết để phục vụ cho nhu cầu ngày càng phức tạp và đa dạng của con người Tính toán hiệu năng cao là một trong những cách thức giải quyết vấn đề đó Phương pháp này cho phép tận dụng năng lực xử lý, lưu trữ cùng các tài nguyên nhàn rỗi khác để cung cấp một môi trường tính toán có năng lực xử lý lớn, khả năng lưu trữ dồi dào để giải quyết các bài toán phức tạp - khó có thể giải quyết được với các công nghệ hiện hành hoặc giải quyết được nhưng với chi phí rất cao Globus Toolkit là một trong những bộ công cụ mạnh mẽ giúp xây dựng hệ thống nêu trên

Hiện nay đa số Globus Tookit đều được triển khai trên hệ điều hành UNIX trong khi gây ra những khó khăn nhất định cho những hệ thống sử dụng hệ điều hành Windows Chính vì vậy nhóm chúng em đã chọn đề tài về “Cài đặt và triển

khai Globus Toolkit trên hệ điều hành Windows” để nghiên cứu và hiểu thêm về nó

CHƯƠNG 1 CƠ SỞ LÝ THUYẾT

1.1 Giới thiệu

Globus Toolkit là bộ toolkit mã nguồn mở được phát triển vào năm 1996,

được sử dụng để xây dựng các hệ thống và các ứng dụng tính toán lưới Globus

Toolkit hiện đang được phát triển bởi tổ chức Globus Alliance và nhiều tổ chức

khắp nơi trên thế giới Globus Alliance là một cộng đồng các cá nhân và tổ chức

tham gia phát triển các công nghệ nền tảng cho Grid (lưới – tính toán lưới)

Globus Toolkit cho phép hiện thực hoá các ý tưởng, mục tiêu đằng sau khái

niệm Grid Bộ toolkit bao gồm các dịch vụ và thư viện phục vụ việc bảo mật,

hạ tầng thông tin Grid, quản lý tài nguyên, quản lý dữ liệu, liên lạc, phát hiện lỗi…

Mặc dù Globus được phát triển để phục vụ các dự án về khoa học và kỹ thuật,

nhưng hiện nay Globus cũng đã được áp dụng vào lĩnh vực thương mại Từ năm

2000, Các công ty hàng đầu thế giới trong lĩnh vực công nghệ thông tin như Avaki,

DataSynapse, Entropia, Fujitsu, Hewlett-Packard, IBM, NEC, Oracle, Platform, Sun

và United Devices, Microsoft đã bắt đầu xây dựng các chiến lược về

GridComputing trên nền tảng Globus

Các phiên bản của Globus Toolkit: Globus Toolkit Version 1 (GT1-1998),

GlobusToolkit Version 2 (GT2-2002), Globus Toolkit Version 3 (GT3-2003),

Globus Toolkit Version 4 (GT4-2005) và hiện nay là Globus Toolkit Version 5

(GT5-2010) GT1 và GT2 là các phiên bản xây dựng theo các mô hình và giao thức

độc quyền của tổ chức Globus, đến GT3, GT4, GT5 thì chuyển sang xây dựng các

Grid service theo các chuẩn WRSF, OGSA và OGSI

1.2 Các thành phần chính của Globus Toolkit 5

Hình 1: Thành phần chính của Globus Toolkit 5

1.2.1 Data Management Components

Thành phần quản lý dữ liệu có liên quan đến vị trí, truyền và quản lý phân bố dữ liệu Globus Toolkit 5 (GT5) cung cấp các công cụ khác nhau cơ bản, bao gồm GridFTP vận chuyển dữ liệu hiệu suất cao và đáng tin cậy, và RLS cho việc duy trì thông tin vị trí cho các tập tin sao chép

Hình 2: Mô hình quản lý dữ liệu

1.2.1.1 GridFTP

GridFTP là một giao thức hiệu suất cao, an toàn, đáng tin cậy trong việc truyền

dữ liệu, là giao thức tối ưu hóa cho mạng băng thông rộng cao Các giao thức

GridFTP dựa trên FTP - giao thức chuyển tập tin phổ biến trên Internet

Hình 3: Mô hình Third-Party và Client/Server

Tính năng hỗ trợ mới:

 Lệnh DCSC (Data channel security context)

 Máy chủ chroot GridFTP

 Đồng bộ hóa bộ dữ liệu

 Cải thiện khả năng khởi động lại thất bại trong globus-copy-url

 Stall detection

 Client-side host aliasing

 GridFTP trên UDT

 Chạy máy chủ GridFTP với GFork GridFTP

 Multicasting / Network overlays

 Netlogger phát hiện nút cổ chai trong khi truyền bằng GridFTP

 GSI bảo mật: Đây là PKI dựa trên thực tế hệ thống an ninh tiêu chuẩn được sử dụng trong các ứng dụng Grid Kerberos cũng có chức năng tương tự, nhưng không được hỗ trợ và khó sử dụng do sự khác nhau trong khả năng của GSI và Kerberos

 Cluster-to-cluster (truyền hoặc phân chia dữ liệu): GridFTP có thể phối hợp truyền dữ liệu bằng cách sử dụng các nút máy tính ở nhiều nguồn và đích

 Partial file access: khu vực của một tập tin có thể được truy cập bằng cách chỉ định một khoảng trống trong các tập tin và chiều dài của khối mong muốn

 Reliability/restart: máy chủ nhận được định kỳ (mặc định là 5 giây, nhưng giá trị này có thể được thay đổi) gửi “đánh dấu tái thực hiện” đến client Đánh dấu này là một thông điệp xác định những gì byte đã được ghi vào đĩa Nếu không truyền đi được, client có thể thực hiện lại việc chuyển giao và cung cấp những đánh dấu (hoặc đánh dấu một tập hợp tương đương)

 Hỗ trợ tập tin kích thước lớn: tất cả các kích thước tệp, độ dài, và offset

có chiều dài 64 bit

 Tái sử dụng kênh dữ liệu:Dữ liệu kênh có thể được tái sử dụng nếu việc chuyển giao tiếp theo có cùng một nguồn, đích, và các chứng thực Điều này tiết kiệm thời gian của cơ sở kết nối, xác thực Đây là một sự khác biệt hiệu suất rất lớn khi di chuyển nhiều các tập tin nhỏ

 Tích hợp thiết bị đo đạc (Performance Markers)

 Đăng nhập / kiểm tra (mở rộng đăng nhập vào máy chủ)

 Truyền song song (Nhiều dòng TCP giữa một cặp host)

 TCP kiểm soát kích thước bộ đệm

 Dựa trên tiêu chuẩn RFC 959, RFC 2228, RFC 2389, IETF Draft

MLST-16, GGF GFD.020

Tính năng khác:

 Cung cấp một công cụ gọi là globus-url-copy Công cụ này có thể tận

dụng lợi thế của tất cả các tính năng giao thức GridFTP và cũng có thể

làm giao thức chuyển đổi giữa FTP, HTTP, HTTPS, và POSIX tập tin IO

trên máy client

 Cung cấp một tập hợp các thư viện phát triển và API cho các nhà phát

triển muốn thêm chức năng GridFTP ứng dụng

1.2.1.2 RLS

Replica Location Service (RLS) là một máy chủ cung cấp đăng ký và tra cứu

thông tin bản sao Trong RLS, có hai loại dịch vụ: dịch vụ catalog và dịch vụ index

Tính năng hỗ trợ:

 Toàn bộ thư viện C cho bản sao đăng ký, tra cứu bản sao, bản sao các

thuộc tính, chỉ số truy vấn, và các nhiệm vụ quản trị

 Công cụ dòng lệnh (globus-RLS-cli) cho các hoạt động của client trên

danh mục catalog và index

 Công cụ dòng lệnh (globus-RLS-admin) cho các nhiệm vụ quản trị

1.2.2 Execution (Jobs) Management Components

Thành phần quản lý thực thi có liên quan đến việc khởi đầu, theo dõi, lập kế

hoạch, quản lý, hoặc phối hợp các tính toán từ xa GT5 hỗ trợ Grid Resource

Allocation and Management (GRAM5) như một cơ chế cơ bản cho các mục đích sử

dụng

GRAM5 là thành phần được sử dụng để xác định vị trí, gửi, theo dõi, và hủy bỏ

công việc trên tài nguyên tính toán lưới GRAM5 không mang ý nghĩa lập lịch,

nhưng là một tập hợp các dịch vụ và các client giao tiếp với một chuỗi bộ lập lịch

công việc batch/cluster khác nhau bằng cách sử dụng một giao thức phổ biến

GRAM5 dùng để giải quyết một loạt các công việc dựa trên những hoạt động tin

cậy, theo dõi trạng thái, quản lý chứng thực, và tạo tập tin quan trọng

Các tính năng trong GRAM5:

 Thực hiện công việc từ xa và quản lý

 Cung cấp giao diện thống nhất, linh hoạt để quản lý tài nguyên cục bộ

 Tạo tập tin trước và sau khi thực hiện công việc

 Xóa các tập tin và thư mục tạm sau khi chấm dứt công việc

 Dịch vụ kiểm toán cho mỗi đệ trình

1.2.3 Security Components

Thành phần này thiết lập danh tính của người sử dụng hoặc dịch vụ (xác thực), bảo vệ thông tin liên lạc và xác định ai được phép thực hiện những hành động (ủy quyền), cũng như quản lý thông tin người dùng

1.2.3.1 GSI C

Globus Toolkit GSI C là thành phần cung cấp các API và công cụ, cho phép xác thực và quản lý chứng thực API xác thực được xây dựng bằng cách sử dụng Public Key Infrastructure (PKI), ví dụ như chứng thực X.509 và TLS Hỗ trợ ủy quyền có dạng của cặp API API đầu tiên được cấp cho phép mô tả thực hiện kiểm soát truy cập dựa trên các thông tin của khách hàng (chứng thực X.509) API thứ hai cung cấp một danh sách điều khiển truy cập đơn giản dựa trên tên người dùng cục bộ (hệ thống) Ngoài ra, cơ chế thứ hai cũng cung cấp các dòng mô tả cho phép các bên thứ ba để ghi đè lên hành vi mặc định và hiện đang được sử dụng trong các máy chủ Gatekeeper và GridFTP Ngoài ra còn các API ở các mức độ khác nhau dùng để quản lý, phát hiện và truy vấn chứng thực

thực trực tuyến với một CA trực tuyến để cho phép người sử dụng một cách an toàn

có được các thông tin cần thiết khi nào và ở đâu Người dùng chạy myproxy-logon

để xác thực và có được các thông tin, bao gồm cả chứng thực CA tin cậy và

Certificate Revocation Lists (CRLs)

 Người quản trị có thể dùng myproxy-admin-adduser để tạo thông tin người

dùng và tải chúng vào kho lưu trữ MyProxy

 Người quản trị có thể dùng myproxy-admin-addservice để tạo thông tin

host và tải chúng vào kho lưu trữ MyProxy

 Người dùng và người quản trị có thể thiết lập chính sách kiểm soát truy cập

vào các thông tin trong kho

 Nếu được cho phép bởi các nhà quản lý (ví dụ Condor-G) có thể gia hạn các

thông tin khi chúng hết hạn

1.2.3.4 GSI-OpenSSH

GSI-OpenSSH là một phiên bản sửa đổi của OpenSSH có thêm hỗ trợ cho

X.509 proxy chứng thực và ủy quyền, cung cấp một lần đăng nhập từ xa và dịch vụ

truyền tập tin GSI-OpenSSH có thể được sử dụng để đăng nhập vào hệ thống từ xa

và chuyển các tập tin giữa các hệ thống mà không cần nhập mật khẩu, thay vì dựa

trên chứng thực proxy hợp lệ để xác thực GSI-OpenSSH chuyển tiếp các thông tin proxy để đăng nhập hệ thống từ xa, vì vậy các lệnh yêu cầu các thông tin proxy (bao gồm cả lệnh GSI-OpenSSH) có thể được sử dụng trên hệ thống từ xa mà không cần phải tự tạo ra một chứng thực proxy mới vào hệ thống đó

Tính năng hỗ trợ:

 Các lệnh gsissh cung cấp một dịch vụ đăng nhập từ xa an toàn với

chuyển tiếp của các thông tin X.509 Proxy

 Các lệnh gsiscp và gsisftp cung cấp một dịch vụ chuyển tập tin an

toàn được chứng thực an toàn được chứng thực với các thông tin X.509 Proxy, mô phỏng lệnh rcp/scp và ftp/sftp

 Tất cả các tính năng tiêu chuẩn của OpenSSH được hỗ trợ, không bao gồm xác thực Kerberos Xác thực Kerberos không tương thích với OpenSSH GSI-enable

 Các máy chủ GSI-OpenSSH có thể thay thế hệ thống tiêu chuẩn máy chủ SSH trong các môi trường điển hình

 Nếu tên đăng nhập không được đưa ra trên dòng lệnh, GSI-OpenSSH

tự động xác định tên người dùng tương ứng với đối tượng chứng thực X.509 proxy trong mapfile của máy chủ grid-mapfile

1.2.4 Common Runtime Components

Các thành phần này bao gồm một tập hợp các thư viện C thường cần cho xây dựng cơ sở hạ tầng lưới và XIO, một thư viện I/O mở rộng phù hợp với nhu cầu năng động của các ứng dụng lưới

1.2.4.1 XIO

Globus XIO là một thư viện I/O mở rộng viết bằng C cho bộ công cụ Globus

Nó cung cấp một API đơn (open/close/read/write) hỗ trợ nhiều giao thức, với việc triển khai giao thức đóng gói như các trình điều khiển Các trình điều khiển XIO phân phối với 5.0.4 bao gồm TCP, UDP, tập tin, HTTP, GSI, GSSAPI_FTP, TELNET và xếp hàng Ngoài ra, Globus XIO cung cấp một giao diện phát triển

trình điều khiển để sử dụng bởi các nhà phát triển giao thức Giao diện này cho

phép các nhà phát triển tập trung vào việc viết mã giao thức chứ không phải là cơ sở

hạ tầng, như XIO cung cấp một khuôn khổ để xử lý lỗi, cung cấp không đồng bộ tin

nhắn, thời gian tạm ngưng, Cách tiếp cận XIO tối đa hóa việc tái sử dụng mã bằng

cách hỗ trợ các khái niệm của một driver stack Các trình điều khiển XIO có thể

được viết là đơn vị nguyên tử và chồng lên nhau Mô-đun này cung cấp sự linh hoạt

tối đa và đơn giản hoá việc thiết kế và đánh giá của các giao thức cá nhân

Các tính năng hỗ trợ:

 Driver cụ thể các thuộc tính

 Thiết lập giá trị như tcp, buffer, size thông qua chuỗi thời gian chạy

 UDT driver, Mode E Driver, Telnet Driver, Queuing Driver, Ordering

Driver

 Tự động nạp drivers, API đơn để triển khai IO swappable, hỗ trợ không

đồng bộ IO, hỗ trợ thời gian timeout

 Dữ liệu mô tả để cung cấp các gợi ý trình điều khiển cụ thể

 Tối đa hóa việc sử dụng mã

 TCP, UDP, file, HTTP, telnet, mode E, GSI drivers

1.2.4.2 C Common Libraries

Cung cấp một lớp trừu tượng cho các loại dữ liệu, hệ thống các cuộc gọi libc, và

cấu trúc dữ liệu được sử dụng trong suốt bộ công cụ Globus và hữu ích cho các ứng

dụng sử dụng bộ công cụ Globus

1.3 Các chuẩn tính toán lưới

Một trong những vấn đề lớn của bất kỳ công nghệ tính toán nào là làm sao

để các thành phần khác nhau có thể “nói chuyện” được với nhau Không có gì quan

trọng hơn việc làm cho các nền tảng khác nhau giao tiếp được với nhau Đây cũng

là một trong những thách thức của công nghệ tính toán lưới Bởi vì công nghệ tính

toán lưới cần phải đáp ứng nhiều nhu cầu khác nhau, hỗ trợ nhiều loại công nghệ,

tài nguyên, trải rộng khắp thế giới, do nhiều tổ chức tham gia xây dựng, nên để các thành phần của lưới, ứng dụng trên lưới tương thích được với nhau cần phải có một chuẩn chung, một ngôn ngữ chung thống nhất cho toàn bộ nền công nghệ

1.3.1 Open Grid Services Architecture (OGSA)

Chuẩn Open Grid Services Architecture (OGSA) xác định toàn bộ các kết cấu, cấu trúc, dịch vụ cơ bản của một ứng dụng Grid và có thể được áp dụng trong bất kỳ một hệ thống Grid nào Về thực chất, OGSA định nghĩa các dịch vụ Grid (Grid service) là gì, chúng cần có những khả năng gì, được xây dựng trên những công nghệ nào Nó cũng xác định mô hình lập trình cho Grid service Tuy nhiên, OGSA không đi sâu vào mặt kỹ thuật của vấn đề, nó chỉ giúp phân biệt cái gì là Grid và cái

mở để truy cập nhiều loại Grid service dựa trên các chuẩn hiện hành như SOAP, XML, và WS-Security Với điều kiện như vậy, có thể thêm và tích hợp các Grid service mới một cách đơn giản, dễ dàng Nó cung cấp một phương pháp chung nhất

để tìm kiếm, xác định, sử dụng các service mới khi chúng có mặt Từ đó, giải quyết được vấn đề liên kết hoạt động giữa các Grid và các tài nguyên

1.3.2 Open Grid Services Infrastructure (OGSI) phiên bản 1.0

OGSI là một bản đặc tả chính thức các khái niệm được mô tả trong OGSA OGSI version 1.0 xác định một một tập các service cơ bản, xác định cách xây dựng một Grid service, định nghĩa các hoạt động chung nhất của tất cả các Grid service,vạch ra các cơ chế để tạo lập; quản lý các Grid service, cơ chế trao đổi thông tin giữa các Grid service Chuẩn OGSI dựa trên các chuẩn khác như XML, Web service, WSDL,… Do đó, nó cũng là một chuẩn mở