Tính toán lưới và một số vấn đề nghiên cứu, phát triển tính toán lưới ở Việt Nam

Trang 1

Hội thảo quốc gia lần thứ XI: Một số vấn đề chọn lọc của CNTT - TT Huế, 12 – 13/6/2008

VNGrid Project

Grid Activities in Vietnam

• V ũ Đức Thi, Trần Văn Lăng, Nguyễn Thanh Thuỷ

• Ph ạm Kỳ Anh, Lê Anh Dũng

Tính toán lưới và một số vấn đề

tính toán lưới ở Việt Nam

Trang 2

VNGrid Project

Outline

– Đề tài cấp Nhà nước VNGrid, thuộc Chương trình KC.01

Trang 3

VNGrid Project

 PGS.TS V ũ Đức Thi, Viện Công nghệ thông tin

 PGS.TS Tr ần Văn Lăng , Phân vi ện Công nghệ thông tin t ại TP Hồ Chí Minh

 PGS.TS Nguy ễn Thanh Thuỷ, Trường Đại học

Trang 4

VNGrid Project

Grid Computing

Trang 5

Trang 6

Hội thảo quốc gia lần thứ XI: Một số vấn đề chọn lọc của CNTT - TT

VNGrid Project

Huế, 12 – 13/6/2008

V ề các hoạt động nghiên cứu và phát tri ển Grid Computing và e- Science

Trang 7

VNGrid Project

Grid Computing Activities

Trang 8

VNGrid Project

Open Grid Forum

Trang 9

VNGrid Project

EGEE User Forum

Grids for E-sciencE)

Clermont-Ferrand, Pháp, 01/2008.

Trang 10

VNGrid Project

PRAGMA

PRAGMA (Pacific Rim

Applications and Grid Middleware Assembly)

nay đã có hội thảo lần thứ 14 tại Taiwan, vào

3/2008.

Trang 11

VNGrid Project

Trang 12

VNGrid Project

Huế, 12 – 13/6/2008

Trang 13

Trang 14

VNGrid Project

– H ệ quản trị tài nguyên: xem xét các yêu cầu về tài nguyên, cung c ấp tập các API cho phép gửi

ho ặc huỷ các yêu cầu thực thi công việc.

– Cơ chế truy cập các hệ lưu trữ phụ: cung cấp

cơ chế đọc và ghi các tập tin từ xa thông qua giao th ức HTTP hoặc HTTPS.

Trang 15

VNGrid Project

lưới, …

– D ịch vụ giám sát và khai thác tài nguyên

(Monitoring and Discovery Service - MDS),

– D ịch vụ thông tin tài nguyên Grid (Grid

Resource Information Service - GRIS)

– D ịch vụ thông tin chỉ mục (Grid Index

Information Service - GIIS)

Trang 16

VNGrid Project

trên môi trường mạng diện rộng với băng thông

l ớn.

– Đồng thời cung cấp việc truy cập và quản trị

d ữ liệu trong môi trường Grid

– Trong Globus có các công c ụ hỗ trợ như

gridFTP và globus-url-copy

Trang 17

Trang 18

VNGrid Project

Trong GT4 có c ả Non-WS

Data Mgmt Security Execution Mgmt Services Info Common Runtime

Web Services Components

Non-WS Components

& Discovery

C Common Libraries

Authentication

Authorization

Reliable File Transfer

Data Access

& Integration

Grid Resource Allocation &

Management Index WS Core Java

Community

Authorization

Replica Location eXtensible IO (XIO)

Credential

Mgmt

Community Scheduling Framework Delegation Replication Data

Trigger WS Core C

Python

WS Core WebMDS

Workspace Management

Grid Telecontrol Protocol

www.globus.org

Trang 19

VNGrid Project

Trang 20

VNGrid Project

Grid Technology - gLite

Grids for E-sciencE) c ủa CERN (European

Organization for Nuclear Research - Conseil Européen pour la Recherche Nucléaire )

– Các thành ph ần của kiến trúc gLite cũng

tương tự như các thành phần của Globus Toolkit

Trang 21

VNGrid Project

hơn cho mỗi thành phần

Trang 22

VNGrid Project

Trang 23

VNGrid Project

(Large Hadron Collider)

Trang 24

VNGrid Project

middleware for Grid Computing”

Trang 25

– Các service có th ể làm việc cùng nhau

Trang 26

– Information & Monitoring Services

– Job Management Services

Trang 27

VNGrid Project

– Grid Access thông qua CLI (Command lines

User Interface) và các API

Trang 28

VNGrid Project

Services in gLite

Trang 29

Workload Management

File & Replica Catalog

Authorization

Security Services

Accounting

Auditing

Job Provenance

Package Manager

CLI

Network Monitoring

Trang 30

VNGrid Project

Main components of gLite

User Interface (UI): Nơi mà người sử dụng login vào Grid

Computing Element (CE) : H àng đợi trên các site mà ở đó người

s ử dụng thực thi công việc

Storage Element (SE) : Cung c ấp vùng lưu trữ file quy mô lớn

Resource Broker (RB) : Làm cho yêu c ầu của người sử dụng phù hợp

v ới nguồn tài nguyên trên Grid

Trang 31

VNGrid Project

UI JDL

Logging &

Book-keeping

Resource Broker

Job Submission Service

Storage Element

Computing Element

Information Service

Job Status

LFC Catalog

Trang 32

VNGrid Project

Trang 33

VNGrid Project

Grid Infrastruture

CERN, còn có UNICORE.

– D ự án UNICORE (Uniform Interface to

Computing Resources) b ắt đầu từ năm 1997

và được tài trợ bởi Bộ Nghiên cứu và Giáo

d ục Đức

– G ần đây, UNICORE được tiếp tục tài trợ bởi

m ột số dự án của Châu Âu UNICORE cung

c ấp các gói phần mềm cả client lẫn server giúp xây d ựng hệ thống Grid

Trang 34

VNGrid Project

Grid Technology - UNICORE

qua các gói Client Plugin

Trang 35

VNGrid Project

26/5/2008) hướng đến kiến trúc OGSA và

tương thích với WSRF

User Database, UniGrids Portal, …

Globus.

Trang 36

VNGrid Project

Grid

khác

như vấn đề quản lý VO (VOMS), truy cập dữ

Trang 37

VNGrid Project

Problem 1: Grid Infrastructure

Trang 38

VNGrid Project

Google Gadget

Trang 39

Trang 40

VNGrid Project

Semantic Grid

minh hơn, có thể nhận ra và phân phối tài

nguyên.

Trang 41

VNGrid Project

– EGEE (Enabling Grids for E-sciencE)

– DEISA (Distributed European Infrastructure for

Supercomputing Applications)

Trang 42

– Sau đó đưa ra file ngôn ngữ

S-OGSAOntology.owl để cung cấp Sematic Grid cho ki ến trúc OGSA Grid Resource Ontology

• Xem http://www.unigrids.org/ontology.html

Trang 43

d ạng của protein

Trang 44

VNGrid Project

ảnh (Photo) tương ứng

RDF (Resource Description Framework) tool

mô t ả metadata về các object và reference

Trang 45

xu ất

Trang 46

VNGrid Project

Trang 47

VNGrid Project

vi ệc

cho người dùng thực hiện việc truy cập tài

xa

Trang 48

tương ứng dựa trên chính sách quản lý tài nguyên.

Trang 49

VNGrid Project

chúng được thực thi ở đâu

h ọa

Trang 50

VNGrid Project

Trang 51

VNGrid Project

Monitoring and Discovery System

– SCMSWeb qu ản lý trạng thái những hệ thống Grid l ớn.

– H ệ thống này giúp người quản trị đơn giản

hóa vi ệc quản trị hệ thống,

– Có th ể nắm bắt những thông tin quan trọng

ph ục vụ cho việc phân tích, phát hiện và phục

h ồi trạng thái lỗi.

Trang 52

– Qu ản lý trạng thái các

job ở bất cứ đâu thông qua giao di ện web

Trang 53

VNGrid Project

Trang 54

VNGrid Project

Cluster Toolkit

– Ganglia là b ộ công cụ cho phép quản lý và kết

h ợp giữa các cluster được phân cấp

– Ganglia thu th ập thông tin về trạng thái hệ

th ống và phổ biến chúng thông qua giao diện web

Trang 55

VNGrid Project

Trang 56

Trang 57

VNGrid Project

Problem 2: Meta-Scheduling

(Load Sharing Facility), …)

– GridWay: S ử dụng dựa vào kiến trúc hạ tầng Globus ở bên dưới.

Trang 58

VNGrid Project

Interface để giao tiếp

bên dưới.

được tranh cãi nhiều,

trong khi đó có

không dùng WS

Trang 59

VNGrid Project

Meta-Scheduler

Globus 4 và các WS

Trang 60

VNGrid Project

Trang 61

VNGrid Project

Problem 3: Data Grid

Data Grid được đề cập đến nhiều, là một trong

Distributed Computing, Applications and

Zealand, có dành ra để tổ chức

– 1 st International Workshop on High

Performance Data Grid

Trang 62

VNGrid Project

Integration Services

– Data Grid, Web Services and P2P

– WSRF-based Data Grid Services

– Data Grids for e-Science

Trang 63

VNGrid Project

Retrieval in Grids

– Data Security and Privacy

– Grid Storage & High Performance Data

Transfer Protocols

– Data Grids and Metadata Management

– Grid multimedia data management

Trang 64

VNGrid Project

Problem 4: Grid-based Applications

Trang 65

Trang 66

VNGrid Project

Trang 67

VNGrid Project

Trang 68

M ột số trung tâm

và h ệ thống tính

toán hi ệu năng

cao được xây

d ựng

IOIT-HCM Grid Project

Grid Project (6/2005) c ủa Bách khoa TPHCM

BK Grid Group, Bách khoa

Hà N ội

M ột số nhóm nghiên

c ứu về Grid

BioGrid, IOIT-HCM

Trang 69

Trang 70

IOIT-Hội thảo quốc gia lần thứ XI: Một số vấn đề chọn lọc của CNTT - TT Huế, 12 – 13/6/2008

BKGrid Portal

Security Service Information

Resource Broker Agent

HPC Service

Fedora Core 1

Trang 71

VNGrid Project

Mining (HPM), and Density Based Spatial

Clustering of Application with Noise (DBSCAN)

để khám phá vị trí gene mang bệnh

(IOIT-HCM).

(Khoa Toán – Tin, KHTNTPHCM)

Trang 72

VNGrid Project

• Real science, multiple applications

– Resource sharing

– TDDFT: quantum-chemistry, AIST, Japan

– Savannah: climate Model, MU, Australia

– QM-MD: quantum-mechanic, AIST, Japan

– iGAP: bioinformatics, UCSD, USA

– Gamess-APBS: organic chemistry, UZurich, Switzerland

– Siesta: molecular simulation, UZurich, Switzerland

– Amber: molecular simulation, USM, Malaysia

– FMO: quantum-mechanics, AIST, Japan

– HPM: Genomics, IOIT-HCM, Vietnam

– (GEON, Sensor, … <data, sensor>)

http://goc.pragma-grid.net

Trang 73

VNGrid Project

Trang 74

VNGrid Project

Grid Computing for

climate forecast (BKHN

và Trung tâm tín toán

Trang 75

VNGrid Project

M ục tiêu của VNGrid project

– K ết nối 5 tổ chức lại cùng nhau

– K ết nối với một vài tổ chức khác trên thế giới

(PRAGMA, EUAsiaGrid, EUChinaGrid, EUIndiaGrid, …)

VNGrid.

Trang 76

VNGrid Project

– Monitoring and Discovering the resources of

the sites and whole of connected system,

– Meta-scheduler and broker

– Studying and deploying safety, security and

authentication solutions

Trang 77

VNGrid Project

– Tri ển khai hệ thống khai thác dữ liệu đa

phương tiện (Multimedia Data),

tài nguyên

Trang 78

VNGrid Project

– Building VNGrid Portal để triển khai các

Grid-based applications

Trang 79

Trang 80

VNGrid Project

Huế, 12 – 13/6/2008

M ột số công việc đã thực hiện

Tiêu đề	Tính toán lưới và một số vấn đề nghiên cứu, phát triển tính toán lưới ở Việt Nam
Tác giả	Vũ Đức Thi, Trần Văn Lăng, Nguyễn Thanh Thuỷ, Phạm Kỳ Anh, Lê Anh Dũng
Người hướng dẫn	PGS.TS. Vũ Đức Thi, PGS.TS. Trần Văn Lăng, PGS.TS. Nguyễn Thanh Thuỷ, GS.TSKH. Phạm Kỳ Anh, PGS.TS. Lê Anh Dũng
Trường học	Đại Học Bách Khoa Hà Nội
Chuyên ngành	Khoa học máy tính và Công nghệ Thông tin
Thể loại	Báo cáo hội thảo
Năm xuất bản	2008
Thành phố	Huế

Định dạng
Số trang	95
Dung lượng	6,19 MB