Thiết kế hệ thống nhóm máy tính cụm trong VN-KIM

Slide 1 Thiết kế hệ thống nhóm máy tính cụm trong VN KIM Nguyễn Quang Hùng Khoa CNTT ĐHBK TPHCM Tổng quan  VN KIM có các loại nút tính toán  Sesame server (S Server) lưu trữ và truy vấn thông tin tr[.]

Thiết kế hệ thống nhóm máy tính cụm trong VN-KIM

Nguyễn Quang Hùng

Khoa CNTT ĐHBK TPHCM

Tổng quan

 Sesame server ( S-Server ): lưu trữ và truy vấn thông tin tri thức biểu diễn

dạng RDF.

 Annotation server ( A-Server ): thực hiện chú giải một trang web.

 Lucence server ( L-Server ): lưu trữ và truy xuất các tài liệu đã được chú giải.

Mục tiêu

 Đáp ứng nhiều người dùng (client) đồng thời cho:

 Các yêu cầu truy xuất cơ sở tri thức

 Các yêu cầu chú giải trang web

 Các yêu cầu truy xuất Lucence

 Thời gian đáp ứng trung bình cho các yêu cầu từ client là nhanh.

Các vấn đề đối với

VN-KIM

1 Đáp ứng được nhiều client cùng lúc

2 Độ an toàn khi công khai các kho dữ liệu

3 Tính mở rộng

4 Không thể kiểm soát các kết nối từ client:

server bằng cách mở kết nối nhưng không đóng.

5 KB có thể bị thay đổi khi client hack (kiểm soát) được các server

6 Khi tăng thêm tài nguyên phần cứng phải thay đổi mã nguồn.

Giải pháp (1)

 Mỗi cluster phục vụ cho một loại yêu cầu:

 A cluster phục vụ A request

 S cluster phục vụ S request

 L cluster phục vụ L request

nhập duy nhất

Giải pháp (2)

 Thiết kế phần mềm hệ thống theo

(Service-Oriented Architecture - SOA) giúp

hướng đến môi trường tính toán lưới (Grid computing) dễ dàng

Kiến trúc hệ thống SWG

VOIService

Annotation cluster

(A cluster)

Sesame cluster (S cluster)

Lucene cluster (L cluster)

Client Client Client Client Client

VOAService VOKBService VOLService

Annotation IS Sesame IS Lucence IS

SS 1 SS 2 SS 3

Kiểm nghiệm bằng p.p giả

lập

 Viết một chương trình kiểm nghiệm giả lập nhiều client đồng thời kết nối đến toàn hệ thống và gửi yêu cầu

theo từng kịch bản kiểm tra

Giải thuật giả lập client

1 Tại bước lặp thứ k, thread chính tạo ra

k thread mới

2 Khi thread chạy, nó sẽ gửi 1 yêu cầu

(hoặc chú giải, hoặc truy vấn KB…)

đến server.

3 Rồi thread chính dừng lại một khoảng

t_sleep mili giây

4 Lặp lại cho đến khi k = MAX_THREAD.

Kiểm nghiệm trên truy vấn

cơ sở tri thức (1)

 Câu SeRQL truy vấn là:

"select x1, z1 from {x1} rdfs:label {z1},

{x1} rdf:type {<http://www.dit.hcmut.edu.vn/vnkim/vnkimo.rdfs#Huyện>}, {y1} rdf:type

{<http://www.dit.hcmut.edu.vn/vnkim/vnkimo.rdfs#Thành_phố_cấp_một>}, {x1} <http://www.dit.hcmut.edu.vn/vnkim/vnkimo.rdfs#được_định_vị_ở> {y1}, {y1} <http://www.dit.hcmut.edu.vn/vnkim/vnkimo.rdfs#là_một_phần_của> {<http://www.dit.hcmut.edu.vn/vnkim/vnkimkb.rdf#Quốc_gia_1>} "

Kiểm nghiệm trên truy vấn

cơ sở tri thức (2)

Kiểm nghiệm trên truy vấn

cơ sở tri thức (3)

Kiểm nghiệm chú giải tự động (2)

1 AS-PC1 – Thời gian đáp ứng đo được trên PC1, với 1 A Server

1 AS-PC2 – Thời gian đáp ứng đo được trên PC2, với 1 A Server

VOAS-PC1 - Thời gian đáp ứng đo được trên PC1, với VOAService

VOAS-PC2 - Thời gian đáp ứng đo được trên PC2, với VOAService

Kiểm nghiệm chú giải tự động (3)

Kiểm nghiệm triệu hồi tài liệu (1)

Kiểm nghiệm triệu hồi tài liệu (2)

Tổng kết

Hệ thống nhóm các cụm máy tính

SWG đáp ứng tốt các tiêu chí:

 Phục vụ nhiều yêu cầu với thời gian đáp ứng trung bình là nhỏ

 Có giải thuật cân bằng tải

 Dễ mở rộng và tính sẵn sàng cao

 An toàn

Cám ơn hội đồng đã theo dõi

http://www.dit.hcmut.edu.vn/~tru/VN-KIM