tóm tắt luận án phân tích ảnh hưởng của trễ truyền thông đến hiệu năng của hệ thống tính toán song song

Có rất nhiều nguyên nhân ảnh hưởng đến hiệu năng của toàn bộ hệ thống, có thể kể ra như: cấu hình mạng liên kết, các trễ truyền thông, kiến trúc bộ nhớ chia sẻ, kiến trúc cache, kiến trú

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

NGUYỄN MINH QUÝ

PHÂN TÍCH ẢNH HƯỞNG CỦA TRỄ TRUYỀN THÔNG ĐẾN HIỆU NĂNG CỦA HỆ THỐNG TÍNH TOÁN

Công trình được hoàn thành tại:

Trường Đại học Bách khoa Hà Nội

Người hướng dẫn khoa học:

- PGS.TS Huỳnh Quyết Thắng

- TS Hồ Khánh Lâm

Phản biện 1: GS.TS Vũ Đức Thi

Phản biện 2: PGS.TS Hà Hải Nam

Phản biện 3: PGS.TS Ngô Quốc Tạo

Luận án sẽ được bảo vệ trước Hội đồng chấm luận án tiến sĩ cấp trường họp tại Trường Đại học Bách khoa Hà Nội Vào hồi …… giờ, ngày … tháng … năm ………

Có thể tìm hiểu luận án tại:

1 Thư viện Tạ Quang Bửu - Trường ĐHBK Hà Nội

2 Thư viện Quốc gia Việt Nam

MỞ ĐẦU

1 Lý do chọn đề tài

Khi nghiên cứu về các hệ thống tính toán song song thì một

vấn đề rất quan trọng thường hay đề cập đến, đó chính là Hiệu năng Trên thực tế, khi thêm các nút tính toán vào hệ thống thì

mong muốn của chúng ta là hiệu năng hay tốc độ sẽ tăng lên tương ứng Tuy nhiên, một điều rất rõ ràng là tốc độ tăng lên này sẽ có

xu hướng giảm dần Có rất nhiều nguyên nhân ảnh hưởng đến hiệu năng của toàn bộ hệ thống, có thể kể ra như: cấu hình mạng liên kết, các trễ truyền thông, kiến trúc bộ nhớ chia sẻ, kiến trúc cache, kiến trúc chip đa lõi, thuật toán của người dùng, công cụ phần mềm hỗ trợ lập trình song song v.v

Như vậy, việc xác định và phân tích rõ ảnh hưởng của các yếu

tố kể đến hiệu năng của hệ thống là một bài toán vô cùng quan trọng và cần thiết bởi khi đã xác định rõ được sự ảnh hưởng của các thông số này, người ta hoàn toàn có thể điều chỉnh chúng để

có được hiệu năng tốt nhất cho hệ thống

Luận án này sẽ đi vào nghiên cứu phân tích hiệu năng của các

hệ thống tính toán song song, trong đó tập trung nghiên cứu sâu ảnh hưởng của trễ truyền thông đến hiệu năng của hệ thống

2 Mục tiêu nghiên cứu

Mục tiêu nghiên cứu của luận án là phân tích ảnh hưởng của trễ truyền thông (Communication Overhead) tới hiệu năng của hệ thống tính toán song song và đề xuất công thức tính toán trễ truyền thông ứng với một số cấu trúc mạng liên kết phổ biến Ngoài ra, luận án tiến hành thiết kế và thử nghiệm phần mềm thám mã mật khẩu trong MS Office Word chạy trên nền hệ thống tính toán song song để cho thấy rõ sự ảnh hưởng của trễ truyền thông đến hiệu năng của hệ thống Phương pháp lý thuyết được sử dụng để phân tích trễ truyền thông trong luận án là mạng hàng đợi và mạng Petri

3 Đối tượng và phạm vi nghiên cứu

3.1 Đối tượng nghiên cứu

Đối tượng nghiên cứu của luận án là Trễ truyền thông trong các hệ thống tính toán song song

3.2 Phạm vi nghiên cứu

Do việc phân tích hiệu năng trong các hệ thống tính toán song song có phạm vi rất rộng và phức tạp Vì vậy, phạm vi nghiên cứu của luận án là phân tích ảnh hưởng của trễ truyền thông đến hiệu năng của các hệ thống tính toán song song Các hệ thống tính toán song song này chỉ gồm kiến trúc chip đa lõi và kiến trúc nối cụm Luận án cũng giả thiết các nút tham gia tính toán trong các hệ thống cụm cũng như các lõi trong cùng một vi xử lý có cấu hình và năng lực tính toán giống nhau, cùng hoàn thành công việc với khoảng thời gian như nhau

Ngoài ra, luận án cũng chỉ tập trung nghiên cứu đối với các hệ thống tính toán song song mà ở đó sự trao đổi thông tin là không nhỏ giữa các phần tử tính toán Còn đối với các hệ thống tính toán mà các phần tử ít trao đổi thông tin với nhau và ít phải chờ đợi, lệ thuộc nhau về dữ liệu và tài nguyên thì có thể bỏ qua trễ này

4 Ý nghĩa khoa học và thực tiễn của đề tài

4.1 Ý nghĩa khoa học

Về mặt khoa học, công thức đề xuất để tính trễ truyền thông trong luận án có thể làm cơ sở để nghiên cứu tính trễ cho rất nhiều các loại liên kết mạng khác nhau Ngoài ra, phương pháp sử dụng mạng Petri để phân tích hiệu năng là một cách tiếp cận mới ngoài phương pháp truyền thống là sử dụng mô hình mạng hàng đợi

4.2 Ý nghĩa thực tiễn

Kết quả nghiên cứu trong luận án có thể được sử dụng vào việc lựa chọn loại liên kết mạng phù hợp nhất cho mỗi loại ứng dụng với kích thước các gói tin khác nhau để giảm thiểu nhất trễ

truyền thông, từ đó có được hiệu năng cao nhất cho toàn bộ hệ thống

Dựa vào công thức tính toán trễ được đề xuất, các hệ thống phần mềm tính toán có thể tìm các giải pháp về thuật toán trong chương trình để giảm thiểu các truyền thông không cần thiết, tránh được các trễ khi thực hiện giao tiếp giữa các nút tính toán

Phần xây dựng chương trình và thuật toán thám mã mật khẩu của MS Office Word có thể mở rộng để xử lý trên hệ thống với nhiều nút tính toán hơn và có tích hợp các bộ tăng tốc đồ họa để

có thể giải quyết nhiều bài toán thám mã tương tự khác, như khôi phục mật khẩu MS Excel, tệp zip, mật khẩu windows, v.v

5 Đóng góp của luận án

Các kết quả chính của luận án, gồm:

Thứ nhất: Xây dựng được công thức tính trễ truyền thông (Công thức 4.5) cho một số mạng liên kết trong hệ thống tính toán song song ghép cụm Công thức này có thể được sử dụng để tính trễ truyền thông cho hầu hết các cấu trúc mạng liên kết đa xử lý phổ biến như mạng liên kết lưới hai chiều (2Dmesh), lưới ba chiều (3Dmesh), lưới vòng hai chiều (2Dtorus),

Thứ hai: Tiến hành phân tích ảnh hưởng của mạng liên kết đến hiệu năng của hệ thống tính toán song song có sử dụng chip đa lõi thông qua sử dụng mạng hàng đợi đóng có nghiệm dạng tích các xác suất và mạng Petri thời gian tổng quát

Thứ ba: Tiến hành phân tích ảnh hưởng của trễ truyền thông đến hiệu năng của hệ thống tính toán song song ghép cụm Sử dụng mạng hàng đợi CPFQN và mạng Petri để tiến hành phân tích

và đánh giá ảnh hưởng của mạng liên kết đến hiệu năng của hệ thống cho các kiến trúc điển hình (lưới hai chiều, lưới vòng hai chiều, lưới lưới ba chiều, lưới vòng ba chiều, siêu lập phương - Hypercube)

Thứ tư: Thiết kế thuật toán và chương trình thám mã mật khẩu

MS Word chạy trên hệ thống cụm máy tính sử dụng bộ vi xử lý đa

6 Bố cục của luận án

Nội dung của luận án gồm 4 chương, cụ thể như sau:

- Chương 1: Trình bày tổng quan về các mô hình kiến trúc

tính toán song song, các kỹ thuật phân tích và phương pháp đánh giá hiệu năng Các nghiên cứu liên quan ở trong và ngoài nước về lĩnh vực này cũng được đề cập và phân tích

- Chương 2: Trình bày các cơ sở lý thuyết sẽ được sử dụng

trong luận án để phân tích hiệu năng, đó là mạng hàng đợi (Queuing network) và mạng Petri (Petri net) Ngoài ra, luật Amdalh cũng được phân tích và mở rộng trong trường hợp có tính đến trễ truyền thông

- Chương 3: Luận án đi vào phân tích ảnh hưởng của trễ

truyền thông đến hiệu năng của hệ thống tính toán song song có sử dụng chip đa lõi Luận án đề xuất công thức 4.5 để xác định trễ truyền thông

- Chương 4: Mở rộng đánh giá ảnh hưởng của trễ truyền

thông đến hiệu năng đối với hệ thống tính toán song song trong môi trường cụm máy tính Ngoài ra, chương này cũng thiết kế thuật toán trình bày kết quả đánh giá hiệu năng và ảnh hưởng của trễ truyền thông trên ứng dụng thực với bài toán thám mã mật khẩu MS Office Word

CHƯƠNG 1 TỔNG QUAN 1.1 Kiến trúc tính toán song song

1.1.1 Khái niệm

Tính toán song song là một dạng tính toán trong đó nhiều lệnh được thực hiện đồng thời trên các đơn vị xử lý

1.1.2 Các loại xử lý song song

Theo phân loại của Michael J Flynn thì có hình thức song song là: SISD, SIMD, MISD và MIMD

1.1.3 Mô hình tính toán song song

a) Song song sử dụng CPU nhiều lõi (MultiCore chip)

b) Song song sử dụng các bộ tăng tốc (bộ xử lý đồ họa GPU) c) Song song sử dụng các máy tính nối cụm

d) Song song sử dụng mô hình kết hợp: Cụm, GPU, MultiCore

1.2 Hiệu năng trong kiến trúc tính toán song song

Có 3 tiêu chí quan trọng để đánh giá là: Thời gian thực thi, tổng chi phí song song, mức độ tăng tốc, tính hiệu quả và tính mở rộng

1.2.1 Thời gian thực thi

Thời gian thực thi song song là khoảng thời gian bắt đầu quá trình tính toán song song cho đến khi phần tử tính toán cuối cùng

kết thúc, ký hiệu là T p

1.2.2 Tổng chi phí song song

Chi phí tiêu tốn bởi một chương trình song song được biểu diễn bởi một biểu thức và được gọi là hàm chi phí (Overhead

function) Ký hiệu là T o và T o = pTp - Ts

1.2.3 Mức tăng tốc

Mức tăng tốc được định nghĩa là tỉ số giữa thời gian chạy trên một đơn vị xử lý (tuần tự) và thời gian chạy trên hệ thống tính toán song song

Tính mở rộng đo khả năng tận dụng hiệu quả khi tăng số phần

tử xử lý Các hệ thống mô phỏng có thể được dùng để tiên đoán tính mở rộng của hệ thống

1.3 Các kỹ thuật phân tích đánh giá hiệu năng

Để phân tích hiệu năng, có thể tiến hành theo một trong 3 phương pháp: Mô hình hóa, mô phỏng và đo lường

1.3.1 Mô hình hóa

Sử dụng các mô hình toán học để phân tích như: Mạng hàng đợi, mạng Petri

1.4.2 Mạng liên kết trong hệ thống tính toán song song

Trong hệ thống tính toán song song, các phần tử xử lý liên kết với nhau qua một mạng liên kết, có thể là 2Dmesh, 2Dtorus, 3Dmesh, 3Dtorus, Hypercube, v.v

1.5 Tổng quan về các nghiên cứu liên quan

a) Tình hình trong nước: Chưa có nhiều nghiên cứu và công trình liên quan đến hệ thống xử lý song song Dù các cơ sở đào tạo

và nghiên cứu về CNTT lớn như ĐHBKHN, ĐHQGHN, ĐHQGHCM, Viện hàn lâm khoa học và công nghệ VN đã trang bị

hạ tầng tính toán

b) Tình hình ngoài nước: Đã có nhiều nghiên cứu, tuy nhiên về vấn đề trễ truyền thông vẫn còn nhiều việc tiếp tục cần phải nghiên cứu, phát triển Trong đó việc tính toán trễ truyền thông trong công thức Amdahl mở rộng cho một số mạng liên kết cụ thể cần được tính toán đề xuất

1.6 Các nhiệm vụ trong luận án

- Nghiên cứu hướng tiếp cận đánh giá hiệu năng sử dụng mạng hàng đợi đóng có nghiệm dạng tích và mạng Petri

- Phân tích ảnh hưởng của trễ truyền thông đến hiệu năng của hệ thống tính toán song song có sử dụng vi xử lý đa lõi cũng như

hệ thống máy tính ghép cụm

- Triển khai thử nghiệm đánh giá ảnh hưởng của trễ truyền thông đối với bài toán thám mã mật khẩu trong môi trường tính toán song song

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT CHO PHÂN TÍCH

HIỆU NĂNG 2.1 Hàng đợi và mạng hàng đợi

2.1.1 Hàng đợi

Mô hình hàng đợi cơ bản của một Trung tâm phục vụ bao gồm các khách hàng tới một cách tuỳ ý và độc lập với nhau Hệ thống phục vụ có n điểm phục vụ (server), mỗi điểm phục vụ có khả năng phục vụ một khách hàng ở một thời gian Các thời gian phục

vụ cần thiết cho các khách hàng cũng được mô hình hóa như những biến tuỳ ý

2.1.2 Mạng hàng đợi

Mạng hàng đợi là các hệ thống mà chúng gồm một số tùy ý, nhưng hữu hạn các hàng đợi được nối với nhau

2.1.3 Mạng hàng đợi một lớp và nhiều lớp công việc

Mạng hàng đợi một lớp công việc là các công việc có cùng thời gian phục vụ và xác suất định tuyến

2.1.4 Các số đo hiệu năng của mạng hàng đợi 1 lớp công việc

Các số đo hiệu năng bao gồm: Xác suất biên, mức độ sử dụng, thông lượng, thông lượng tổng, số lượng trung bình của các công việc, độ dài trung bình của hàng đợi, thời gian đáp ứng trung bình, thời gian chờ đợi trung bình

2.1.5 Số đo hiệu năng của mạng hàng đợi nhiều lớp công việc

Các số đo này giống như các số đo của mạng hàng đợi một lớp công việc, tuy nhiên công thức tính là khác nhau

2.1.6 Các mạng hàng đợi có nghiệm dạng tích các xác suất

Bao gồm các mạng hàng đợi: BCMP, BCMP phiên bản 1 (cho PFQN đóng) và BCMP phiên bản 2 (cho PFQN mở)

2.2 Mạng Petri

2.2.1 Giới thiệu mạng Petri

Petri Net (PN) là một đồ thị song hướng có trọng số gồm 4

thành phần: tập hợp các vị trí P (place), tập hợp các chuyển tiếp T

(transition), hàm vào I (input function) và hàm ra O (output

function): N (P,T,I,O) (2.42)

2.2.2 Các đặc tính cơ bản của mạng Petri

Các đặc tính cơ bản của mạng Petri gồm: Tuần tự, đồng bộ, kết

hợp, song song hay tương tranh, đụng độ, hỗn độn, loại trừ lẫn

nhau, các ưu tiên, các chuyển tiếp cuối cùng, khóa chết

2.2.3 Một số mạng Petri phổ biến

Trong mạng Petri, có một số loại mạng hay được sử dụng là

mạng Petri có màu, mạng Petri có đánh dấu, mạng Petri thời gian

ngẫu nhiên, mạng Petri màu ngẫu nhiên

2.2.4 Phân tích mô hình mạng petri

Việc phân tích mô hình PN cho ta biết hành vi của hệ thống

Có các kỹ thuật phân tích cấu trúc và các kỹ thuật phân tích không

gian trạng thái

Các kỹ thuật phân tích cấu trúc gồm các phương pháp: ma trận

liên thuộc, các T-invariant và các S-invariant

2.3 Luật Amdahl

2.3.1 Mức tăng tốc và hiệu năng

Biểu thức mức tăng tốc chung là:

),()()(

)()(

p n p

n n

n n

σ(n) - thời gian thực hiện phần tuần tự

φ(n) - thời gian thực hiện phần có thể song song

κ(n,p) - thời gian liên quan cho thực hiện song song

2.3.2 Mức tăng tốc theo Luật Amdahl

Theo luật Amdahl, mức tăng tốc là:

f f p

p

n

/)1(

1)

S p = 1/(f + t c /t s ) Trong đó t c là trễ truyền thông

CHƯƠNG 3 PHÂN TÍCH ẢNH HƯỞNG CỦA TRỄ

TRUYỀN THÔNG ĐẾN HIỆU NĂNG

CỦA HỆ THỐNG TÍNH TOÁN SONG SONG SỬ DỤNG

CHIP ĐA LÕI

3.1 Hiệu năng của kiến trúc chip đa lõi

3.1.1 Chip đa lõi SMC, AMC và DMC

Có 3 kiến trúc chip đa lõi phổ biến hiện nay là SMC (Symetric Multicore Chip), AMC (Asymetric MC) và DMC (Dynamic MC)

3.1.2 Phân tích giá hiệu năng thông qua mức tăng tốc

Mức tăng tốc tương ứng với ba kiến trúc là:

fr f n

r n r

n

r f r f r

1 )

n r

f r

f r

1 )

,

,

r f f n

r n n

f r f r

1 (

1 )

,

,

3.2 Phân tích ảnh hưởng của mạng liên kết đến hiệu năng của hệ thống tính toán song song có sử dụng chip đa lõi bằng mạng hàng đợi đóng có nghiệm dạng tích các xác suất

3.2.2 Phân tích ảnh hưởng của trễ truyền thông đến hiệu năng

Các kết quả mô phỏng cho thấy: sự thay đổi thời gian phục vụ trung bình của mạng liên kết tỷ lệ tuyến tính với các thông số hiệu năng của các lõi CPU Do giá trị ban đầu của số công việc lớn (≥ 1000), nên mức độ sử dụng của các lõi CPU đạt đến mức độ gần tối đa, 0.9 – 1.0, thời gian chờ đợi (Queue time) tăng lên nhanh, dẫn đến thông lượng của thông số hiệu năng của lõi CPU và của toàn bộ chip (System_Througput) không có sự thay đổi đáng kể (có phần giảm) Điều này cho thấy trễ của mạng liên kết (thời gian phục vụ) khi số lượng công việc (lệnh, luồng) lớn sẽ gây ra giảm thông lượng của các lõi CPU một cách tuyến tính

3.3 Phân tích ảnh hưởng của mạng liên kết đến hiệu năng của hệ thống tính toán song song có sử dụng chip đa lõi bằng mạng Petri thời gian tổng quát - GSPN

3.3.1 Mô hình hóa hệ thống bằng GSPN

Với định nghĩa của GSPN và cơ chế thực thi trong kiến trúc chip đa lõi, việc biểu diễn mô hình hệ thống cho ở Hình 3.5 hoàn toán có thể biểu diễn bằng GSPN, như sau (Hình 3.13):