Phân tích ảnh hưởng của trễ truyền thông đến hiệu năng của hệ thống tính toán song song

Luận án này sẽ đi vào nghiên cứu phân tích hiệu năng củacáchệ thống tính toán song song, trong đó tập trung nghiên cứusâuảnh hưởngcủa trễtruyềnthôngđếnhiệunăngcủa hệ thống.. Thứ hai: Tiế

Công trình được hoàn thànhtại:Trường ĐạihọcBáchkhoaHàNội

Cóthểtìmhiểuluận án tại:

1 ThưviệnTạQuang Bửu-TrườngĐHBKHàNội

2 ThưviệnQuốcgiaViệtNam

1 Lý dochọnđềtài

Khi nghiên cứu về các hệ thống tính toán song song thìmộtvấn đề rất quan trọng thường hay đề cập đến, đó chính

làHiệunăng Trên thực tế, khi thêm các nút tính toán vào hệ thống

thìmong muốn của chúng ta là hiệu năng hay tốc độ sẽ tăng lêntươngứng.Tuynhiên,mộtđiềurấtrõrànglàtốcđộtănglênnàysẽcóxu hướng giảm dần Có rất nhiều nguyên nhân ảnh hưởng đến hiệunăng của toàn bộ hệ thống, có thể kể ranhư: cấu hình mạng liênkết, các trễ truyền thông, kiến trúc bộ nhớ chia sẻ,kiến trúc cache,kiến trúc chip đalõi, thuậtt o á n c ủ a n g ư ờ i

d ù n g , c ô n g c ụ p h ầ n mềmhỗtrợlậptrìnhsongsongv.v Như vậy, việc xác định và phân tích rõ ảnh hưởng của cácyếutố kể đến hiệu năng của hệ thống là một bài toán vô cùng quantrọng và cần thiết bởi khi

đã xác định rõ được sự ảnh hưởng củacác thông số này,n g ư ờ i

t a h o à n t o à n c ó t h ể đ i ề u c h ỉ n h c h ú n g

đ ể cóđược hiệunăngtốtnhấtchohệthống

Luận án này sẽ đi vào nghiên cứu phân tích hiệu năng củacáchệ thống tính toán song song, trong đó tập trung nghiên cứusâuảnh hưởngcủa trễtruyềnthôngđếnhiệunăngcủa hệ thống

2 Mụctiêunghiêncứu

Mục tiêu nghiên cứu củal u ậ n á n l à p h â n t í c h ả n h

h ư ở n g c ủ a trễ truyền thông (Communication Overhead) tớihiệu năng của hệthống tính toán song song và đề xuất công thứctính toán trễ truyềnthông ứng với một số cấu trúc mạng liên kết phổ biến Ngoài ra,luận ántiến hành thiết kế và thử nghiệm phần mềm thám mã mậtkhẩutrong MS Office Word chạy trên nền hệ thống tính toán songsong đểcho thấy rõ sự ảnh hưởng của trễ truyền thông đến hiệunăng của hệ thống Phương pháp

lý thuyết được sử dụng để phântích trễ truyền thông trongluận ánlàmạnghàng đợi vàm ạ n g Petri

Luận án cũng giả thiết các nút tham gia tính toán trong cáchệthống cụm cũng như các lõi trong cùng một vi xử lý có cấu hìnhvànănglựctínhtoángiốngnhau,cùnghoànthànhcôngviệcv ớ i khoảngthờigiannhưnhau.

Ngoài ra, luận án cũng chỉ tập trung nghiên cứu đối với cáchệthống tính toán song song mà ở đó sự trao đổi thông tin là khôngnhỏgiữa các phần tử tính toán.Còn đối với cáchệthốngt í n h t o á n m à cácphần tử ít trao đổi thông tin với nhau và ít phải chờ đợi, lệthuộcnhauvề dữliệuvà tàinguyênthìcóthể bỏquatrễnày

4 Ýnghĩakhoahọc vàthựctiễncủađềtài

4.1 Ýnghĩakhoahọc

Về mặt khoa học, công thức đề xuất để tính trễ truyềnthôngtrong luận án có thể làm cơ sở để nghiên cứu tính trễ cho rấtnhiềucác loại liên kết mạng khác nhau Ngoài ra, phương pháp sửdụngmạng Petri để phân tích hiệu năng là một cách tiếp cận mớingoàiphươngpháptruyềnthốnglàsửdụngmôhìnhmạnghàngđợi

4.2 Ýnghĩathựctiễn

Kết quả nghiên cứu trong luận án có thể được sử dụngvàoviệc lựa chọn loại liên kết mạng phù hợp nhất cho mỗi loạiứngdụngvớikíchthướccácgóitinkhácnhauđểgiảmthiểunhất trễ

truyềnthông, t ừ đ ó c ó đ ư ợ c h i ệ u n ă n g c a o n h ấ t c h o t o à n b ộ h

ệ thống

Dựa vào công thức tính toán trễ được đề xuất, các hệthốngphần mềm tính toán có thể tìm các giải pháp về thuật toántrongchương trình để giảm thiểu các truyền thông không cần thiết,tránhđược các trễkhithựchiệngiaotiếpgiữa cácnúttínhtoán

Phần xây dựng chương trình và thuật toán thám mã mậtkhẩucủa MS Office Word có thể mở rộng để xử lý trên hệ thốngvớinhiềunúttínhtoánhơnvàcótíchhợpcácbộtăngtốcđồhọađể

có thể giải quyết nhiều bài toán thám mã tương tự khác, nhưkhôiphụcmậtkhẩuMSExcel,tệpzip,mậtkhẩu windows,v.v

5 Đónggóp củaluận án

Cáckếtquảchínhcủaluậnán, gồm:

Thứnhất:Xây dựng được công thức tính trễ truyền thông(Côngthức 4.5) cho một số mạng liên kết trong hệ thống tính toánsongsong ghép cụm Công thức này có thể được sử dụng để tínhtrễtruyền thông cho hầu hết các cấu trúc mạng liên kết đa xử lýphổbiến như mạng liên kết lưới hai chiều (2Dmesh), lưới bachiều(3Dmesh),lướivònghaichiều(2Dtorus),

Thứ hai: Tiến hành phân tích ảnh hưởng của mạng liên kếtđếnhiệu năng của hệ thống tính toán song song có sử dụng chip đa lõithông qua sử dụngmạng hàng đợi đóng có nghiệm dạng tích cácxácsuấtvàmạngPetrithờigiantổngquát

Thứ ba: Tiến hành phân tích ảnh hưởng của trễ truyềnthôngđến hiệun ă n g c ủ a h ệ t h ố n g t í n h t o á n s o n g

s o n g g h é p c ụ m S ử dụng mạng hàng đợi CPFQN vàmạng Petri để tiến hành phân tíchvà đánh giá ảnh hưởng củamạng liên kết đến hiệu năng của hệthống cho các kiến trúc điểnhình (lưới hai chiều, lưới vòng haichiều, lưới lưới ba chiều, lướivòng ba chiều, siêu lập phương -Hypercube)

Thứ tư: Thiết kế thuật toán và chương trình thám mã mậtkhẩuMS Word chạy trên hệ thống cụm máy tính sử dụng bộ vi xử

lý đalõi,cóthểmởrộngchạytrênhệ thốngnhiềunúttínhtoán

6 Bố cục của luậnán

Nộidungcủaluậnángồm4chương,cụthể nhưsau:

- Chương 1:Trình bày tổng quan về các mô hình kiến

trúctính toán song song, các kỹ thuật phân tích và phương phápđánhgiá hiệu năng Các nghiên cứu liên quan ở trong và ngoàinước vềlĩnhvựcnàycũngđược đềcậpvàphântích

- Chương 2: Trình bày các cơ sở lý thuyết sẽ được sử

dụngtrongluậnánđểphântíchhiệunăng,đólàmạnghàngđợi(Queuingnetwork)vàmạngPetri(Petrinet).Ngoàira,luậtAmdalh cũng đượcphân tích và mở rộng trong trường hợp có tínhđếntrễtruyềnthông

- Chương 3: Luận án đi vào phân tích ảnh hưởng của

trễtruyền thông đến hiệu năng của hệ thống tính toán song song

có sửdụng chip đa lõi Luận án đề xuất công thức 4.5 để xác định trễtruyềnthông

- Chương 4: Mở rộng đánh giá ảnh hưởng của trễ

truyềnthông đến hiệu năng đối với hệ thống tính toán song songtrongmôi trường cụm máy tính.Ngoài ra, chương này cũng thiếtkếthuật toán trình bày kết quả đánh giá hiệu năng và ảnh hưởngcủatrễ truyền thông trên ứng dụng thực với bài toán thámmãm ậ t khẩuMSOfficeWord

CHƯƠNG1.TỔNGQUAN 1.1 Kiếntrúctínhtoánsongsong

d) Songs o n g s ử d ụ n g m ô h ì n h k ế t h ợ p : C ụ m , G P U ,MultiCore.

1.2 Hiệunăngtrongkiến trúctínhtoán songsong

Có 3 tiêu chí quan trọng để đánh giálà:T h ờ i g i a n t h ự c

t h i , tổng chi phí song song, mức độ tăng tốc, tính hiệu quả vàtính mởrộng

Chi phí tiêu tốn bởi mộtc h ư ơ n g t r ì n h s o n g s o n g

đ ư ợ c b i ể u diễn bởi một biểu thức và được gọi là hàm chi phí

1.2.5 Tínhmở rộng

𝑝 𝑝.𝑇𝑝

Tính mở rộng đo khả năng tận dụng hiệu quả khi tăng sốphầntử xử lý Các hệ thống mô phỏng có thể được dùng để tiênđoántínhmở rộngcủahệthống

1.3.2 Môphỏng

Môphỏnghệthốngbằngcáccôngcụphầnmềm

1.3.3 Đo lường

Thựchiệnchạy hệthốngvàdùng cácphầncứng,phần mềmđocác thôngsốcầnquantâm

1.4 Trễtruyềnthôngtrongcáchệthốngtính toánsongsong

1.4.1 Các nguồngây trễ

Baogồm kiến trúcmạngliên kết,đồngbộhóa,t h ờ i

g i a n truyềnthông,thờigiannghỉ/chờ

1.4.2 Mạng liênkết trong hệthống tính toánsongsong

Trong hệ thống tính toán song song, các phần tử xử lý liên

2Dmesh,2Dtorus,3Dmesh,3Dtorus,Hypercube,v.v

1.5 Tổngquan vềcácnghiêncứu liênquan

a) Tình hình trong nước: Chưa có nhiều nghiên cứu vàcôngtrình liên quan đến hệ thống xử lý song song Dù các cơ sởđào

2.1.1 Hàng đợi

Mô hình hàng đợi cơ bản của một Trung tâm phục vụ baogồmcác khách hàng tới một cách tuỳ ý và độc lập với nhau Hệthốngphục vụ có n điểm phục vụ (server),m ỗ i đ i ể m p h ụ c

v ụ c ó k h ả năng phục vụ một khách hàng ở một thời gian Cácthời gian phụcvụ cần thiếtchocác khách hàng cũng đượcmôh ì n h

h ó a n h ư nhữngbiếntuỳý

2.1.2 Mạnghàngđợi

Mạng hàng đợi là các hệ thống mà chúng gồm một số tùyý,nhưnghữu hạncáchàngđợiđượcnốivớinhau

2.1.3 Mạnghàngđợimộtlớpvànhiều lớpcôngviệc

Mạnghàngđợimộtlớpcôngviệclàcáccôngviệccócùngthờigianphụcvụvà xácsuấtđịnhtuyến

2.1.4 Các số đo hiệu năng của mạng hàng đợi 1 lớp công việcCácsốđohiệunăngbaogồm:Xácsuấtbiên,mứcđộsửdụng,thông

2.2 MạngPetri

2.2.1 GiớithiệumạngPetri

Petri Net (PN) là một đồ thị song hướng có trọng số gồm

4thành phần: tập hợp các vị tríP(place), tập hợp các chuyển tiếpT(transition),hàmvàoI(inputfunction)vàhàmraO(output

2.2.2 Cácđặctínhcơbảncủa mạngPetri

Các đặc tính cơ bản của mạng Petri gồm: Tuần tự, đồng bộ,kếthợp, song song hay tương tranh, đụng độ, hỗn độn, loại trừ lẫnnhau,các ưu tiên,cácchuyểntiếpcuốicùng,khóa chết

2.2.3 Một sốmạngPetriphổ biến

Trong mạng Petri, có một số loại mạng hay được sử dụnglàmạng Petri có màu, mạng Petri có đánh dấu, mạng Petri thờigianngẫunhiên,mạngPetrimàungẫunhiên

(n,p) 1

2.3.3 LuậtA mdahl

mở rộng

MứctăngtốctínhtheoLuậtAmdahlmởrộngbaogồmcảtrễtruyềnthông,đượctínhbởicôngthức:

S p =1/ (f+t c /

t s ).Trong đót c làtrễt

ruyềnthông

CHƯƠ NG3.PH ÂNTÍC HẢNH HƯỞN GCỦAT RỄTRUY ỀN THÔNG ĐẾNHI ỆU NĂNG

n r n(1 f )  f r

c tăng tốc

Mứctăng tốctươngứngvớ

i bakiếntrúclà:

S p

(

f n

(3 6 )

S M C

1

f )

f r

p A

MC ,n,r

 1

f

Sp DM C

(f,

n, r)



( 3 8 )



3.2 Phân tích ảnh hưởng của mạng liên kết đến hiệu năngcủa hệ thống tính toán song song có sử dụng chip đa lõi bằngmạnghàngđợiđóngcónghiệmdạngtíchcác xácsuất.

3.2.2 Phân tích ảnh hưởng của trễ truyền thông đến hiệu

năngCác kếtquảmôphỏngchothấy:sựthayđổithờigianphụcvụtrungbìnhcủamạ

ngliênkếttỷlệtuyến tínhvớicácthôngsốhiệunăngcủacáclõiCPU.Dogiátrịbanđầucủasốcôngviệclớn(≥1000),nênmứcđộsửdụngcủacáclõiCPUđạtđếnmứcđộg

ầntốiđa,0.9–1.0, thờigianchờđợi(Queuetime) tă ng lê n nhanh,dẫnđếnthônglượng củathôngsốhiệunăngcủalõiCPUvàcủatoànbộc h i p ( S

ys t e m _ T h r o u g p u t ) k h ô n g c ó s ự thayđổiđángk ể (cóphầngiả

m).Điềunàychothấytrễcủamạngliênkết(thờigianphụcvụ)khisốlượngcôngviệc(lệnh,luồ

ng)lớnsẽgâyragiảmthônglượngcủacáclõiCPUmộtcáchtuyếntính

3.3 Phân tích ảnh hưởng của mạng liên kết đến hiệu năngcủa hệ thống tính toán song song có sử dụng chip đa lõi bằngmạngPetrithờigiantổngquát -GSPN

3.3.1 Mô hìnhhóahệ thống bằngGSPN

Với định nghĩa của GSPN và cơ chế thực thi trong kiếntrúcchip đa lõi, việc biểu diễn mô hình hệ thống cho ở Hình 3.5

Hình3.13MôhìnhGSPNcủavixử lýđalõi 3.3.2 Môphỏnghệthống

L22ready 0 1 0 MemSers 0

3.3.3 Kết luận

Ngoài công cụ phân tích hiệu năng sử dụng CPFQN, côngcụGSPN cho phép dễ dàng mô hình các kiến trúc đa lõi trong đócóthể phân tích được các đặc tính hành vi của hệ thống màCPGQNcòn hạn chế Việc kết hợp hai công cụ sẽ cho ta cách nhìntoàndiện hơn về hệ thống cần phân tích, đồng thời cũng là cách đểtakiểmchứngkếtquảtheocáccáchtiếpcậnkhác nhau

CHƯƠNG 4 PHÂN TÍCH ẢNH HƯỞNG CỦA

TRỄTRUYỀN THÔNG ĐẾN HIỆU NĂNG CỦA HỆ

THỐNGTÍNHTOÁNSONGSONG GHÉPCỤM

4.1 Trễtruyềnthôngtrongcáchệthốngtínhtoánsongsongghép cụm

4.1.1 Hiệu năngcủahệ thốngtínhtoánsoangsongghépcụm

- Gọi T O( p,n)–overheadson g song K h i đó,tổng th ời gian thựchi ện chương t r ì n h kích thướcp t r ê n m á y tínhsong s o n g ghépcụmvớinnútxửlýđượcxác địnhbằng:

4.1.2 Ảnh hưởng của trễtruyền thôngđếnhiệunăng

Để phân tích ảnh hưởng của cấu hình mạng liên kết cácnútđến overhead song song, ở đây mặc định rằng các nhiệm vụcóđược sự cân bằng tải chạy trên các nút server xử lý tương

TcommO(p,n)kHTnet kH(tsw tstartup wtdata) (4.5)Trongđ ó ,Hkhoảngcácht r u n g bìnhcủađịnhtuyếntừswitch/router(hop)củanútserverxửlýnguồnđếnnútđích t sw

trễởnút s w i t c h /

r o u t e r

t startu p

 thờigi an kh ởi t ạo t r u y ề n t h ô n g

ts

ta rt up

đượcc h o l à k h ô n g

t h a y đ ổ i ( c o n s t a

n t )

tdatathờigian

truyềnm ộ t từd ữ l i ệ u ,w Kícht h ư ớ

c c ủ a b ả n t i n ( s ố b y t e s )(khoản

dữliệu), ksốlượngcácbảntin.

4.2 Sử dụng mạng hàng đợi đóng có nghiệm dạng tích cácxác suất để phân tích ảnh hưởng của trễ truyền thông đến hiệunăngtronghệthốngtínhtoánso ngsongghépcụm

4.2.1 Đánh giá ảnh hưởng của trễ truyền thông bằng mô

hìnhmạnghàngđợiđóngcóng hiệmdạngtích

Đểđánhgiáảnhhưởngcủatrễtruyềnthông,luậnán

Hình 4.5 b Thông lượng của hệ thống tính toán song song với cấu

hình2DTorusInfinibandinterconnectDDR12x,n=9

Hình 4.5 c Thông lượng của hệ thống tính toán song song với cấu

hình3DTorusInfinibandinterconnectDDR12x,n=9

Hình4.6SCPNcủa processor 4.3.2 Mô phỏngtrênphầnmềm

Xâydựnghaikịchbảnthử nghiệm:

rvice_time=100.

Hình4.10Kịchbản2,8góitin,

CPU_service_time=5,net_access_time=10, net_service_time=300

4.4 Phân tích hiệu năng hệ thống tính toán song song ghépcụmthựchiệnthámmãmậtkhẩuMSOffice

4.4.1 Bàitoánthámmãmậtkhẩu

Bài toán khôi phục mật khẩu MS Office là một bài toántrongthực tế có thể sử dụng cơ chế tính toán song song khá hiệuquả.luận án sẽ đề xuất một cách tiếp cận vừa sử dụng các lõitrong mộtbộxửlý(nút)vàvừasửdụng nhiềunút tínhtoántrong mạng

4.4.2 Thám mãtrongMSOffice

Các thử nghiệm cho thấy, khi tăng số lõi xử lý thì tốc độsẽtănglênnhưngsẽcóxuhướnggiảmkhiđạtđếnsốlượng lõitối

đa của chip Khi tăng tần suất và kích thước gói tin thì hiệu nănggiảm

4.4.6 Kết luận

Việc tìm lại mật khẩu trong MS Word cũng như một sốhệthống khác với độ dài mật khẩu không quá dài và phức tạphoàntoàn có thể thực hiện được bằng tấn công vét cạn sử dụng hệthốngtínhtoánsongsongtrênnhiềunútvà nhiềulõikết hợp

Các thực nghiệm ở trên đã cho thấy hiệu năng của hệthốngtính toán song song phụ thuộc rất nhiều vào các yếu tố,trong đóphải kể đến là trễ truyền thông, đặc biệtkhi lưul ư ợ n g

t r u y ề n thông tăng lên Để tăng hiệu năng của hệ thống bằngcách giảmthiểu trễ truyền thông thì có thể tiến hành giảm lưulượng truyềnthông giữa các tiến trình và giữa các nút tính toán,như: Giảm tốithiểukíchthướcgóitinhoặctầnsuấtgửicácgóitin

Khi lựa chọn số lõi của CPU tham gia vào quá trình tínhtoánsongsong,cầnchúý nênchọnsốl ư ợ n g l õ i phùh ợ p đểc ó h i

ệ u

năngđạtmứccaonhất.Khôngphảicứchọnhếtsốlõiđểthamgiatínhtoánlàsẽ cómức tăngtốctốtnhất.

KẾTLUẬNVÀKIẾNNGHỊ

1 Kếtluận

Nghiên cứu về hệ thống tính toán song song và tính toánhiệunăng cao đang là một trong những chủ đề nhận được rất nhiềusựquan tâm Đặc biệt, khi công nghệ và giá thành cho nhữnghệthống ghép cụm có sử dụng những vi xử lý đa lõi và GPUngàycàng giảm và cho phép người dùng có thể ghép nối gần nhưkhônghạnchếsốnútthamgiatínhtoán

Đi cùng với khả năng mở rộng các nút tham gia tính toánđểnâng cao hiệu năng là bài toán khá nan giải cần phải đượcnghiêncứu giải quyếtđó làv ấ n đ ề g i ả m t h i ể u t r ễ

t r u y ề n t h ô n g V ấ n đ ề này cũng đã được nhiều nhómnghiên cứu trong và ngoài nướcquan tâm và cũng đã có một sốkết quả được công bố Tuy nhiên,do có nhiều yếu tố ảnh hưởngđến hiệu năng nên chưa thể có mộtnghiên cứu nào bao quát vàđưa ra giải pháp trọn vẹn Ngoài ra,việc sử dụng các phương pháp

và công cụ phân tích khác nhaucũnglàmột trong nhữngcáchtiếpcậncầnđượckhuyếnkhích

Luận án đã tiến hành phân tích hiệu năng của một số kiếntrúcvà hệ thống tính toán song song, trong đó sử dụng hai công cụphân tích chính là mạng

quảnghiêncứucủaluậnáncóthểứngdụngtrongviệcphântíchcáchệ thống tính toán song song trong các hệ thống thực tế mà khôngnhất thiết phải là vi xử lýcho máy tính, cụm máy tính Ví dụ, cóthể áp dụng để phân tíchcác hệ thống điều khiển song song, hệthống cảm biến, hệ thốngchip giám sát, hệ thống thu thập thôngtin,v.v

Luận án đã nghiên cứu ảnh hưởng của mạng liên kết đếnhiệunăngcủahệthốngtínhtoánsongsongđốivớicảcácvixửlýđalõi và cảhệ thống cósử dụngnhiềumáy tính theomôh ì n h n ố i cụm