CÁC DẠNG CỦA THUẬT TOÁN DI TRUYỀN (CLASSIFICATION OF GENETIC ALGORITHM)

GIỚI THIỆU Thuật toán di truyền (Genetic Algorithm GA) là thuật toán tìm kiếm lời giải dựa trên cơ chế chọn lọc và di truyền trong tự nhiên. Thuật toán là những thủ tục được thực hiện theo từng bước một để tìm các giải pháp cho các vấn đề. Thuật toán di truyền cũng cung cấp các thủ tục như thế để giải quyết vấn đề nhưng chúng được dựa trên các mô hình di truyền. Giải thuật di truyền đã được chứng minh về mặt lý thuyết lẫn thực nghiệm và cho thấy được hiệu quả mạnh mẽ trong việc tìm kiếm giải pháp ở những vấn đề phức tạp. Các thuật toán di truyền có khả năng cho tăng hiệu quả tìm kiếm trong kinh doanh, khoa học và kỹ thuật. Các thuật toán sẽ ít phức tạp hơn nhưng mạnh mẽ hơn trong tìm kiếm khi áp dụng nguyên lý di truyền. Trong tiểu luận này sẽ thảo luận các loại khác nhau của di truyền các thuật toán như GA song song, phân tán, ….

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÀNH PHỐ HỒ CHÍ MINH

CÁC DẠNG CỦA THUẬT TOÁN DI TRUYỀN

(CLASSIFICATION OF GENETIC ALGORITHM)

Tiểu luận môn Các hệ cơ sở tri thức

NHÓM THỰC HIỆN:

NGUYỄN MINH PHƯƠNG

GVHD: PGS TS LÊ HOÀNG THÁI

TP HỒ CHÍ MINH - 2015

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÀNH PHỐ HỒ CHÍ MINH

CÁC DẠNG CỦA THUẬT TOÁN DI TRUYỀN

(CLASSIFICATION OF GENETIC ALGORITHM)

Tiểu luận môn Các hệ cơ sở tri thức

Người hướng dẫn khoa học:

PGS.TS LÊ HOÀNG THÁI

TP HỒ CHÍ MINH – 2015

Mục lục

DANH MỤC CÁC TỪ VIẾT TẮT

Genetic Algorithm GA Simple Genetic Algorithm SGA Parallel Genetic Algorithm PGA Distributed Genetic Algorithm DGA

DANH MỤC CÁC HÌNH

DANH MỤC CÁC BẢNG

CHƯƠNG 1 GIỚI THIỆU

Thuật toán di truyền (Genetic Algorithm - GA) là thuật toán tìm kiếm lời giải dựa trên cơ chế chọn lọc và di truyền trong tự nhiên Thuật toán là những thủ tục được thực hiện theo từng bước một để tìm các giải pháp cho các vấn đề Thuật toán di truyền cũng cung cấp các thủ tục như thế để giải quyết vấn đề nhưng chúng được dựa trên các mô hình di truyền Giải thuật di truyền đã được chứng minh về mặt lý thuyết lẫn thực nghiệm và cho thấy được hiệu quả mạnh mẽ trong việc tìm kiếm giải pháp ở những vấn đề phức tạp Các thuật toán di truyền có khả năng cho tăng hiệu quả tìm kiếm trong kinh doanh, khoa học và kỹ thuật Các thuật toán sẽ ít phức tạp hơn nhưng mạnh mẽ hơn trong tìm kiếm khi áp dụng nguyên lý di truyền Trong tiểu luận này sẽ thảo luận các loại khác nhau của di truyền các thuật toán như GA song song, phân tán, …

CHƯƠNG 2 THUẬT TOÁN DI TRUYỀN ĐƠN GIẢN (SIMPLE GENETIC ALGORITHM - SGA)

Đối với nhiều thuật toán tìm kiếm cần nhiều thông tin phụ trợ có liên quan đến cấu trúc dữ liệu của bài toán để đưa ra kết quả đúng Ví dụ đối với kỹ thuật tìm kiếm truyền thống hoặc thuật toán tham lam thì cần quyền truy cập vào các thông số để tính toán, trong khi đó thuật toán di truyền thì không cần phải truy cập tất cả Đối với GA, có thể tìm kiếm kết quả đạt hiệu quả cao trong khi đang “mù” về cấu trúc thông tin

GA sử dụng quy tắc chuyển đổi kiểu xác suất để hướng đến không gian tìm kiếm có khả năng đạt kết quả có hiệu quả hơn

Các cơ chế của thuật toán di truyền đơn giản không có gì phức tạp, đơn giản chỉ là sao chép chuỗi và trao đổi một phần các chuỗi Một thuật toán di truyền đơn giản mà mang lại kết quả tốt trong nhiều vấn đề thực tế là gồm ba hoạt động Đó là:

randomly generate population // tạo ra một cách ngẫu nhiên quần thể

select parents (using fitness function) // chọn cha mẹ (dùng hàm thích nghi)

selection methods: // phương pháp lựa chọn

roulette wheel// dựng vòng tròn roulette tournament // chạy vòng tròn chọn số lượng cá thể demetic// nhóm các cá thể

crossover parent chromosomes // lai ghép chéo

mutate offspring chromosomes // đột biến

add offspring back into pool // thêm cá thể con vào quần thể mới e

litism // xét quần thể ưu tú mới

(select parents) // chọn lại cá thể cha mẹ mới

SGA có tác dụng và hiệu quả khi: không gian tìm kiếm là lớn, phức tạp hoặc chưa được hiểu rõ Khó

mã hóa để thu hẹp không gian tìm kiếm Không có phân tích toán học Các phương pháp tìm kiếm truyền thống thất bại

Ưu điểm của phương pháp SGA là dễ dàng có thể xử lý khó khăn và đạt mục tiêu; tất cả những điều

đó có thể được xử lý như các thành phần có trọng số trong hàm thích nghi, làm cho nó dễ dàng để thích ứng với các tiến trình của SGA để cụ thể một yêu cầu có phạm vi rất rộng trong mục tiêu tổng thể

CHƯƠNG 3 THUẬT TOÁN DI TRUYỀN SONG SONG VÀ PHÂN TÁN (PARALLEL AND DISTRIBUTED GENETIC ALGORITHM - PGA VÀ DGA)

Thuật toán di truyền song song (Parallel Genetic Algorithm - PGA) là thực hiện song song của nhiều tiến trình SGA khác nhau Các thuật toán di truyền song song (PGAs) được phát triển để giảm thời gian thực hiện tìm kiếm các giải pháp gần tối ưu trong các bài toán có không gian tìm kiếm lớn PGAs có lợi ích đáng

kể về hiệu suất và khả năng mở rộng quy mô PGAs có thể dễ dàng thực hiện trên hệ thống máy tính không đồng nhất hoặc trên máy tính lớn cho phép chạy song song Cách thức thực hiện của PGAs phụ thuộc vào các yếu tố sau:

• Hàm thích nghi và đột biến được áp dụng như thế nào?

• Cá thể được lựa chọn cục bộ hoặc toàn thể được áp dụng ra sao?

• Sử dụng một hay nhiều nhóm quần thể?

• Nếu có nhiều quần thể, việc lai ghép các cá thể ra sao?

Cách đơn giản nhất của một PGA là tạo nhiều bản sao cho mỗi SGA là một phần tử xử lý (Processing Element - PE) Mỗi PE khác nhau được bắt đầu với quần thể ban đầu, tiến hóa và dừng lại một cách độc lập PGA hoàn toàn ngừng khi tất cả PE dừng PGA có nhiều phương pháp khác nhau để thực hiện:

• PGA hoạt động kiểu độc lập (Independent PGA)

• PGA cho phép di chuyển cá thể (Migration PGA)

• PGA hoạt động theo kiểu phân vùng (Partition PGA)

• PGA hoạt động theo kiểu phân đoạn (Segmentation PGA)

• PGA hỗn hợp vừa phân đoạn và di chuyển cá thể (Segmentation–Migration PGA)

Ưu điểm của các phương pháp tiếp cận của PGA hoạt động độc lập là mỗi PE bắt đầu với một quần thể độc lập Đa quần thể như vậy làm giảm cơ hội phát triễn cá thể ưu tú dẫn đến tất cả PE sớm hội tụ dẫn đến các giải pháp có chất lượng kém Cách tiếp cận này chỉ đơn giản là dùng giải pháp tốt nhất sau nhiều lần thực hiện SGA trên các quần thể ban đầu khác nhau

Cách tiếp cận thứ hai là PGA, PGA cho phép di chuyển cá thể, tăng hiệu quả hơn so với phương pháp tiếp cận độc lập là cho phép di chuyển nhiễm sắc thể giữa các PE để ngăn ngừa hội tụ xấu và chia sẻ các giải pháp chất lượng cao Di chuyển nhiễm sắc thể xảy ra sau một số lần lặp nhất định, với mỗi PE gửi một bản sao của nhiễm sắc thể tốt nhất tại quần thể cục bộ của mình đến các PE khác Nhiễm sắc thể nhận được sẽ thay thế các nhiễm sắc thể xấu nhất tại quần thể cục bộ PE trừ trường hợp nhiễm sắc thể giống hệt nhau đã tồn tại trong cá thể cục bộ

PGA hoạt động theo kiểu phân vùng (Partition PGA) là phân chia không gian tìm kiếm vào vùng con rời nhau và bắt buộc các PE tìm kiếm trong vùng con khác nhau PGA hoạt động theo kiểu phân đoạn (Segmentation PGA) là bắt đầu bằng cách phân chia việc tuyển chọn vào các tiến trình phụ Sau đó, kết hợp trở lại và tiến hành tuyển chọn ở tiến trình chính Sự kết hợp của phân đoạn và di chuyển chính là PGA hỗn hợp vừa phân đoạn và di chuyển cá thể Việc tái tổ hợp xảy ra vào cuối mỗi giai đoạn, các tiến trình phụ được chứa bởi một nhóm các PE đánh số theo thứ tự tăng dần

PGA có thể được thực hiện theo phương thức xử lý song song kết hợp với hình thức chia để trị Trong cách tiếp cận xử lý song song, mô hình GA được thực hiện tuần tự song song trên một máy tính bằng cách chia các nhiệm vụ thực hiện một bộ vi xử lý Trong hình thức xử lý chia để trị, quần thể được chia thành nhiều quần thể phụ và phân phối cho nhiều bộ xử lý Các quần thể phụ có thể tồn tại độc lập hay tương tác với nhau (chia thô hoặc phân phối GA - coarse grained or distributed GA) hoặc chỉ có một quần thể với các quần thể thành viên khác (chia mịn GA - Fine grained GA) Sự tương tác giữa các quần thể phụ tùy theo cấu trúc không gian của quần thể Những mô hình duy trì sự đa dạng quần thể hơn và giảm thiểu những hội tụ sớm Nó cũng phù hợp với mô hình tiến hóa, với một độ lớn và sự độc lập của các quần thể.

Hướng tiếp cận xử lý song song chủ yếu là đánh giá độ thích nghi bằng hình thức song song trên quần thể chung Việc lựa chọn và lai ghép được thực hiện bằng độc lập giữa các cá thể Các tính toán song song phổ biến nhất là sự đánh giá độ thích nghi vì chỉ đòi hỏi thông tin của cá thể được đánh giá, do đó không có thông tin liên lạc nào khác Đại diện cho hình thức này là mô hình chủ - tớ (Master - Slave) (Hình 1) Các đối tượng Master chứa thông tin quần thể và cá thể lựa chọn Các đối tượng Slave đánh giá độ thích nghi và

áp dụng các toán tử di truyền như lai ghép và đột biến Thông tin sau khi tính toán được Slave trả về cho Master Mô hình này có hai chế độ hoạt động: đồng bộ và không đồng bộ Trong chế độ đồng bộ, các Master đợi đến khi nhận được các giá trị thích nghi của toàn bộ dân số, trước thực hiện tạo thế hệ sau Ngược lại, Master không dừng tiến trình của mình để đợi các tiến trình chậm để đồng bộ Lúc đó bộ nhớ máy tính được phân phối lại, các Master gửi thông tin cá thể đến với các bộ xử lý Slave thực hiện đánh giá thích nghi, thu thập các kết quả và áp dụng các toán tử di truyền để tạo thế hệ mới Số của cá thể được giao cho từng bộ xử

lý có thể là tĩnh hoặc động

Hình Sơ đồ của mô hình master-slave của GA xử lý song song.

Trong phương pháp hướng phân phối hay chia để trị, quần thể được chia thành một số quần thể con được gọi là nhóm (demes) Các nhóm được tách rời nhau và cá thể cạnh tranh chỉ trong một nhóm Và hàm

di cư được bổ sung sử dụng để di chuyển các cá thể từ nhóm này sang nhóm khác Nếu cá thể có thể di chuyển đến bất kỳ nhóm khác, lúc đó mô hình được gọi là mô hình đảo (island) Di cư có thể được kiểm soát bằng nhiều cách khác nhau các thông số như tốc độ di chuyển, cấu trúc liên kết, kế hoạch di cư như cá thể tốt nhất / tồi tệ nhất / xác suất di chuyển ngẫu nhiên và tần suất di cư

Hướng tiếp cận khác thuật toán di truyền song song phân chia kiểu thô và mịn Mô hình chia thô PGA đề cập đến số lượng nhóm tương đối nhỏ với nhiều cá thể thuộc mỗi nhóm Đặc trưng mô hình này là thời gian xử lý tương đối dài để hình thành một thế hệ trong mỗi nhóm và thỉnh thoảng mới trao đổi cá thể Nhóm mô hình này được gọi là GA phân tán vì thường thực hiện theo kiểu phân tán bộ nhớ Trong trường hợp phương pháp di truyền song song mịn, số nhóm được chia từ quần thể lớn và yêu cầu số lượng các bộ vi

xử lý nhiều Liên lạc giữa các nhóm được thực hiện bằng cách di cư hoặc lai chéo nhóm

Điều quan trọng nhất là trong khi phương pháp Master - Slave không ảnh hưởng đến hành vi của các thuật toán, thì các phương pháp chia mịn và thô thay đổi cách hoạt động của GA Ví dụ, trong Master - Slave, phép lựa chọn cá thể thực hiện cả quần thể, nhưng trong chia mịn và thô, phép lựa chọn chỉ xem xét một tập con của quần thể Ngoài ra, trong Master

Slave bất kỳ hai cá thể trong quần thể có thể giao phối, nhưng trong phương pháp chia mịn và chia thô, sự giao phối được giới hạn trong một tập con

3.1 Mô hình song song kiếu chủ - tớ (Master – Slave)

Trong mục này, ta sẽ xem xét các mô hình của phương pháp song song Master - Slave Thuật toán sử dụng một quần thể và việc đánh giá các cá thể và/hoặc áp dụng các toán tử di truyền được thực hiện song song Mỗi cá thể có thể cạnh tranh và giao phối với bất kỳ cá thể khác (lựa chọn và giao phối được thực hiện toàn bộ quần thể) Mô hình xử lý song song toàn cục (Global parallel GA) xem như đại diện của Master - Slave (Hình 1), các Master luu trữ thông tin quần thể và các Slave đánh giá thích nghi

Hoạt động phổ biến nhất của mô hình là song song đánh giá độ thích nghi của từng cá thể, vì các cá thể độc lập với phần còn lại của quần thể, và không có nhu cầu giao tiếp trong giai đoạn này Việc đánh giá của cá thể theo hình thức xử lý song song bằng cách gán một phần nhỏ cá thể cho mỗi bộ vi xử lý có sẵn Việc liên lạc chỉ xảy ra khi mỗi slave nhận tập cá thể để đánh giá và khi slave tính xong giá trị thích nghi Nếu thuật toán dừng và chờ đợi nhận các giá trị thích nghi cho toàn quần thể trước khi tạo thế hệ tiếp theo, được gọi là thuật toán đồng bộ Lúc đó, độ chính xác như một SGA, chỉ có tốc độ là khác biệt Tuy nhiên, nếu thực hiện kiểu không đồng bộ, thuật toán không dừng lại để chờ đợi cho bất kỳ bộ vi xử lý chậm, nhưng kết quả không còn chính xác như một SGA Hầu hết các thuật toán cho trường hợp này là đồng bộ

Các mô hình xử lý song song toàn cục không thừa hưởng lợi thế của kiến trúc máy tính, và có thể thực hiện hiệu quả hơn bằng cách chia sẻ bộ nhớ và phân phối bộ nhớ máy tính Với một bộ đa xử lý chia sẻ

bộ nhớ, quần thể được lưu trữ trong bộ nhớ chia sẻ và mỗi bộ xử lý con có thể đọc thông tin cá thể được giao và ghi các kết quả đánh giá lại mà không có bất kỳ xung đột Đối với phân phối bộ nhớ, quần thể được lưu trữ trong một bộ xử lý Điều này cần một bộ xử lý làm nhiệm vụ Master sẽ chịu trách nhiệm gửi thông tin cá thể đến bộ vi xử lý khác (Slave) để đánh giá, thu thập các kết quả, và áp dụng các phương pháp di truyền để tạo thế hệ tiếp theo Số lượng cá thể giao cho bất kỳ bộ xử lý có thể được liên tục, nhưng trong một số trường hợp có thể cần thiết để cân bằng tải tính toán giữa các bộ vi xử lý bằng cách sử dụng một lịch trình năng động Sau đây là một mô tả của thuật toán:

produce an initial population of individuals //Thủ tục khỏi tạo quần thể

for all individuals do in parallel // Duyệt tất cả các cá thể trong hế thống song song

evaluate the individual’s fitness // tính toán giá trị thích nghi

end parallel for

while not termination condition do // trong khi chưa đạt điều kiện dừng

select fitter individuals for reproduction// chọn cá thể thích nghi cho sinh sản produce new individuals // gọi thủ thục tạo cá thể mới

mutate some individuals // biến đổi các thể

for all individuals do in parallel // thực hiện với tất cả cá thể

evaluate the individual’s fitness // tính giá trị thích nghi cá thể mớiend parallel for

generate a new population by inserting some new good individuals// tạo thế hệ mới từ cá thể tốtand by discarding some old bad individuals// loại bỏ cá thể xấu

end while

PGA kiểu Master - Slave dễ thực hiện và có hiệu quả tính toán cải thiện đáng kể Bên cạnh đó, phương pháp này có ưu điểm là không làm thay đổi hành vi tìm kiếm của GA, vì vậy ta có thể áp dụng trực tiếp giống như SGA

3.2 Thuật toán di truyền song song theo cách chia mịn hay mô hình thuật toán di truyền tế bào (Fine Grained Parallel GA – Cellular GA)

Để minh họa cho mô hình này, ta dùng cấu trúc dạng lưới, Hypercube, 2-D Mesh, 2-D Grid, , mỗi

cá thể trong mô hình này được đặt trên một hình xuyến lớn có một hoặc hai chiều, mỗi cá nhân chiếm một vị trí trên lưới Mô hình này được gọi là tế bào vì sự tương đồng so với chuyển dịch của tế bào với các quy tắc chuyển đổi ngẫu nhiên Đánh giá thích nghi được thực hiện đồng thời cho tất cả cá thể và lựa chọn, sinh sản

và giao phối diễn ra tại cục bộ trong nhóm hoặc nhóm láng giềng Trong lúc thực hiện, hốc hay nhóm cá thể đồng nhất về mặt di truyền bán cô lập nổi lên trên toàn mạng lưới như là một kết quả của việc chậm khuếch tán cá thể Hiện tượng này được gọi là cách ly và khoảng cách là do xác suất của sự tương tác của hai cá thể bằng một hàm suy hao nhanh về khoảng cách của họ (Hình 2.) Sau đây là mô tả thuật toán của quá trình:for each cell j in the grid do in parallel // với mọi cá thể trên lưới

generate a random individual j // phát sinh ngẫu nhiên cá thể j

end parallel for

while not termination condition do // khi chưa đạt điều kiện kết thúc

for each cell j do in parallel // với mỗi tế bào trên lưới

evaluate individual j // đánh giá cá thể jselect a neighboring individual k // chọn láng giềng kproduce offspring from j and k // sản sinh cá thể mới từ j và k

assign one of the offspring to j // gán 1 cá thể con cho jmutate j with probability pmut // tạo đột biến theo xác suất pmutend parallel for

Thuật toán di truyền bằng các chia nhiều nhóm có khả năng tinh vi hơn, vì chúng gồm không chỉ thực hiện trên một quần xã mà còn trao đổi cá thể (Hình 3.) Trao đổi cá thể được gọi là di cư; được điều khiển bởi một vài thông số Thuật toán song song theo kiểu này là rất phổ biến, nhưng để hiểu được là điều khó khăn nhất, bởi tác động của chức năng di cư không được hiểu đầy đủ Mô hình này đã thay đổi cơ bản phương thức hoạt động của GA và khác nhiều so với SGA

Thuật toán di truyền xử lý song song bằng cách chia nhiều nhóm được biết đến với nhiều tên gọi khác nhau Điển hình như thuật toán di truyền phân tán (DGA), bởi vì thuật toán thường được thực hiện trên

bộ nhớ phân tán trên máy tính Hoặc xét về tỷ lệ tính toán cao, thuật toán thỉnh thoảng được gọi là Thuật toán di truyền xử lý song song bằng cách chia thô Cuối cùng, thuật toán hoạt động đa nhóm giống với “mô hình đảo” trong Di truyền học dân số, do đó thuật toán còn được gọi là di truyền song song theo hình thức đảo Vì kích thước của nhóm nhỏ hơn quần thể so với sử dụng bởi một GA tuần tự, thuật toán GA song song

sẽ hội tụ nhanh hơn

Hình Sơ đồ của di truyền song song theo cách chia mịn.

Hình Sơ đồ của Thuật toán di truyền xử lý song song bằng cách chia nhiều nhóm hay thuật toán di truyền

phân tán, chia thô

Các đặc tính quan trọng của mô hình song song với nhiều nhóm này là việc sử dụng một vài quần xã tương đối lớn và di cư Đối mô hình đảo đặc trưng khoảng cách địa lý các quần thể con kích thước tương đối lớn Các quần thể con có thể trao đổi thông tin theo thời gian bằng cách cho phép một số cá thể để di chuyển giữa các tiểu quần thể khác nhau Tư tưởng chính cho cách tiếp cận này là định kỳ tạo sự đa dạng vào các quần thể con để tránh hội tự sớm hoặc không hội tụ Khi di chuyển cá thể diễn ra giữa quần xã láng giềng gần nhất của mô hình được gọi là bước đệm Trong khi mỗi tiểu quần thể một thuật toán di truyền tuần tự chuẩn được thực hiện ở giai đoạn di cư Một số cấu trúc liên kết di cư đã được sử dụng: các cấu trúc vòng, 2-d và 3-d lưới, hình khối hyper và đồ thị ngẫu nhiên là phổ biến nhất Sau đây là một mô tả thuật toán của quá trình:

initialize P subpopulations of size N each // Tạo P quần thể con với kích thước N generation number = 1 // Gán thế hệ = 1

while not termination condition do// Trong khi chưa thỏa kiều kiện dừng

for each subpopulation do in parallel// Xét các quần thể con

evaluate and select individuals by fitness// Đánh giá và lựa chọn các thể theo hàm thích nghi

if generation number mod frequency = 0 then// Nếu đạt ngưỡng di cư thì trao đổi K cá thể

send K<N best individuals to a neighboring subpopulation receive K individuals from a neighboring population replace K individuals in the subpopulationendif

produce new individuals // Gọi hàm khởi tạo thế hệ mới mutate individuals// Đột biến

end parallel for

end while

Trong đó frequency là tham số thực hiện cuộc trao đổi diễn ra

3.4 Các thuật toán song song thứ bậc (Hierarchical Parallel Algorithms)

Phương pháp cuối cùng của thuật toán song song là kết hợp các phương pháp di truyền song song lại với nhau hay còn gọi thuật toán song song thứ bậc, bởi vì khi vận dụng có tính phức tạp và yêu cầu kỹ thuật phối hợp thuật toán ở 2 mức khác nhau và hi vọng nó hứa hẹn hiệu suất tốt hơn khi sử dụng đơn lẻ

Trên lý thuyết có thể phối hợp các phương pháp trên lại thành một thuật toán hoàn chỉnh Tuy nhiên, các nghiên cứu có thể đạt được ở các mức phối hợp nhu sau: Kết hợp mô hình xử lý song song nhiều nhóm (mức cao) và xử lý song song bằng cách chia mịn (mức thấp) (Hình 4.); xử lý Master – Slave (mức cao) và

mô hình xử lý bằng cách chia nhiều nhóm (mức thấp) (Hình 5) hay xử lý song song bằng cách chia nhiều nhóm ở 2 mức (Hình 6.)

Hình Sơ đồ kết hợp mô hình xử lý song song nhiều nhóm (mức cao) và xử lý song song bằng cách chia mịn

(mức thấp)