Phân tích độ phức tạp của 1 số giải thuật sắp thứ tự và tìm kiếm

Phân tích độ phức tạp của 1 số giải thuật sắp thứ tự và tìm kiếm

Chương 2

Phân tích độ phức tạp của một số giải thuật sắp thứ tự và tìm kiếm

Nguyên tắc về sắp thứ tự

Xét những phương pháp sắp thứ tự một tập tin gồm các

mẩu tin (record) có chứa khóa (key) Khóa mà là một phần

của mẩu tin, được dùng để điều khiển việc sắp thứ tự.

Mục tiêu: sắp xếp các mẩu tin sao cho các trị khóa của

chúng có thứ tự theo một qui luật thứ tự nào đó.

Nếu các tập tin được sắp thứ tự có thể chứa trong bộ nhớ

chính thì giải thuật sắp thứ tự được gọi là sắp thứ tự nội

(internal sorting).

Việc sắp thứ tự tập tin lưu ở bộ nhớ phụ được gọi là sắp thứ

tự ngoại (external sorting).

Hai nhóm phương pháp sắp thứ tự

Chúng ta quan tâm đến thời gian tính toán của các giải thuật sắp thứ tự.

• Một nhóm gồm 4 phương pháp căn bản đòi hỏi

thời gian tính toán tỉ lệ với N2 để sắp thứ tự N phần tử.

2 Các phương pháp tiên tiến hơn có thể sắp thứ tự N phần tử trong thời gian chạy tỉ lệ với NlgN.

Một đặc tính của phương pháp sắp thứ tự là tính ổn định

(stability) Một phương pháp sắp thứ tự được gọi là ổn định

khi nó bảo toàn được thứ tự tương đối của các phần tử

cùng trị khóa trong tập tin.

1 Nhóm phương pháp căn bản

Với nhóm này, có hai phương pháp sắp thứ tự được chọn để khảo sát:

- sắp thứ tự bằng phương pháp chọn (selection sort)

- sắp thứ tự bằng phương pháp chèn (insertion sort)

Với mục đích tập trung vào khía cạnh giải thuật, ta sẽ làm việc với các phương pháp mà nó chỉ sắp thứ tự các mảng số nguyên theo thứ tự lớn dần của số.

Sắp thứ tự bằng phương pháp chọn

Ý tưởng:

“Trước tiên tìm phần tử nhỏ nhất trong mảng và hoán đổi

nó với phần tử đang ở vị trí thứ nhất trong mảng, và rồi tìm phần tử nhỏ thứ nhì trong mảng và hoán đổi nó với phần tử đang ở vị trí thứ nhì trong mảng, và cứ thế cho đến khi toàn mảng đã được sắp thứ tự.”

Giải thuật sắp thứ tự bằng phương pháp chọn

procedure selection;

var i, j, min, t: integer;

begin

for i :=1 to N-1 do begin

min :=i;

for j :=i+1 to N do

if a[j]<a[min] then min :=j;

t :=a[min]; a[min] :=a[i];

a[i] :=t;

end;

end;

Phân tích độ phức tạp của selection sort

Vòng lặp trong (tác vụ so sánh) được thực hiện với tổng số lần như sau:

(N-1)+(N-2)+ +1 =N(N-1)/2

=O(N2) Vòng lặp ngoài được thực thi N-1 lần.

Tính chất 1.1: Selection sort thực thi khoảng N hoán

vị và N2/2 so sánh.

Ghi chú: Thời gian tính toán của selection sort thì độc lập đối với dữ liệu nhập.

Giải thuật sắp thứ tự bằng phương pháp chèn

procedure insertion;

var i; j; v:integer;

begin

for i:=2 to N do begin

v:=a[i]; j:= i;

while a[j-1]> v do begin

a[j] := a[j-1]; // pull down

j:= j-1 end;

a[j]:=v;

end;

end;

Những lưư ý về giải thuật insertion sort

• Chúng ta dùng một trị khóa “ cầm canh” (sentinel) tại

a[0], làm cho nó nhỏ hơn phần tử nhỏ nhất trong mảng.

2 Vòng lặp ngoài của giải thuật được thực thi N-1 lần

Trường hợp xấu nhất xảy ra khi mảng đã có thứ tự đảo ngược Khi đó, vòng lặp trong được thực thi với tổng số lần sau đây:

(N-1)/2 + (N-2)/2 + + 1/2 =N(N-1)/4

=O(N 2 )

Độ phức tạp của sắp thứ tự bằng phương pháp chọn và phương pháp chèn

2 Giải thuật Quick sort

Giải thuật căn bản của Quick sort được phát minh năm

Nhược điểm của Quick sort gồm:

- Nó là một giải thuật đệ quy

- Nó cần khoảng N 2 thao tác căn bản trong trường hợp xấu nhất

- Nó dễ bị lỗi khi lập trình (fragile).

Giải thuật căn bản của Quicksort

Quicksort là một phương pháp xếp thứ tự theo kiểu “chia

để trị” Nó thực hiện bằng cách phân hoạch một tập tin

thành hai phần và sắp thứ tự mỗi phần một cách độc lập với nhau.

Giải thuật có cấu trúc như sau:

Phân hoạch

Phần then chốt của Quicksort là thủ tục phân hoạch

(partition), mà sắp xếp lại mảng sao cho thỏa mãn 3 điều kiện sau:

i) phần tử a[i] được đưa về vị trí đúng đắn của nó, với một giá trị i nào đó,

ii) tất cả những phần tử trong nhóm a[left], , a[i-1] thì nhỏ hơn hay bằng a[i]

iii) tất cả những phần tử trong nhóm a[i+1], , a[right] thì lớn hơn hay bằng a[i]

Example:

8 59 56 52 55 58 51 57 54

52 51 53 56 55 58 59 57 54

Thí dụ về phân hoạch

Giả sử chúng ta chọn phần tử thứ nhất hay phần tử tận cùng

trái (leftmost ) như là phần tử sẽ được đưa về vị trí đúng của

nó ( Phần tử này được gọi là phần tử chốt - pivot)

Giải thuật Quicksort

procedure quicksort2(left, right: integer);

repeat j:=j+1 until a[j] >= a[left];

repeat k:=k-1 until a[k]<= a[left];

Phân tích độ phức tạp: trường hợp tốt nhất

Trường hợp tốt nhất xảy ra với Quicksort là khi mỗi lần

phân hoạch chia tập tin ra làm hai phần bằng nhau.

điều này làm cho số lần so sánh của Quicksort thỏa mãn hệ thức truy hồi :

C N = 2C N/2 + N.

Số hạnh 2C N/2 là chi phí của việc sắp thứ tự hai nửa tập tin và

N là chi phí của việc xét từng phần tử khi phân hoạch lần

đầu

Từ chương 1, việc giải hệ thức truy hồi này đã đưa đến lời giải:

C N ≈ N lgN.

Phân tích độ phức tạp: trường hợp xấu nhất

Một trường hợp xấu nhất của Quicksort là khi tập tin đã có thứ tự rồi

Khi đó, phần tử thứ nhất sẽ đòi hỏi n so sánh để nhận ra

rằng nó nên ở đúng vị trí thứ nhất Hơn nữa, sau đó phân đoạn bên trái là rỗng và và phân đoạn bên phải gồm n – 1 phần tử Do đó với lần phân hoạch kế, phần tử thứ hai sẽ

đòi hỏi n-1 so sánh để nhận ra rằng nó nên ở đúng vị trí thứ

hai Và cứ tiếp tục như thế

Độ phức tạp trường hợp trung bình của Quicksort

Công thức truy hồi chính xác cho tổng số so sánh mà Quick

phần tử khác, thêm hai lần so sánh để hai pointer giao nhau

Phần còn lại là do sự kiện mỗi phần tử ở vị trí k có cùng xác

xuất 1/N để được làm phần tử chốt mà sau đó chúng ta có hai

phân đoạn với số phần tử lần lượt là k-1 và N-k.

Chia cả hai vế với N(N+1) ta được hệ thức truy hồi:

Độ phức tạp trường hợp trung bình của

Quicksort (tt.)

Vì ta có:

chừng 38% cao hơn trong trường hợp tốt nhất.

Khử đệ quy giải thuật Quicksort

if (i –left) > (right –i) then

begin push(left); push(i-1); left := i+1 end

else begin

push (i+1);push(right);

right:=i-1

end;

end else begin right := pop; left := pop end;

until stackempty;

end;

Dùng ngăn xếp (stack) ta có thể chuyển Quicksort thành một giải thuật không đệ quy

3 Sắp thứ tự dựa vào cơ số

Trong nhiều ứng dụng, các trị khóa có thể là những khóa

Với hầu hết mọi máy tính, thật tiện lợi để làm việc với cơ

số 2 (M =2), hơn là cơ số thập phân (M =10).

Bit

Cho một khóa được diễn tả dưới dạng một số nhị phân,

một tác vụ cần thiết là trích các tập bit kề nhau từ một số

VớI ngôn ngữ máy, các bit được trích từ số nhị phân nhờ

các tác vụ như “and” và “shift” trên các bit

Thí dụ: Ta có thể trích hai bit đầu của một số 10 bit bằng cách dùng tác vụ “ shift right ”(dịch sang phải) 8 bit rồi thực hiện tác vụ “ and ” từng bit với mặt nạ 0000000011.

Trong ngôn ngữ Pascal, những tác vụ trên có thể được giả

lập bằng hai tác vụ div và mod.

Làm việc trên bit

Hai bit đầu của một số mười bit được trích bởi: (x div 256) mod 4.

“dịch số x sang phải k vị trí bit” được thực hiện bởi:

x div 2 k

“gán zero tất cả trừ j bit tận cùng phải “được thực hiện bởi:

(x div 2 k ) mod 2 j

Trong giải thuật sắp thứ tự dựa vào cơ số, giả sử đã tồn tại

hàm bits(x,k,j :integer):integer mà trả về j bit xuất hiện cách k bit kể từ mốc bên phải trong số x.

Giải thuật sắp thứ tự hoán vị cơ số

Phương pháp căn bản của giải thuật sắp thứ tự hoán vị cơ số

(exchange radix sort) là xem xét từng bit của trị khóa từ trái sang phải.

Ý tưởng: Kết quả của sự so sánh giữa hai trị khóa chỉ tùy

thuộc vào giá trị của từng bit tại vị trí đầu tiên mà chúng khác nhau (đọc từ trái sang phải).

Sắp thứ tự hoán vị cơ số

Sắp thứ tự hoán vị cơ số (Radix Exchange Sort)

Việc sắp thứ tự tập tin được thực hiện theo một cách giống như thao tác phân hoạch trong Quicksort.

duyệt từ trái sang phải để tìm trị khóa mà bắt đầu bằng bit 1 ,

duyệt từ phải sang trái để tìm trị khóa mà bắt đầu bằng bit 0,

hoán vị hai trị khóa này,

và tiếp tục quá trình này cho đến khi hai con trỏ giao

nhau.

procedure radix_exchange(1, r, b : integer);

while (bits(a[i], b, 1)=0) and (i <j) do i:=i+1;

while (bits(a[j], b, 1)=1) and (i<j) do j:= j-1;

Sắp thứ tự hoán vị cơ số (tt.)

Giả sử mảng a[1 N] chứa các số nguyên dương nhỏ hơn 2 32

(sao cho chúng có thể được diễn tả thành các số nhị phân bit).

31-Thì lịnh gọi radix_echange (1,N,30) sẽ sắp thứ tự được cho

Độ phức tạp của sắp thứ tự dựa vào cơ số

Thời gian tính toán của sắp thứ tự hoán vị cơ số sắp thứ tự N

Trong giải thuật sắp thứ tự hoán vị cơ số, sự phân hoạch

thường dễ ở phạm vi trung tâm hơn là trong in Quicksort.

4 Sắp thứ tự bằng cách trộn (mergesort)

(merging), thao tác phối hợp hai tập tin đã có thứ tự

thành một tập tin có thứ tự lớn hơn

Trộn

Trongnhiều ứng dụng xử lý dữ liệu, ta phải duy trì

một tập dữ liệu có thứ tự khá lớn Các phần tử mới

thường xuyên được thêm vào tập tin lớn

Nhóm các phần tử được đính vào đuôi của tập tin lớn

và toàn bộ tập tin được sắp thứ tự trở lại

Tình huống đó rất thích hợp cho thao tác trộn.

begin c [k] := a[i]; i:= i+1 end

else begin c[k] := b[j]; j := j+1 end;

Ghi chú: Giải thuật dùng a[M+1] và b[N+1] để làm phần

Nhờ chúng, khi một trong hai mảng đã cạn thì vòng lặp sẽ

đưa phần còn lại của mảng còn lại vào mảng c

Sắp thứ tự bằng phương pháp trộn

Một khi ta đã có thủ tục trộn, ta dùng nó làm cơ sở để xây dựng một thủ tục sắp thứ tự đệ quy

Để sắp thứ tự một tập tin nào đó, ta chia thành hai đoạn

bằng nhau , sắp thứ tự hai đoạn này một cách đệ quy và rồi trộn hai đoạn lại với nhau

Giải thuật sau sắp thứ tự mảng a[1 r], dùng mảng b[1 r]

làm trung gian,

procedure mergesort(1,r: integer);

else begin a[k] := b[j]; j:= j-1 end;

end;

end;

Tính chất 4.1: Sắp thứ tự bằng phương pháp trộn cần

Đối với giải thuật mergesort đệ quy, số lần so sánh được

5 Sắp thứ tự ngoại

Sắp thứ tự các tập tin lớn lưu trữ trên bộ nhớ phụ được gọi là

sắp thứ tự ngoại (external sorting).

Sắp thứ tự ngoại rất quan trọng trong các hệ quản trị cơ sở

dữ liệu (DBMSs).

Khối (block) và truy đạt khối (Block Access)

Hệ điều hành phân chia bộ nhớ phụ thành những khối có

kích thước bằng nhau Kích thước của khối thay đổi tùy theo

hệ điều hành, nhưng thường ở khoảng 512 đến 4096 byte

Các tác vụ căn bản trên các tập tin là

- mang một khối ra bộ đệm ở bộ nhớ chính ( read )

- mang một khối từ bộ nhớ chính về bộ nhớ phụ ( write ).

Sắp thứ tự ngoại

Khi ước lượng thời gian tính toán của các giải thuật mà làm việc trên các tập tin, chúng ta phải xét số lần mà chúng ta đọc một khối ra bộ nhớ chính hay viết một khối về bộ nhớ phụ

Một tác vụ như vậy được gọi là một truy đạt khối (block

access) hay một truy đạt đĩa (disk access).

khối = trang (page)

Xếp thứ tự ngoại bằng p.p trộn (External merge)

Sort-Kỹ thuật thông dụng nhất để sắp thứ tự ngoại là giải thuật

sắp thứ tự ngoại bằng phương pháp trộn (external sort-merge

sort the in-memory part of the file;

write the sorted data to the run file Ri;

i = i+1;

until the end of the file.

2 Trong bước 2, các run được trộn lại

Trộn run

• Trường hợp đặc biệt:

Giả sử số run, N, N < M Ta có thể dành 1 trang của bộ

đệm cho mỗi run và dành chỗ bộ nhớ còn lại chứa một trang của kết quả xuất ra Giải thuật phần trộn run như sau:

read one block of each of the N files Ri into a buffer page in

memory;

repeat

choose the first record (in sort order) among all buffer pages; write the tuple to the output, and delete it from the buffer page;

if the buffer page of any run Ri is empty and

not end-of-file(Ri) then

read the next block of Ri into the buffer page;

until all buffer pages are empty.

Trộn run (trường hợp tổng quát)

Tác vụ trộn là sự khái quát hóa của phép trộn hai đường

(two-way merge) được dùng bởi giải thuật sắp thứ tự nội

bằng phương pháp trộn Nó trộn N run, do đó nó được gọi là

• Trường hợp tổng quát:

Về tổng quát, nếu tập tin lớn hơn sức chứa của bộ đệm

N > M

thì không thể dành một trang trong bộ đệm cho mỗi run

trong bước trộn Trong trường hợp này, sự trộn phải trải

qua nhiều chuyến (passes).

Vì chỉ có M-1 trang của bộ đệm dành cho các đầu vào, sự

trộn có thể tiếp nhận M-1 runs như là các đầu vào.

Trộn run [trường hợp tổng quát] (tt.)

Chuyến trộn đầu tiên làm việc như sau:

M-1 run đầu tiên được trộn lại thành một run cho chuyến kế tiếp Rồi thì M-1 runs sẽ được trộn theo cách tương tự và cứ

thế cho đến khi tất cả các run đầu tiên đều được giải quyết Tại điểm này, tổng số run được giảm đi một thừa số M-1

Nếu số run đã được giảm đi này vẫn còn ≥ M, một chuyến

nữa sẽ được thực thi với các run được tạo ra bởi chuyến đầu tiên làm đầu vào

Mỗi chuyến làm giảm tổng số run một thừa số M – 1 Các

chuyến cứ lặp lại nhiều như cần thiết cho đến khi tổng số run nhỏ hơn M; chuyến cuối cùng sẽ tạo ra kết quả là một tập tin

có thứ tự

Một thí dụ của thứ tự ngoại bằng p.p trộn

Giả sử: i) một mẩu tin chiếm vừa một khối

ii) bộ đệm chiếm 3 trang

Trong giai đoạn trộn, hai trang được dùng làm đầu vào

và một trang được dùng để chứa kết quả

Giai đoạn trộn đòi hỏi hai chuyến.

Độ phức tạp của xếp thứ tự ngoại

Hãy tính số truy đạt khối (block accesses) của giải thuật sắp

thứ tự ngoại bằng phương pháp trộn.

b r : tổng số khối của tập tin

Trong giai đoạn tạo run, một khối được đọc và ghi, đem lại một tổng số 2b r , truy đạt khối

Tổng số run ban đầu là b r /M.

Tổng số chuyến trộn: log M-1 (b r /M)

Trong mỗi chuyến trộn, từng khối của tập tin được đọc một lần và ghi một lần.

6 Tìm kiếm tuần tự

type node = record key, info: integer end;

var a: array [0 maxN] of node;

function seq_insert (v: integer): integer;

 Tham số x được đưa vào để đối phó với trường hợp nhiều

mẩu tin có cùng trị khóa Bằng cách thực hiện

t: = seq_search (v, t) bắt đầu với t = 0, ta có thể liên tiếp cho t bằng vị trí của mỗi mẩu tin có trị khóa là v

 Nếu sự tìm kiếm thất bại, sep_search trả về trị N+1.

Đặc tính của tìm kiếm tuần tự (Chứng minh)

Tính chất: Tìm kiếm tuần tự cần N+1 so sánh đối với một sự tìm kiếm không thành công và khoảng trung bình N/2 so

• Trường hợp trung bình

Giả sử v có xuất hiện trong mảng và có một xác xuất đều

để xuất hiện tại một vị trí bất kỳ nào trong mảng Và mỗi

trường hợp xảy ra với cùng xác xuất p = 1/N

Thì

C(N) = 1.(1/N) + 2.(1/N) + …+ N.(1/N)

= (1 + 2 + …+ N).(1/N)

= (1+2+…+N)/N = N(N+1)/2.(1/N) = (N+1)/2.

Tìm kiếm chia đôi (binary search)

function binarysearch(v:integer): integer; var x, 1, r: integer;

begin 1: = 1; r: = N;

repeat

x: = (1+r) div 2

if v < a[x].key then r: = x – 1 else l: = x+1

Độ phức tạp của giải thuật tìm kiếm chia đôi

Hệ thức truy hồi của giải thuật này là:

CN ≡ CN/2 + 1

Tính chất: Tìm kiếm chia đôi không bao giờ đòi hỏi nhiều hơn lgN + 1 so sánh cho một sự tìm kiếm thành công hay không thành công