Luận văn thạc sĩ toán học Phương pháp chiếu giải bài toán tối ưu

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC BÙI THỊ NGHĨA PHƯƠNG PHÁP CHIẾU GIẢI BÀI TOÁN TỐI ƯU LUẬN VĂN THẠC SĨ TOÁN HỌC THÁI NGUYÊN – 2015... ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC K

ĐẠI HỌC THÁI NGUYÊN

TRƯỜNG ĐẠI HỌC KHOA HỌC

BÙI THỊ NGHĨA

PHƯƠNG PHÁP CHIẾU GIẢI BÀI

TOÁN TỐI ƯU

LUẬN VĂN THẠC SĨ TOÁN HỌC

THÁI NGUYÊN – 2015

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC

BÙI THỊ NGHĨA

PHƯƠNG PHÁP CHIẾU GIẢI BÀI

TOÁN TỐI ƯU

Chuyên ngành: TOÁN ỨNG DỤNG

Mã số: 60 46 01 12

LUẬN VĂN THẠC SĨ TOÁN HỌC

Người hướng dẫn khoa học:

GS TSKH LÊ DŨNG MƯU

THÁI NGUYÊN – 2015

Mục lục

Mở đầu 1

Chương 1 Bài toán tối ưu 3

1.1 Kiến thức chuẩn bị 3

1.2 Phát biểu bài toán tối ưu 5

1.3 Một số ví dụ điển hình về bài toán tối ưu 6

1.3.1 Bài toán thể tích lớn nhất 6

1.3.2 Bài toán lập kế hoạch sản xuất 6

1.3.3 Bài toán định vị 8

1.3.4 Bài toán phân việc 8

1.4 Sự tồn tại nghiệm tối ưu 9

1.5 Điều kiện tối ưu 14

1.5.1 Tối ưu không ràng buộc 15

1.5.2 Tối ưu có ràng buộc 18

1.5.3 Điều kiện tối ưu Kuhn - Tucker 20

Chương 2 Phương pháp chiếu giải bài toán tối ưu 23

2.1 Toán tử chiếu lên tập lồi đóng 23

2.2 Một thuật toán chiếu giải bài toán tối ưu lồi 27

2.2.1 Thuật toán chiếu dưới đạo hàm 27

2.2.2 Thuật toán hàm phạt điểm trong 32

Tài liệu tham khảo 37

Mở đầu

Toán học nảy sinh từ thực tiễn và đã được ứng dụng rộng rãi trong thực

tế Lí thuyết tối ưu là một ngành toán học được ứng dụng trong rất nhiềulĩnh vực của khoa học tự nhiên, xã hội, công nghệ, kinh tế

Bài toán tối ưu đóng vai trò quan trọng trong lý thuyết tối ưu, có hai yếu

tố quan trọng trong bài toán tối ưu là tập chấp nhận được (tập ràng buộc)

và hàm mục tiêu xác định trên tập đó Để chứng minh sự tồn tại nghiệm vàxây dựng phương pháp giải, người ta thường phân loại các bài toán theo cấutrúc của tập chấp nhận được và tính chất hàm mục tiêu

Mục đích của luận văn này là tổng hợp lại kiến thức cơ bản của bài toántối ưu Đặc biệt luận văn đi sâu trình bày thuật toán chiếu giải bài toán tối

ưu không đòi hỏi tính khả vi của hàm mục tiêu

Luận văn được chia làm 2 chương

Chương 1: Bài toán tối ưu

Chương này trình bày một số kiến thức cơ bản về giải tích lồi, phát biểu bàitoán tối ưu, một số ví dụ điển hình về bài toán tối ưu, sự tồn tại nghiệm vàđiều kiên tối ưu

Chương 2: Phương pháp chiếu giải bài toán tối ưu

Chương này trình bày chi tiết về toán tử chiếu lên tập lồi đóng và tính chấtcủa toán tử chiếu Thuật toán chiếu để giải bài toán tối ưu lồi đợc giới thiệu

ở đây là thuật toán chiếu dưới đạo hàm Cuối chương là thuật toán hàm phạtđiểm trong là một kỹ thuật cho phép đưa việc giải bài toán tối ưu có ràngbuộc về việc giải các bài toán không có ràng buộc qua đó cho phép tránhphải tính hình chiếu vì rất nhiều trường hợp tính hình chiếu rất khó, thậmtrí không thực hiện được

Nhân dịp này, tôi xin bày tỏ lòng biết ơn sâu sắc tới GS TSKH Lê DũngMưu, người thầy đã tận tâm, nhiệt tình hướng dẫn, cung cấp tài liệu, truyềnđạt cho tôi kiến thức trong quá trình học tập và luôn giúp đỡ, động viên tôi

hoàn thành luận văn.

Tôi xin trân trọng cảm ơn ban giám hiệu, phòng Đào Tạo, Khoa Toán Tin trường Đại học Khoa học, Đại học Thái Nguyên cùng các thầy, cô giáotham gia giảng dạy cao học khóa 2013 - 2015 đã quan tâm và giúp đỡ tôitrong suốt quá trình học tập tại trường

-Tôi xin cảm ơn trường THPT Hùng An, Bắc Quang, Hà Giang và gia đình

đã tạo điều kiện tốt nhất cho việc học tập của tôi Cảm ơn bạn bè và đồngnghiệp đã hỗ trợ tôi trong việc hoàn thành luận văn này

Thái Nguyên, tháng 05 năm 2015

Học viên

Bùi Thị Nghĩa

Chương 1

Bài toán tối ưu

Chương này trình bày một số kiến thức cơ bản về giải tích lồi, giới thiệubài toán tối ưu và một số ví dụ điển hình về bài toán tối ưu Tiếp đến trìnhbày sự tồn tại nghiệm tối ưu, điều kiện tối ưu như tối ưu không ràng buộc,tối ưu có ràng buộc và điều kiện tối ưu Kuhn - Tucker Nội dung của chươngđược trích dẫn chủ yếu từ tài liệu tham khảo [1]; [2]; [3] và [4]

gọi là đoạn thẳng nối a và b, được kí hiệu là [a, b]

Định nghĩa 1.1 Tập C ⊂ Rn được gọi là một tập lồi nếu nó chứa đoạnthẳng nối hai điểm bất kì thuộc nó, nói cách khác nếu

(1 − λ)a + λb, ∀a, b ∈ C, 0 ≤ λ ≤ 1

Định nghĩa 1.2 Cho f : Rd → R ∪ {+∞} là một hàm lồi Một véc tơ v

được gọi là dưới đạo hàm của hàm f tại x nếu với mọi y ∈ Rd ta có

hv, y − xi ≤ f (x) − f (y)

Tập các dưới đạo hàm của hàm f được gọi là khả dưới vi phân của hàm f

tại x, được kí hiệu bởi ∂f (x) Hàm f được gọi là khả dưới vi phân tại x nếu

∂f (x) 6= 0 Hàm f được gọi là khả dưới vi phân nếu nó khả dưới vi phân tạimọi x ∈ domf, trong đó

f (λx + (1 − λ)y) ≤ λf (x) + (1 − λ)f (y)(bất đẳng thức Jensen)

Định nghĩa 1.4 Hàm f : C → R gọi là hàm nửa liên tục dưới tại điểm

x ∈ C nếu với mỗi ε > 0 có một δ > 0 sao cho f (x) − ε ≤ f (x) với mọi x

thuộc C, kx − xk ≤ δ Hàm f gọi là nửa liên tục dưới trên C nếu f nửa liêntục dưới tại mọi điểm x ∈ C

Định nghĩa trên tương đương với

Định nghĩa 1.5 Hàm f : C → R gọi là hàm nửa liên tục trên tại điểm

x ∈ C nếu với mỗi ε > 0 có một δ > 0 sao cho f (x) ≤ f (x) + ε với mọi x

thuộc C, kx − xk ≤ δ Hàm f gọi là nửa liên tục trên trên C nếu f nửa liêntục trên tại mọi điểm x ∈ C

Định nghĩa trên tương đương với

Định nghĩa 1.6 Hàm f gọi là liên tục nếu nó vừa là nửa liên tục dưới vừa

là nửa liên tục trên

Bổ đề 1.1 Giả sử rằng {ξk} là một dãy các số dương thỏa mãn

ξk+1 ≤ ξk + βk ∀k ∈ N,

trong đó βk ≥ 0 và P∞

k=0βk < +∞ Thì dãy {ξk} là chuỗi hội tụ

1.2 Phát biểu bài toán tối ưu

Trong không gian véc tơ Rn, cho C ⊆ Rn là một tập khác rỗng và hàm sốthực f : C → R tùy ý Bài toán tối ưu có dạng

là bài toán tìm véc tơ (điểm) x∗ ∈ C sao cho f (x∗) ≤ f (x) với mọi x ∈ C

Hàm f gọi là hàm mục tiêu hay hàm chi phí, tập C gọi là tập ràng buộchay miền chấp nhận được Một véc tơ (điểm) x ∈ C gọi là phương án (lờigiải hay nghiệm) chấp nhận được Véc tơ x∗ ∈ C sao cho f (x∗) ≤ f (x) vớimọi x ∈ C được gọi là một phương án (lời giải hay nghiệm) tối ưu của bàitoán và f (x∗) gọi là giá trị cực tiểu hay giá trị tối ưu của f trên C, thườngđược kí hiệu là fmin

Trường hợp C = Rn ta có bài toán tối ưu không ràng buộc:

min{f (x) : x ∈ Rn} hay min

x∈R nf (x)

Trái lại (P ) là bài toán tối ưu có ràng buộc

Thông thường tập C được cho bởi

C = {x ∈ Rn : gi(x) ≤ 0, i = 1, , m, hj(x) = 0, j = 1, 2, , p}, (1.1)với gi, hj : Rn →R là các hàm số cho trước, gọi là các hàm ràng buộc, và bài

toán (P ) có thể viết dưới dạng (gọi là bài toán dạng chuẩn): f (x) → min

với điều kiện:

Các hệ thứcgi ≤ 0 gọi là các ràng buộc bất đẳng thức, các hệ thứchi = 0 gọi

là các ràng buộc đẳng thức Ràng buộc bất đẳng thức dạngxj ≥ 0 (−xj ≤ 0)

gọi là ràng buộc không âm hay ràng buộc về dấu

Nhận xét 1.1 Ràng buộc về bất đẳng thức có thể biến đổi thành ràng buộcđẳng thức và ngược lại Thật vậy, các ràng buộc (1.2) có thể được biểu diễnnhờ hệ thức

gi(x) + yi = 0, i = 1, , m,

với yi là các số thực, gọi là các biến bù Ngược lại mỗi ràng buộc đẳng thức(1.3) tương đương với hai ràng buộc bất đẳng thức:

hj(x) ≤ 0, −hj(x) ≤ 0, j = 1, 2, , p

Với nhận xét vừa nêu không giảm tính tổng quát đôi khi ta xét bài toántối ưu chỉ với ràng buộc đẳng thức hoặc chỉ với ràng buộc bất đẳng thức.Nhận xét 1.2 Do min{f (x) : x ∈ C} = −max{−f (x) : x ∈ C} nên bàitoán cực tiểu được đưa về bài toán cực đại và ngược lại Nếu f (x∗) ≥ f (x)

với mọi x ∈ C thì f (x∗) là giá trị cực đại của hàm f trên C và thường được

kí hiệu là fmax

1.3 Một số ví dụ điển hình về bài toán tối ưu

Trước hết ta nêu một số ví dụ quen thuộc trong nhiều giáo trình về bàitoán tối ưu

1.3.2 Bài toán lập kế hoạch sản xuất

Ví dụ 1.1 Có một loại sản phẩm được chế tạo từ m loại vật liệu khác nhau.Hàm sản xuất f (x1, x2, , xm) cho biết số lượng sản phẩm sản xuất đượckhi sử dụng kết hợp xj đơn vị vật liệu j, j = 1, 2, , m Giá một đơn vị sảnphẩm là q và giá trị một đơn vị các loại vật liệu lần lượt là p1, p2, , pm Đểđạt lợi nhuận tối đa, nhà sản xuất cần giải bài toán tối ưu không ràng buộc:

qf (x1, x2, , xm) − (p1x1 + p2x2 + + pmxm) → max

Ví dụ 1.2 Một cơ sở sản xuất dự định sản xuất hai loại sản phẩm A và

B Các sản phẩm này được chế tạo từ ba loại nguyên liệu I, II, III Số lượngđơn vị dự trữ của từng loại nguyên liệu và số lượng đơn vị từ loại nguyênliệu cần dùng để sản xuất ra một đơn vị sản phẩm mỗi loại được cho trongbảng dưới đây: Hãy lập kế hoạch sản xuất, tức là tính xem cần sản xuất bao

Loại Nguyên Số lượng đơn vị nguyên liệu cần dùng nguyên liệu cho việc sản xuất một đơn vị sản phẩm

Ta xây dựng mô hình toán học cho bài toán trên: Gọi x và y theo thứ tự

là số lượng đơn vị sản phẩm A và B cần sản xuất theo kế hoạch Khi đó tiềnlãi thu được sẽ là:

z = 3x + 2y

Do nguyên liệu dự trữ có hạn nên x và y phải chịu những ràng buộc nào

đó, cụ thể là:

2x + 3y ≤ 18 (ràng buộc về nguyên liệu I);

5x + 4y ≤ 30 (ràng buộc về nguyên liệu II);

x + 6y ≤ 25 (ràng buộc về nguyên liệu III)

Ngoài ra còn các ràng buộc rất tự nhiên nữa là x ≥ 0, y ≥ 0 vì số đơn vị sảnphẩm không thể âm

Bằng ngôn ngữ toán học, bài toán trên có thể phát biểu như sau:

Tìm x và y sao cho tại đó biểu thức z = 3x + 2y đạt giá trị lớn nhất vớicác ràng buộc:

Bài toán lập kế hoạch sản xuất tổng quát có thể phát biểu dưới dạng: Hãytìm véc tơ x = (x1, x2, , xn) sao cho tại đó hàm

A1, A2, A3 là nhỏ nhất

1.3.4 Bài toán phân việc

Ví dụ 1.3 Có n công việc phân cho n người sao cho có lợi nhất

• cij: lợi ích nhận được nếu người i nhận được công việc j;

• xij (các biến được xác định);

xij =



1 nếu công việc i phân cho người j;

0 trong các trường hợp còn lại

∗ C 6= φ, infx∈Cf (x) < ∞ nhưng không đạt cực tiểu trên C;

∗ Tồn tại x∗ ∈ C sao cho f (x∗) ≤ f (x), ∀x ∈ C

Câu hỏi đặt ra là làm thế nào để kiểm tra khả năng tồn tại nghiệm? Cóhay không một nghiệm tối ưu (cực tiểu hay cực đại toàn cục)? Một định lýquen thuộc trong giải tích là định lý Weierstrass: Nếu hàm f liên tục và tập

C compact, khác rỗng, thì bài toán có nghiệm tối ưu

Ta xét một số điều kiện mở rộng đảm bảo cho bài toán có nghiệm tối ưu.Định lí 1.2 Để bài toán (P) có nghiệm cực tiểu, điều kiện cần và đủ là tập

Ngược lại, nếu tập f (C)+ có một cận dưới hữu hạn thì cận dưới lớn nhấtcủa f (C)+ cũng hữu hạn Ta kí hiệu tập dưới lớn nhất (hay infimum) của

f (C)+ là α∗

• Theo định nghĩa infimum, α∗ ≤ α với mọi α ∈ f (C)+ và tồn tại dãy số

{αk} ⊂ f (C)+ hội tụ đến α∗

• Do f (C)+ là tập đóng nên α∗ ∈ f (C)+

• Theo định nghĩa của f (C)+ tồn tại x∗ ∈ C sao cho f (x∗) ≤ α∗

Ta có f (x∗) ∈ f (C)+ và do x∗ là cận dưới lớn nhất của f (C)+ nên

α∗ ≤ f (x∗) Vì thế α∗ = f (x∗) Điều này chứng tỏ x∗ là một nghiệm cựctiểu của bài toán (P)

Sau đây là một ví dụ cho thấy định lý trên không còn đúng nếu thiếu giảthiết về tính đóng của tập f (C)+

Ví dụ 1.4 Cho hàm f (x) = ex, x ∈ C =R

Do ex > 0 với mọi x ∈ R nên:

f (C)+ = (0, +∞)

Tập f (C)+ có cận dưới hữu hạn 0, nhưng do nó là tập không đóng nên hàm

f (x) = ex không đạt cực tiểu trên C = R

Định lí 1.3 ( Weierstrass) NếuC là compact và f là nửa liên tục trên trên

C thì (P) có nghiệm tối ưu (đạt cực đại trên C)

Định lí 1.4 Nếu C là compact và f là nửa liên tục dưới trên C thì (P) cónghiệm tối ưu (đạt cực tiểu trên C)

Hệ quả 1.1 Nếu f là nửa liên tục dưới trên C và thỏa mãn các điều kiệnsau:

f (x) → +∞ khi x ∈ C, kxk → +∞,

thì f có cực tiểu trên C

Chứng minh Xét:

C(a) = {x ∈ C : f (x) ≤ f (a)}, a ∈ C

Ta có C(a) đóng và bị chặn Vậy f có một điểm cực tiểu trên C(a) và cũng

là một điểm cực tiểu của f trên C

Hệ quả 1.2 Nếu f là nửa liên tục trên trên C và thỏa mãn các điều kiệnsau:

b) Xét hàm f (x) ≡ 1 với mọi x ∈ R Khi đó x ∈ R đều là cực tiểu toàn

cục của f, nhưng f (x) 9 +∞ khi |x| −→ +∞

Nhận xét 1.3 Qua ví dụ (1.6), ví dụ này cho thấy rằng hai hệ quả (1.1) và(1.2) không thể thiếu giả thiết nửa liên tục dưới và điều kiện bức chỉ là điềukiện đủ chứ không phải là điều kiện cần

Định lí 1.5 Hàm bậc hai f (x) = 1

2x

TAx + bTx với A ∈ Rn×n đối xứng,

b ∈ Rn là bức khi và chỉ khi A xác định dương

Chứng minh Giả sử A xác định dương Nếu f không bức thì có một dãy

x1, x2, , xk, với kxkk → +∞ nhưng f (xk) ≤ α với α ∈ R, nghĩa là

12

trái lại với A xác định dương

Ngược lại giả sử f bức nhưng A không xác định dương Khi đó tồn tạiphần tử w ∈ Rn(w 6= 0) sao cho wTAw ≤ 0 Với x = t.w ta có

Ví dụ 1.7 Hàm toàn phương nào sau đây là bức? Vì sao?

a)L1(x) = L1(x1, x2, x3) = x21 + 4x22 + 3x23 + 2x1x2

b)L2(x) = L2(x1, x2, x3) = 2x21 + 3x22 − 1x2

3 + 4x1x2 − 6x1x3 + 10x2x3

Giải

1 1

1 4

= 4 − 1 = 3 > 0;

1 1 0

1 4 0

0 0 3

= −139 < 0

Do đó B không là ma trận xác định dương nên hàm L2(x) không bức

Ví dụ 1.8 Các bài toán sau có nghiệm tối ưu hay không? vì sao?

a) min{x21 + x22 + + x2n : a1x1 + a2x2 + + anxn = b, b, ai 6= 0 ∀i.}

b) min{x1 + 2x2 − x3 : 3x1 − x2 + 2x3 = 4}

Giảia) Đây là bài toán tối ưu dạng

min{f (x) = x21 + x22 + + x2n : x ∈ C}

Hàm f (x) liên tục và bức vì: f (x) = kx2k nên khi kxk → ∞ thì f (x) → ∞.Tập C = {∀x ∈ Rn : a1x1 + a2x2 + + anxn = b} có một dạng siêu phẳngtrong Rn nên C là một tập đóng

Vậy bài toán có điểm cực tiểu toàn cục (nghiệm tối ưu).

b) Đây là bài toán cực tiểu hàm tuyến tính

1.5 Điều kiện tối ưu

Một vấn đề được đặt ra là: Nếu x∗ là một nghiệm tối ưu (địa phương hoặctoàn cục) thì điều gì xảy ra với x∗?

Định nghĩa 1.7 (Hướng chấp nhận được)

Một véc tơ d 6= 0 được gọi là hướng chấp nhận được của C tại x∗ ∈ C nếu

x∗ + λd ∈ C, với mọiλ > 0đủ nhỏ

Ta định nghĩa C(x∗) là tập tất cả các hướng chấp nhận được của C tại x∗.Định lí 1.6 Nếu (P) là bài toán quy hoạch lồi (C là tập lồi và f là hàm lồitrên C), f khả dưới vi phân thì điều kiện cần và đủ để x∗ là nghiệm tối ưucủa bài toán (P):

Do C lồi suy ra δC(x) lồi và ∂δC(x∗) = NC(x∗) Bài toán (P) được viết lạithành bài toán không ràng buộc:

1.5.1 Tối ưu không ràng buộc

Xét bài toán tối ưu không ràng buộc có dạng:

trong đó f :Rn →R là một hàm phi tuyến cho trước.

Định lí 1.7 Nếu x ∈ Rn là một cực tiểu địa phương của một hàm f (x) khả

vi trên Rn thì Of (x) = 0 và nếu f (x) hai lần khả vi thì O2f (x) ≥ 0 (matrận O2 nửa xác định dương)

Ngược lại, nếu x ∈ Rn là điểm tại đó f (x) hai lần khả vi và Of (x) =

0,O2f (x) > 0 (ma trận O2 xác định dương), thì x ∈ Rn là một cực tiểu địaphương chặt của f (x) trên Rn, nghĩa là có một số ε > 0 sao cho f (x) < f (x)

với mọi x ∈ Rn, x 6= x và kx − xk < ε

Chứng minh Vì x là cực tiểu địa phương nên với |t| đủ nhỏ và d ∈ Rn ta có

f (x + td) − f (x) ≥ 0,

do đó với t > 0 suy ra

f (x + td) − f (x)

Cho qua giới hạn khi t → 0+ ta được f (x), d ≥ 0

Tương tự khi t < 0 và t → 0− ta có f (x), d = 0 Với mọi d ∈ Rn, suy

Hệ quả 1.4 Giả sử f (x) khả vi hai lần trên Rn

a) Nếu x ∈˜ Rn là một cực đại địa phương của f (x) trên Rn thì

Ví dụ 1.9 Tìm nghiệm cực tiểu và cực đại của hàm một biến

f (x) = x5 − 5x

Giải

Ta thấyx → +∞ thì x5− 5x → +∞ Khi x → −∞ thì x5− 5x → +∞ Vìthế, f (x) = x5 − 5x không có cực tiểu và cực đại toàn cục

Ta có f0(x) = 5x4 − 5 = 0 tức x4 = 1, ta được hai điểm dừng

x1 = 1 là nghiệm cực tiểu địa phương với f (x1) = −4

x2 = −1 là nghiệm cực đại địa phương với f (x2) = 4

Ví dụ 1.10 Tìm cực đại cực tiểu của hàm hai biến

b) Đây tốn cực tiểu hàm tuyến tính

1.5 Điều kiện tối ưu< /h3>

Một vấn đề đặt là: Nếu x∗ nghiệm tối ưu (địa phương hoặctồn cục) điều... ∂δC(x∗) = NC(x∗) Bài tốn (P) viết lạithành tốn khơng ràng buộc:

1.5.1 Tối ưu khơng ràng buộc

Xét tốn tối ưu khơng ràng buộc có dạng:

trong f :Rn... nhận C x∗.Định lí 1.6 Nếu (P) toán quy hoạch lồi (C tập lồi f hàm lồitrên C), f khả vi phân điều kiện cần đủ để x∗ nghiệm tối ưucủa toán (P):