Các quy tắc tính toán dưới vi phân của hàm lồi

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2KHOA TOÁN Trịnh Thị Thanh Hiếu CÁC QUY TẮC TÍNH TOÁN DƯỚI VI PHÂN CỦA HÀM LỒI KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC Hà Nội – Năm 2018... TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ N

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2

KHOA TOÁN

Trịnh Thị Thanh Hiếu

CÁC QUY TẮC TÍNH TOÁN DƯỚI VI PHÂN CỦA HÀM LỒI

KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC

Hà Nội – Năm 2018

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2

KHOA TOÁN

Trịnh Thị Thanh Hiếu

CÁC QUY TẮC TÍNH TOÁN DƯỚI VI PHÂN CỦA HÀM LỒI

Chuyên ngành: Toán giải tích

KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC

NGƯỜI HƯỚNG DẪN KHÓA LUẬN :

TS NGUYỄN VĂN TUYÊN

Hà Nội – Năm 2018

Em xin được gửi lời cảm ơn tới các thầy cô giáo trường Đại học Sư

phạm Hà Nội 2, các thầy cô giáo khoa Toán đã giúp đỡ em trong quá

trình học tập tại trường và tạo điều kiện cho em hoàn thành đề tài khóa

luận tốt nghiệp

Đặc biệt em xin bày tỏ lòng biết ơn sâu sắc tới thầy Nguyễn Văn

Tuyên đã tận tình giúp đỡ em trong suốt quá trình học tập, nghiên cứu

và hoàn thành khóa luận này

Trong quá trình nghiên cứu, không tránh khỏi những thiếu sót và

hạn chế Kính mong nhận được sự đóng góp ý kiến của các thầy giáo,

cô giáo và toàn thể bạn đọc để đề tài được hoàn thiện hơn

Em xin chân thành cảm ơn!

Hà Nội, ngày 07 tháng 05 năm 2018

Sinh viên

Trịnh Thị Thanh Hiếu

Em xin cam đoan dưới sự hướng dẫn của thầy giáo Nguyễn Văn

Tuyên khóa luận của em được hoàn thành không trùng với bất kì đề

tài nào khác

Trong khi thực hiện đề tài em đã sử dụng và tham khảo các thành

tựu của các nhà khoa học với lòng biết ơn trân trọng

Hà Nội, ngày 07 tháng 05 năm 2018

Sinh viên

Trịnh Thị Thanh Hiếu

Lời mở đầu 1

1.1 Các khái niệm cơ bản 2

1.2 Hàm lồi trơn 10

1.3 Đạo hàm theo hướng 13

2.1 Dưới-gradient và dưới vi phân 16

2.2 Các quy tắc tính toán dưới vi phân 30

2.3 Dưới vi phân của hàm max 35

Lời mở đầu

Giải tích lồi là một bộ môn quan trọng trong giải tích phi tuyến hiện

đại Giải tích lồi nghiên cứu những khía cạnh giải tích của tập lồi và

hàm lồi Dưới vi phân, một mở rộng cho đạo hàm khi hàm không khả

vi, là một khái niệm cơ bản của giải tích lồi Việc khảo sát các quy tắc

tính toán của dưới vi phân của các hàm lồi có vai trò quan trọng trong

lý thuyết tối ưu và các bài toán liên quan

Với mong muốn được tìm hiểu sâu hơn về hàm lồi và phép tính dưới

vi phân của hàm lồi, tôi đã chọn nghiên cứu đề tài: “Các quy tắc tính

toán dưới vi phân của hàm lồi”

Mục đích của khóa luận là trình bày một cách có hệ thống, các kiến

thức cơ bản và quan trọng nhất về hàm lồi và các quy tắc tính toán dưới

vi phân của hàm lồi

Các kết quả chính trong khóa luận được trình bày dựa trên cuốn

chuyên khảo [3, Chapter 2]

Khóa luận gồm hai chương:

Chương 1 trình bày một số kiến thức chuẩn bị Nội dung chính của

chương này là trình bày một số kiến thức cơ bản của tập lồi và hàm lồi

Chương 2 trình bày về các quy tắc tính toán dưới vi phân Mục 2.1

nhắc lại một số tính chất cơ bản của dưới-gradient và dưới vi phân Mục

2.2 trình bày một số quy tắc tính toán dưới vi phân Mục 2.3 trình bày

về dưới vi phân của hàm max

Định nghĩa 1.1 Một tập X ∈ Rn được gọi là lồi nếu với mọi x1, x2 ∈ X

và α ∈ [0, 1], ta có (1 − α)x1 + αx2 ∈ X

Định nghĩa 1.2 Bao lồi của một tập X được kí hiệu là conv X là giao

của tất cả các tập lồi chứa X

Định nghĩa 1.3 Cho X là một tập lồi đóng trong Rn và x ∈ Rn Mộtđiểm thuộc X gần x nhất được gọi là hình chiếu của x lên X và kí hiệu

là ΠX(x)

Theo [3, Theorem 2.10], ta có hình chiếu của một điểm lên một tập

lồi đóng luôn tồn tại và duy nhất.

Định nghĩa 1.4 Một tập K ⊂ Rn được gọi là một nón nếu αx ∈ Kvới mọi α > 0 và x ∈ K

Bổ đề 1.1 Giả sử X là một tập lồi Khi đó tập

cone(X) = {γx : x ∈ X, γ ≥ 0}

là một nón lồi

Định nghĩa 1.5 Cho K là một nón Tập hợp

K◦ := {y ∈ Rn : hy, xi ≤ 0, ∀x ∈ K}

được gọi là nón cực của K

Định nghĩa 1.6 Cho X là một tập lồi đóng và x ∈ X Tập hợp

NX(x) = {v ∈ Rn : ΠX(x + v) = x}

được gọi là nón pháp tuyến của X tại x

Theo định nghĩa, dễ dàng chứng minh được rằng

NX(x) = [cone(X − x)]◦.Định nghĩa 1.7 Một hàm số f được gọi là lồi nếu epif là một tập lồi

Định nghĩa 1.8 Một hàm f được gọi là lõm nếu −f lồi.

Định nghĩa 1.9 Một hàm f được gọi là chính thường nếu f (x) > −∞

với mọi x và f (x) < +∞ với ít nhất một x

Bổ đề 1.2 Một hàm f là lồi khi và chỉ khi với mọi x1, x2 và 0 ≤ α ≤ 1

ta có

f (αx1 + (1 − α)x2) ≤ αf (x1) + (1 − α)f (x2) (1.1)Chứng minh Nếu x1 ∈ domf hoặc x/ 2 ∈ domf , thì bất đẳng thức là tầm/thường Nếu x1 ∈ domf và x2 ∈ domf Khi đó các điểm

Theo định nghĩa của tập trên đồ thị, ta có (1.1)

Ngược lại, giả sử ta có (1.1), (xi, vi) ∈ epif , i = 1, 2, và α ∈ [0, 1]

Ví dụ 1.3 Giả sử Z là một tập lồi đóng trong Rn Khoảng cách tới Z,

Theorem 2.10], v và w là các hình chiếu của x và y lên Z Vì Z là một

tập lồi, nên tổ hợp lồi của các điểm này αv + (1 − α)w, với α ∈ (0, 1),

Trong ví dụ trên, tính lồi của tập Z là cần thiết Hàm khoảng cách

đến một tập không lồi không phải là một hàm lồi

Định nghĩa 1.10 Một hàm f được gọi là lồi chặt nếu bất đẳng thức

(1.1) là chặt với mọi x1 6= x2 và 0 < α < 1

Bổ đề 1.3 Nếu f lồi thì domf là một tập lồi

Chứng minh Nếu x1 ∈ domf và x2 ∈ domf , thì theo Bổ đề 1.2, ta có

Ví dụ 1.4 Với một ma trận đối xứng, ta xác định giá trị riêng lớn nhất

của nó là λmax(A) Do đó, trong không gian Sn của các ma trận đối xứng

có kích thước n × n ta xét hàm

f (A) = λmax(A),

Vì λmax(A) = max

kyk=1hy, Ayi, và mỗi hàm fy(A) = hy, Ayi tuyến tính, nênhàm λmax(·) là hàm lồi

Bổ đề 1.5 Nếu f là một hàm lồi, thì với mọi x1, x2, , xn và α1 ≥

0, α2 ≥ 0, , αm ≥ 0 sao cho α1 + α2 + + αm = 1, ta có

f (α1x1 + α2x2 + + αmxm) ≤ α1f (x1) + α2f (x2) + + αmf (xm).Chứng minh Ta có các điểm

f (α1x1 + α2x2 + + αmxm) ≤ α1f (x1) + α2f (x2) + + αmf (xm)

Bổ đề 1.6 Nếu các hàm fi, i = 1, 2, , m, là lồi, thì với mọi c1 ≥

0, c2 ≥ 0, , cm ≥ 0 hàm f (x) = c1f1(x) + c2f2(x) + + cmfm(x) lồi.Chứng minh Vì (1.1) đúng với mỗi fi, ta có thể nhân các bất đẳng thứccủa chúng với ci và cộng lại ta được kết quả cần chứng minh

Một hàm f : Rn → R được gọi là nửa liên tục dưới, nếu với mỗi chuỗihội tụ của các điểm xk thì ta có

Chứng minh Xét một dãy các điểm (xk, αk) thuộc epif , và giả sử xk →

x và αk → α, khi k → ∞ Nếu f nửa liên tục dưới, thì

f (x) ≤ lim inf

k→∞ f (xk) ≤ lim

k→∞αk = α,suy ra (x, α) ∈ epif

Giả sử tập epif đóng, nhưng f không nửa liên tục dưới Khi đó tồn

tại một dãy xk ⊂ Rn hội tụ đến một số điểm x ∈ Rn sao cho

với mọi k đủ lớn Vì tập epif đóng nên điểm giới hạn (x, f (x) − ε) là

một phần tử của tập epif Tức là f (x) − ε ≥ f (x), mâu thuẫn Do đó f

phải nửa liên tục dưới

Bổ đề 1.8 Nếu f : Rn → R là hàm lồi, thì với mỗi β ∈ R tập

là tập lồi.

Chứng minh Nếu bài toán tối ưu không có nghiệm, thì tập bX rỗng nên

tập bX lồi Cho bX 6= ∅ và bx ∈ bX, β = f (x) Khi đób

ở đây x1, x2, , xn biểu thị tọa độ của vector x

Định lý 1.1 Giả sử rằng hàm f khả vi liên tục Khi đó

(i) f lồi nếu và chỉ nếu với mọi x và y

f (y) ≥ f (x) + h∇f (x), y − xi; (1.3)

(i) f lồi chặt nếu và chỉ nếu với mọi x 6= y

f (y) > f (x) + h∇f (x), y − xi (1.4)

Chứng minh (i)Giả sử f lồi, và tồn tại x, y với ε > 0 sao cho

f (y) ≥ f (x) + h∇f (x), y − xi

Ngược lại, giả sử với mọi x và y có f (y) ≥ f (x) + h∇f (x), y − xi

Ta đi chứng minh f là hàm lồi Thật vậy, giả sử y, z là các điểm tùy ý,

y 6= z, và x = αy + (1 − α)z với α ∈ (0, 1) Khi đó, theo giả thiết ta có

f (y) ≥ f (x) + h∇f (x), y − xi,

f (z) ≥ f (x) + h∇f (x), z − xi

Nhân các bất đẳng thức này lần lượt với α và 1 − α, và cộng lại ta được

αf (y) + (1 − α)f (z) ≥ f (x),

Thay x = αy + (1 − α)z ta được

αf (y) + (1 − α)f (z) ≥ f (αy + (1 − α)z),

Suy ra f là hàm lồi

(ii) Nếu f lồi chặt, thì f lồi và (1.5) đúng Ta đi chứng minh bất

đẳng thức (1.5) là chặt, nếu y 6= x và α ∈ (0, 1) Giả sử f (y) = f (x) +h∇f (x), y − xi Cho z = 12x + 12y Vì f lồi chặt nên f (αx + (1 − α)y) <

f (v) < βf (x) + (1 − β)f (z) < f (x) + 1

2(1 − β)h∇f (x), y − xi.

Vì v − x = (1 − β)(z − x) = 12(1 − β)(y − x), bất đẳng thức trên trởthành

f (v) < f (x) + h∇f (x), v − xi,

mâu thuẫn với (1.5), nên giả sử sai Vậy f (y) > f (x) + h∇f (x), y − xi

với mọi y 6= x

Ngược lại, ta chứng minh tương tự (i)

Nếu f : Rn → R lồi và khả vi tại x thì f(y) ≥ f(x) + h∇f(x), y − xi

với mọi y ∈ Rn Nếu f lồi chặt, thì f (y) > f (x) + h∇f (x), y − xi với mọi

y ∈ Rn

Ví dụ 1.5 Xét hàm f : Rn → R được định nghĩa như dạng toàn phương,

f (x) = hx, Axi,

ở đó A là một ma trận đối xứng Hàm f lồi nếu và chỉ nếu A là ma trận

nửa xác định dương, và f lồi chặt nếu và chỉ nếu A là ma trận xác định

dương Thật vậy,

∇f (x) = 2Ax,

và với mọi x và y ta có phương trình

f (y) − f (x) − h∇f (x), y − xi = hy, Ayi − hx, Axi − 2hAx, y − xi

= hy, Ayi + hx, Axi − 2hAx, yi

= hy − x, A(y − x)i

Các biểu thức ở phía bên phải không âm với mọi x, y nếu và chỉ nếu A

nửa xác định dương Biểu thức này là dương với mọi y 6= x nếu và chỉ

nếu A xác định dương

Trong rất nhiều các ứng dụng, chúng ta thường gặp các hàm không

trơn Chẳng hạn, chuẩn Euclide không khả vi tại 0

Trong thực tế, không chuẩn nào là khả vi tại 0 Một số chuẩn, chẳng

các mô hình tối ưu

Khái niệm gradient của một hàm trơn có thể được tổng quát cho

trường hợp các hàm không trơn, nói riêng cho các hàm lồi không trơn

Để hiểu cách xây dựng này, trước hết chúng ta nhắc lại một số tính chất

quan trọng của các hàm lồi

Bổ đề 1.10 Cho f : Rn → R là một hàm lồi Với mỗi x ∈ int domftồn tại δ > 0 và L sao cho

|f (y) − f (x)| ≤ Lky − xk khi ky − xk < δ

Cho f : Rn → R là một hàm lồi và cho x ∈ domf Khi đó với mỗi

được gọi là đạo hàm theo hướng d của f tại x

Bổ đề 1.11 Với mỗi x ∈ domf và mỗi d ∈ Rn giới hạn trong (1.7) tồntại (hữu hạn hoặc vô hạn) Nếu x ∈ int domf , khi đó f0(x; d) là hữu hạnvới mọi d

Chứng minh Xét thương

Q(τ ) = f (x + τ d − f (x))

Nếu f (x + τ d) = +∞ với mọi τ > 0, thì Q(τ ) = +∞ với mọi τ > 0 và

f0(x; d) = +∞ Nếu f (x + τ d) < +∞ với một số τ0 > 0, thì theo tínhlồi của f suy ra f (x + τ d) < +∞ với mọi 0 < τ < τ0 và Q(τ ) được xácđịnh với các τ này Cho 0 < τ1 < τ2 < τ0 Ta có

Do đó giới hạn trong (1.7) tồn tại (hữu hạn hoặc bằng −∞) Theo tính

đơn điệu của Q(·) suy ra

f0(x; d) ≤ Q(τ ) với mọi τ > 0 (1.9)Nếu x ∈ int domf , theo Bổ đề 1.10 suy ra với mọi τ đủ nhỏ

|Q(τ )| = |f (x + τ d) − f (x)|

và do đó giới hạn của Q(τ ) với τ ↓ 0 phải hữu hạn

Tính toán dưới vi phân

Định nghĩa 2.1 Cho f : Rn → R là một hàm lồi chính thường và

x ∈ domf Một vector g ∈ Rn thỏa mãn

f (y) ≥ f (x) + hg, y − xi với mọi y ∈ Rn (2.1)được gọi là một dưới-gradient (subgradient) của f tại x

Tập của tất cả dưới-gradient của f tại x được gọi là dưới vi phân của

f tại x và được kí hiệu là ∂f (x)

Khái niệm dưới-gradient có một ý nghĩa hình học rõ ràng Giả sử

g ∈ ∂f (x) Bất đẳng thức (2.1) có nghĩa là trên đồ thị của hàm f luôn

nằm trên đồ thị của hàm affine l(y) = f (x) + hg, y − xi

Với mỗi điểm (y, v) ∈ epif , ta có

v ≥ f (y) ≥ f (x) + hg, y − xi,

hg, y − xi + (−1)(v − f (x)) ≤ 0

Do đó, (g, −1) là một phần tử của nón pháp tuyến Nepif(x, f (x))

Trong một số điều kiện, điều ngược lại cũng đúng Nếu một vector

(u, γ) ∈ Nepif(x, f (x)) và γ 6= 0, thì g = −u/γ là một dưới-gradient của

Tại điểm (0, 0) tất cả các pháp tuyến của tập trên đồ thị có dạng (u, 0),

trong đó u < 0, và f không có dưới-gradient tại x = 0

Bổ đề 2.1 Giả sử f : Rn → R là một hàm lồi chính thường và x ∈domf Một vector g là một dưới-gradient của f tại x nếu và chỉ nếu

f0(x; d) ≥ hg, di với mọi d ∈ Rn (2.2)Chứng minh Giả sử (2.2) đúng Khi đó với mỗi y, từ (1.9) ta được

Qua giới hạn với τ ↓ 0 ta được (2.2).

Định lý 2.1 Cho f : Rn → R là một hàm lồi Giả sử x ∈ int domf.Khi đó, ∂f (x) là một tập lồi, đóng, bị chặn và khác rỗng Hơn nữa, đối

với mỗi hướng d ∈ Rn ta có:

f0(x; d) = max

g∈∂f (x)

hg, di

Chứng minh Theo Bổ đề 2.1, ta chỉ cần chứng minh rằng với mỗi d tồn

tại g ∈ ∂f (x) sao cho

Theorem 2.15], tồn tại z =



u

Giả sử γ = 0 Vì x là một điểm trong của miền hữu hiệu, chúng ta

có thể chọn y từ hình cầu đủ nhỏ B của x sao cho tồn tại v > f (y) Đặt

τ = 0, từ (2.4) ta có hu, yi ≥ hu, xi với mọi y ∈ B, điều này chỉ có thể

xảy ra khi u = 0 và mâu thuẫn với điều kiện z 6= 0 Do đó γ > 0

Chia hai vế của (2.4) cho γ, đặt g = −u/γ và cho v ↓ f (y) ta được

Đặt τ = 0 ta suy ra

f (y) ≥ f (x) + hg, y − xi với mọi x ∈ int domf (2.5)

Vì tính lồi nên với mỗi y ∈ domf ta có

f (y) − f (x) ≥ 2[f ((x + y)/2) − f (x)],

và (x + y)/2 ∈ int domf Áp dụng (2.5) cho f ((x + y)/2) ta thấy (2.1)

đúng với mọi y ∈ domf , và với mọi y ∈ Rn Do đó g là một dưới-gradientcủa f tại x và tập dưới vi phân không rỗng

Giả sử g1 ∈ ∂f (x), g2 ∈ ∂f (x) Do đó với mọi y

f (y) ≥ f (x) + hg1, y − xi,

f (y) ≥ f (x) + hg2, y − xi.

Nhân các bất đẳng thức trên với α và 1 − α, ở đó α ∈ (0, 1), ta được

αg1 + (1 − αg2) ∈ ∂f (x) Do đó dưới vi phân là tập lồi

Nếu gk ∈ ∂f (x) và gk → g, khi đó giới hạn qua bất đẳng thức

f (y) ≥ f (x) + hgk, y − xi,

ta kết luận rằng g ∈ ∂f (x) Do đó dưới vi phân là tập đóng

Cho g ∈ ∂f (x) Theo [3, Lemma 2.36] cho x + τ d đủ gần x ta có

Từ chứng minh ta thấy dưới vi phân ∂f (x) lồi và đóng với mọi x tại

đó f (·) có ít nhất một dưới-gradient (là khả dưới vi phân)

Bổ đề 2.2 Nếu một hàm lồi f : Rn → R là khả dưới vi phân tại x, khi

Chứng minh Theo Bổ đề 1.11, đạo hàm theo hướng f0(x; d) tồn tại(hữu hạn hoặc vô hạn) Vì vậy từ định nghĩa của dưới vi phân với mỗi

và tìm một dưới-gradient mới g sao cho µ = hg, di Điều này dẫn đến

mâu thuẫn và ta được kết quả cần chứng minh

Bổ đề 2.3 Một hàm lồi f : Rn → R là khả vi tại x nếu và chỉ nếu dưới

vi phân ∂f (x) chỉ có một phần tử là gradient của f tại x

Chứng minh Một hàm f khả vi tại x nếu và chỉ nếu đạo hàm theo hướng

của nó f0(x; d) là tuyến tính theo d Khi đó

f0(x; d) = h∇f (x), di với mọi d

Từ Bổ đề 2.1, ∇f (x) ∈ ∂f (x) Nếu tồn tại một dưới-gradient khác

điều này chỉ xảy ra khi g = ∇f (x).

Ngược lại, giả sử dưới vi phân chỉ có một phần tử g Theo Định lý

Bổ đề 2.4 Nếu f là khả dưới vi phân tại x và 0 /∈ ∂f (x), khi đó hướngtụt nhất của f tại x có dạng

b

d = − g

kgk,trong đó g là phần tử chuẩn nhỏ nhất của ∂f (x)

Chứng minh Xét phần tử chuẩn nhỏ nhất g ∈ ∂f (x) Vì 0 /∈ ∂f (x) vàdưới vi phân là tập đóng nên g 6= 0 Vì g là hình chiếu của 0 trên ∂f (x),

Với mọi vector d có độ dài không quá 1 ta có

Thật vậy, với mỗi hướng d,

tương đương với kgk ≤ 1

Ta có thể được mở rộng đến bất kì chuẩn k · k♦ trong Rn Bằng lập luậntương tự, ta thấy dưới vi phân của f tại 0 là tập

suy ra

hg, xi = kxk♦.Chia hai về cho kxk♦(khác không ), ta được

∂kxk♦ = {g ∈ Rn : kgk∗ ≤ 1, hg, xi = kxk♦} (2.6)

Vì một dưới-gradient là một phần tử của tập bên phải, ta đi chứng minh

điều ngược lại Cho g là một phần tử của tập bên phải Vì kgk∗ ≤ 1, vớimọi y ta có

kyk♦ ≥ hg, yi = hg, xi + hg, y − xi = kxk♦+ hg, y − xi,

vì vậy g là một dưới-gradient của k · k♦ tại x

Công thức của chúng ta cho dưới vi phân của chuẩn là đúng cho

Từ Ví dụ 1.2, f là một hàm lồi Ta tính dưới vi phân của f tại x Chọn

b

z ∈ Z sao cho kx −zkb ♦ = f (x) Vì Z đóng nên z tồn tại, mà chuẩn k · kb ♦không lồi chặt nên bz không duy nhất Với mỗi y ta có

f (y) ≤ ky −zkb ♦,

và tại y = x bất đẳng thức trên trở thành một phương trình Do đó, đối

với mỗi g ∈ ∂f (x) ta thấy

ky − bzk♦ ≥ f (y) ≥ hg, y − xi

suy ra g ∈ ∂kx −zkb ♦ Do đó,

∂f (x) ⊂ ∂kx −zkb ♦.Với mỗi g ∈ ∂f (x) và với mỗi z ∈ Z ta có