Khôi phục tín hiệu nén trong miền wavelet sử dụng mô hình cây markov ẩn

TÊN ĐỀ TÀI: KHÔI PHỤC TÍN HIỆU NÉN TRONG MIỀN WAVELET SỬ DỤNG MÔ HÌNH CÂY MARKOV ẨN NHIỆM VỤ VÀ NỘI DUNG: • Nghiên cứu lý thuyết về cảm biến nén • Trình bày các thuật toán khôi phục tí

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA

HOÀNG ĐỨC HẢO

KHÔI PHỤC TÍN HIỆU NÉN TRONG MIỀN WAVELET

SỬ DỤNG MÔ HÌNH CÂY MARKOV ẨN

Chuyên ngành Toán Ứng Dụng

LUẬN VĂN THẠC SĨ

TP HỒ CHÍ MINH, tháng 6 năm 2014

Công trình được hoàn thành tại: Trường Đại học Bách Khoa – ĐHQG-HCM

Cán bộ hướng dẫn khoa học:

(Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 1:

(Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 2:

(Ghi rõ họ, tên, học hàm, học vị và chữ ký) Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày tháng năm

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ) 1 .

2 .

3 .

4 .

5

Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ………… ………… ………… …………

ĐẠI HỌC QUỐC GIA TP.HCM

TRƯỜNG ĐẠI HỌC BÁCH KHOA

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập - Tự do - Hạnh phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ tên học viên: HOÀNG ĐỨC HẢO MSHV: 11240496

Ngày, tháng, năm sinh: 26 tháng 08 năm 1984 Nơi sinh: Quảng Trị

Chuyên ngành: Toán Ứng Dụng Mã số :

I TÊN ĐỀ TÀI:

KHÔI PHỤC TÍN HIỆU NÉN TRONG MIỀN WAVELET SỬ DỤNG MÔ HÌNH CÂY

MARKOV ẨN NHIỆM VỤ VÀ NỘI DUNG:

• Nghiên cứu lý thuyết về cảm biến nén

• Trình bày các thuật toán khôi phục tín hiệu nén

• Ứng dụng mô hình cây Markov ẩn để cải tiến thuật toán khôi phục tín hiệu nén trong miền wavelet

• Viết chương trình mô phỏng bằng Matlab

II NGÀY GIAO NHIỆM VỤ : (Ghi theo trong QĐ giao đề tài): 10/02/2014

III NGÀY HOÀN THÀNH NHIỆM VỤ: (Ghi theo trong QĐ giao đề tài): 20/06/2014

IV CÁN BỘ HƯỚNG DẪN (Ghi rõ học hàm, học vị, họ, tên): TS Nguyễn Tiến Dũng

LỜI CẢM ƠN

Lời đầu tiên, tôi xin bày tỏ lòng biết ơn sâu sắc của mình tới thầy hướng dẫn Tiến sĩ Nguyễn Tiến Dũng – Giảng viên Bộ môn Toán Ứng Dụng, khoa Khoa Học ỨngDụng, trường Đại học Bách Khoa Tp.Hồ Chí Minh, người đã định hướng, luôn khuyếnkhích, quan tâm giúp đỡ, truyền đạt kiến thức và tạo mọi điều kiện thuận lợi giúp tôihoàn thành luận văn tốt nghiệp này

-Tôi xin bày tỏ lòng biết ơn chân thành đến tập thể Thầy, Cô giáo bộ môn ToánỨng Dụng – Khoa Khoa Học Ứng Dụng, phòng Đào Tạo Sau Đại Học – trường Đạihọc Bách Khoa, Đại học Quốc Gia Tp HCM đã tận tình truyền đạt kiến thức, giúp

đỡ tôi trong suốt khóa học

Cuối cùng, tôi xin gửi lời cảm ơn đến tập thể lớp Toán Ứng Dụng khóa K2011 vàK2012 – những người bạn yêu quý đã luôn đồng hành, giúp đỡ và chia sẽ khó khăncùng tôi trong suốt quá trình học tập

Tp Hồ Chí Minh, tháng 6, năm 2014

Hoàng Đức Hảo

TÓM TẮT

Cảm biến nén (CS - Compressive Sensing) là một kỹ thuật mới trong lĩnh vực Xử

Lý Tín Hiệu Số được ứng dụng để khôi phục các tín hiệu thưa hay các tín hiệu dễ nén

từ một tập nhỏ các ánh xạ trên các vector ngẫu nhiên với chi phí lấy mẫu và tính toánđược giảm thiểu Lý thuyết về CS được phát triển dựa trên nghiên cứu của Candes,Romberg và Tao, và nghiên cứu của Donoho Các nghiên cứu của hai nhóm tác giảtrên đã chỉ ra rằng một tín hiệu có biểu diễn thưa trong một cơ sở chính có thể đượckhôi phục từ một tập nhỏ các phép chiếu lên một cơ sở đo mà cơ sở đo này không liênkết với cơ sở chính Ở đây, hai cơ sở không liên kết nghĩa là không có thành phần nàocủa cơ sở này có biểu diễn thưa theo cơ sở kia Các phép chiếu ngẫu nhiên đóng mộtvai trò trung tâm như một cơ sở đo chung theo nghĩa chúng không liên kết với bất kỳ

cơ sở cố định nào với xác suất cao Các thuật toán cổ điển như các thuật toán tuyếntính có thể được sử dụng trong lĩnh vực CS để khôi phục các tín hiệu thưa hay các tínhiệu dễ nén Tuy nhiên, các thuật toán này có chi phí tính toán và sai số lớn Các thuậttoán này không sử dụng bất kỳ cấu trúc đặc biệt nào của tín hiệu ngoại trừ tính chất

“thưa” của chúng Tuy nhiên, với một vài loại tín hiệu cụ thể, chúng ta có thể lợi dụngthêm một vài tính chất biết trước của tín hiệu để giảm chi phí tính toán và/hoặc cho

độ chính xác cao hơn trong quá trình khôi phục tín hiệu Ví dụ, các tín hiệu trơn từngkhúc không chỉ có tính chất thưa trong miền waveletmà các hệ số wavelet của chúngcòn có tính chất phân cụm quanh một cây con liên thông trong miền wavelet.Với việc

áp dụng thêm tính chất phân cụm này, các thuật toán CS có thể được cải tiến để chosai số thấp hơn so với các phương pháp cũ Luận văn này tìm hiểu các vấn đề cơ bảntrong lĩnh vực cảm biến nén, sau đó tìm hiểu và trình bày chuyên sâu về thuật toánkhôi phục tín hiệu cho các loại tín hiệu trơn từng khúc trong miền wavelet Thuật toánnày được xây dựng trên cơ sở mô hình các hệ số wavelet của các loại tín hiệu trơntừng khúc theo mô hình cây Markov ẩn Từ đó cho thấy mô hình cây Markov ẩn cóthể được sử dụng để tăng tính chính xác cho thuật toán

Mục lục

2.1 Các Khái Niệm Cơ Bản 9

2.1.1 Không gian định chuẩn 9

2.1.2 Tín hiệu thưa 10

2.2 Bộ mã hóa, giải mã tối ưu 11

2.3 Bộ giải mã tối ưu l1 13

2.4 Tính chất RIP của ma trận ngẫu nhiên 19

3 CÁC PHƯƠNG PHÁP SỐ TRONG CS 20 3.1 Giới thiệu 20

3.2 Thuật toán đồng luân 21

3.3 Thuật toán lặp với trọng số trong l1 26

3.4 Thuật toán lặp với trọng số trong l2 33

4 MIỀN WAVELET VÀ MÔ HÌNH CÂY MARKOV ẨN 42 4.1 Miền Wavelet 42

4.1.1 Biến đổi Wavelet liên tục 42

4.1.2 Biến đổi wavelet rời rạc 45

4.1.3 Tính chất của tín hiệu trơn từng khúc trong miền wavelet 45

4.2 Mô Hình Markov Ẩn 46

4.2.1 Mô hình Markov ẩn rời rạc 47

4.2.2 Thuật toán giải bài toán huấn luyện - Thuật toán EM 48

4.2.3 Thuật toán giải bài toán xác định khả năng hợp lệ 51

4.2.4 Thuật toán giải bài toán dự đoán trạng thái - Thuật toán Viterbi 52 4.3 Mô Hình Markov Ẩn Cho Các Hệ Số Wavelet 53

4.4 Một cải tiến của thuật toán IRWL1 56

5 MÔ PHỎNG VÀ ĐÁNH GIÁ 58 5.1 Đánh giá sai số 58

5.2 So sánh sai số và tốc độ hội tụ 63 5.3 Khôi phục tín hiệu hai chiều bằng thuật toán IRWL1 và IRWL1+HMT 64

Danh sách hình vẽ

2.1 Bao lồi ¯f của f 14

2.2 Nghiệm tối ưu l1 trong không gian R2 15

4.1 Các tham số xác suất của mô hình Markov ẩn 46

4.2 Mô hình Gaussian hỗn hợp cho các hệ số wavelet 54

4.3 Cấu trúc cây nhị phân của các hệ số wavelet 55

5.1 Sơ đồ khối chương trình mô phỏng 58

5.2 Kết quả khôi phục tín hiệu bằng thuật toán IRWL1 và IRWL1+HMT 60 5.3 Thống kê sai số trong 50 lần chạy thuật toán IRWL1 và IRWL1+HMT 60 5.4 So sánh sai số và tốc độ hội tụ của thuật toán IRWL1 và thuật toán IRWL1+HMT 63

5.5 Kết quả khôi phục ảnh bằng thuật toán IRWL1 và thuật toán IRWL1+HMT 64 5.6 So sánh sai số quá trình khôi phục ảnh bằng thuật toán IRWL1 và thuật toán IRWL1+HMT 64

Chương 1

GIỚI THIỆU

Thuật ngữ “Cảm Biến Nén” (Compressive Sensing - CS), được đề xuất bởiCandes [5] và Donoho [7]), là một kỹ thuật mới trong lĩnh vực Xử Lý Tín Hiệu Số(DSP) không bị chi phối bởi định lý lấy mẫu Nyquist/Shannon Kỹ thuật này chophép nén các tín hiệu có biểu diễn “thưa” tại ngõ vào các bộ cảm biến Tính chất “nén”được hiểu theo nghĩa tín hiệu “thưa” tại ngõ vào các bộ cảm biến có thể được đo bởimột tập nhỏ các phép chiếu lên các vectơ ngẫu nhiên, và sau đó tín hiệu gốc sẽ đượckhôi phục từ tập các phép chiếu này Nói một cách khác, kỹ thuật này cho phép giảmmột cách đáng kể tần số lấy mẫu (thấp hơn nhiều so với tần số Nyquist) và do vậygiảm được chi phí tính toán tại các bộ cảm biến Đề tài này nghiên cứu một thuậttoán mới trong lĩnh vực cảm biến nén ứng dụng trong việc khôi phục các tín hiệu thưatrong miền Wavelet sử dụng mô hình cây Markov ẩn

Một trong những nền tảng cơ bản của lĩnh vực Xử Lý Tín Hiệu Số (DSP) làđịnh lý Nyquist/Shannon Định lý Nyquist phát biểu rằng tần số lấy mẫu cần thiết đểkhôi phục lại tín hiệu mà không bị lỗi bị ràng buộc bởi băng thông của tín hiệu, cụthể là tần số lấy mẫu ít nhất phải bằng hai lần băng thông của tín hiệu Vì thế, trướcđây, đối với các thiết bị điện tử mà tín hiệu đầu vào có băng thông lớn (như các loạimáy ảnh có độ phân giải cao, các thiết bị siêu cao tần, các thiết bị radar, ), tốc độlấy mẫu đòi hỏi phải rất lớn Yêu cầu này đòi hỏi các thiết bị điện tử phải có tốc độ

xử lý cao và dung lượng bộ nhớ lớn để đáp ứng các yêu cầu về thời gian thực Điềunày dẫn đến sự phức tạp trong thiết kế phần cứng và phần mềm, và do vậy làm tăngchi phí nghiên cứu và sản xuất

Từ năm 2006, một kỹ thuật mới mang tính đột phá trong lĩnh vực DSP đã đượcgiới thiệu Đó là kỹ thuật “Cảm Biến Nén” (CS) Lý thuyết về CS được phát triển dựatrên nghiên cứu của Candes, Romberg và Tao [5], và nghiên cứu của Donoho [7] Cácnghiên cứu của hai nhóm tác giả trên đã chỉ ra rằng một tín hiệu có biểu diễn thưatrong một cơ sở chính có thể được khôi phục từ một tập nhỏ các phép chiếu lên một

cơ sở đo mà cơ sở đo này không liên kết với cơ sở chính Ở đây, hai cơ sở không liênkết nghĩa là không có thành phần nào của cơ sở này có biểu diễn thưa theo cơ sở kia.Các phép chiếu ngẫu nhiên đóng một vai trò trung tâm như một cơ sở đo chung theonghĩa chúng không liên kết với bất kỳ cơ sở cố định nào với xác suất cao

Theo lý thuyết CS, khi các tín hiệu đầu vào là các tín hiệu có biểu diễn “thưa”trong một cơ sở nào đó thì tần số lấy mẫu tại các bộ cảm biến có thể được giảm mộtcách đáng kể, nghĩa là tần số lấy mẫu thấp hơn nhiều so với tần số Nyquist mà vẫn

có thể khôi phục không lỗi tín hiệu gốc [7] đã chỉ ra rằng, một tín hiệu thưa x ∈ RN

có thể được khôi phục chính xác chỉ với M = O(√

N log(N )) thành phần mã hóa (haythành phần đo) từ tín hiệu gốc Trong một vài trường hợp đặc biệt, M có thể nhỏ hơnnhiều Ví dụ như khi lấy mẫu và mã hóa các ảnh tựa hoạt hình [7], chúng ta chỉ cầnlưu trữ M = O(N1/4log(N )) điểm ảnh thay vì phải lưu trữ tất cả N điểm ảnh Cácthuật toán khôi phục tín hiệu dựa trên lý thuyết CS được đề xuất trong [5, 7, 11, 19]không sử dụng bất kỳ cấu trúc đặc biệt nào của tín hiệu ngoại trừ tính chất “thưa” củachúng Tuy nhiên, với một vài loại tín hiệu cụ thể, chúng ta có thể lợi dụng thêm mộtvài tính chất biết trước của tín hiệu để giảm chi phí tính toán và/hoặc cho độ chínhxác cao hơn trong quá trình khôi phục tín hiệu Ví dụ, các tín hiệu trơn từng khúckhông chỉ có tính chất thưa trong miền waveletmà các hệ số wavelet của chúng còn cótính chất phân cụm quanh một cây con liên thông trong miền wavelet [6, 8, 12, 18] Vớiviệc áp dụng thêm tính chất phân cụm này, các thuật toán CS có thể được cải tiến đểđạt hiệu quả cao hơn

Kể từ khi được giới thiệu bởi Candes, Romberg, Tao và Donoho vào năm 2006,lĩnh vực CS nhận được sự quan tâm lớn của các nhà nghiên cứu bởi ý nghĩa thực tế vàkhả năng ứng dụng to lớn của nó trong nhiều lĩnh vực khác nhau Các nghiên cứu gầnđây trên thế giới tập trung vào các vấn đề về ứng dụng lý thuyết CS trong các lĩnh vựckhác nhau như: Camera nén trên điện thoại di động, xử lý ảnh, nhận dạng, các máyquét MRI (Magnetic Resonance Imaging) sử dụng trong y học, hệ thống Radar, các

hệ thống truyền nhận tín hiệu trong viễn thông và các mạng cảm biến không dây [17].Qua tìm hiểu, chúng tôi thấy rằng các nghiên cứu trong nước về lĩnh vực này chưađược chú trọng Rất ít các nghiên cứu đã được công bố trên các tạp chí trong nước vàquốc tế

Mục đích chính của luận văn này là hệ thống lại các kiến thức cơ bản trong lĩnhvực cảm biến nén, tìm hiểu về các thuật toán khôi phục tín hiệu dựa trên lý thuyết

CS, và tìm hiểu một thuật toán CS mới ứng dụng để khôi phục các tín hiệu thưa cócác hệ số Wavelet phân cụm theo cấu trúc cây dựa trên mô hình cây Markov ẩn.Luận văn sẽ được bắt đầu bằng việc hệ thống các cơ sở Toán học làm nền tảngcho lý thuyết CS như đã được nghiên cứu đầu tiên bởi các tác giả Candes, Romberg,Tao [5], và Donoho [7], sau đó, sẽ trình bày chi tiết các thuật toán CS đã và đang đượcnghiên cứu và ứng dụng hiện nay Dựa trên các thuật toán này, các chương trình môphỏng bằng Matlab sẽ được triển khai Cuối cùng, các kết quả mô phỏng sẽ được sosánh và đánh giá để thấy rõ tính hiệu quả của việc áp dụng mô hình mới trong việckhôi phục các tín hiệu thưa

Luận văn này sẽ bao gồm các nội dung chính sau đây:

• Chương 1: Giới Thiệu

• Chương 2: Cơ Sở Toán Học Của Lý Thuyết CS

Phần này sẽ trình bày các chủ đề sau:

– Lý thuyết giải tích CS

– Bộ mã hóa và giải mã tối ưu

– tính chất NSP và RIP của ma trận mã hóa

– Bộ giải mã tối ưu trong l1

• Chương 3: Các phương pháp số trong CS

Phần này sẽ trình bày ba phương pháp số trong CS để khôi phục các tín hiệuthưa:

– Phương pháp đồng luân

– Phương pháp lặp với trọng số trong l1

– Phương pháp lặp với trọng số trong l2

• Chương 4: Miền Wavelet và Mô Hình Cây Markov Ẩn

Phần này sẽ trình bày các chủ đề sau:

– Biến đổi Fourier và biến đổi Wavelet

– Hệ số Wavelet

– Các tính chất của hệ số Wavelet như: tính chất cụm, tính chất ổn định vàtính chất suy hao

– Mô hình cây Markov ẩn

– Xây dựng mô hình cậy Markov ẩn cho các tín hiệu thưa trong miền wavelet– Cải tiến thuật toán khôi phục tín hiệu dựa trên mô hình cậy Markov ẩn chocác tín hiệu thưa

• Chương 5: Mô Phỏng và Đánh Giá

Dựa trên các kết quả nghiên cứu lý thuyết và thuật toán trong các phần trước,một chương trình mô phỏng sẽ được xây dựng bằng phần mềm Matlab để làm

rõ các kết quả lý thuyết

• Kết Luận

Phần này sẽ tổng kết lại các kết quả đạt được, trình bày rõ các ưu điểm của việc

áp dụng mô hình cây Markov ẩn trong việc khôi phục các tín hiệu thưa trongmiền Wavelet

• Phụ Lục và Tài Liệu Tham Khảo

Chương 2

CƠ SỞ TOÁN HỌC CỦA LÝ

THUYẾT CẢM BIẾN NÉN

2.1 Các Khái Niệm Cơ Bản

2.1.1 Không gian định chuẩn

Định nghĩa 2.1 Không gian định chuẩn

• Cho X là một không gian vector trên trường F Một chuẩn trên X là một hàmk.k : X → R sao cho với mọi x, y ∈ X và với mọi α ∈ F thì:

Ví dụ 2.1 Không gian định chuẩn hữu hạn chiều lp

Hàm k.klp : RN → R được định nghĩa bởi

kxklp =

NX

• Nếu p = ∞ thì ta định nghĩa kxkl∞ = kxk∞= maxi∈{1, ,N }{|x1|, , |xN|}.

Tính chất 2.1 Mối liên hệ giữa các chuẩn lp

Xét chuẩn k.klp trong RN với 1 ≤ p < ∞ Với mọi x ∈ RN, ta có các so sánh sau:

Định nghĩa 2.2 (Sai số xấp xỉ k-tốt nhất) Xét chuẩn k.kX trong RN (ví dụ chuẩn

l1), khi đó sai số xấp xỉ k-tốt nhất σk(x)X của một vector x ∈ RN theo chuẩn k.kXđược định nghĩa bởi

Chứng minh Gọi r(x) là một sắp xếp không tăng các thành phần của vector x theogiá trị tuyệt đối Gọi Λ là tập tất cả các chỉ số của k thành phần có giá trị tuyệt đốilớn nhất trong vector x Nếu  = rk(x) là thành phần thứ k của r(x) thì

kxklq =

NX

Định nghĩa 2.3 (Tín hiệu thưa) Giả sử x là một tín hiệu trong RN Gọi Ψ ={ψ1, ψ2, , ψN} là một cơ sở của RN Ta gọi x là một tín hiệu k-thưa nếu nó là một

tổ hợp tuyến tính của k vector từ Ψ, tức là

x = zk =

kX

i=1

θn iψn i

với k  N

2.2 Bộ mã hóa, giải mã tối ưu

Bài toán 1 Xét chuẩn k.kX trong RN Cho tập K ⊂ RN Có tồn tại hay không ánh

xạ tuyến tính A : RN → Rm với k < m  N và ánh xạ ∆ : Rm → RN thỏa điều kiện

gọi Am,N là tập tất cả các cặp mã hóa/giải mã (A, ∆) thỏa mãn điều kiện (2.3), và kýhiệu

Gọi X là một không gian định chuẩn Cho K là một tập compact trong X Chiều rộngGelfand bậc m của K được định nghĩa bởi

dm(K)X = inf

Y ≤Xcodim(Y )≤m

sup{kxkX : x ∈ K ∩ Y }

Bổ đề 2.2 Cho K ⊂ RN là một tập compact đóng sao cho K = −K và tồn tại mộthằng số C0 thỏa K + K ⊂ C0K Khi đó, nếu X ⊂ RN là một không gian định chuẩnthì

qlog (N/m)+1

m ≤ Em(Bl 1)l

2 ≤ ˜C2

rlog (N/m) + 1

Điều kiện (2.4) với K = Bl1 và X = l2

Em(Bl1)l

2 ≤ Cσk(Bl1)l

2suy ra

˜

C2

rlog (N/m) + 1

m ≤ Cσk(Bl1)l

Tuy nhiên, theo Bổ đề 2.1, ta có σk(Bl1)l

2 ≤ k−1/2 Do vậy, điều kiện (2.7) suy ra

2.3 Bộ giải mã tối ưu l1

Ký hiệu

|xj|0 = 0 nếu xj = 0

1 nếu xj 6= 0Khi đó, ta có thể viết kxkl0 = PN

j=1|xj|0 Giả sử y là tín hiệu mã hóa của tín hiệu xbởi ma trận mã hóa A, nghĩa là y = Ax Phép giải mã ∆ là bài toán tìm một tín hiệuthưa zk sao cho sai số giữa x và zk thỏa mãn điều kiện (2.4) Bài toán này được phátbiểu dưới dạng sau

Bài toán 2 Bài toán tối ưu l0

Bài toán 3 Tìm tín hiệu thưa zk

Ta sẽ đưa bài toán này về dạng bài toán tối ưu lồi như dưới đây

Bài toán 5 Tìm minx∈Cf (x), trong đó ¯¯ f là một bao lồi của f , tức là

¯

f (x) = sup{g(x) ≤ f (x) : g là một hàm lồi}

Hình 2.1: Bao lồi ¯f của fChú ý rằng, trong khi f có thể có nhiều cực tiểu trên C thì bao lồi của nó, ¯f , chỉ cócác cực tiểu toàn cục trên C và các cực tiểu này rất có thể là một lân cận của các cựctiểu toàn cục của f Thực tế, nếu C là một tập compact thì cực tiểu toàn cục của ¯f

và f phải trùng nhau Tuy nhiên, việc tính toán chính xác một bao lồi ¯f của f khôngphải là một công việc dễ dàng Trong trường hợp của ta, f (x) = kxkl0 = PN

Ta xét trường hợp đơn giản khi N = 2 và m = 1 Khi đó, A chỉ là một ma trận cấp

1 × 2, và không gian nghiệm F (y) = {z : Az = y} chỉ là một đường thẳng trong R2(Hình 2.2) Điều kiện để có duy nhất một điểm z trong F (y) sao cho kzk1 đạt giá trịnhỏ nhất đó là đường thẳng N = ker(A) không song song với bất kỳ cạnh nào của quả

Hình 2.2: Nghiệm tối ưu l1 trong không gian R2

cầu đơn vị Bl1 Điều kiện này được thỏa mãn nếu |η1| 6= |η2| Điều này tương đươngvới

|ηi| < |η{1,2}/{i}|, ∀ η = (η1, η2) ∈ N , i ∈ {1, 2} (2.11)Giả sử rằng các điểm η ∈ N có phân phối xác suất đều trong R2, thì xác suất mộtđiểm η không thỏa mãn điều kiện (2.11) sẽ gần như bằng 0 Điều này có nghĩa rằng,trong trường hợp N = 2 và m = 1, gần như chắc chắn điểm tối ưu toàn cục của (2.10)

sẽ trùng với nghiệm của (2.9) Trong trường hợp N > 2, điều kiện (2.11) sẽ được phátbiểu dưới dạng tính chất NSP (Null Space Peroperty) của ma trận A

Giả sử Λ = {i1, i2, , ih} ⊂ {1, 2, , N }, vectơ η ∈ RN Ta ký hiệu vectơ ηΛ =(ηi1, ηi2, , ηih) Ký hiệu ΛC là tập bù của tập Λ, tức là ΛC = {1, 2, , N } \ Λ

Định nghĩa 2.5 (Tính NSP - Null Space Property) Một ma trận A ∈ Rm×N đượcgọi là có tính chất NSP bậc k với hằng số 0 < γ < 1 nếu

kηΛkl1 ≤ γkηΛCkl1, ∀η ∈ N = ker(A)trong đó Λ ⊂ {1, 2, , N } và |Λ| ≤ k

Rõ ràng tính chất NSP tổng quát hơn điều kiện (2.11) cho trường hợp N = 2 và

m = 1 như đã xét ở trên

Định nghĩa 2.6 (Tính RIP - Restricted Isometry Property) Một ma trận A ∈ Rm×Nđược gọi là có tính RIP bậc K nếu tồn tại 0 < δK < 1 sao cho

(1 − δK)kzkl2 ≤ kAzkl2 ≤ (1 + δK)kzkl2, ∀z ∈ ΣK

Tính RIP rất hữu ích vì trong một vài trường hợp, tính NSP của ma trận là hệquả của tính RIP Đặc biệt, đối với các ma trận ngẫu nhiên thì tính RIP dễ được kiểmchứng hơn.

Bổ đề 2.5 Giả sử A ∈ Rm×N có tính chất RIP bậc K = k + h với hệ số 0 < δK < 1,thì A có tính chất NSP bậc k với hằng số

γ =

rkh

1 + δK

1 − δKChứng minh Gọi η = (η1, η2, , ηN) ∈ ker(A) Đặt Λ∗ = {η1∗, η∗2, , ηN∗} = Λ0⊕ Λ1⊕ ⊕ Λs, trong đó {η1∗, η2∗, , ηN∗} là một sắp xếp các thành phần {|η1|, |η2|, , |ηN|} theothứ tự giảm dần Λ0 = Λ ⊂ {1, 2, , N } với |Λ| ≤ k, và Λ1, Λ2, , Λs là các tập các chỉ

số rời nhau sao cho |Λj| ≤ h, ∀j = 1, 2, , s Áp dụng bất đẳng thức Cauchy-Schwarz

j=2kAηΛjkl2 (theo bất đẳng thức tam giác)

≤ 1 + δK

1 − δK

√k

sX

!1/2

≤ maxi∈Λ j+1

sX

j=2

kηΛjkl2 ≤ 1 + δK

1 − δK

rkh

s−1X

hkηΛckl1

Từ đây suy ra tính chất NSP của ma trận A

Trong phần tiếp theo, ta sẽ thấy rằng nếu ma trận A thỏa mãn tính chất RIP thìbài toán tối ưu l1 có thể được xem là tương đương như bài toán tối ưu l0 xét theo tiêuchuẩn sai số Ta xét bộ giải mã ∆ trong l1 như sau

∆(y) = arg min

Az=y=Axkzkl1 (2.12)Hai Bổ đề 2.6 và 2.7 sau đây sẽ chỉ ra rằng nếu ma trận A ∈ Rm×N thỏa tính chấtRIP thì bộ giải mã ∆ trong l1 sẽ thỏa mãn hai điều kiện sau

2+1 thì bộ giải mã ∆ thỏa mãn điều kiện (2.13)

Chứng minh Do A có tính chất RIP bậc 2k với hệ số δ nên theo Bổ đề 2.5, ma trận A

có tính chất NSP bâc k với hằng số γ = 1+δ1−δq12 < 1 Và do vậy, theo Định nghĩa 2.5,

ta có

kηΛkl1 ≤ 1 + δ

1 − δ

r1

2kηΛCkl1, ∀η ∈ N và ∀Λ ⊂ {1, 2, , N }Đặt x∗ = ∆(Ax) sao cho η = x∗− x ∈ N và kx∗kl 1 ≤ kxkl 1 Giả sử ta chỉ xét Λ là tậpcác chỉ số của k thành phần có giá trị tuyệt đối lớn nhất trong vector x Ta có

kx∗Λkl 1 + kx∗ΛCkl 1 ≤ kxΛkl 1 + kxΛCkl 1Khi đó, ta có

k(η − x)Λkl1 + k(η − x)ΛCkl1 ≤ kxΛkl1 + kxΛCkl1Suy ra

2kηΛCkl1 + 2σk(x)l1Suy ra

kηΛCkl1 ≤ 2

1 − 1+δ1−δ

q1 2

Chú ý rằng δ <

√ 2−1

√ 2+1 nên 1 − 1+δ1−δ

q1

2 > 0 Cuối cùng, ta có

kx − x∗kl1 ≤ kηΛkl1 + kηΛCkl1 ≤ 1 + δ

1 − δ

r1

2 + 1 1 − 1+δ1−δ

q1 2

−1

Bổ đề sau đây chỉ ra điều kiện của ma trận A để bộ giải mã ∆ thỏa mãn điều kiện(2.14).

Bổ đề 2.7 Nếu ma trận A ∈ Rm×N có tính chất RIP bậc 3k với hệ số δ sao cho

δ3k ≤ δ <

√

2−1

√

2+1 thì bộ giải mã ∆ thỏa mãn điều kiện (2.14)

Chứng minh Ta ký hiệu Λ0 = Λ ⊂ {1, 2, , N } là tập gồm 2k thành phần có giá trịtuyệt đối lớn nhất của vector η ∈ N = ker(A) Gọi Λ1, Λ2, , Λs là các tập con rờinhau của tập {1, 2, , N } thỏa các điều kiện sau với mọi 1 ≤ j ≤ s − 1:

kηΛkl 2 = kηΛ 0kl 2 ≤ kηΛ 0 ∪Λ 1kl 2 ≤ (1 − δ)−1kAηΛ 0 ∪Λ 1kl 2 (theo tính chất RIP)

≤ (1 − δ)−1

sX

j=2

kAηΛjkl2 ≤ 1 + δ

1 − δ

sX

|Λj|

!2

≤

Pl∈Λ jηl

2

Pl∈Λ jηl

với C > 0 là một hằmg số nào đó Chú ý rằng Λ ⊂ {1, 2, , N } là tập gồm 2k thànhphần có giá trị tuyệt đối lớn nhất của vector η Kết hợp (2.15), (2.18) và (2.19), ta có

kx − x∗kl 2 = kηkl 2 ≤ kηΛkl 2 + kηΛCkl 2 ≤ C1k−1/2kηΛCkl 1

≤ C2k−1/2σ2k(x)l1 ≤ C2k−1/2σk(x)l1

2.4 Tính chất RIP của ma trận ngẫu nhiên

Định nghĩa 2.7 Ma trận ngẫu nhiên

Cho (Ω, P) là một không gian xác suất A(ω) là một ma trận ngẫu nhiên nếu các phần

tử của A(ω) là các biến ngẫu nhiên độc lập có cùng phân phối trong (Ω, P)

Trong lý thuyết CS, ta mong muốn ma trận ngẫu nhiên A(ω) ∈ Rm×N sẽ thỏa mãntính chất sau với mọi x ∈ RN

Ví dụ 2.3 Các ma trận định nghĩa như dưới đây sẽ thỏa mãn tính chất (2.20) [2].(i) Ma trận A(ω) với các phần tử Aij độc lập và có cùng phân phối Gauss Aij ∼

N (0, 1/m) và c0() = 42 −  3

6.(ii) Ma trận A(ω) với các phần tử Aij độc lập và có cùng phân phối Bernoulli

Aij = 1/√m với xác suất 1/2

−1/√m với xác suất 1/2

Định lý 2.1 Cho trước m, N và 0 < δ < 1 Khi đó, nếu A(ω) là một ma trận ngẫunhiên kích thước m × N thỏa mãn điều kiện (2.20) thì tồn tại hai hằng số c1, c2 > 0phụ thuộc vào δ sao cho A(ω) có tính chất RIP với hệ số δ và bậc k ≤ c1log(N/m)+1m vớixác suất lớn hơn 1 − 2e−c2 m

Chứng minh Chứng minh của Định lý có thể tìm thấy trong Định lý 5.1 của [2]

Ví dụ 2.3 và Định lý 2.1 chỉ ra một cơ sở để chọn ma trận mã hóa A sao cho bộgiải mã ∆ trong l1 thỏa mãn các điều kiện sai số (2.13) và (2.14)

x(k)= arg min

xX

i

Sự khác nhau giữa bài toán tối ưu l1 và bài toán tối ưu l0 đó là: chuẩn kxkl1 phụ thuộcvào độ lớn các thành phần trong vector x, trong khi chuẩn kxkl 0 thì không phụ thuộcvào độ lớn các thành phần trong vector x Sau mỗi bước lặp, các thành phần trọng sốcủa vector w sẽ được cập nhật lại theo (3.2)

wk+1i = 1

|ˆx(k)i | + a, với a > 0, i = 1, 2, , N. (3.2)Trong đó, ˆx(k) là nghiệm gần đúng của (2.10) tại bước lặp thứ k Từ (3.2), chúng tathấy rằng các hệ số wi lớn sẽ “khuyến khích” các thành phần nhỏ xi trong vector x,trong khi các hệ số wi nhỏ sẽ “khuyến khích” các thành phần lớn xi Kết quả, sau mộtvài bước lặp, chúng ta sẽ tìm được tín hiệu thưa gần đúng ˆx của (2.10)

Bài toán tối ưu l1 có thể được chuyển thành bài toán tối ưu l2 dựa trên một đẳngthức đơn giản, đó là |t| = |t|t2 với mọi t 6= 0 Áp dụng đẳng thức này, chúng ta có thểviết

arg minx∈F (y)

nX

i=1

|xi| ≈ arg min

x∈F (y)

nX

j=1

trong đó, x∗là điểm cực tiểu mong muốn của bài toán tối ưu l1 và F (y) = {x : Ax = y}.Một cách trực quan có thể thấy rằng, việc xấp xỉ bằng một hàm bậc 2 là tốt hơn việcxấp xỉ bằng một hàm tuyến tính Điều này là do tính chất trơn của hàm bậc 2 tốt hơn

so với hàm tuyến tính Tuy nhiên, một nhược điểm trong xấp xỉ (3.3) đó là các thànhphần x∗j trong vector x∗ có thể bằng 0 Để khắc phục nhược điểm này, tại bước lặp thứ

3.2 Thuật toán đồng luân

Xét họ các hàm bình phương cực tiểu sau

là sử dụng phương pháp lặp để tìm nghiệm xλ trong khoảng từ xλˆ = 0 tới x∗

Định nghĩa 3.1 Vi phân dưới của một hàm lồi F : RN → R tại điểm x ∈ RN là

∂F (x) = {v ∈ RN : F (y) − F (x) ≥ hv, y − xi, ∀y ∈ RN}

Ví dụ 3.1 Vi phân dưới của hàm giá trị tuyệt đối sẽ là:

∂|.|(t) = {sgn(t)} nếu t 6= 0

[−1, 1] nếu t = 0trong đó, sgn(t) là hàm dấu của t

Tính chất 3.1 Nếu F là một hàm lồi thì

(i) x là một điểm cực tiểu của F nếu và chỉ nếu 0 ∈ ∂F (x)

(ii) ∀α ≥ 0, ∂(αF )(x) = α∂F (x)

(iii) Nếu F = F1+ F2+ + Fn là tổng hữu hạn các hàm lồi thì ∂F (x) =PN

i=1∂Fi(x)(iv) Nếu H(x) = F (Ax + b) thì ∂H(x) = A∗∂F (Ax + b), trong đó A∗ là ma trậnchuyển vị của A

Các tính trên của vi phân dưới đã được chứng minh trong [1]

Từ Định nghĩa 3.1 và các Tính chất 3.1, chúng ta có vi phân dưới của hàm Jλ(x)

trong đó, ∂|.|(xl) là vi phân dưới của hàm giá trị tuyệt đối (xem Ví dụ 3.1)

Theo tính chất (i), x là điểm cực tiểu của hàm Jλ(x) khi và chỉ khi 0 ∈ ∂Jλ(x).Điều kiện này có thể viết lại thành hai điều kiện sau đây

Trong phần này, chúng ta sẽ sử dụng các ký hiệu sau:

- Các ký hiệu xl hoặc (x)l dùng để chỉ phần tử thứ l trong vector x, với l =

1, 2, , N

- x(j) là giá trị của x tại bước lặp thứ j

- c(j) = A∗(y − Ax(j−1)) là vector thặng dư tại bước lặp thứ j − 1

từ xλˆ = 0 tới x∗ Các bước lặp của thuật toán đồng luân được mô tả như sau:

Bước 0 Thuật toán bắt đầu với điểm x(0) = xˆλ = 0 Do điều kiện (3.7) nên ta sẽ chọn

ˆ

λ = λ(0) = kA∗yk∞

Bước 1 Đặt

l(1) = arg max

l=1,2, N|(A∗y)l| = arg max

l=1,2, N|c(1)l |Đặt Λ1 = {l(1)} và tính toán vector bước nhảy d(1) ∈ RN như sau

(1.1) Tìm l(1) = arg maxl=1,2, N|(A∗y)l| = arg maxl=1,2, N|c(1)l |

(1.2) Tìm vector d(1) với: d(1)l(1) = kal(1)k−22 sgn ((A∗y)l(1)) và d(1)l = 0 ∀l 6= l1(1.3) Tính γ(1) = minl6=l(1)



λ (0) −c(1)l1−(A ∗ Ad (1))l,

λ (0) +c(1)l1+(A ∗ Ad (1))l

λ (0) +c(1)l1+(A ∗ Ad (1))l

(j−1) l

j



=A∗ΛjAΛj

−1sgn (A∗(y − Ax(j−1)))Λj

=A∗ΛjAΛj

−1sgnλ(j−1)sgnx(j−1)Λ

j



(3.14)Mặt khác, do (3.13), nên

Đẳng thức (3.16) chính là điều kiện (3.6) tại bước lặp thứ j.

Bước tiếp theo, chúng ta sẽ xác định điều kiện của γ(j) trong (3.12) sao cho điềukiện (3.7) được thỏa mãn Chúng ta xét hai điều kiện sau đây

cả hai điều kiện (3.13) và (3.19) Do vậy, ta sẽ chọn γ(j) như sau

γ(j) = min{γ−(j), γ+(j)}

Tóm lại, tại bước lặp này, chúng ta sẽ tính các thành phần sau đây

(j.1) Tìm vector d(j) bằng cách giải hệ phương trình tuyến tính (3.11) (chú ý

1−(A ∗ Ad (j))l,

λ (j−1) +c(j)l1+(A ∗ Ad (j))l}, sau đóthêm l(j)+ vào Λj+1, tức là Λj+1= Λj∪ {l(j)+ } Nếu γ(j)= γ−(j) thì chỉ số l−(j)=arg minl∈Λj{−xl(j−1)

d(j)l } sẽ được loại bỏ từ tập Λj, nghĩa là Λj+1 = Λj\{l−(j)}.(j.6) Tính λ(j)= λ(j−1)− γ(j)

Điều kiện dừng của thuật toán là kc(j)k∞= 0.

Trong [9], kết quả sau đã được chứng minh

Định lý 3.1 Tại mỗi bước lặp, nếu tồn tại duy nhất một cặp chỉ số l(j)− , l(j)+  nhưđược định nghĩa tại bước (j.5) ở trên thì thuật toán đồng luân sẽ sinh ra điểm cực tiểucủa bài toán tối ưu l1 (2.9)

3.3 Thuật toán lặp với trọng số trong l1

Như đã đề cập trong bổ đề 2.6 và 2.7, bài toán tối ưu l1 là tương đương với bàitoán tối ưu l0 với điều kiện ma trận đo A phải thỏa mãn các tính chất RIP Cụ thể là,nếu A có tính chất RIP bậc 2k và hệ số δ sao cho δ2k ≤ δ <

√ 2−1

√ 2+1 thì

!−1

Hơn nữa, nếu A có tính chất RIP bậc 3k = k1+ k2 và hệ số δ sao cho δ3k ≤ δ <

√ 2−1

√ 2+1thì

kx − ˆxkl 2 ≤ C2

σk(x)l1

k1/2trong đó,

C2 = 1 + δ

1 − δ +

C + 1

√2

Trong trường hợp phép đo có nhiễu, tức là y = Ax + e, với nhiễu e thỏa kek2 ≤ , [4]

đã chứng minh được rằng sai số của bài toán tối ưu l1 cũng bị chặn Điều này đượcthể hiện qua Định lý 3.2 như dưới đây

Định lý 3.2 Giả sử A thỏa mãn tính chất RIP với bậc 2k và hệ số δ sao cho 0 < δ <

√ 1+δ 1−δ

Sự khác nhau giữa bài toán tối ưu l1 và bài toán tối ưu l0 là: chuẩn kxkl1 phụ thuộcvào độ lớn các thành phần trong vector x, trong khi chuẩn kxkl0 thì không phụ thuộcvào độ lớn các thành phần trong vector x Dựa trên thực tế này, một thuật toán lặp vớitrọng số (Re-weighted l1 minimization - IRWL1) đã được đề xuất bởi Candes, Wakin

và Boyd [3] để giải bài toán tối ưu l1 trong miền tín hiệu thưa Theo đề xuất này, tạimỗi bước lặp, nghiệm tối ưu ˆxk sẽ được tìm bởi

ˆ

xk= arg min

xX

i

|wixi| sao cho Ax = y

Theo biểu thức (3.21), ta thấy rằng các hệ số wi lớn sẽ “khuyến khích” các thành phầnnhỏ xi trong vector x, trong khi các hệ số wi nhỏ sẽ “khuyến khích” các thành phầnlớn xi Sau mỗi bước lặp, các hệ số wi sẽ được tính toán lại bởi

Thuật toán 3.1 Thuật toán lặp IRWL1

(i) Khởi tạo k = 0, khởi tạo số vòng lặp tối đa Kmax

(ii) Khởi tạo vector trọng số tại bước lặp thứ 0: w(0) = [1, 1, , 1]1×N

(iii) Giải bài toán tối ưu l1

Định lý 3.3 Giả sử A thỏa mãn tính chất RIP với bậc 2k và hệ số δ sao cho 0 <

δ < √

2 − 1 Giả sử x là một tín hiệu thưa có thể đo được bởi một phép đo có nhiễu

y = Ax + e, trong đó nhiễu e thỏa mãn kek2 ≤  Giả sử rằng µ là thành phần khác 0nhỏ nhất theo giá trị tuyệt đối trong vectro x Giả sử tồn tại α > 0 và 0 < ρ < 1 saocho µ ≥ 1−ρ4α Khi đó, xấp xỉ giới hạn của thuật toán IRWL1 sẽ thỏa mãn

trong đó, Cr = 1+ρ2α, ρ =

√ 2δ 1−δ và α = 2

√ 1+δ 1−δ

Để chứng minh Định lý 3.3, trước hết ta cần chứng minh các Bổ đề 3.1, 3.2 và 3.3dưới đây.

Bổ đề 3.1 Gọi ˆx là nghiệm của thuật toán IRWL1 Đặt h = ˆx − x Ký hiệu α,  và

ρ như ở Định lý 3.3 Gọi T0 là tập k hệ số lớn nhất của x theo giá trị tuyệt đối T1 làtập k hệ số lớn nhất của hT c theo giá trị tuyệt đối Khi đó,

l=1 Tl với mọi j ≥ 2 Áp dụng bất đẳng thức tam giác, ta có

kAhk2 ≤ kAˆx − yk2+ kAx − yk2 ≤ 2

j≥2hTj = h(T0∪T1) c nên áp dụng bất đẳng thức tam giác, ta có

Do ma trận A thỏa mãn tính chất RIP nên

| hAhT0∪T1, Ahi | ≤ kAhT0∪T1k2kAhk2 ≤ 2√1 + δkhT0∪T1k2

1 − δX

1 − δ

1

√

kkhTck1Với ρ =

√

2δ

1−δ và α = 2

√ 1+δ 1−δ , ta có

ρC1 < 1 thì xấp xỉ ˆx của thuật toán IRWL1 với trọng số δi = w1

Bổ đề 3.3 Giả sử ma trận A thỏa mãn tính chất RIP với bậc 2k và hệ số δ sao cho

0 < δ < √

2 − 1 x là tín hiệu k-thưa với phép đo nhiễu y = Ax + e, trong đó nhiễu

e thỏa mãn điều kiện kek2 ≤  Gọi w là vectơ sao cho kw − xk∞ ≤ Γ, với Γ là hằng

số Gọi µ là thành phần nhỏ nhất khác 0 theo giá trị tuyệt đối của xk Giả sử tồn tại

α > 0 và 0 < ρ < 1 sao cho µ ≥ 1−ρ4α Khi đó, nếu µ ≥ Γ thì xấp xỉ ˆx của thuật toánIRWL1 với trọng số δi = w1

i +a sẽ thỏa mãn

trong đó, D1 = (1+C1 )α

1−ρC 1 và C1 = µ−Γ+aΓ+a Chứng minh Bổ đề này là một trường hợp riêng của Bổ đề 3.2, trong đó kx − xkk1 = 0

kx − ˆx1k2 ≤ C = 2α

1 − ρ

Ta gọi E1 = 1−ρ2α là chặn trên của sai số khởi tạo của thuật toán IRWL1 Theo địnhnghĩa thì sai số tại bược lặp thứ n sẽ thỏa mãn kx − ˆxnk2 ≤ En Như vậy, tại bước lặpthứ n + 1 chúng ta có Γ = En Do vậy, theo Bổ đề 3.3, ta có

kx − ˆxn+1k2 ≤ D1 = 1 +

E n +a µ−E n +a

1 − ρ En +a µ−E n +a

α

Do vậy

En+1 = 1 +

E n +a µ−E n +a

1 − ρ En +a µ−E n +a

Chúng ta sẽ chứng minh bằng quy nặp rằng En+1 ≤ En với mọi n ≥ 1 Thật vậy, theogiả thiết µ ≥ 1−ρ4α nên

Như vậy, En+1 ≤ En với mọi n ≥ 1

Do µ ≥ 1−ρ4α và ρ < 1 nên µ − E1 = µ −1−ρ2α ≥ 0 Mà E1 ≥ Ennên suy ra µ − En≥ 0

3.4 Thuật toán lặp với trọng số trong l2

Bài toán tối ưu l1 có thể được chuyển thành bài toán tối ưu l2 dựa trên một đẳngthức đơn giản, đó là |t| = |t|t2 với mọi t 6= 0 Áp dụng đẳng thức này, ta có thể viết

arg minx∈F (y)

nX

i=1

|xi| ≈ arg min

x∈F (y)

nX

so với hàm tuyến tính Tuy nhiên, một nhược điểm trong xấp xỉ (3.35) là các thànhphần x∗j trong vector x∗ có thể bằng 0 Để khắc phục nhược điểm này, tại mỗi bướclặp, ta sẽ xấp xỉ |x∗j| bởi ωn

|ηj|, với mọi η ∈ N = ker(A) (3.38)

Hơn nữa, x∗ là duy nhất nếu và chỉ nếu dấu bằng trong (3.38) không xảy ra với mọi

η 6= 0 trong N

Chứng minh Nếu x ∈ F là điểm cực tiểu của bài toán tối ưu l1 thì với mọi η ∈ N vàvới mọi t ∈ R, ta có

NX

j=1

|xj + tηj| ≥

NX

Bằng cách chọn dấu của t phù hợp, chúng ta sẽ có bất đẳng thức (3.38) Ngược lại,nếu giả sử ta có (3.38), khi đó với mỗi η ∈ N thì

j=1

Điều này chứng tỏ x ∈ F (y) là điểm cực tiểu của bài toán tối ưu l1 Bây giờ giả sử x làduy nhất, khi đo dấu “ =00 sẽ không xảy ra trong (3.39), và do vậy dấu “ =00 sẽ khôngxảy ra trong (3.38) Ngược lại, giả sử dấu “ =00 sẽ không xảy ra trong (3.38), khi đódấu “ =00 sẽ không xảy ra trong (3.41), và do vậy x là điểm cực tiểu duy nhất

Xét không gian Hilbert l2(ω) với tích vô hướng được định nghĩa bởi

hu, viw :=

NX

Tính chất 3.2 Giả sử ω = (ω1, ω2, , ωN) và ωj > 0 với mọi j = 1, 2, , N Khi đó

Chứng minh Do xω = arg minz∈F (y)kzkl

2 (ω) nên ∀η ∈ N và ∀t ∈ R, ta có

kxω+ tηk2l

2 (ω) ≥ kxωk2

l 2 (ω)hay

t2

NX

j=1

ηj2ωj− 2t

NX

Bổ đề 3.5 Giả sử rằng x∗ là điểm cực tiểu của bài toán tối ưu l1 và x∗ không có cácthành phần triệt tiêu Khi đó, nghiệm duy nhất xω của bài toán tối ưu l2

j=1

ωjηjx∗j =

NX

j=1sgn(x∗j)ηj

Tuy nhiên, do x∗ không có các thành phần triệt tiêu, nên vế phải của (3.38) trong bổ

đề 3.4 sẽ bằng 0 Và do vậy, ta có |P

x ∗

j 6=0sgn(x∗j)ηj| ≤ 0, nghĩa làPN

j=1sgn(x∗j)ηj = 0.Điều này vô lý Vậy, x∗ = xω

Với mỗi số thực  > 0 và một vector trọng số ω ∈ RN với ωj > 0, ∀j = 1, 2, , N ,

ta định nghĩa hàm J (z, ω, ) như sau

J (z, ω, ) = 1

2

" NX

j=1

z2jωj +

NX

Thuật toán 3.2 Thuật toán lặp trong l2

Đầu tiên, chúng ta cần khởi tạo vector trọng số ω0 = (1, , 1), và 0 = 1 Tại mỗi bướclặp n = 0, 1, 2, , chúng ta thực hiện các tính toán sau

xn+1 = arg min

z∈F (y)J (z, ωn, n) = arg min

z∈F (y)kzkl2(ωn ) (3.46)và

n+1= min



n,r (x

n+1)K+1N

Tại mỗi bước lặp, chúng ta cần giải bài toán tối ưu bình phương cực tiểu (3.46).

Ta có thể viết (3.46) dưới dạng ma trận như sau

h

xn+1j
2+2n+1− ωjn+1
−2i

(3.49)

Do ωn+1j là nghiệm của phương trình ∂J

∂ωjn+1 = 0, nên khi chúng ta tìm được xn+1 và

n+1, giá trị của ωjn+1 sẽ được tính toán bởi (3.50),

1/p, với 1 ≤ p < ∞

Chứng minh Với mọi cặp z, z0, và với bất kỳ j ∈ 1, , N , đặt Λ là tập j − 1 chỉ sốtương ứng với j − 1 thành phần có giá trị tuyệt đối lớn nhất trong vector z0 Khi đó,chúng ta có

NX

k=j+1r(z)k = σj(z)l1 ≤ kz − z0kl1 + σj(z0)l1 (3.58)