Ứng dụng lấy mẫu nén trong xử lý ảnh

Đặc điểm chính của phương pháp này nằm ở việc tái tạo lại tín hiệu gốc nhờ vào các giải thuật tối ưu, cụ thể hơn và phổ đích tìm hiểu ứng dụng kỹ thuật lấy mẫu nén trong chụp ảnh, luận v

PHAN THANH TÚ

ỨNG DỤNG LẤY MẪU NÉN TRONG XỬ LÝ ẢNH

Chuyên ngành : Kỹ thuật điện tử

LUẬN VĂN THẠC SĨ

TP HỒ CHÍ MINH, tháng 12 năm 2011

NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ và tên học viên: PHAN THANH TÚ Phái: Nam Ngày, tháng, năm sinh: 02/10/1985 Nơi sinh: Tp HCM Chuyên ngành: Kỹ thuật điện tử

MSHV: 10140029

1- TÊN ĐỀ TÀI: Ứng dụng lấy mẫu nén trong xử lý ảnh 2- NHIỆM VỤ LUẬN VĂN:

3- NGÀY GIAO NHIỆM VỤ :

4- NGÀY HOÀN THÀNH NHIỆM VỤ :

5- HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN (Ghi đầy đủ học hàm, học vị ):

Nội dung và đề cương Luận văn thạc sĩ đã được Hội Đồng Chuyên Ngành thông qua

CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN KHOA QL CHUYÊN NGÀNH

(Họ tên và chữ ký) QUẢN LÝ CHUYÊN NGÀNH (Họ tên và chữ ký)

(Họ tên và chữ ký)

Lời cảm ơn

Trong suốt thời gian tìm hiểu đề tài và thực hiện luận văn, em xin gởi đến thầy Lê Tiến Thường lời cảm ơn chân thành nhất Thầy đã nhiệt tình hướng dẫn em những phương pháp suy luận nghiên cứu những vấn đề đặt ra trong luận văn này

Em xin cảm ơn quý thầy cô khoa Điện-Điện tử Các thầy cô trong bộ môn Điện tử-Viễn thông đã hết lòng giúp đỡ và truyền đạt cho em những kiến thức sâu rộng Những kiến thức tiếp thu được em vững tin

sẽ làm nền tảng định hướng và phát triển bản thân trong tương lai

Con xin gửi đến ba mẹ yêu quý của con lòng biết ơn sâu nặng nghĩa sinh thành dưỡng dục và hỗ trợ không ngừng cho con học tập Ba mẹ mãi là nguồn động viên và chỗ dựa tinh thần to lớn của con trong cuộc đời

Tp HCM, tháng 12/2011 Phan Thanh Tú

Tóm tắt luận văn

Lấy mẫu nén là lý thuyết lấy mẫu mới, khôi phục tín hiệu thưa và ảnh

từ những thông tin bị thiếu Những thông tin này gọi là các số đo hay mẫu thu được từ quá trình đo ngẫu nhiên Đặc điểm chính của phương pháp này nằm ở việc tái tạo lại tín hiệu gốc nhờ vào các giải thuật tối ưu, cụ thể hơn và phổ

đích tìm hiểu ứng dụng kỹ thuật lấy mẫu nén trong chụp ảnh, luận văn xin trình bày cơ sở lý thuyết và tiến hành mô phỏng để kiểm chứng Bên cạnh đó, luận văn đóng góp hai cách áp dụng phương pháp nhân tử Lagrange tăng

Kết quả mô phỏng cho thấy hai giải thuật mà luận văn đã mở rộng từ giải

biến noiselets thực và ma trận cảm biến ngẫu nhiên gồm 1 và 0

Abstract

This thesis aims to illustrate in both theory and experiments to perform the imaging technique via compressed sensing, and how to recover images from the acquired measurements Several image reconstruction approaches are discussed in details, as well as introduction of a new Augmented Lagrange Multiplier based first-order proximal gradient algorithm that solves the image recovery problem by the total variation minimization Several experiments are carried out to demonstrate its effectiveness in terms of speed and accuracy Besides, this algorithm is extended to solve the hybrid total variation minimization and l1-analysis problems, which subsequently shows promising results

Tôi xin cam đoan ngoại trừ tài liệu tham khảo từ các công trình khác như đã ghi trong luận văn, các công việc trình bày trong luận văn này là do chính tôi thực hiện và chưa

có phần nội dung nào của luận văn này được nộp để lấy một bằng cấp ở trường này hoặc trường khác

Mục lục

Chương 1 Giới thiệu 1

1.1 Đặt vấn đề 1

1.2 Giải quyết vấn đề 1

Chương 2 Tổng quan 3

2.1 Các khái niệm cơ bản 3

2.1.1 Tín hiệu thưa 3

2.1.2 Tín hiệu khả nén 4

2.1.3 Ma trận đo 5

2.2 Tính gắn kết 6

2.3 Phục hồi tín hiệu thưa 7

Chương 3 Biến đổi ảnh sang dạng thưa 9

3.1 Biến đổi DCT 9

4.1 Ma trận đo 15

4.1.1 Điều kiện về số mẫu đo 16

4.1.2 Điều kiện về tính gắn kết 17

4.2 Đo nén tín hiệu trên thực tế 18

4.2.1 Máy ảnh một pixel 18

4.2.2 Bộ chụp ảnh CMOS 20

Chương 5 Khôi phục tín hiệu 22

5.1 Tối ưu lồi 23

5.2 Tìm kiếm tham lam 25

5.3 Khác biệt khôi phục tín hiệu thực tế và lý thuyết 26

5.4 Một số giải thuật giải bài toán tổng hợp L1 28

5.4.1 Giải thuật điểm nội đối ngẫu 28

5.4.2 Giải thuật tọa độ giảm 31

5.4.3 Giải thuật OMP 35

5.4.4 Giải thuật CoSaMP 36

Chương 6 Mô phỏng 38

A Các bước thực hiện 38

6.1.1 Mô hình 1 38

6.1.2 Mô hình 2 42

6.1.3 Sơ đồ giải thuật PALM mở rộng 54

B Kết quả mô phỏng 55

Chương 7 Hướng phát triển 66

7.1 Kết luận 66

7.2 Hướng phát triển 66

Tài liệu tham khảo

Chương 1

1.1 Đặt vấn đề

kỹ thuật yêu cầu phát triển những phương thức mới đáp ứng nhu cầu thu giữ lượng tin vô cùng lớn Thêm vào đó, những thiết bị hiện đại được thiết

kế theo xu thế ngày càng nhỏ gọn, tận dụng tối đa tài nguyên có sẵn Hầu hết các bộ chuyển đổi analog sang số ứng dụng định lý lấy mẫu Shannon/Nyquist – tốc độ lấy mẫu gấp hai lần tần số cao nhất hay gấp đôi băng thông Phần đông các ứng dụng xử lý số tín hiệu hiện nay đều dựa trên nguyên lý trên như thu phát vô tuyến, rada, thiết bị y tế,…Những nghiên cứu gần đây tìm ra cách thay thế phương thức lấy mẫu truyền

thống này, tránh nhận vào nhiều dữ liệu trước khi xử lý, đặt vấn đề làm

sao thu nhận và lưu trữ tín hiệu một cách hiệu quả hơn

1.2 Giải quyết vấn đề

Kỹ thuật lấy mẫu nén ra đời mở ra hướng đi quan trọng nhằm giải quyết vấn đề trên với đặc điểm:

¾ Số mẫu thu giữ tương đối ít

¾ Lỗi khôi phục tín hiệu thấp

Nhờ những phép biến đổi mạnh tín hiệu phân tích thành hình thức đơn giản hơn và ta chỉ thu giữ dạng cơ bản ấy rồi tái tạo bằng những giải thuật tối ưu lồi đang phát triển mạnh trong thời gian gần đây

Từng xuất hiện trong các chuẩn nén tổn hao JPEG, MP3,… ý tưởng chỉ giữ lại những hệ số cơ sở của tín hiệu, tức các hệ số chiếm phần lớn thông

tin/năng lượng của tín hiệu, được đưa vào kỹ thuật lấy mẫu nén Mặc dù vậy, bản chất kỹ thuật lấy mẫu nén không nhận toàn bộ tín hiệu ngay từ đầu sau đó nén mà chỉ nhận khá ít mẫu/số đo tuyến tính và không thích nghi

Chương 2

Kỹ thuật lấy mẫu nén hướng tới tăng hiệu quả lấy mẫu so với kỹ thuật lấy mẫu truyền thống Với kỹ thuật lấy mẫu trước đây, những tín hiệu khả

nén x (compressible signal) được các hệ thống thu nhận tín hiệu – chẳng

hạn như máy chụp ảnh kỹ thuật số – ghi lại đầy đủ N mẫu trước khi biến đổi thành một dạng khác; tất cả N mẫu đưa vào tính toán biến đổi thành

còn lại bị loại bỏ Giá trị K hệ số này và vị trí của chúng được mã hóa giữ lại Quá trình trên không hiệu quả vì: thứ nhất - số mẫu N có thể lớn hơn nhiều K, thứ hai - chỉ giữ lại K hệ số sau biến đổi dù phải tính toàn bộ N

hệ số trước đó, thứ ba - phải mã hóa vị trí của những hệ số lớn nhất này

Kỹ thuật lấy mẫu nén khắc phục những nhược điểm trên thông qua việc trực tiếp thu nhận tín hiệu nén mà không qua giai đoạn trung gian thu nhận

N mẫu

Trước tiên ta hãy xem xét một vài khái niệm cơ bản như tính khả nén,

độ thưa của tín hiệu, và ma trận đo

2.1 Các khái niệm cơ bản

2.1.1 Tín hiệu thưa

Xét tín hiệu giá trị thực một chiều, rời rạc, hữu hạn x biểu diễn dưới

ta giả sử N vectơ cơ sở trực giao, chúng tạo thành ma trận cơ sở

]

ma trận cơ sở còn gọi là từ điển, như từ điển Gabor đa mức (multilevel Gabor dictionary) Từ điển thừa (overcomplete dictionary) là từ điển có số hàng nhiều hơn số cột., điển hình như từ điển wavelets không giảm mẫu (undecimated)

Tín hiệu x gọi là có độ thưa K nếu nó là tổ hợp tuyến tính của chỉ K

khác 0 và (N-K) hệ số bằng 0

Có thể nén hiệu quả một tín hiệu có độ thưa K bằng cách chỉ lưu trữ giá

định bit tùy theo độ chính xác mong muốn và số bit này không phụ thuộc

biểu diễn x thưa/xấp xỉ thưa hay không

Trên thực tế, ta có thể định lượng tính khả nén bằng cách tính lỗi gây ra

p p

ˆ ∑

=

∈

giữ lại K hệ số lớn nhất - là xấp xỉ tối ưu theo công thức (2) với mọi chuẩn norm l p

Một cách khác để khảo sát tính khả nén của tín hiệu là xem xét tốc độ suy giảm của các hệ số Rất nhiều loại tín hiệu có thể biểu diễn trên một cơ

sở nào đó để các hệ số giảm theo luật hàm mũ, trong trường hợp như vậy

i Ci

s ≤ −

q càng lớn, độ lớn hệ số suy giảm càng nhanh, và tín hiệu càng khả

nén Vì độ lớn hệ số suy giảm quá nhanh, tín hiệu khả nén có thể biểu diễn

chính xác bởi K << N hệ số Cụ thể, với những tín hiệu như vậy tồn tại các

−r

i

Kế tiếp người viết xin trình bày khái niệm ma trận đo

2.1.3 Ma trận đo

Xét một phép đo tuyến tính thực hiện M < N phép tính tích nội giữa x

φ

s s x

không phụ thuộc x và không phụ thuộc vào các số đo đã thu được Ta

mong muốn: 1) tìm điều kiện ma trận φ sao cho năng lượng/thông tin

trong tín hiệu có độ thưa K bất kỳ không bị mất mát do giảm số chiều từ x

(vectơ y) hoặc ít nhất bằng với số thông số đo lưu trữ bởi một bộ mã hóa

Candès, Romberg và Tao đã chứng minh rằng bất kỳ ma trận nào

thỏa điều kiện trên với mọi vectơ có độ thưa 3K thì có tính đồng dạng

nghiêm ngặt (Restricted Isometry Property – RIP) [2] mà ban đầu họ gọi là nguyên lý bất định đồng nhất (uniform uncertainty principle - UUP) Tính

chất trên thể hiện khả năng phục hồi s chính xác của ma trận Nguyên lý

bất định đồng nhất cũng phát biểu với mọi vectơ có độ thưa K xác suất

2 2

2

3 2

1

s N

M s

s N

Ý nghĩa bất đẳng thức trên là gần như không tồn tại những vectơ cùng

độ thưa K như cho cùng các số đo (vectơ đo y) Dựa trên xấp xỉ M gần

2 2

2 2

2

) 1

với mọi vectơ s có độ thưa S

bảo toàn khoảng cách Euclide giữa các tín hiệu thưa S Đồng thời,

Θ

thỏa RIP tương đương với việc mọi S cột của Θ gần trực giao (không thể hoàn toàn trực giao vì số cột nhiều hơn số hàng) Liên hệ giữa RIP và khả

2 2 2 1 2 2

2 2 1 2

2 2 1

1

có cùng độ thưa S Bất đẳng thức nêu lên ý nghĩa: khoảng cách không gian

tín hiệu giữa những cặp vectơ s được bảo toàn trong không gian phép đo Nói cách khác, khoảng cách giữa các vectơ s đủ lớn để một giải thuật phục hồi tìm được duy nhất một vectơ s

Ngoài RIP, một điều kiện khác liên quan đến tính chất của là ma trận

ψφ

Tính gắn kết giữa ma trận Gauss hay Bernoulli hay tổng quát hơn là ma

ma trận noiselets và ma trận wavelets Daubechies D4 và D8 lần lượt là 2.2

và 2.9

2.3 Phục hồi tín hiệu thưa

2minarg

Bài toán này có nghiệm Xét không gian 3 chiều N =

3, thể hiện hình học của bài toán này cho thấy nghiệm không có độ thưa K

do khối cầu l

y

sˆ=ΘT(ΘΘT)− 1

Nghiệm bài toán này chính xác tuyệt đối và chỉ cần M = K + 1 số đo

Tuy nhiên như vậy đòi hỏi thử tất cả các s có thể và không khả thi về mặt

tính toán

và trên lý thuyết cho nghiệm thưa chính xác với xác suất rất lớn, hơn nữa trong một vài trường hợp chỉ dùng ít số đo, chẳng hạn [6,7] chỉ dùng

số đo phân bố Gauss, với c là hằng số nhỏ:

) / log(N K

cK

M ≥

1minarg

chính xác với xác suất rất lớn

N K C

thuật theo hướng khác, chẳng hạn như tìm kiếm tham lam (greedy algorithms)

Chương 3

Biến đổi ảnh sang dạng thưa

Có nhiều cách để biến đổi ảnh sang dạng thưa, từ đơn giản như FFT, DCT đến những dạng chi tiết hơn như wavelets, phức tạp hơn nữa có các giải thuật học từ điển (dictionary learning) chẳng hạn như MOD hay K-SVD [8] hay biến đổi có hướng curvelets, shearlets Các giải thuật học từ điển nhắm tới việc huấn luyện/xây dựng một ma trận từ điển chứa các cột/phần tử - gọi là atom – cho phép ảnh có thể biểu diễn thưa dưới dạng kết hợp tuyến tính các atom; đây là một kiểu xây dựng ma trận cơ sở dựa trên tập dữ liệu sẵn có Nhược điểm của các giải thuật học từ điển là kích thước tín hiệu nhỏ, thời gian huấn luyện lâu, tốn nhiều bộ nhớ, và nhạy với biến đổi (ví dụ ảnh bị dịch, xoay, thay đổi kích thước) Có một số giải pháp khắc phục những nhược điểm trên nhưng người viết xin dành phần tiếp theo cho hai phép biến đổi DCT và wavelets

3.1 Biến đổi DCT

Biến đổi cosine rời rạc (Discrete cosine Transform - DCT) biểu diễn ảnh dưới dạng tổng các cosine của các thành phần biên độ và tần số khác nhau của ảnh

Do các điểm ảnh kế cận nhau thường có tính tương quan rất cao, phép biến đổi DCT thuận hướng hầu hết năng lượng của bức ảnh tập trung vào một vài hệ số DCT tần số thấp Hầu hết các hệ số còn lại bằng 0 hoặc gần bằng 0 chỉ chứa rất ít thông tin Như vậy, ta có thể giữ lại một số hệ số có giá trị lớn và gán các hệ số còn lại bằng 0

Theo định nghĩa, biến đổi DCT 2 chiều của một ma trận A kích thước MxN là:

) 1 2 ( cos

m

N n mn q

p

pq

N

q n M

p m

1 0

0 /

2

/ 1

p M

M

p

1 1

0 /

2

/ 1

q N

N

q

α

Biến đổi ngược DCT được xác định bởi phương trình sau:

)12(cosB

p m

với

10

10

M m

(10)

Từ công thức trên ta thấy rằng mỗi ma trận A kích thước MxN có thể biểu

N

q n M

p m

) 1 2 ( cos

3.2 Biến đổi wavelets

Ý tưởng cơ bản của phép biến đổi wavelets là khai triển tín hiệu f(t)

như là một xếp chồng của các sóng con (wavelets) hay các hàm cơ sở Các hàm cơ sở này xuất phát từ dịch và lấy tỷ lệ hàm wavelet mẹ Mô hình toán biến đổi wavelets rời rạc thuận và nghịch (DWT và IDWT) biểu diễn bởi hai phương trình:

dt nb t a t f a

n m

t

f( ) ψ , , ψ~ , ( )với ψ(t) là hàm wavelet mẹ

Một ảnh có thể chia làm nhiều băng con mà từ đó có thể tập hợp lại để tái tạo ảnh gốc mà không bị lỗi hoặc bị lỗi rất thấp Tập hợp lại các băng con để tạo ảnh gốc là quá trình tăng mẫu, lọc, và cộng các băng con

Hình sau minh họa hệ thống mã hóa và giải mã hai băng con, trong đó

cao hay chi tiết của x(n)

Hình 2 Phân tích wavelets một chiều 2 băng con

Hình 3 Ngõ ra bộ lọc thông thấp và thông cao

Hình 4 Phân tích wavelets hai chiều 4 băng con

Hệ số bộ lọc thông thấp và thông cao trong biến đổi wavelets

3 Lọc từng cột của HrA và GrA rồi giảm phân nửa số mẫu Bốn ma trận

4 Ma trận HcHrA là thành phần độ phân giải thấp của A (lowpass lowpass – LL) Các ma trận còn lại chứa chi tiết của A, cụ thể GcHrA chứa thành phần phân giải cao theo chiều dọc và phân giải thấp theo chiều ngang (lowpass highpass - LH), HcGrA chứa thành phần phân giải thấp theo chiều dọc và phân giải cao theo chiều ngang (highpass

lowpass – HL), GcGrA chỉ chứa thành phần phân giải cao (highpass

Chương 4

Mục này sẽ trình bày những điều kiện về số mẫu đo M và tính gắn kết của

ma trận A

Trở về sau người viết giả thiết x là tín hiệu thưa, do đó A chính là ma

trậnφ trừ khi đề cập tới ma trận cơ sở ψ

4.1 Ma trận đo

Như đã trình bày ở mục 2.2, cơ sở của kỹ thuật lấy mẫu nén có liên quan mật thiết đến tính gắn kết giữa ma trận giảm chiều φ và ma trận cơ sở ψ Những ma trận φ ngẫu nhiên tách biệt rất lớn với bất kỳ ma trận cơ sở ψ nào Tận dụng đặc điểm này, đã có nghiên cứu chứng minh ma trận φ ngẫu nhiên

phân phối Gauss Ngoài ra một số ma trận A khác cũng thỏa RIP như ma trận dấu phân phối Bernoulli, ma trận ngẫu nhiên Fourier một phần Dù ma trận Gauss và Bernoulli cung cấp điều kiện tối ưu - yêu cầu số thông số đo ít nhất - nhưng chúng có phần ít sử dụng cho những ứng dụng thực tế bởi vì điều kiện vật lý và một vài ràng buộc về ma trận đo giới hạn tính ngẫu nhiên của phép

đo Mặt khác, ma trận Gauss hay Bernoulli không có cấu trúc nên tính toán nhân ma trận – vectơ không nhanh Vì vậy, ma trận Gauss không phù hợp các ứng dụng quy mô lớn Ma trận Fourier một phần khắc phục những nhược

N jk k

Fx

xˆ=

N cK

Ma trận Toeplitz: chập ngẫu nhiên tín hiệu

Ma trận Noiselets thực: biến đổi noiselets thực tín hiệu rồi chọn ngẫu nhiên

m hệ số

4.1.1 Điều kiện về số mẫu đo

Ta mong muốn tạo ma trận A có tính chất : tập bất kỳ các vectơ cột của A gần trực giao với nhau Tập này càng lớn càng tốt

2

1,0(

∈

δthì

K

N CK

thì

)

1(2

N K C

nhiên thì A thỏa tính chất nêu ở đầu mục 4.1.1 nếu :

4)

(log N

CK

Ma trận ngẫu nhiên Gauss, Rademacher hay tổng quát hơn ma trận có các

phần tử thuộc phân phối subGauss thì thỏa RIP bậc K với hằng số đồng dạng

δnếu :

)/)/log(

(K N K δ2

O

Phân phối Gauss, phân phối Bernoulli, và phân phối Rademacher là trường hợp riêng của phân phối subGauss

/log

O

với tín hiệu thực và là một trong nhiều lý do giải thích tại sao ma trận ngẫu nhiên cần ít mẫu đo hơn ma trận xác định

)log(K2 N O

j i N j

A A

A) max ,(

(

N M

M N A

<

)(

112

1

A K

thì tồn tại tối đa một tín hiệu x thưa K đối với mỗi vectơ mẫu đo y = φ x

Định lý 1 cùng với cận Welch cho ta biết cận trên của độ thưa K bảo đảm

Giả thiết về tính duy nhất dựa trên cơ sở vectơ mẫu đo y thu được từ quá

trình lấy mẫu không lỗi Tuy nhiên khi thực hiện trên phần cứng có hai nguồn

tác động gây lỗi lên y : nhiễu ở quá trình lấy mẫu tức nhiễu cộng y = φ x + n,

còn bảo đảm về tính duy nhất nhưng ta vẫn chấp nhận lỗi ở dưới mức sai số

nào đó Cụ thể ta muốn khoảng cách giữa hai vectơ đo y = φ x, y’ = φ x’ tỷ lệ với khoảng cách giữa hai tín hiệu gốc x và x’ Điều này cho phép với nhiễu đủ

nhỏ, hai vectơ tín hiệu thưa khác nhau không dẫn đến cùng vectơ đo Tính chất này chính là RIP như đã trình bày ở mục II.2.2 RIP duy trì sự khác biệt bất chấp sự xuất hiện của nhiễu nhưng khôi phục bị méo dạng theo thừa số

Để mỗi vectơ thưa K xác định duy nhất từ các mẫu đo của nó, φ phải thỏa RIP 2K, nghĩa là tất cả 2K cột của φ phải độc lập tuyến tính

4.2 Đo nén tín hiệu trên thực tế

Việc tạo ngẫu nhiên các phần tử của ma trận đo φ như ma trận Gauss và Bernoulli rất khó thực hiện khi N lớn vì ma trận φ phải được lưu trữ/truyền cùng với các số đo để phục hồi lại tín hiệu gốc Hơn nữa, các giải thuật phục hồi phải tính toán trên φ , trong trường hợp φ không có cấu trúc cần đến

O(MN) phép tính Để giải quyết điều này người ta tạo ma trận φ có cấu trúc

đáng kể và giả ngẫu nhiên, tức chỉ giữ/truyền nhân ngẫu nhiên (random seed) dùng để tạo φ hơn là cả ma trận

4.2.1 Máy ảnh một pixel

Máy ảnh một pixel (single-pixel camera) là ứng dụng đo nén tín hiệu tiêu

biểu Trường ánh sáng, tức tín hiệu x gồm N mẫu, đến máy ảnh đi qua một

thấu kính hai mặt lồi hội tụ lên một thiết bị có chức năng điều chế ánh sáng theo cường độ sáng của chùm ánh sáng tới nó Trong máy ảnh một pixel, thiết

bị đóng vai trò điều chế ánh sáng là DMD (digital micromirror device) của

Texas Instrument DMD gồm một mảng hai chiều chứa N tấm vi gương, mỗi

vi gương có kích cỡ vi khuẩn tích điện tĩnh gắn lên một tế bào SRAM Mỗi vi

ứng với trạng thái bit sẽ ghi lên SRAM; do đó ánh sáng chiếu lên mỗi vi

đó (và pixel tương ứng tại đó của ảnh x) là 1 (sáng), hoặc chệch khỏi thấu

hai hội tụ ánh sáng phản xạ tới nó lên một diode quang đơn photon (ý nghĩa single pixel), tại đây cộng các cường độ sáng vừa nhận – ý nghĩa tính tích nội

j

j x

đổi A/D Như vậy mỗi khung trạng thái của DMD tạo ra một mẫu đo Tính ngẫu nhiên của phép đo, tức tính ngẫu nhiên của ma trận cảm biến

j

y

φ , đến từ việc xoay ngẫu nhiên của các vi gương theo hướng xoay tạo bởi bộ tạo số giả ngẫu nhiên (random number generator) Hoạt động của máy ảnh đơn pixel là

mô hình thực tế việc thu nhận M mẫu thay vì N mẫu của trường ánh sáng tới

của cảnh vật đang quan sát

Hình 8 (a) Máy ảnh một pixel [1]

(b) Ảnh chụp từ máy ảnh truyền thống (c) Ảnh 64 × 64khôi phục từ 1600 mẫu đo chụp từ máy ảnh một pixel

4.2.2 Bộ chụp ảnh CMOS (CMOS imager)

Ứng dụng này tiêu biểu cho mô hình thực hiện phép nhân vectơ tín hiệu

biến ánh sáng đi đôi với một thanh ghi dịch hồi tiếp tuyến tính (LFSR) chiều

sáng, do đó thực hiện cộng và trừ tùy theo trạng thái ngẫu nhiên bit hiện có Các ngõ ra sau khi đánh trọng số/nhân bit được cộng theo hai tầng : cộng theo cột tại Op-Amp trước khi lượng tử, và ngõ ra bộ lượng tử cộng lần nữa tại bộ tích lũy Theo cách này, kiến trúc vi điện tử tính tích nội giữa các pixel ảnh với dãy chứa trong LFSR Ngõ ra LFSR được đưa hồi tiếp trở lại ngõ vào sao khi thanh ghi đầy, vì thế những mẫu đo sau tương ứng với tích nội giữa các pixel ảnh với một dãy dịch đi so với dãy trước Ngõ ra của bộ tích lũy được lấy mẫu theo cách giả ngẫu nhiên, tương đương việc giảm mẫu như mục tiêu của kỹ thuật lấy mẫu nén Như vậy thiết bị CMOS cảm biến ánh sáng chuyên dụng này xem như thực hiện nhân tín hiệu ảnh với ma trận xoay vòng một phần (partial circulant matrix) mà mỗi phần tử có phân phối Rademacher Nói cách khác,

= Δ(φ x 0) φx

Giá trị này được đặt để mã hóa y 11 bit, tức

),0(

~)

của hệ thống, ví dụ như Op-Amp chuyển đổi dòng-áp hay bộ chuyên đổi

2 0

++

=σ σADC

100 /

2

2

của thanh ghi dịch

Hình 9 Bộ chụp ảnh CMOS bằng phép chập ngẫu nhiên[9]

Chương 5

Ký hiệu x là vectơ hệ số thưa của ảnh trong một miền nào đó.

trận A ∈ RmxN với x :

Ký hiệu y hay b là vectơ số đo Ma trận A là tích ma trận cảm biến φ và

ma trận cơ sở ψ Nếu ảnh không cần biến đổi mà vẫn có rất nhiều hệ số bằng

lời giải cho bài toán tìm cực tiểu hàm tổ hợp : l0

0

Các nhánh tiếp cận chính bài toán tổ hợp (l0):

2) Tìm kiếm tham lam : qua nhiều lần lặp tinh chỉnh nghiệm thưa bằng cách xác định liên tiếp một hay nhiều thành phần mang đến cải thiện tốt nhất 3) Mô hình Bayes : đặt ra giả thiết về phân phối xác suất của những hệ số chưa biết như phân phối xác suất của tín hiệu quan sát hay nhiễu Ước lượng tham số tín hiệu ngẫu nhiên dựa trên mô hình xác suất Bayes, chẳng hạn như

bộ ước lượng MAP Một trong những kỹ thuật tiếp cận tiêu biểu theo mô hình thống kê xác suất là bộ lựa chọn Dantzig (Dantzig selector) :

σ

A t

s AT( ) log min

arg ˆ

với ∞ ký hiệu chuẩn , biểu diễn phần tử có độ lớn lớn nhất trong một vectơ và

∞

l

không lồi, ví dụ như bài toán tìm cực tiểu total variation chuẩn p < 1

Phần còn lại của mục xin dành cho hai lớp tiếp cận đầu tiên

5.1 Tối ưu lồi

giải theo cách này do để tìm tất cả các nghiệm x có số phần tử khác 0 ít nhất

khối lượng tính toán quá lớn Thay vào đó, ta tìm cách giải bài toán tìm cực tiểu chuẩn : l1

1

Bài toán trên còn gọi là bài toán tìm cơ sở (basis pursuit - BP) Hai cách giải bài toán BP :

a) Vì hàm mục tiêu có dạng lồi nên bài toán BP có thể giải thông qua quy

âm ; u chứa các phần tử dương của x, các phần tử còn lại bằng 0 ; v chứa độ lớn các phần tử âm của x, các phần tử còn lại bằng 0 Nối u,v thành một vectơ

cột z = [uT,vT]T z∈R2N Thay x 1 = 1T(u + v) = 1T z và Ax = A(u – v) =

[A,-A]z Bài toán (BP) trở thành

sao cho [A,-A]z = b và z ≥ 0 (21)

1

toán vì nó gián tiếp kiểm soát tính thưa Vì vậy ta thường phải giải (22) lặp lại với những lựa chọn khác nhau của tham số này, hoặc thậm chí phải lần theo

thay đổi của nghiệm khi τ giảm xuống 0 Khi τ ≥ A * ∞ nghiệm của (22) là

LASSO tương đương với (22) theo cách quỹ đạo nghiệm của (23) - được

thay đổi

Công thức thường gặp hơn của LASSO chỉ định cụ thể sai số :

1

nhất định trong trường hợp mẫu đo quan sát bị nhiễu y = Ax + n

i- Các phương pháp điểm nội

Các phương pháp điểm nội là một trong những tiếp cận đầu tiên tìm nghiệm thưa của bài toán tối ưu lồi Nhìn chung chúng kém hơn các phương pháp gradient đối với các bài toán có nghiệm rất thưa Mặt khác hiệu quả của chúng ít nhạy với độ thưa của nghiệm hay giá trị của tham số điều tiết τ ii- Các phương pháp gradient

Các phương pháp độ dốc gradient (gradient descent), còn gọi là các phương pháp bậc một, là các giải thuật lặp giải bài toán (22) mà phần lớn tính toán tại mỗi lần lặp tập trung vào tính gradient của thành phần cực tiểu bình

xác định mau chóng các hệ số khác 0 của x Bên cạnh đó chúng hội tụ nhanh

Nhằm tăng hiệu quả trong hai trường hợp như vậy một vài giải thuật áp dụng

tương ứng với mỗi τ làm điểm bắt đầu cho bài toán con tiếp theo

Gần đây một số giải thuật mở rộng phương pháp gradient hướng đến việc đặt ra những quy tắc cập nhật phức tạp dựa trên một số giả thiết, chẳng hạn như hằng số Lipschitz của gradient

Tính chính xác

Đã có những chứng minh tối ưu lồi cho nghiệm tối ưu hoặc gần tối ưu với

bài toán (xấp xỉ) thưa Bài toán (BP) phục hồi tất cả nghiệm thưa K từ ma trận

A giả sử 2μK ≤1 Trong trường hợp tốt nhất, cận này áp dụng với độ thưa

m

Các kết quả trên áp dụng cho tín hiệu xác định nhưng chúng có thể được mở rộng cho tín hiệu ngẫu nhiên thưa hoặc ngẫu nhiên thưa bị nhiễu có độ thưa

khoảng m/logm

Giả thiết mẫu đo quan sát bị nhiễu y = Ax + n

Biểu thức sau đánh giá sai số nghiệm bài toán (24) dựa vào tính gắn kết

của ma trận A, giả sửK ≤(1/μ(A)+1)/4 :

)14)(

(1

với C là hằng số, ε ≥ n , ˆx K là ˆx nhưng chỉ giữ lại K hệ số

5.2 Tìm kiếm tham lam

Điểm khác biệt dễ nhận thấy nhất giữa các phương pháp tìm kiếm tham lam và các phương pháp tối ưu lồi là chúng không tìm cực tiểu của một hàm

lặp chúng thay đổi một hay nhiều hệ số của ước lượng hiện tại nhằm xác định tập support cho đến khi tiêu chuẩn dừng thỏa Một vài giải thuật tìm kiếm tham lam được chứng minh về tính hội tụ, bảo đảm về tính chính xác của những giải thuật này tương tự như các giải thuật tối ưu lồi

Hai giải thuật xuất hiện sớm nhất và đơn giản nhất là tìm kiếm cơ sở trực giao (Orthogonal Matching Pursuit - OMP) và lấy ngưỡng lặp (iterative thresholding - IHT) Sau đó xuất hiện những cải tiến của OMP như StOMP, ROMP, Random OMP, SP, nhưng nổi bật nhất là giải thuật CoSaMP [12] Về

thực tế và lý thuyết CoSaMP yêu cầu thỏa RIP bậc 2K với hằng số đồng

dạng

A

1

<<

OMP nhưng thường kém hiệu quả hơn các giải thuật tối ưu lồi

Tính chính xác

OMP có thể phục hồi chính xác tín hiệu thưa K sau K lần lặp nếu ma trận

φ thỏa RIP bậc K +1 với hằng số đồng dạng

Biểu thức sau đánh giá sai số kết quả giải thuật OMP sau 30K lần lặp, giả

sử thỏa RIP bậc 31K với hằng số đồng dạng A δ < 1 / 3:

n C

CK − K +

≤

1 2 / 2

Bài toán khôi phục tín hiệu từ kỹ thuật lấy mẫu nén còn gọi là bài toán

miền W nào đó Trên thực tế miền mà tín hiệu được giả thiết thưa không biết trước, thường được chọn trong không gian tần số (W là DFT) hay một cơ sở wavelets (W là biến đổi wavelets), trong hai trường hợp này W khả đảo và

thậm chí trực giao Tuy nhiên, thường các cơ sở này được chọn vì thuận tiện chứ không vì chúng biểu diễn tốt nhất tín hiệu Những lựa chọn phù hợp hơn

có thể là từ điển thừa (overcomplete dictionary) W∈R p×n với p>>n, như biến đổi wavelets không giảm mẫu (undecimated wavelet transform), hay từ điển Gabor đa mức (multilevel Gabor dictionary)

Trên thực tế lẫn lý thuyết, nhận vectơ m mẫu không nhiễu y=φx, giải thuật khôi phục lấy mẫu nén phải giải bài toán

1

sao cho φx = y

khác là giải bài toán tổng hợp L1 :

1

sao cho φW*α = y

α là vectơ hệ số thưa của ảnh trong miền W

hơn nữa, nghiệm của bài toán tổng hợp có thể rất nhạy với dữ liệu

W

Sự khác biệt giữa bài toán phân tích và bài toán tổng hợp cho tới nay vẫn chưa được nghiên cứu đầy đủ vì hai lý do Thứ nhất là vì bài toán phân tích chưa được nghiên cứu sâu rộng về lý thuyết ngoại trừ [7] đưa ra những nhận xét đầu tiên về bài toán phân tích Thứ hai là vì hiện tại chưa có những giải thuật bậc một giải chúng, ngoại trừ hai giải thuật NESTA [5] và C-SALSA [6], cả hai đều giải phiên bản LASSO

5.4 Một số giải thuật giải bài toán tổng hợp L1

5.4.1 Giải thuật điểm nội đối ngẫu

Để đơn giản, ta giả sử nghiệm x không âm Dù vậy, trường hợp x có dấu

là vectơ chiều dài bằng chiều dài x chứa các phần tử không âm của x, bằng 0

phần tử không dương của x, bằng 0 tại các vị trí phần tử dương Ta có x =

trong đó c = 1 với bài toán cực tiểu l1

Bài toán gốc (P) có thể chuyển qua dạng bài toán thuộc họ “chặn logarit – logarithmic barrier”:

μ

x

sao cho Ax = b, x > 0

z(μ)) hội tụ tới nghiệm tối ưu của bài toán (P) và (D) tương ứng

Phương pháp điểm nội tìm tập nghiệm {(x(μ),y(μ), z(μ)) : μ > 0} của hệ :

XZ1 = μ1, Ax = b, ATy + z = c, x ≥ 0, z ≥ 0 (32) còn gọi là điều kiện Karush-Kuhn-Tucker (KKT) của tối ưu lồi

Như vậy, quy luật cập nhật giá trị (x(k), y(k), z(k)) tính thông qua các giá trị

=Δ

−

=Δ+Δ

y x x

T

k k k

X

(k), y(k), z(k) tương ứng

Bên cạnh quy luật cập nhật (33), giải thuật cần xác định tiêu chuẩn dừng khi nghiệm gần với điểm tối ưu Một số tiêu chuẩn đơn giản có thể dùng để đánh giá sự tối ưu như sau:

1 Thay đổi tương đối của tập support đủ nhỏ

2 Thay đổi tương đối theo chuẩn l2 của cập nhật ước lượng đủ nhỏ

3 Thay đổi tương đối của hàm mục tiêu đủ nhỏ

Giải thuật điểm nội đối ngẫu

, giá trị khởi tạo (x

Sau đây là chi tiết giải thuật:

Bài toán (P) có thể viết lại thành

∑

i i

0

i i

i i

u x

u x

Sau khi khởi tạo hai vectơ x và u, ta tính hai vectơ f u1, f u2có các phần tử

i i i

u

i i i

u

u x f

u x f

Đặt Λ•và là hai ma trận đường chéo F• (Λ•)ii =λ và •;i (F•)ii = f•;i

2 1

2 2

1

u u

T u u dual

u u

u u cent

v A r

f

f r

λλ

λλ

ΣΣ

u x

A

f f /τ

v A f

f w

w w A

A

u u

T u

u T

b

1 1

1 1

3 2

1 1

2

2 1

2 1

2 1

.1

./10

1 1 1 2

1 2 2

1 1 1

Đặt

1 1

2 2

1−Σ Σ−Σ

=

ta lần lượt cập nhật Δx,Δu,Δv

)(

)(

)(

2 2 1

2

1 1 2 1 1

2

1 1 2

1 1

1 3

1 1

x

x 1 x

x x

ΔΣ

−Σ

=Δ

Δ

−ΣΣ

−Σ

=Δ

ΣΣΣ

−Σ

−

=ΔΣ

v A w w

w w

A w v A A