Khảo sát chất lượng ảnh dùng wavelets

DANH SÁCH CÁC HÌNH DANH SÁCH CÁC BẢNG ABSTRACT TỪ VIẾT TẮT GIỚI THIỆU CHƯƠNG 1: GIỚI THIỆU 1 1.1 ĐÁNH GIÁ CHỦ QUAN VÀ KHÁCH QUAN CHẤT LƯỢNG ẢNH 1 1.2 NHƯỢC ĐIỂM CỦA PHƯƠNG PHÁP ĐÁNH GIÁ

TP.HỒ CHÍ MINH, tháng 07 năm 2008

LUẬN VĂN THẠC SĨ

Mã ngành: 60.52.70

Chuyên ngành: KỸ THUẬT ĐIỆN TỬ

KHẢO SÁT CHẤT LƯỢNG ẢNH DÙNG

WAVELETS

NGUYỄN VĂN HIẾU -

Luận văn thạc sĩ được bảo vệ tại HỘI ĐỒNG CHẤM BẢO VỆ LUẬN VĂN THẠC SĨ TRƯỜNG ĐẠI HỌC BÁCH KHOA,

Cán bộ chấm nhận xét 2:

Cán bộ chấm nhận xét 1:

Cán bộ hướng dẫn khoa học: PGS TSKH Nguyễn Kim Sách

PHÒNG ĐÀO TẠO SĐH ĐỘC LẬP – TỰ DO – HẠNH PHÚC

Tp HCM, ngày 03 tháng 07 năm 2008

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ và tên học viên: NGUYỄN VĂN HIẾU Phái: Nam

Ngày, tháng, năm sinh: 16/07/1976 Nơi sinh: Quảng Ngãi Chuyên ngành: Kỹ thuật điện tử MSHV: 01406739

I- TÊN ĐỀ TÀI:

KHẢO SÁT CHẤT LƯỢNG ẢNH DÙNG WAVELETS

II- NHIỆM VỤ VÀ NỘI DUNG

- Khảo sát chất lượng ảnh theo tham chiếu toàn phần

- Khảo sát chất lượng ảnh không dựa theo tham chiếu

- Khảo sát chất lượng ảnh theo tham chiếu suy giảm

- Xây dựng giải thuật khảo sát chất lượng ảnh

- Viết chương trình khảo sát chất lượng ảnh bằng ngôn ngữ Matlab

III- NGÀY GIAO NHIỆM VỤ: 21/01/2008

IV- NGÀY HOÀN THÀNH NHIỆM VỤ: 03/07/2008

V- HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN:

PGS TSKH NGUYỄN KIM SÁCH

(Học hàm, học vị, họ tên và chữ ký) QL CHUYÊN NGÀNH

Nội dung và đề cương luận văn thạc sĩ đã được Hội đồng chuyên ngành thông qua

Ngày……tháng 07 năm 2008

LỜI CẢM ƠN

Tôi trân trọng gởi đến Giáo sư, Tiến sỹ Khoa học Nguyễn Kim Sách lời cảm ơn chân thành và lòng biết ơn sâu sắc nhất vì những động viên và đóng góp ý kiến của Giáo sư trong suốt thời gian qua

Xin chân thành cảm ơn các thầy cô trong khoa Điện –Điện Tử, đặc biệt là các thầy cô trong bộ môn Viễn Thông, Trường Đại học Bách Khoa TP HCM đã tận tình giảng dạy, hướng dẫn và giúp đỡ tôi trong quá trình học tập và hoàn thành Luận văn này

Sau cùng, tôi xin được bày tỏ tình cảm đến các bạn cùng khóa đã trao đổi nhiều tài liệu, giúp đỡ và động viên tôi trong suốt quãng thời gian học

TP Hồ Chí Minh, tháng 07 năm 2008

NGUYỄN VĂN HIẾU

DANH SÁCH CÁC HÌNH

DANH SÁCH CÁC BẢNG

ABSTRACT

TỪ VIẾT TẮT

GIỚI THIỆU

CHƯƠNG 1: GIỚI THIỆU 1

1.1 ĐÁNH GIÁ CHỦ QUAN VÀ KHÁCH QUAN CHẤT LƯỢNG ẢNH 1

1.2 NHƯỢC ĐIỂM CỦA PHƯƠNG PHÁP ĐÁNH GIÁ DÙNG MSE 1

1.3 PHÂN LOẠI CÁC PHƯƠNG PHÁP KHẢO SÁT CHẤT LƯỢNG ẢNH KHÁCH QUAN 5 1.3.1 Phương pháp khảo sát chất lượng ảnh tham chiếu toàn phần, không tham chiếu và tham chiếu suy giảm 5

1.3.2 Phương pháp khảo sát chất lượng ảnh theo ứng dụng và mục đích chung 7

1.3.3 Các phương pháp khảo sát chất lượng ảnh theo kiểu từ dưới lên trên và từ trên xuống dưới 8

CHƯƠNG 2: KHẢO SÁT CHẤT LƯỢNG ẢNH THEO THAM CHIẾU TOÀN PHẦN TỪ DƯỚI LÊN TRÊN (PHƯƠNG PHÁP BOTTOM-UP) 9

2.1 Ý TƯỞNG CHUNG 9

2.2 HỆ THỊ GIÁC CỦA CON NGƯỜI 10

2.2.1 Giải phẫu cơ quan thị giác 10

2.2.2 Đặc điểm tâm sinh lý của hệ thị giác 14

2.2.2.1 Hàm độ nhạy tương phản 14

2.2.2.2 Sự đáp ứng của ánh sáng 15

2.3 LÝ THUYẾT PHƯƠNG PHÁP QUAN SÁT SAI SỐ 18

2.3.1 Tiền xử lý 19

2.3.2 Phân tích kênh 20

2.3.3 Chuẩn hóa lỗi 21

2.3.4 Kết hợp sai số 23

2.4 THUẬT TOÁN KHẢO SÁT CHẤT LƯỢNG ẢNH (MÔ HÌNH DALY) 24

CHƯƠNG 3: KHẢO SÁT CHẤT LƯỢNG ẢNH THEO THAM CHIẾU TOÀN PHẦN TỪ TRÊN XUỐNG DƯỚI (PHƯƠNG PHÁP TOP-DOWN) 25

3.1 ÝÙ TƯỞNG CHUNG 25

3.2 PHƯƠNG PHÁP CẤU TRÚC TƯƠNG ĐỒNG 27

3.2.1 Cấu trúc tương đồng và chất lượng ảnh 27

3.2.2 Chỉ số cấu trúc tương đồng trong miền không gian 28

3.2.3 Chỉ số cấu trúc tương đồng trong miền wavelet phức 41

3.2.4 Nhận xét cho cấu trúc tương đồng 46

3.3 PHƯƠNG PHÁP LÝ THUYẾT THÔNG TIN 47

3.3.1 Độ trung thực thông tin và chất lượng ảnh 47

3.3.2 Thước đo độ trung thực thông tin quan sát 48

3.3.3 Chú ý tới chỉ số lý thuyết thông tin 56

3.4 NHẬN XÉT CHUNG 56

CHƯƠNG 4: KHẢO SÁT CHẤT LƯỢNG ẢNH KHÔNG THAM CHIẾU 58

4.1 ÝÙ TƯỞNG CHUNG 58

4.2 ĐO LƯỜNG KHÔNG THAM CHIẾU NÉN ẢNH BẰNG PHƯƠNG PHÁP XỬ LÝ KHỐI 60

4.2.2 Phương pháp miền tần số 66

4.3 ĐO LƯỜNG KHÔNG THAM CHIẾU DÙNG PHƯƠNG PHÁP BIẾN ĐỔI WAVELET CHO ẢNH NÉN JPEG 71 CHƯƠNG 5: KHẢO SÁT CHẤT LƯỢNG ẢNH THEO THAM CHIẾU SUY GIẢM 79

5.1 ÝÙ TƯỞNG CHUNG 79

5.2 KHẢO SÁT CHẤT LƯỢNG ẢNH THEO THAM CHIẾU SUY GIẢM (RR- QUALITY ASSESSMENT) TRONG MIỀN WAVELET DỰA TRÊN THỐNG KÊ ẢNH TỰ NHIÊN 84

CHƯƠNG 6: CHƯƠNG TRÌNH MÔ PHỎNG - KẾT QUẢ KHẢO SÁT 95

6.1 CHƯƠNG TRÌNH MÔ PHỎNG 95

6.1.1 Mục đích thiết kế chương trình 95

6.1.2 Thuyết minh chương trình 96

6.1.3 Các lưu đồ giải thuật 96

6.1.3.1 Tổng quát chương trình 97

6.1.3.2 Lưu đồ tính MSE 98

6.1.3.3 Lưu đồ tính cho phương pháp SSIM (FR-SSIM) 98

6.1.3.4 Lưu đồ tính cho phương pháp Wavelet-VIF 100

6.1.3.5 Lưu đồ tính cho phương pháp No-Reference (Phương pháp miền không gian) 101

6.1.3.6 Lưu đồ tính cho phương pháp No-Reference (Phương pháp miền Wavelet) 102

6.1.4 Giao diện người sử dụng 103

6.2 CƠ SỞ DỮ LIỆU ẢNH 103

6.3 KẾT QUẢ KHẢO SÁT 108

6.3.1 Tiêu chuẩn đánh giá 108

6.3.2 Kết quả đạt được 109

6.3.3 Nhận xét 113

CHƯƠNG 7: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 115

7.1 KẾT LUẬN 115

7.2 HƯỚNG PHÁT TRIỂN 116

TÀI LIỆU TRÍCH DẪN 119

LÝ LỊCH TRÍCH NGANG 123

DANH SÁCH CÁC HÌNH

Hình 1.1: Ảnh Einstein với các loại méo khác nhau

Hình 1.2: MSE và l p không dự đoán đúng chất lượng ảnh

Hình 1.3: Lỗi của MSE và chuẩn l p cho chất lượng ảnh dự đoán

Hình 1.4: MSE và l p dự đoán sai chất lượng ảnh

Hình 1.5: MSE và l p dự đoán sai chất lượng ảnh

Hình 1.6: Sơ đồ khối của hệ thống đánh giá chất lượng tham chiếu suy giảm Hình 2.1: Sơ đồ khối của hệ thống nhìn mắt người

Hình 2.2: Cấu tạo thủy tinh thể của mắt

Hình 2.3: Hệ thống mạng neuron trong tinh thể

Hình 2.4: Chức năng độ lệch tâm của hạch thần kinh và tế bào cảm nhận ánh sáng

Hình 2.5: Liên kết giữa các lớp trong vỏ não nhìn

Hình 2.6: Độ nhạy tương phản

Hình 2.7: Độ tương phản/ Ví dụ về mặt nạ đường bao

Hình 2.8: Vùng ảnh

Hình 2.9: Sơ lược hệ thống đánh giá chất lượng ảnh dựa trên lỗi quan sát

Hình 2.10: Mô hình phân tích kênh trong miền tần số hai chiều

Hình 2.11: Chuẩn hóa kênh của ảnh lỗi

Hình 2.12: Chọn lựa hệ số lân cận cho mặt nạ trong kênh và giữa kênh trong cây

đa hướng nhiều tỉ lệ

Hình 3.1: Quá trình học HVS

Hình 3.2: Aûnh có thể được mô tả bằng vectơ trong không gian ảnh

Hình 3.4: Cửa sổ trượt window cho đánh giá chất lượng ảnh

Hình 3.5: Mẫu các ảnh bị méo và sơ đồ méo của chúng

Hình 3.6: Mẫu các ảnh bị méo và sơ đồ méo của chúng

Hình 3.7: Mẫu các ảnh bị méo và sơ đồ méo của chúng

Hình 3.8: Aûnh ông “Einstein” thay đổi với từng loại méo khác nhau

Hình 3.9: Aûnh phù hợp không có đăng ký để nhận dạng chữ số

Hình 3.10: Phương pháp lí thuyết thông tin cho đánh giá chất lượng ảnh

Hình 3.11: Sơ đồ khối của phép đo độ trung thực thông tin quan sát

Hình 3.12: Phân tích VIF cho chất lượng ảnh

Hình 3.13: Phân tích VIF của ảnh chất lượng

Hình 4.1: Hiệu ứng khối bởi nén JPEG

Hình 4.2: Các ảnh kiểm tra sử dụng thử nghiệm chủ quan được chia thành hai nhóm (a) và (b)

Hình 4.3: Mô hình dự đoán so sánh MOS cho các ảnh kiểm tra

Hình 4.4: Hình Tín hiệu “blocky” lý tưởng, và hình vi sai tín hiệu tuyệt đối

Hình 4.5: Sơ đồ khối của hệ thống đo hiệu ứng khối trong miền tần số

Hình 4.6: Phổ công suất của ảnh gốc và ảnh nén JPEG ở 4.1

Hình 4.7: Phổ công suất của ảnh nén JPEG Peppers sau khi được làm trơn

Hình 4.8: Hiệu ứng mờ và rung của ảnh nén JPEG

Hình 4.9: Aûnh nén JPEG2000 và sự khác nhau của tốc độ bit

Hình 4.10: Biểu đồ kết nối của (log2P,log2C) của ảnh gốc tàu thủy

Hình 4.11: Sự chọn lựa các hệ số wavelet kế cận

Hình 4.12: Ảnh hưởng lượng tử trong vùng wavelet trên lược đồ (log2P,log2C) của

băng tần con 2.1, hình tàu thủy ở hình 4.9

Hình 5.1: Bộ khung của hệ thống đánh giá chất lượng ảnhtheo tham chiếu suy giảm

Hình 5.2: Quan hệ giữa đặc tính tốc độ dữ liệu RR và dự đoán chính xác chất lượng ảnh

Hình 5.3: Sự sắp xếp đơn giản cho đánh giá chất lượng ảnh RR

Hình 5.4: Biểu đồ so sánh các hệ số wavelet

Hình 5.5: Đánh giá KLD giữa phân bố các hệ số wavelet

Hình 5.6: Tiến trình trích xuất đặt trưng RR

Hình 5.7: Cây tỉ lệ, cây phân tích hình tháp bốn hướng của ảnh

Hình 5.8: Tiến trình trích xuất đặt trưng RR

Hình 6.1: Giao diện màn hình Matlab mô phỏng đánh giá chất lượng ảnh

Hình 6.2: Sơ đồ tổng quát của hệ thống đánh giá chất lượng ảnh

Hình 6.3: Phương pháp đánh giá dùng MSE

Hình 6.4: Lưu đồ Tính SSIM

Hình 6.5: Lưu đồ tính cho phương pháp Wavelet-VIF

Hình 6.6: Lưu đồ tính cho phương pháp NR-Spatial Domain

Hình 6.7: Lưu đồ tính cho phương pháp NR-Wavelet

Hình 7.1: Tổng quan về các nguồn kiến thức sử dụng trong đánh giá chất lượng ảnh

Toàn bộ luận văn được chia làm 7 chương:

CHƯƠNG 1: GIỚI THIỆU

Ở chương này luận văn tìm hiểu phương pháp khảo sát chất lượng ảnh dùng sai số trung bình bình phương MSE, và nhược điểm của cách đánh giá này Đồng thời ở chương này chúng ta phân lớp các đối tượng để đo lường chất lượng ảnh, ví dụ như là đánh giá chất lượng ảnh tham chiếu toàn phần, không tham chiếu và tham chiếu suy giảm Kèm theo đó chúng ta có hai phương pháp Bottom-Up và Top-Down

CHƯƠNG 2: KHẢO SÁT CHẤT LƯỢNG ẢNH THAM CHIẾU TOÀN PHẦN (FULL- REFERENCE QUALITY ASSESSMENT) TỪ DƯỚI LÊN TRÊN

(PHƯƠNG PHÁP BOTTOM-UP)

Ơû chương này luận văn hội tụ vào hai điểm chính Đầu tiên là phân loại mô hình học và bao gồm cả mô hình cổ điển Thứ hai là kết nối với đặc tính của mô hình HVS, tóm tắt việc phân tích và tìm hiểu đặc điểm của mô hình HVS

CHƯƠNG 3: KHẢO SÁT CHẤT LƯỢNG ẢNH THEO THAM CHIẾU TOÀN PHẦN TỪ TRÊN XUỐNG DƯỚI (PHƯƠNG PHÁP TOP-DOWN)

Chương này hội tụ vào hai loại của phương pháp đánh giá chất lượng ảnh theo tham chiếu toàn phần từ trên xuống dưới (Full Referency Top-Down): Về phương pháp cấu trúc tương đồng và phương pháp lý thuyết thông tin Cả hai phương pháp đều mới và lôi cuốn Dự đoán tốt chất lượng ảnh với nhiều thuật toán có hiệu quả cao

CHƯƠNG 4: KHẢO SÁT CHẤT LƯỢNG ẢNH KHÔNG THAM CHIẾU (NO- REFERENCE QUALITY ASSESSMENT)

chiếu NR(No-Reference) Cụ thể có hai phương pháp được thảo luận dưới đây, đánh giá chất lượng cho ảnh nén với phương pháp xử lý khối và phương pháp dựa trên cơ sở wavelet

CHƯƠNG 5: KHẢO SÁT CHẤT LƯỢNG ẢNH THEO THAM CHIẾU SUY GIẢM (REDUCED-REFERENCE QUALITY ASSESSMENT)

Chương này chỉ đưa ra vấn đề cơ bản trong chủ đề mới – đánh giá chất lượng ảnh theo tham chiếu suy giảm Thông tin đo được trong miền wavelet sẽ được trình bày ở đây, và có thể dự đoán chất lượng ảnh về phương diện rộng của các loại méo

CHƯƠNG 6: CHƯƠNG TRÌNH MÔ PHỎNG - KẾT QUẢ VÀ KHẢO SÁT

Chương trình được viết bằng ngôn ngữ Matlab với màn hình giao diện đơn giản dùng để hiển thị kết quả đánh giá cho từng phương pháp, ưu và nhược điểm, và sự giống và khác nhau cho từng phương pháp sẽ được trình bày ở chương này

CHƯƠNG 7: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN TRONG TƯƠNG LAI

Tổng kết các ý tưởng cơ bản trong việc đo lường chất lượng ảnh Dự định

cơ bản và các phương pháp tiếp cận có thể được mở rộng cho nhiều lĩnh vực, nhưng trong luận văn này không thể trình bày hết được Cuối cùng luận văn được kết luận bởi các vấn đề và đối mặt với những thách thức trong các phương pháp hiện tại và hướng tới việc nghiên cứu và phát triển trong tương lai

The early years of the 21 century have witnessed a tremendous growth in the use of digital images as a means for representing and communicating information A considerable percentage of this literature is devoted to methods for improving the appearance of images, or for maintaining the appearance of images that are processed Nevertheless, the quality of digital images, processed

or otherwise, is rarely perfect Images are subject to distortions during acquisition, compression, transmission, processing, and reproduction To maintain, control, and enhance the quality of images, it is important for image acquisition, management, communication, and processing systems to be able to indentify and quantify image quality degradations

According to these information and helping of my teacher, Assoc Prof,

Ph.D, D.sc Sach Nguyen Kim, that my research has finished and received lots of

positive characteristics The goals of this thesis are follows:

To introduce the fundamentals of image quality assessment, and to explain the relevant engineering problems

To give a broad treatment of the current state-of-the-art in image quality assessment, by describing leading algorithms that address these engineering problem

To provide new directions for future research, by introducing recent models and paradigms that significantly differ from those used in the past

Keywords: Image Quality Assessment, Perceptual Image Processing, Visual

Perception, Computer Vision, Computational Vision

HVS Human Visual System

JPEG Joint Photographic Experts Group

MSE Mean Square Error

PSNR Peak Signal to Noise Ratio

NSS Natural Scene Statistics

QA Quality Assessment

FRQA Full- Reference Quality Assessment NRQA No- Reference Quality Assessment RRQA Reduced- Reference Quality Assessment VIF Visual Information Fidelity

IFC Information Fidelity Criterion

SSIM Structural Similarity Index Metric

LGN Lateral Geniculate Nucleus

CSF Contrast Sensitivity Functions

VDP Visible Differences Predictor

CWT Continuous Wavelet Transform

DCT Discrete Cosine Transform

DFT Discrete Fourier Transform

DWT Discrete Wavelet Transform

CW-SSIM Complex Wavelet SSIM

VQEG Video Quality Experts Group

CHƯƠNG I

GIỚI THIỆU

1.1 ĐÁNH GIÁ CHỦ QUAN VÀ KHÁCH QUAN CHẤT LƯỢNG ẢNH

Khi mắt người nhận được ảnh cuối cùng (trong hầu hết ứng dụng trong xử lý ảnh), thì cách đánh giá chất lượng ảnh thường là dựa vào đánh giá chủ quan, khách quan, và sự tương quan giữa hai loại đánh giá trên Thực vậy, phương pháp trung bình chung (MOS) trong đánh giá chủ quan là dựa vào số lượng người quan sát; Đó là phương pháp tốt nhất trong việc đánh giá chủ quan chất lượng ảnh Tuy nhiên, phương pháp MOS thường tốn kém và quá chậm trong các ứng dụng thực tế

Mục tiêu của đánh giá khách quan là thiết kế ra một mô hình tính toán có thể dự đoán chất lượng ảnh một cách tự động và chính xác Dự đoán ở đây là đưa

ra một thuật toán để đo chất lượng ảnh tương quan với đánh giá chủ quan của con người

Trong lịch sử đánh giá chất lượng ảnh, hầu hết đều dựa trên phép tính MSE (Mean Squared Error): Phương pháp này nghiêng về toán học nó chỉ dựa vào sai biệt giữa hai tín hiệu, việc tính toán và phân tích rất đơn giản Tuy nhiên phương pháp MSE không phù hợp với mô hình HVS và mô hình thống kê ảnh tự nhiên

1.2 NHƯỢC ĐIỂM CỦA PHƯƠNG PHÁP ĐÁNH GIÁ DÙNG MSE

Phương pháp đánh giá chất lượng ảnh đơn giản và lâu đời nhất nhưng vẫn còn được sử dụng nhiều là MSE Tuy nhiên, khả năng đánh giá chất lượng ảnh dùng MSE có nhiều khuyết điểm Chúng ta sẽ giải thích điều này như sau:

Đặt x = {x i | i = 1, 2, ,N} và y = {y i | i = 1, 2, , N} là hai ảnh sẽ được so

sánh, N là số pixel, xi, yi là cường độ của pixel thứ i của ảnh x và ảnh y Chú ý

rằng, cách sắp xếp này không tính đến vị trí và sự tương quan giữa các pixel, chỉ

xếp các pixel thành dạng vector một chiều Vì MSE được định nghĩa trong không gian một chiều, do đó MSE không tính đến thông tin vị trí của các pixel vốn có thể được dùng đến khi đánh giá chất lượng ảnh

Giả sử x là "ảnh gốc", tức ảnh có chất lượng hoàn hảo, y là ảnh bị nhiễu

giảm chất lượng cần đánh giá chất lượng Khi đó, MSE và tỉ số tín hiệu trên nhiễu (PSNR) được định nghĩa như sau:

2 10

Nếu p = 1, Ep chính là sai số tuyệt đối trung bình

Nếu p = 2, Ep là căn bậc hai của MSE

Nếu p = ∞ &, Ep là vi sai tuyệt đối lớn nhất

Tất cả các giá trị trên đây đều được tính một cách dễ dàng Trong đó, MSE được dùng cho mục đích tối ưu thuật toán vì nó khả vi Ngoài ra, khi kết hợp với các công cụ đại số tuyến tính có thể tìm được lời giải ngắn gọn cho các bài toán thực tế MSE còn có một ý nghĩa vật lý-đó là sai số năng lượng của tín hiệu (được định nghĩa là tín hiệu sai lệch giữa hai ảnh được so sánh) Giá trị năng lượng này có được từ phép biến đổi trực giao (hoặc trực chuẩn) như phép biến đổi Fourier

Hình 1.1: Ảnh ông Einstein với các loại méo khác nhau: (a) ảnh gốc

Einstein; (b) ảnh bị dịch mức sáng trung bình; (c) ảnh tăng cường độ tương phản;

(d) chèn nhiễu xung; (e) chèn nhiễu Gaussian; (f), ảnh bị mờ; (g) ảnh nén JPEG; (h) dịch không gian; (i) thay đổi tỉ lệ trong không gian; (j) ảnh bị quay; Để ý rằng [ảnh (b) - (g)], có giá trị MSE gần bằng nhau, tuy nhiên các ảnh này có mức chất lượng rất khác so với ảnh gốc; [ảnh (h) - (j)] bị dịch chuyển, tỉ lệ, và xoay trong vùng không gian, nhưng lại có độ nhạy MSE càng cao, (ảnh trích từ tài liệu tham khảo [8])

Những lý do trên đây giải thích tại sao MSE (và PSNR) được sử dụng rộng rãi trong xử lý ảnh, thông tin liên lạc và nhiều lĩnh vực xử lý tín hiệu khác

Tuy nhiên, MSE có tính tương quan kém với chất lượng ảnh được cảm nhận

Một ví dụ minh họa được trình bày ở hình 1.1, với bức ảnh gốc Einstein (a) được

thay đổi bằng các loại nhiễu khác nhau: dịch mức sáng trung bình (b), thay đổi độ tương phản (c), chèn nhiễu xung (d), chèn nhiễu Gaussian (e), làm nhòe (f), nén JPEG (g), dịch không gian (h), thay đổi tỉ lệ (i), quay (j) Để ý rằng, có vài ảnh có giá trị MSE gần bằng nhau [ảnh (b) - (g)] trong hình 1.1, tuy nhiên các ảnh này có mức chất lượng rất khác nhau so với ảnh gốc Tương tự các ảnh có sự thay đổi nhỏ về cấu trúc không gian [ảnh (h) - (j)] thì giá trị MSE rất lớn, mặt dù sự thay đổi về chất lượng ảnh là không đáng kể

Như vậy, một câu hỏi được đặt ra là " MSE phản ánh cái gì ?" Câu trả lời là MSE không phản ánh ảnh như cách mà cơ quan thị giác của người cảm nhận Nói chung, trong vỏ não của động vật có vú, một bức ảnh được thể hiện theo cách rất khác so với cách biễu diễn theo miền pixel của MSE Hơn nữa, nhiều đặc điểm tâm lý, cấu trúc của cơ quan thị giác không được tính đến trong MSE Chúng ta sẽ trình bày chi tiết về các đặc trưng của cơ quan thị giác con người và bằng cách nào

cơ quan thị giác thiết kế một thuật toán đánh giá chất lượng ảnh Tuy nhiên, chúng

ta hãy nhìn vấn đề dưới một góc độ khác dựa trên đặc điểm toán học của phân

phối chuẩn l p

Khi chọn l p để dự đoán chất lượng ảnh, nhiều giả thiết được đặt ra:

1 Chất lượng ảnh cảm nhận độc lập với các mối quan hệ về không gian giữa các pixel Kết quả là, việc thay đổi thứ tự các pixel trong không gian không làm ảnh hưởng đến phép đo độ méo

2 Chất lượng ảnh cảm nhận được không phụ thuộc vào mối quan hệ giữa tín hiệu ảnh và tín hiệu sai số Kết quả là, đối với một tín hiệu sai số như nhau, với

bất kỳ tín hiệu ảnh nào thì phép đo độ méo vẫn như nhau

3 Chất lượng ảnh cảm nhận chỉ được xác định bằng cường độ của tín hiệu sai số Kết quả là, việc thay đổi dấu của pixel sai số không ảnh hưởng đến phép đo độ méo

4 Tất cả các pixel là quan trọng như nhau trong chất lượng cảm nhận của ảnh

Thảo luận ở trên về MSE và l p là áp dụng trong miền không gian Khi xem xét trong các miền khác như miền wavelet đa tỉ lệ (multiscale) và đa hướng (multiorientation), nhiều vấn đề đã bàn trên đây có thể không còn đúng Một phương pháp để cải thiện là chuẩn hóa các giá trị pixel trước khi áp dụng công

thức tính l p Chương sau sẽ trình bày chi tiết phương pháp này

1.3 PHÂN LOẠI CÁC PHƯƠNG PHÁP KHẢO SÁT CHẤT LƯỢNG ẢNH KHÁCH QUAN

Bất cứ một phương pháp đánh giá chất lượng ảnh nào (nếu so sánh được với khả năng quan sát của một người bình thường) đều phải khắc phục các nhược điểm

của MSE và l p Thật ra, nhiều phương pháp đánh giá chất lượng ảnh đã được đề

xuất trong vài thập kỷ qua Mặc dù rất khó để phân loại tất cả các phương pháp này một cách chính xác nhưng chúng tôi tin rằng một sự phân loại sơ bộ có thể giúp chúng ta phân loại các đặc điểm chính và thiết kế các ứng dụng thực tế cũng như các hướng nghiên cứu trong tương lai Nhìn chung, có ba kiến thức thường được dùng đến khi thiết kế một phương pháp đánh giá chất lượng ảnh: Hiểu biết về ảnh gốc, hiểu biết về qui trình xử lý nhiễu, và kiến thức về hệ thị giác của con người Theo đó, sự phân loại của chúng ta sẽ dựa trên ba tiêu chuẩn khác nhau

1.3.1 Phương pháp khảo sát chất lượng ảnh tham chiếu toàn phần, không tham chiếu và tham chiếu suy giảm

Tiêu chuẩn đầu tiên để phân loại các phương pháp đánh giá chất lượng ảnh là việc sử dụng ảnh gốc (là ảnh không nhiễu hay còn gọi là ảnh có chất lượng hoàn

hảo), được sử dụng như ảnh tham chiếu để đánh giá một ảnh nhiễu Hầu hết các phương pháp đánh giá chất lượng ảnh hiện nay đều sử dụng các ảnh không nhiễu sẵn có, thuật ngữ chính xác hơn gọi là phương pháp đánh giá độ tương đồng ảnh hoặc phương pháp đánh giá chất lượng ảnh tham chiếu toàn phần

Trong nhiều ứng dụng thực tế, hệ thống đánh giá chất lượng ảnh không dùng các ảnh tham chiếu Các phương pháp như thế còn gọi là đánh giá chất lượng ảnh tham chiếu mù Đánh giá chất lượng ảnh mù hoặc không tham chiếu là một công việc khó khăn hơn nhiều, mặc dù sự quan sát của con người thường đánh giá một cách hiệu quả và đáng tin cậy về chất lượng của các ảnh bị nhiễu mà không sử dụng một tham chiếu nào cả Lý do ở chỗ bộ não con người điều khiển được nhiều thông tin về những gì nên, không nên nhìn như thế

Phương pháp khảo sát chất lượng ảnh thứ 3 là đánh giá chất lượng khi ảnh tham chiếu không đầy đủ Chẳng hạn, các đặc trưng nào đó được trích xuất từ ảnh tham chiếu và được sử dụng bởi hệ thống đánh giá chất lượng như là nguồn thông tin phụ để đánh giá chất lượng ảnh nhiễu Đây là kiểu tham chiếu "suy giảm"

Trích xuất đặc trưng RR Và phân tích chất lượng

Trích xuất

đặc trưng

Aûnh bị méo

Kênh phụ thuộc

Thông tin phụ

Hình 1.6: Sơ đồ khối của hệ thống đánh giá chất lượng ảnh

lượng

gốc

theo tham chiếu suy giảm

Phương pháp đánh giá chất lượng ảnh tham chiếu suy giảm được đề xuất lần đầu để theo dõi mức độ suy giảm chất lượng hình ảnh của việc truyền dữ liệu hình ảnh liên mạng; phạm vi ứng dụng của nó sau này được mở rộng (xem chương 5) Mô hình thiết kế hệ thống đánh giá chất lượng ảnh tham chiếu suy giảm được cho ở hình 1.6 Nó gồm có một quá trình trích xuất đặc trưng tại phía nguồn và một quá trình trích xuất/ so sánh đặc trưng ở phía nhận Các đặc trưng mô tả ảnh tham chiếu được gởi đi tới phía thu như nguồn thông tin phụ (kênh ancillary) Phương pháp trích xuất đặc trưng tại phía thu có thể được điều chỉnh theo những đặc trưng

ở phía phát (minh họa bằng mũi tên không liền nét) Một thông số quan trọng trong hệ thống "suy giảm" là băng thông sử dụng của phía phát Hệ thống RR phải chọn lựa các đặc trưng hiệu quả nhất để tối ưu việc đánh giá chất lượng ảnh ở một mức băng thông giới hạn

1.3.2 Phương pháp khảo sát chất lượng ảnh theo ứng dụng và mục đích chung

Các phương pháp đánh giá chất lượng ảnh có thể được phân loại dựa trên phạm vi ứng dụng của nó Phương pháp đánh giá dựa trên mục đích chung không giả thiết một loại nhiễu xác định Các phương pháp này phải đảm bảo độ linh động để sử dụng trong nhiều ứng dụng khác nhau Chúng được thiết kế bằng cách sử dụng các đặc trưng "phổ biến" của hệ thị giác

Ngoài ra, có nhiều phương pháp đánh giá chất lượng ảnh được thiết kế cho một ứng dụng nào đó Ví dụ, việc truyền, nén ảnh và video là một trong các lĩnh vực ứng dụng lớn nhất của các kỹ thuật đánh giá chất lượng ảnh Nhiều thông số chất lượng được thiết kế cho việc nén ảnh dùng wavelet và nén ảnh dùng DCT

Công việc hiện nay của nhóm chuyên gia chất lượng video chủ yếu tập trung vào các chuỗi video bị nhiễu do các phương pháp mã hóa video tiêu chuẩn

và do lỗi trên đường truyền Các ứng dụng khác bao gồm halftoning,watermaking,

khử nhiễu, khôi phục và cải thiện, và nhiều ứng dụng xử lý ảnh dùng trong y tế

Thực tế hiện nay, một phương pháp đánh giá chất lượng ảnh theo ứng dụng có thể được thiết kế đơn giản hơn so với việc thiết kế phương pháp đánh giá chung

vì các loại nhiễu đã được biết Ví dụ, trong nén DCT (JPEG, MJPEG), "hiệu ứng khối" là nguồn nhiễu phổ biến nhất và phương pháp đánh giá dựa trên hiệu ứng khối có thể cung cấp thông số tốt để đánh giá chất lượng ảnh Tương tự, ta cũng có thể dễ dàng tạo ra các ảnh nhiễu để huấn luyện các mô hình này để việc dự đoán chất lượng ảnh chính xác hơn Nói cách khác, chúng ta phải biết được những hạn chế của phương pháp để đánh giá chất lượng ảnh theo từng ứng dụng riêng Ví dụ, phương pháp hiệu ứng khối không thể phản ảnh đầy đủ mức suy giảm chất lượng của một ảnh nén (dùng wavelet)

1.3.3 Các phương pháp đánh giá chất lượng ảnh theo kiểu từ dưới lên trên và từ trên xuống dưới

Mục đích của hệ thống đánh giá chất lượng ảnh là để mô phỏng theo cách đánh giá chất lượng ảnh của hệ thị giác con người với đầu vào là ảnh bị làm nhiễu và đầu ra là điểm chất lượng

Phương pháp phổ biến nhất là học theo chức năng của từng bộ phận trong

cơ quan thị giác của con người, mô phỏng tất cả các thành phần liên quan và các đặc điểm tâm lý (như các khối xây dựng cơ bản), sau đó kết hợp chúng lại Mục tiêu cuối cùng của phương pháp "từ dưới lên trên" là xây dựng một hệ thống tính toán có cùng tính năng như cơ quan thị giác của con người (ít nhất là giống nhau ở mục đích đánh giá chất lượng ảnh)

Một phương pháp khác là cách tiếp cận "từ trên xuống dưới" xây dựng các giả thiết về toàn bộ các chức năng của cơ quan thị giác Việc áp dụng các giả thiết này có thể không giống như cách mà cơ quan thị giác hoạt động Chẳng hạn, cơ quan thị giác được xem như một hộp đen và chỉ thấy được mối quan hệ ngõ vào - ngõ ra Ưu điểm nổi bậc của cách tiếp cận "từ trên xuống dưới" là sự đơn giản về mặt tính toán

CHƯƠNG II

KHẢO SÁT CHẤT LƯỢNG ẢNH THEO THAM CHIẾU

TOÀN PHẦN TỪ DƯỚI LÊN TRÊN (PHƯƠNG PHÁP BOTTOM-UP)

2.1 Ý TƯỞNG CHUNG

Các công trình nghiên cứu của các nhà khoa học trong thế kỷ qua đã đem lại cho chúng ta nhiều kiến thức về hệ thị giác (HVS) Tuy nhiên, vẫn còn nhiều vấn đế cần phải tiếp tục nghiên cứu về các chức năng cấp cao hơn của vỏ não Trong lúc đó, mô hình của hệ thống xử lý thông tin hình ảnh hiện tại là rất phức tạp cần được nghiên cứu hoàn thiện để có thể áp dụng chúng trong việc dự đoán bằng máy tính

Phương pháp đánh giá chất lượng ảnh theo kiểu tiếp cận từ dưới lên trên là các phương pháp mô phỏng các chức năng của hệ thị giác (mô hình hóa), và tích hợp chúng trong việc thiết kế thuật toán đánh giá chất lượng với hy vọng sẽ thực hiện tương tự như hành vi cảm nhận hình ảnh của hệ thị giác

Trong chương này chúng ta sẽ giới thiệu sơ lược về các khía cạnh các đặc điểm giải phẫu học và đặc điểm tâm sinh lý của cơ quan thị giác Luận văn tập trung vào các đặc trưng của cơ quan thị giác có đóng góp vào việc đánh giá chất lượng ảnh cảm nhận Đối với mô tả đầy đủ chi tiết hơn về cơ quan thị giác, người đọc có thể tìm hiểu ở các sách chuyên môn

Hầu hết các hệ thống đều cố gắng kết hợp kiến thức về cơ quan thị giác vào việc thiết kế các phương pháp đánh giá chất lượng ảnh sử dụng khái niệm ảnh sai số Với cách tiếp cận như vậy, sai số giữa ảnh bị nhiễu và ảnh tham chiếu được lượng tử hóa theo các đặc trưng của cơ quan thị giác

2.2 HỆ THỊ GIÁC CỦA CON NGƯỜI (HVS)

Hệ thị giác được xem như là hệ thống xử lý thông tin Như vậy, trước tiên ta sẽ mô tả hệ thị giác, được xem như "phần cứng" của hệ thống Nhiều mô hình tính toán đơn giản đã được sử dụng rộng rãi để mô tả các bước xử lý thông tin của từng bộ phận trong HVS Chúng tôi sẽ mô tả các đặc trưng tâm sinh lý liên quan của HVS đã được hiểu đầy đủ và được áp dụng nhiều trong các phương pháp đánh giá chất lượng ảnh trước đây

2.2.1 Giải phẫu cơ quan thị giác

Võng mạc

Xử lý quang học Xử lý võng mạc

Xử lý LGN

Giai đoạn đầu tiên, hình ảnh ở dạng ánh sáng đi qua mắt được chiếu lên võng mạc, (màng phía sau mắt) Ngõ ra sau giai đoạn đầu được gọi là ảnh võng mạc Hình 2.2 minh họa cấu trúc cơ bản của mắt Con ngươi được cấu tạo từ 3 thành phần chính: Giác mạc, đồng tử, và các thấu kính Toàn bộ hệ thống xử lý quang là tuyến tính, bất biến và thông thấp để cho chất lượng của ảnh võng mạc thu được có thể được mô tả một cách xấp xỉ như là tích chập giữa ảnh ngõ vào và

một hàm làm nhòe (PSF) PSF có thể được tính bằng mô hình lý thuyết hoặc

đo trực tiếp

Võng mạc được tạo thành từ những lớp nơron như minh họa ở hình 2.3 Lớp đầu tiên gồm các tế bào cảm nhận ánh sáng làm nhiệm vụ lấy mẫu ảnh võng mạc Có hai loại tế bào cảm nhận ánh sáng: Tế bào dạng hình nón và tế bào dạng hình que Các tế bào hình nón đảm nhiệm việc cảm nhận trong điều kiện ánh sáng bình thường hoặc cao, các tế bào hình que dùng để cảm nhận ánh sáng trong điều kiện chiếu sáng yếu Có ba loại tế bào hình nón, được phân loại dựa trên phổ bước sóng ánh áng nhạy cảm: Tế bào nón dạng L, tế bào nón dạng M, tế bào nón dạng S Các tế bào hình nón này tương ứng với các bước sóng dài (570 nm), trung bình (540 nm), ngắn (440 nm) Hàm phân phối bước sóng (hoặc thông tin màu) của ánh sáng đến được mã hóa bởi sự hoạt động của các tế bào L, M và S Tất cả các tế bào hình que có cùng mức phổ với tế bào hình nón (các giá trị bước sóng đỉnh khoảng 500 nm) và không mã hóa thông tin màu Tín hiệu được lấy mẫu rời rạc từ các tế bào cảm quang sẽ đi qua vài lớp nơron liên kết trước khi được phát tới các tế bào trung tâm mà các sợi thần kinh của nó tạo thành hệ thần kinh thị giác: Đơn

vị ngõ ra của võng mạc

Hàm phân phối không gian của các tế bào hình nón và tế bào hạch là không đồng nhất như minh họa ở hình 2.4 Điểm võng mạc nằm trên trục nhìn thấy của

Giác mạc

Đồng tử

Võng mạc g)

Thủy tinh thể

Hố (điểm vàn

Mắt (quang)

Trục quan sát

Hình 2.2: Cấu tạo thủy tinh thể của mắt, (lấy từ sách chuyên môn)

mắt được gọi là hố; Đó là nơi tập trung nhiều nhất các tế bào hình nón và tế bào hạch Mật độ này bị giảm đi nhanh chóng theo khoảng cách từ các hốc và sự phân phối của các tế bào hạch bị giảm nhanh hơn các tế bào hình nón Hệ quả của việc phân phối không đồng nhất như thế là khi một người nào đó nhìn chằm chằm vào một điểm ảnh trong thế giới thực, một ảnh có độ phân giải khác nhau được phát ra qua các kênh hình ảnh tới các bộ xử lý cấp cao ở võng mạc Nói một cách đơn giản, khi đọc câu này, những câu xung quanh sẽ bị làm nhòe và độ phân giải bị giảm Vùng xung quanh điểm đông kết được chiếu lên các hốc ở đó ảnh võng mạc được lấy mẫu với mật độ cao nhất và độ phân giải cao nhất Độ phân giải của ảnh sẽ bị giảm nhanh chóng theo khoảng cách tính từ điểm cố định (đông kết)

Thông tin được mã hóa ở võng mạc được truyền đi nhờ dây thần kinh quang

đến LGN, trước khi được chuyển đến võ não Toàn bộ các nơron LGN ngõ ra đến võ não nhiều hơn một tí so với số lượng tế bào hạch liên kết với LGN LGN cũng là nơi mà thông tin từ mắt trái và mắt phải bị trộn lẫn

1111111

1-Cảm nhận hình nón

2-Cảm nhận hình que

3-Tế bào lưỡng cực phẳng

4-Tế bào lưỡng cực nhỏ

(midget)

5- Tế bào lưỡng cực que

6- Tế bào bùi nhùi (amacrine)

7- Tế bào ngang (horizontal)

8- Tế bào hạch muỗi (midget)

9- Tế bào hạch khuyếch tán

(diffuse)

Hình 2.3: Hệ thống mạng neuron trong tinh thể

Vỏ não được chia làm vài lớp Trong số đó, võ não sơ cấp (lớp V1) được kết nối trực tiếp tới LGN và chứa xấp xỉ 1.5x108 nơron, nhiều hơn đáng kể so với 106

nơron ở LGN Có nhiều nơ ron ở vỏ não sơ cấp liên kết với các tác nhân hình ảnh với vị trí không gian, tần số và hướng nào đó Khả năng cảm nhận của các nơron này được mô tả bởi các hàm theo hướng, thông dải và cục bộ trùng với khái niệm

"wavelet" trong lĩnh vực xử lý ảnh Có hai loại tế bào trong võ não sơ cấp: Các tế bào đơn và tế bào phức Việc phân loại được dựa trên tổng các trường cảm nhận của nơron là tuyến tính hay không tuyến tính Các tế bào đơn giản thỏa mãn điều kiện này và nhạy cảm với pha và vị trí; Các tế bào phức tạp không thỏa mãn điều kiện này và tương đối không nhạy cảm với pha và vị trí

Tế bào hạch

Điểm mù

h tâm (độ)

äch tâm của hạch thần kinh

ûm nhận ánh sáng

Tế bào hình que

que

Độ lệc Mật độ (tế bào trên độ)

Hình 2.4: Chức năng độ le

và tế bào caCó một vài lớp khác trong vỏ não gồm: V2, V3, V4, V5/MT, V6 Sự liên kết của chúng được minh họa như hình 2.5, trong đó các liên kết mạnh hơn được minh họa bằng các đường liền nét và các liên kết yếu hơn được minh họa bằng các đường không liền nét Lớp V2 nhận một kết nối điểm nối điểm từ V1 và có chức

năng giống như một quá trình xử lý hình ảnh Vai trò của các lớp phụ trong quá trình xử lý thông tin vỏ não là: V3 dùng để định hướng, V4 xác định màu sắc, V5/MT xử lý chuyển động, V6 cảm nhận chiều sâu Tuy nhiên, việc gán chức năng như thế không hoàn toàn chính xác, và cơ cấu xử lý tín hiệu của vỏ não trong lĩnh vực này vẫn chưa được hiểu một cách chính xác

V4

V3

V5/MT

Hình 2.5: Liên kết giữa các lớp trong vỏ não nhìn

Người viết luận văn nhấn mạnh lại rằng, những mô tả trên đây chỉ là các mô tả sơ bộ và có chọn lựa các thành phần của hệ thị giác Thật sự, vai trò chính xác và cơ cấu xử lý thông tin của các thành phần khác nhau của hệ thị giác đặc biệt là trên trục nhìn thấy vẫn chưa được hiểu một cách đầy đủ và vẫn đang tiếp tục được nghiên cứu Tuy nhiên, những mô tả trên đây cũng chứa đựng hầu hết thông tin mà đã được áp dụng trong các thuật toán đánh giá chất lượng ảnh Tất nhiên, người viết luận văn cũng ý thức rằng, sự phức tạp của các thuật toán sẽ tăng lên nhiều khi trục nhìn thấy được phân tích sâu hơn

2.2.2 Đặc điểm tâm sinh lý của hệ thị giác

2.2.2.1 Hàm độ nhạy tương phản

Hàm độ nhạy tương phản (CSF) mô hình hóa độ nhạy của HVS như là một hàm của tần số không gian trong các tác nhân nhìn thấy Một CSF điển hình được minh họa như hình 2.6 Nhìn chung, CSF có bản chất của bộ lọc thông dải Nó đạt cực đại tại tần số xung quanh 4 chu kỳ/góc nhìn và bị suy giảm đáng kể khi tần số tăng hoặc giảm Hệ quả này được chứng minh ở phần trên của hình 2.6, còn được biết với tên: Biểu đồ Campbell-Ronson CSF Trong biểu đồ, cường độ các pixel

được điểu chế bằng hàm sin dọc theo phương ngang trong khi đó, tần số điều chế

tăng theo hàm logarit Độ tương phản của ảnh tăng theo hàm logarit từ trên xuống dưới

Bây giờ, giả sử rằng sự cảm nhận về độ tương phản chỉ được xác định bằng độ tương phản của ảnh Khi đó, các sọc tối và sọc sáng nên có cùng độ cao dọc theo bề ngang của ảnh Tuy nhiên, các sọc được quan sát tại giữa ảnh cao hơn nhiều so với vị trí khác Tất nhiên, đỉnh sọc dịch về phía khoảng cách quan sát - Hệ quả quan sát là một thuộc tính của HVS không phải là ảnh kiểm tra

2.2.2.2 Sự đáp ứng của ánh sáng

Sự cảm nhận độ sáng tuân theo định luật Weber như sau:

I

K I

Với I là độ sáng nền, ΔI là mức tăng ánh sáng cảm nhận được bởi HVS, và

K được gọi là hằng số Weber Định luật Weber được duy trì trên một dải rộng của

độ sáng nền tại điều kiện chiếu sáng rất thấp hoặc rất cao Hiện tượng này được gọi là đáp ứng ánh sáng hoặc mặt nạ sáng theo thuật ngữ đánh giá chất lượng ảnh Nó cũng được gọi là hệ quả mặt nạ vì độ sáng của tín hiệu nền tác động tới khả năng nhìn thấy các tín hiệu khác nhau Đáp ứng ánh sáng cho phép HVS mã hóa độ tương phản của các tác nhân nhìn thấy thay vì chỉ mã hóa cường độ sáng tuyệt đối

2.2.2.3 Mặt nạ tương phản

Mặt nạ là một khái niệm chung đề cập đến việc làm giảm khả năng nhìn thấy của một thành phần ảnh do sự có mặt của một loại mặt nạ nào đó Cường độ của mặt nạ thường được đo bằng sự chênh lệch khả năng nhìn thấy một vật lúc bình thường và khi có mặt nạ Nhìn chung, tác dụng mạnh nhất của mặt nạ khi thành phần ảnh và mặt nạ có cùng vị trí không gian, tần số và hướng

Hình 2.6: Độ nhạy tương phản (a) Biểu đồ CSF của Campbell-

Robson; (b) Chuẩn hóa độ nhạy quan sát như là một hàm của không gian tần số

Ngoài ra, tác dụng của mặt nạ còn tăng lên khi cường độ mặt nạ tăng ngay cả khi thành phần ảnh và mặt nạ có tần số khác nhau Thỉnh thoảng, thuật ngữ mặt nạ đường bao được dùng khi mặt nạ là "broadband", là mặt nạ có băng tần số rộng và hướng

Một ví dụ về mặt nạ được minh họa ở hình 2.7, tín hiệu là một ảnh nhiễu Gaussian đồng nhất, và mặt nạ là một ảnh tự nhiên Chú ý rằng trong ví dụ này, vai trò thường gặp của tín hiệu và nhiễu bị đảo ngược! Ở hình 2.7(b), khả năng nhìn thấy của ảnh tín hiệu bị thay đổi đáng kể khi nội dung mặt nạ thay đổi Trong hình 2.7, ảnh tín hiệu có mức chất lượng thấp ở đường bao Đây gọi là mặt nạ biến đổi theo không gian nghĩa là cường độ mặt nạ thay đổi dọc theo ảnh

Hình 2.7: Độ tương phản/ví dụ về mặt nạ đường bao (a) Ảnh tín hiệu

(nhiễu Gaussian đồng nhất) với nền trắng; (b) ảnh /tín hiệu khi có mặt nạ biến đổi theo không gian Khả năng nhìn thấy ảnh /tín hiệu thay đổi đáng kể tại những vị trí khác nhau trong không gian Điều này có thể được giải thích bằng việc sử dụng mặt nạ có độ tương phản thay đổi theo không gian

Tất nhiên, trong ví dụ ở hình 2.7 cũng có thể được hiểu theo cách nhìn thấy thông thường Nếu ảnh của người phụ nữ là ảnh /tín hiệu và ảnh nhiễu là ảnh ở hình 2.7 (a) là mặt nạ thì cường độ của mặt nạ phụ thuộc vào mức độ thay đổi của ảnh tín hiệu

2.2.2.4 Tầm nhìn của mắt

Bởi vì sự phân bố không đồng nhất của các tế bào hạch và tế bào cảm nhận hình nón ở võng mạc, khi một người nhìn tập trung vào một điểm, khu vực xung

quanh và điểm nhìn đó được lấy mẫu với độ phân giải không gian lớn nhất, độ phân giải này sẽ bị giảm đi nhanh chóng theo khoảng cách tính từ điểm nhìn Mô phỏng quá trình này được trình bày ở hình 2.8 Nếu sự suy hao tập trung tại người nhìn ở vùng thấp của ảnh thì ảnh gốc và ảnh bị suy hao gần như không thể phân biệt được với ảnh được nhìn từ khoảng cách thích hợp Theo cách nói của khoa học quan sát, vùng có độ phân giải cao gần trung tâm điểm nhìn của người quan sát gọi là vùng nhìn thấy (foveal vision), còn vùng có độ phân giải giảm dần khi đi xa điểm nhìn gọi là vùng ngoại vi (peripheral vision)

2.3 LÝ THUYẾT PHƯƠNG PHÁP QUAN SÁT SAI SỐ

Nhiều thuật toán đánh giá chất lượng ảnh sử dụng cùng một mô hình quan sát sai số Lý do cơ bản là để định lượng cường độ của sự sai lệch giữa ảnh tham chiếu (ảnh gốc) và ảnh bị nhiễu bằng cách kết hợp với các đặc trưng của HVS Hình 2.9 minh họa một phương pháp đánh giá chất lượng ảnh dựa trên phương pháp quan sát sai số động Nhiều phương pháp đánh giá chất lượng ảnh dựa trên HVS theo cách tiếp cận Bottom-Up có thể được giải thích dựa theo lý thuyết này mặc dù cũng có một số sự khác biệt

Hình 2.8: Vùng nhìn thấy (a) ảnh gốc; (b) vùng nhìn thấy, mà tại đó giả

định điểm cố định tại người đàn ông ở phần thấp hơn của bức ảnh

2.3.1 Tiền xử lý

Các phép biến đổi phổ biến nhất ở bước tiền xử lý là các phép biến đổi không gian, biến đổi màu, phép biến đổi điểm ảnh phi tuyến, lọc PSF, lọc CSF Mỗi thuật toán biến đổi có thể bao gồm một số hoặc tất cả các bước này với thứ tự bất kỳ Chúng ta sẽ mô tả mỗi bước tiền xử lý này sau đây

Tách

kênh

Chuẩn hóa lỗi

Kết hợp sai số

Đo chất lượng/méo

Hình 2.9: Sơ lược hệ thống đánh giá chất lượng ảnh dựa trên lỗi quan sát

Thứ nhất, ảnh tham chiếu và ảnh làm méo phải được đặt thẳng hàng Bước chuẩn bị này rất quan trọng vì gần như tất cả các phương pháp đánh giá chất lượng ảnh dựa trên đánh giá sai số đều giả định bước bố trí không gian hoàn hảo Không may, chỉ với một sai lệch nhỏ giữa các pixel ảnh cũng có thể gây ra các lỗi sai lệch rất lớn giữa các ảnh được so sánh Các ví dụ đơn giản được thể hiện ở hình 1.1 (h)-(j) Sự sai lệch về mặt không gian có thể toàn cục hoặc cục bộ, có thể là sự chuyển dịch của miền không gian, xoay, tỉ lệ (scaling), méo Các tác nhân này thường được mô hình hóa bằng các phép biến đổi cục bộ hoặc toàn cục Mục tiêu là thiết lập các kết nối điểm nối điểm giữa ảnh tham chiếu và ảnh bị méo

Thứ hai, nếu ảnh là ảnh màu, đôi khi nó sẽ được biến đổi thành không gian màu phù hợp với HVS hơn Một sự tách biệt giữa độ chói và màu là cần thiết vì thông tin màu thường được xử lý và đánh giá ở độ phân giải thấp hơn thông tin chói, điều này đã xảy ra trong các hệ thống thông tin và nén ảnh thực tế

Thứ ba, sự phi tuyến ngược có thể được áp dụng để chuyển đổi các giá trị pixel lưu trong bộ nhớ máy tính thành các giá trị độ chói trên thiết bị hiển thị Xem

hiệu ứng đáp ứng ánh sáng được mô tả trong mục 2.2.2, giá trị độ chói có thể được biến đổi thành một mức độ tương phản Thông tin nhìn thấy của HVS có thể được mô tả bằng các bộ phi tuyến ngược nén thông tin độ chói Các hoạt động này có thể được kết hợp trong các bộ biến đổi phi tuyến ngược

Thứ tư, các bộ lọc thông thấp mô phỏng PSF các tế bào quang của mắt có thể được áp dụng như mô tả ở phần 2.2.1

Cuối cùng, các hiệu ứng CSF (ở mục 2.2.2) có thể được mô phỏng bằng cách cộng các xử lý lọc tuyến tính khác Mặc dù, CSF về bản chất là các bộ lọc thông dải, tuy nhiên nhiều thuật toán đánh giá chất lượng ảnh lại dùng các bộ lọc thông thấp Điều này làm cho chúng đáp ứng tốt hơn với những thay đổi về khoảng cách nhìn Trong một vài ứng dụng, các bộ biến đổi phi tuyến ngược có tính đến sự thay đổi của ánh sáng được thực hiện giữa việc lọc CSF và PSF Trái lại, vì cả hai bộ lọc CSF và PSF được mô hình tuyến tính nên chúng được áp dụng rộng rãi trong các ứng dụng dùng bộ lọc đơn Cũng nên lưu ý rằng, nhiều thuật toán Bottom-up không áp dụng hiệu ứng CSF trong bước tiền xử lý Thay vì vậy, vì bước phân tích kênh phân biệt ảnh đầu vào thành các kênh với các tần số đặc tính khác nhau, hiệu ứng CSF thường được thực hiện như những trọng số biến đổi trên các kênh trong bước chuẩn hóa lỗi, thực hiện sau bước phân tích kênh

2.3.2 Phân tích kênh

Như được mô tả ở mục 2.2.1, nhiều nơron ở vỏ não sơ cấp liên kết với các tác nhân hình ảnh với vị trí không gian, tần số và hướng nào đó Dựa trên quan sát này, các nhà nghiên cứu chuyên ngành khoa học quan sát và cộng đồng xử lý tín hiệu đã sử dụng các bộ lọc có hướng, thông dải và cục bộ để phân tích một ảnh ngõ vào thành nhiều kênh Nhiều phương pháp phân tích tín hiệu đã được dùng để đánh giá chất lượng ảnh Ví dụ bao gồm phép biến đổi Fourier, phân tích Gabor, biến đổi DCT cục bộ, biến đổi wavelet [26] Những phép biến đổi này chia

Hình 2.10: Mô hình phân tích kênh trong miền tần số hai chiều

tín hiệu hình ảnh thành các miền tần số khác nhau, như minh họa ở hình 2.10 Nhìn chung các bộ lọc wavelet theo hướng đáp ứng tốt hơn với vùng cảm nhận của các tế bào thần kinh ở vỏ não sơ cấp Tuy nhiên, vẫn không có câu trả lời rõ ràng về tính chính xác của các bộ biến đổi Các bộ biến đổi này có sự khác biệt đáng kể

ở đặc điểm toán học của nó (ví dụ tính khả đảo, dịch bất biến, xoay bất biến ), sự phức tạp khi áp dụng, cho khả năng phù hợp với các ứng dụng riêng biệt

2.3.3 Chuẩn hóa lỗi

Ngõ ra của bước phân tích kênh là 2 tập hợp các hệ số, một được tạo thành từ ảnh tham chiếu và một được tạo thành từ ảnh méo Một tín hiệu sai số có thể được tính toán bởi sự sai lệch giữa hai tập hợp hệ số này Các sai số sau đó được chuẩn hóa theo cách thức có tính cảm nhận được Một mô hình tiêu biểu của bước chuẩn hóa được mô tả ở hình 2.11, kết hợp hai đặc trưng HVS được mô tả ở mục 2.2.2: CSF và mặt nạ tương phản

Ảnh

chuẩn Tiền

xử lý

Tách kênh

Hình 2.11: Chuẩn hóa kênh của ảnh lỗi

chuẩn hóa lỗi

÷

Hệ số chuẩn hóa

Hệ số chuẩn hóa

Mặt nạ tương phản được áp dụng ở dạng cơ cấu điều khiển độ lợi, ở đó hệ số chuẩn hóa cho một hằng số đặc biệt được xác định bằng năng lượng của các hằng số lân cận với nó trong ảnh tham chiếu (hoặc cả ảnh tham chiếu và ảnh méo) Sự lựa chọn lân cận trong một bộ phân tích đa hướng được minh họa ở hình 2.12 Thông thường, lân cận là vùng không gian bên trong băng tần con, chỉ những hệ số kế cận trong cùng một băng tần con mới được xem xét là lân cận Lân cận này được gọi là mặt nạ trong kênh Tuy nhiên, các hằng số từ những băng tần con khác có sự lân cận trong không gian vẫn có thể được xem như là lân cận Lân cận này gọi là lân cận liên kênh

Hệ số chuẩn hóa cuối cùng cho một hệ số được tính bằng phép nhân hệ số gốc được xác định bởi CSF, với hệ số đáp ứng không gian được xác định bởi mặt nạ trong kênh và/hoặc mặt nạ liên kênh Giá trị của hiệu ứng mặt nạ thường làm nâng cao yếu tố chuẩn hóa Cuối cùng, ảnh sai số được chia cho hệ số chuẩn hóa kết hợp, tạo thành ảnh sai số chuẩn hóa

Cây đa hướng nhiều tỉ lệ

Hệ số “masked”

Lân cận của mặt nạ “trong kênh”

Lân cận mặt nạ ‘giữa kênh”

Hình 2.12: Chọn lựa hệ số lân cận cho mặt nạ trong kênh và giữa kênh

trong cây đa hướng nhiều tỉ lệ, (ảnh trích từ tài liệu tham khảo [19])

2.3.4 Kết hợp sai số

Trong bước cuối cùng của hệ thông đánh giá chất lượng ảnh bottom-up, ảnh sai số chuẩn hóa từ các kênh khác nhau được kết hợp để tạo thành một thông số tỉ lệ đơn với mục đích mô tả chất lượng toàn bộ của ảnh méo Bước này gọi là kết hợp sai số Hầu hết các phương pháp đánh giá chất lượng ảnh có dạng kết hợp

Với e(m,n) là sai số đã chuẩn hóa của hệ số thứ n trong kênh thứ m, β là hằng số có giá trị từ 1 đến 4 Quá trình kết hợp sai số này có thể được thực hiện

trên không gian (chỉ số k) và sau đó là trên miền tần số (chỉ số l)

2.4 THUẬT TOÁN ĐÁNH GIÁ CHẤT LƯỢNG ẢNH (MÔ HÌNH DALY)

Mô hình Daly [27], hoặc visible differences predictor (VDP), được dự định

cho việc mở rộng cho hệ thống đánh giá cao chất lượng ảnh, xác suất khác biệt giữa hai ảnh có thể được ước lượng Ngõ ra của mô hình là một biểu đồ thăm dò sự khác nhau giữa ảnh tham chiếu và ảnh méo Mô hình này bao gồm nhiều tần xử

lý, bao gồm phi tuyến hóa point-wise, bộ lọc CSF, Phân tích kênh, tính toán độ tương phản, tính toán mặt nạ, tính toán probability-detection

Mô hình tách một bức ảnh thành năm vùng không gian theo sáu hướng Mỗi kênh chọn một mức ngưỡng (hoặc biểu đồ chuẩn hóa trong mục 2.3) được tính từ độ tương phản trong kênh đó Có hai đặc tính riêng biệt của mô hình Daly

Một là theo mặt nạ tương hổ bao gồm không chỉ ảnh chuẩn mà còn cả ảnh méo trong việc tính toán hệ số của các mặt nạ Thứ hai là chức năng đo tâm lý nhìn được sử dụng để chuyển đổi sức mạnh của chuẩn hoá lỗi thành biểu đồ

probability-of-detection trước khi vào khối kết hợp sai số

CHƯƠNG III

KHẢO SÁT CHẤT LƯỢNG ẢNH THEO THAM CHIẾU

TOÀN PHẦN TỪ TRÊN XUỐNG DƯỚI (PHƯƠNG PHÁP TOP-DOWN)

3.1 ÝÙ TƯỞNG CHUNG

Phương pháp bottom-up đánh giá chất lượng ảnh được mô tả trong chương trước là nổ lực mô phỏng những thành phần chức năng trong hệ thống nhìn của mắt người (HVS); Đây là hệ thống đánh giá chất lượng ảnh phù hợp nhất Mục đích là xây dựng hệ thống làm việc giống như mô hình HVS, (ít nhất là cho việc đánh giá chất lượng ảnh) Ngược lại, hệ thống top-down mô phỏng mô hình HVS như là một hộp đen, chỉ bao gồm các mối quan hệ vào-ra Hệ thống đánh giá chất lượng ảnh top-down hoạt động theo một cách khác, nó dự đoán một cách thành công hành vi đánh giá chất lượng ảnh của một người quan sát thông thường

Một phương pháp thiết thực để xây dựng hệ thống top-down là công thức hóa nó như là một cơ cấu giám sát có học, được minh họa trong hình 3.1 Ở đây HVS được xem như một hộp đen mà các quan hệ vào-ra phải được học Việc huấn luyện dữ liệu được thực hiện bởi các thử nghiệm mang tính chủ quan, ở đó một số lượng lớn các ảnh kiểm tra được xem và đánh giá bởi con người Mục đích là huấn luyện các mô hình hệ thống để các lỗi giữa ngõ ra mong muốn (đánh giá chủ quan) và dự đoán mô hình là nhỏ nhất Đây thường là một vấn đề lặp đi lặp lại hoặc một sự xấp xỉ hàm Có nhiều kỹ thuật có thể giải quyết vấn đề này

Thật không may, các ứng dụng trực tiếp của phương pháp này có vấn đề, bởi vì số chiều trong không gian của tất cả các ảnh thì giống như số pixel trong ảnh Hơn nữa, cách kiểm tra chủ quan tốn nhiều chi phí và một thử nghiệm chủ quan mở rộng có thể bao gồm hàng trăm ảnh kiểm tra- hầu như không bao phủ đủ