Compressed image and video enhancement using feature map

Tuy nhiên, sự suy giảm chất lượng ảnh và video gốc do nén gây ralà điều không thể tránh khỏi.Đề tài này trình bày các dạng suy giảm chất lượng do nén ảnh gây ra bao gồm suy giảm dạng khố

1

MụC LỤC

SƠ LƯỢC 2

ABSTRACT 2

CHƯƠNG 1 GIỚI THIỆU 3

1.1 Tổng quan về các dạng suy giảm chất lượng nén 3

1.2 Tổng quan về các phương pháp nâng cao chất lượng ảnh và video 5

1.3 Định hướng nghiên cứu 6

CHƯƠNG 2 GIỚI THIỆU PHƯƠNG PHÁP NÂNG CAO CHẤT LƯỢNG ẢNH VÀ VIDEO 8

2.1 Đánh giá chất lượng ảnh và video 8

2.1.1 Chỉ số PSNR 8

2.1.2 Chỉ số SSIM 8

2.2 Bộ lọc mờ 9

2.3 Bộ lọc mờ định hướng 10

CHƯƠNG 3 XÂY DỰNG VÀ NÂNG CAO CHẤT LƯỢNG BẢN ĐỒ TEXTURE 12 3.1 Bản đồ texture dựa vào độ lệch chuẩn 12

3.2 Bản đồ texture dựa vào toán tử Sobel 12

3.3 Bản đồ texture dựa vào phương pháp Beltrami 13

3.4 Bản đồ texture dựa vào phương pháp cải tiến Beltrami 15

3.5 Nâng cao chất lượng bản đồ texture 15

3.6 Kết quả mô phỏng 16

3.7 Kết luận 19

CHƯƠNG 4 NÂNG CAO CHẤT LƯỢNG ẢNH DÙNG BẢN ĐỒ TEXTURE NÂNG CAO 20 4.1 Giảm nhiễu khối dùng bản đồ texture 20

4.2 Giảm nhiễu khối và vòng dùng bản đồ texture 20

4.3 Kết Quả Mô Phỏng 22

4.3.1 Các thông số mô phỏng 22

4.3.2 Mô phỏng triệt nhiễu khối 22

4.3.3 Mô phỏng triệt nhiễu khối và vòng 25

CHƯƠNG 5 KẾT LUẬN 31

TÀI LIỆU THAM KHẢO 32

2

SƠ LƯỢC

Hiện nay, nén ảnh và video trở nên rất phổ biến Tuy nhiên, sự suy giảm chất lượng ảnh và video gốc do nén gây ralà điều không thể tránh khỏi.Đề tài này trình bày các dạng suy giảm chất lượng do nén ảnh gây ra bao gồm suy giảm dạng khối, dạng vòng, dạng mosquito và dạng flicker.Các phương pháp nâng cao chất lượng ảnh và video cũng được giới thiệu khái quát.Đề tàiđề xuất phương pháp mới để nâng cáo chất lượng ảnh và video dùng bản đồ đối tượng Đối tượng được xem xét trong đề tài này là texture.Tổng quan về bản đồ texture được đề cập Sau đó, khái niệm mới về đạo hàm cửa sổ được giới thiệu Bản đồ texture được xây dựng bằng cách kết hợp phương pháp Beltrami và đạo hàm cửa sổ Có nhiều điểm ảnh riêng biệt trên bản đồ texture Vì vậy, việc nâng cao chất lượng bản đồ texture bằng cách loại bỏ điểm ảnh riêng biệt này là rất cần thiết.Bản đồ texture được sử dụng để điều khiển bộ lọc fuzzy để giảm suy hao chất lượng Kết quả mô phỏng cho thấy sự vượt trội của phương pháp đề xuất

ABSTRACT

Image and video compression is very popular in recent years However, quality reduction of the original image and video is unavoidable This project presents an overview of artifacts due to compression The compression artifacts include blocking, ringing, mosquito and flicker The methods to enhance image and video quality are also reviewed This project proposes a novel method for image and video enhancement using object maps The first object considered in this research is texture An overview

of texture map is mentioned Then a novel concept of the window derivative is introduced The static texture map is constructed by combining the Beltrami method and the window derivative There are many isolated pixels in the static texture map Thus it is necessary to enhance the static texture map by removing isolated pixels This textute map is then used to control the fuzzy filter to reduce the artifacts Simulation results verifies the effectiveness of the proposed algorithm

3

1.1 Tổng quan về các dạng suy giảm chất lượng nén

Hình ảnh và video số truyền qua Internet, kênh truyền không dây, hoặc phát thanh truyền hình hiện đang phát triển một cách mạnh mẽ Hiện nay, phần lớn các thiết bị di động đã được trang bị các chức năng như chụp hình và quay video với độ phân giải cao, truyền thông video, các dịch vụ web hình ảnh… càng làm cho ảnh và video số phổ biến

Nén ảnh và video là yêu cầu tất yếu để làm giảm không gian lưu trữ của các thiết bị di động và băng thông kênh truyền Biến đổi DCT (Discrete Cosine Transform)dựa vào khối được sử dụng rộng rãi trong các chuẩn nén ảnh và video như JPEG, MPEG, H.26x… Ở bộ mã hóa JPEG, khung ảnh được chia thanh nhiều khối không chồng lấp, mỗi khối được chuyển vào miền tần số bằng cách sử dụng phép biến đổi DCT Trong mỗi khối được biến đổi, các hệ số DCT được chuyển thành các luồng bit thông qua phép lượng tử hóa và mã hóa Entropy Ở bên bộ giải mã, ảnh được phục hồi theo quá trình ngược lại.Nén ảnh dựa vào khối gây ra các dạng suy giảm chất lượng ảnh và video như suy giảm dạng khối, dạng vòng, dạng mosquito và dạng flicker.Sau đây, báo cáo sẽ trình bày chi tiết các dạng suy giảm chất lượng do nén ảnh và video

Suy giảm chất lượng dạng khối: Các khối được nén một cách độc lập, sự tương quan

của các điểm ảnhở các đường biên dọc theo chiều ngang và chiều dọc bị phá vỡ Điều này sẽ gây ra suy giảm chất lượng dạng khối

Hình 1 Suy giảm dạng khối: a) Ảnh News gốc, b) Ảnh News được nén

4

Suy giảm chất lượng dạng vòng: Sự lượng tử hóa các hệ số DCT trong quá trình nén

ảnh sẽ làm suy hao các thành phần tần số cao của ảnh Điều này sẽ gây ra suy giảm chất lượng dạng vòng Các suy giảm chất lượng dạng vòng xuất hiện nhiều nhất dọc theo các cạnh lớn của ảnh

Hình 2 Suy giảm dạng vòng: a) Ảnh Mobile gốc, b) Ảnh Mobile bị nén

Suy giảm chất lượng dạng mosquito: Các khung bị suy giảm chất lượng dạng vòng

khi được hiển thị thành một chuỗi video Điều này sẽ gây ra suy giảm chất lượng dạng mosquito

Hình 3 Suy giảm dạng mosquito: a) Ảnh City gốc, b) Ảnh City bị nén

Suy giảm chất lượng dạng flicker: Chất lượng của các khung nén không đồng nhất ở

cùng một vị trí không gian sẽ gây ra suy giảm dạng flicker khi các khung này được hiển thị dưới dạng một chuỗi video

5

Hình 4 Suy giảm dạng flicker:a) Ảnh Foreman gốc, b) Ảnh Foreman bị nén

1.2 Tổng quan về các phương pháp nâng cao chất lượng ảnh và video

Loại bỏ các suy giảm chất lượng ảnh và video nén là rất cần thiết Công việc này có thể thực hiện ở bộ mã hóa hoặc giải mã Ở bộ mã hóa, mỗi phương pháp yêu cầu sơ đồ riêng của nó [1], [3] Các phương pháp này tương thíchvới các chuẩn đã được phát triển như JPEG, MPEG, H.26x, … Vì vậy, các kỹ thuật hậu xử lý ở bộ giải mã thu hút nhiều sự chú ý hơn do các cách tiếp cận này cho khả năng tương thích với các chuẩn hiện tại Các phương pháp này chủ yếu dựa vào quá trình lọc

Các bộ lọc thông thấp có thể được sử dụng để làm giảm suy giảm chất lượng dạng khối [6] Tuy nhiên, các thành phần tần số cao sẽ bị lọc bỏ, vì vậy ảnh sẽ bị nhòe Các

hệ số biến đổi DCT của các khối bị dịch [13], [15] được sử dụng để làm tăng sự tương quan giữa các hệ số DCT ở cùng tần số trong miền biến đổi Tiếp theo, bộ lọc có trọng

số sẽ được áp dụng Các tác giả trong tài liệu [13] thay đổi kích thước cửa số bộ lọc để thích nghi với các hoạt động khác nhau của ảnh Ở các vùng hoạt động thấp, sử dụng kích thước cửa sổ lớn để làm trơn các suy giảm dạng khối Ngược lại, cửa sổ nhỏ được

áp dụng vào các vùng hoạt động mức cao Tài liệu [15] đề nghị tham số đo lường mù các suy giảm chất lượng dạng khối Tham số này duy trì các chi tiết của ảnh trong suốt quá trình lọc Các tác giả trong tài liệu [33] đề nghị phương pháp loại bỏ suy giảm chất lượng dạng khối bằng cách tăng cường sự tương quan giữa các khối của ba hệ số DCT

có tần số thấp nhất

Các tác giả trong [26], [33] đề xuất các phương pháp để làm giảm suy giảm chất lượng ảnh nén bằng cách ước lượng các hệ số DCT trong miền biến đổi

6

Tài liệu [17], [18] kết hợp bộ lọc mờ và bản đồ cạnh để làm giảm suy giảm dạng vòng Suy giảm chất lượng dạng khối và dạng vòng chỉ xét chiều không gian, suy giảm dạng mosquito và dạng flicker kết hợp cả chiều không gian và thời gian Để loại bỏ các suy giảm chất lượng dạng mosquito và flicker, không chỉ xem xét sự tương quan không gian giữa các điểm ảnh mà còn xem xét sự tương quan về thời gian.Tài liệu [22], [23]

đề xuất bộ lọc mờ định hướng để làm giảm suy giảm dạng vòng đồng thời xem xét sự tương quan về thời gian giữa các khung video để loại bỏ suy giảm dạng mosquito và flicker.Trong tài liệu [31], bộ lọc bilateral được áp dụng để làm giảm suy giảm dạng vòng và dạng mosquito Cường độ bộ lọc được điều khiển bởi mức lượng tử hóa ước lượng được

Loại bỏ suy giảm chất lượng do nén ảnh và video mà vẫn giữ được các thành phần texture của ảnh là vô cùng quan trọng Vì vậy, bản đồ texture đóng vai trò quan trọng

để điều khiển cường độ của bộ lọc.Trong tài liệu [17] và [18], bộ lọc dựa vào bản đồ cạnh được đề nghị để nâng cao chất lượng ảnh.Ở các phương pháp này, các toán tử phương sai và độ lệch chuẩn được sử dụng để xây dựng bản đồ cạnh [2], [29] Tuy nhiên các toán tử này khá nhạy với nhiễu Các tác giả trong [22] sử dụng toán tử Sobel

để phân loại điểm ảnh cạnh và điểm ảnh không cạnh Việc lọc các suy giảm chất lượng

sử dụng cách phân loại này có thể làm mờ ảnh bởi vì thiếu thông tin texture Rõ ràng, xây dựng bản đồ texture một cách chính xác là bài toán đầy thử thách bởi vì rất khó để định nghĩa texture theo mô hình toán học Trong tài liệu [10] và [21], đặc trưng texture dựa vào phương pháp Beltrami được sử dụng xác định textutre trong phân đoạn ảnh

1.3 Định hướng nghiên cứu

Bản đồ texture được xây dựng dựa vào các khung đơn chỉ xem xét chiều không gian được gọi là bản đồ texture tĩnh Bản đồ texture động được xây dựngdựa vào sự tương quan không gian và thời gian của nhiều khung video

Như chúng ta đã biết, mỗi đối tượng nén có suy giảm chất lượng nổi bật như đối tượng text có suy giảm dạng vòng, đối tượng chuyển động nhanh có suy giảm dạng mosquito…

Trong hướng nghiên cứu của đề tài, việc xây dựng bản đồ texture tĩnh chính xác kết hợp với bản đồ suy giảm của các đối tượng nén sẽ được nghiên cứu một cách chuyên

7 sâu Những đặc điểm này được sử dụng để điều khiển cường độ của bộ lọc nhằm loại

bỏ các suy giảm chất lượng ảnh và video nén

8

CHẤT LƯỢNG ẢNH VÀ VIDEO

2.1 Đánh giá chất lượng ảnh và video

Đánh giá chất lượng ảnh là nội dung rất quan trọng trong quá trình xử lý Đánh giá chất lượng ảnh có thể chia thành hai nhóm: đánh giá khách quan và đánh giá chủ quan Mắt người đánh giá chất lượng ảnh là tốt nhất Tuy nhiên, phương pháp này không thuận lợi, tốn thời gian và phụ thuộc rất nhiều vào cảm nhận chủ quan của con người Các đo lường khách quan thì thuận lợi và dễ dàng hơn cho những người nghiên cứu về ảnh và video Vì vậy, đánh giá khách quan đóng vai trò quan trọng trong đánh giá chất lượng ảnh và video Sau đây sẽ giới thiệu các chỉ số đánh giá chất lượng ảnh khách quan như PSNR (Peak Signal–to–Noice Ratio) và SSIM (Structural Similarity)

2.1.1 Chỉ số PSNR

GọiI Ox,y, I Dx,ylà các ảnh gốc và ảnh bị biến dạng, kích thước ảnh làM  N Sai

số bình phương trung bình được định nghĩa như (1)

0

2

,,

1 M x N

y

D

O x y I x y I

MN MSE

Chỉ số PSNR của ảnh mức xám được định nghĩa (2)

b 2

10

1 2 log

Trong đó, b là số bit/điểm ảnh

2.1.2 Chỉ số SSIM

Các tác giả trong tài liệu [16] và [20] đề xuất chỉ số SSIM (Structural Similarity) Chỉ

số SSIM phù hợp với cảm nhận của con người SSIM rất nhạy cảm với sự biến dạng cấu trúc không gian của ảnh mức sáng Sự tương tự về mức sáng, sự tương tự về độ tương phản và sự tương tự về cấu trúc được tính như trong công thức (3), (4) và (5)

,,

2,

C y x y

x

C y x y x y

x l

Y X

Y X

1

,,

,,

2,

C y x y

x

C y x y x y

x c

Y X

Y X

C y x y

x

C y x y

x s

Y X

N y x

1

1,

N y

N y x

n m

n y m x I y x I h

n y m x I n y m x I y x I h y

x

I

,

, '

,,

,

,,

,,

(5)

,,



y x I n y m x I n

y m x I y x I

Cùng một giá trị Ixm,ynIx,y, nếu giá trị  càng lớn thì phân bố của

x m y n

I  ,  so với phân bố của I ,x yđối với ngõ ra càng lớn Ngược lại,giá trị

càng nhỏ, sẽ giữ cho I ,x ycàng cách li so với các điểm ảnh lân cận của nó.Vì vậy, giá trị có thể được sử dụng để điều khiển cường độ của bộ lọc ở các mức hoạt động khác nhau như vùng trơn hoặc vùng chi tiết

2.3 Bộ lọc mờ định hướng

Các tác giả trong tài liệu [22] đề nghị bộ lọc mờ định hướng để loại bỏ suy giảm chất lượng dạng vòng Suy giảm chất lượng dạng vòng xảy ra mạnh nhất ở vùng gần cần lớn của ảnh và sẽ yếu dần ở những vùng cách xa cạnh Dạng tổng quát của tham số trải được định nghĩa như trong (15)

 c m   c 

đó, vàlà các hằng số.Giá trị c phụ thuộc vàom vàc Gócc  0,  và0

được định nghĩa như Hình 5 Rõ ràng, c đạt cực đại khi 0 Nghĩa là cường độ lọc mạnh nhất áp dụng vào hướng vuông góc với cạnh

Hình 5 Góc và0của bộ lọc mờ định hướng

min 0

,1

,

STD STD

STD y

x I STD y

x

Trong đó, STDmin and STDmaxlần lượt là các giá trị nhỏ nhất và giá trị lớn nhất của tất

cả các giá trị STDIx,y   là hệ số tỉ lệ trong khoảng 0,1 , 0là giá trị tham số trải lớn nhất

Để loại bỏ các suy giảm dạng khối thì việc phát hiện các điểm ảnh bị suy giảm chất lượng là rất cần thiết Các tác giả trong trong [24] đề nghị phương pháp phát hiện các điểm ảnhbị suy giảm chất lượng dạng khối

Trong quá trình nén dựa vào khối, các suy giảm dạng khối xảy ra ở đường biên các khối theo chiều ngang và chiều dọc.Vì vậy, sự chênh lệch mức xám ở đường biên khối

là cơ sở để phát hiện các điểm ảnh suy giảm chất lượng dạng khối Các điểm ảnh này cần được lọc nhiễu suy hao

NếumaxL0,L1,L2,L3C0 hoặcmaxR0,R1,R2,R3C0, thì X và0 Y là các điểm ảnh 7

suy giảm dạng khối

0

3

3.1 Bản đồ texture dựa vào độ lệch chuẩn

Ở mỗiđiểm ảnhIx,y, độ lệch chuẩn (STD) ở điểm ảnh này được tính với kích thước cửa sổ 3x3 như sau:

1,

m n

mean

I n y m x I y

1

m n mean I x m y n

Việc phân loại dựa vào các giá trị STD ,x ynhư trongcông thức  19

 19

3.2 Bản đồ texture dựa vào toán tử Sobel

Toán tử Sobel [10], [11], [12] bao gồm các kernel tích chập có kích thước 3x3 Các kernel dọc theo hướng x và hướng y lần lượt được định nghĩa như trong (20) và (21):

-1 0 1 -2 0 2 -1 0 1

13

1 2 1

0 0 0 -1 -2 -1 Biên độ gradient ở mỗiđiểm ảnhđược tính như sau :

2 2

y

x G G

Việc phân loại dựa vào giá trị G như trong công thức (23)

 23

3.3 Bản đồ texture dựa vào phương pháp Beltrami

Các tác giả trong tài liệu [1] biểu diễn ảnh mức xám trong không gian hai chiều sang không gian Cartesian ba chiều như trong công thức  24



xy

g y

.1

y

X y

X x X

y

X x

X x

X

xy g

Loại điểm

Trơn, nếu Texture yếu, nếuTexture mạnh, nếuCạnh nhỏ, nếuCạnh lớn, nếu



G

17.095

35.015

95.035

15.0



G

,

,

,,

1

y x P y y

x P y y x P x

y x P y y x P x y

x P x xy

g

Loại điểm

Trơn, nếu Texture yếu, nếu Texture mạnh, nếu Cạnh nhỏ, nếu

x F

5

10,

10 F x y  

35

x F

Cạnh lớn, nếu

13

10.2,10

0 F x y 

10

15

3.4 Bản đồ texture dựa vào phương pháp cải tiến Beltrami

Trong phần này, khái niệm đạo hàm của sổ được giới thiệu, giá trịFx,ydựa vào đạo hàm của sổ được đề nghị để xây dựng bản đồ texture với độ chính xác cao hơn.Gọi

3.5 Nâng cao chất lượng bản đồ texture

Loại bỏ các điểm ảnh riêng biệt trong bản đồ texture là rất cần thiết Bởi vì texture có cấu trúc hình học, xuất hiện theo từng nhóm, nhiễu thì xuất hiện ngẫu nhiên Nghiên cứu này đề xuất phương pháp nâng cao chất lượng bản đồ texture được trình bày như Hình 7 bằng cách loại bỏ các điểm ảnhtexture riêng biệt

Trong Hình 7., ngõ vào là bản đồ texture với nhiều điểm ảnh riêng biệt Cửa sổ kích thước 3x3 được trượt trên bản đồ texture Trong mỗi cửa sổ, giải thuật so sánh điểm ảnh trung tâm với các điểm ảnh lân cận của nó Nếu loại điểm ảnh trung tâm không phải là loại đa số trong tất cả các điểm ảnh lân cận trong cửa sổ thì loạiđiểm ảnh trung tâm được thay thế bởi loại điểm ảnh lân cận đa số của nó.Quá trình được lặp lại đến khi các điểm ảnh riêng rẽ được loại bỏ hết

,

,

,

,,

1

y x W y y

x W y y x W x

y x W y y x W x y

x W x xy

1

1 2

1

2

,,

1,

1 2 1

2

,1

m W y

x W y

10.5,y  

x F

13

10.2,10

0 F x y 

10

Kích thước cửa sổ trượt: 3x3 điểm ảnhs Tham số trải trong công thức (25): 15

Số vòng lặp: 10 Màu của bản đồ texture được định nghĩa như sau:

Đỏ: Cạnh lớn Xanh lá: Cạnh nhỏ Xanh dương: Texture mạnh Vàng: Texture yếu

trung tâm với điểm ảnh

Thay thế loại điểm ảnh trung tâm bởi điểm ảnh lân cận

Tất cả các điểm ảnh riêng biệt đã được loại bỏ?

Ngõ

vào

Ngõ ra

Điểm ảnh trung tâm là điểm ảnh chiếm đa số

Di chuyển đến điểm ảnh tiếp theo

Di chuyển đến điểm ảnh đầu tiên

Có

Không

17

Hình 8., Hình 9 và Hình 10 lần lượt là các bản đồ texture dựa vào STD, Sobel và Beltrami Những bản đồ này phát hiện các vùng texture khác nhau của ảnh Tuy nhiên,

có nhiều điểm ảnh riêng biệt trong bản đồ texture Bản đồ texture vì vậy không mượt

và nhạy với nhiễu