GIẢI THUẬT LMMSE THỰC HIỆN SIÊU PHÂN GIẢI ẢNH VÀ VIDEO TRÊN KIT ARM AT91SAM9RL

GIẢI THUẬT LMMSE THỰC HIỆN SIÊU PHÂN GIẢI ẢNH VÀ VIDEO TRÊN KIT ARM AT91SAM9RL

Thầy hướng d ẫn: PGS.TS Lê Tiến

Thường

GIẢI THUẬT LMMSE THỰC HIỆN SIÊU PHÂN GIẢI ẢNH VÀ VIDEO TRÊN KIT ARM AT91SAM9RL

TRƯỜNG ĐẠI HỌC BÁCH KHOA TP HCM

KHOA ĐIỆN – ĐIỆN TỬ

BỘ MÔN VIỄN THÔNG

Nội dung

o Tổng quan siêu phân giải

o Mô hình suy giảm ảnh

o Siêu phân giải ảnh theo phương pháp MMSE

Siêu phân giải

Mục tiêu: tăng độ phân giải cho ảnh và video

Siêu phân gi i nh HR t nhi u nh ả ả ừ ề ả

…

Mô hình suy giảm ảnh

 Mỗi ảnh LR quan sát được tạo ra từ ảnh HR thông qua mô hình

 Suy giảm(linear distortion) : gây ra bởi camera, thông qua hàm PSF Mô hình suy giảm tuyến tính :

Mô hình suy gi m nh ả ả

 Lấy mẫu: giới hạn Nyquist -> data tần số cao bị mất

 Nhiễu: nhiễu trắng có mật độ phổ trải đều.

Mô hình suy giảm ảnh

Ước lượng dịch xoay

Fourier:

Dịch xoay các

ảnh LR Đưa lên mắc lưới HR nearest, cubic Nội suy theo

Nội suy ảnh HR- Miền tần số

nh SR Ả

Nội suy ảnh HR- Miền tần số

o Mô hình suy giảm

o Mô hình nhiễu cộng

o Mô hình dịch chuyển

o Mật độ phổ công suất ảnh HR: ước lượng từ LR

Mật độ phổ công suất ảnh HR

o Lí tưởng: được tính trực tiếp từ ảnh HR:

o Năng lượng tập trung ở miền tần số thấp, suy giảm nhanh khi tần số tăng.

nh lena

Mật độ phổ công suất ảnh HR

 Thực tế : ước lượng từ ảnh LR

 Mô hình ước lượng vô hướng đơn giản :

Mô phỏng trên

Matlab Sử dụng trên ngôn ngữ C, phần cứng máy tính Sử dụng ngôn ngữ C trên KIT ARM9

Tổng hợp, so sánh với phương pháp khác

Ước lượng PSD, một ảnh và nhiều ảnh LR

Tổng hợp , so sánh với nội suy

Nearest.

Super-Resolution, Known PSF

dB

D=2, PSNR = 29.13 dB Ảnh LR 137x142

D=4, PSNR=21.1

Super Resolution Result

B n nh LR, D=4 ố ả PSNR = 26.4

Thực hiện phần cứng

 Thời gian & chất lượng thực hiện C trên máy tính = Maltab

 Thời gian thực hiện trên KIT lâu:

Time used (minute)

Siêu phân giải Video

Các vấn đề mới :

Chia nhỏ các block Tính toán dich xoay cho từng block Khôi phục block HR bằng MMSE

Siêu phân giải Video – Chia block

Quá trình thực hiện

Phương pháp chia nhỏ block

với HR block tương ứng

nearest để tái tạo block HR

Ph ươ ng pháp chia nh block ỏ

- Frame thứ 10 và 11 trong video

Foreman

- Motion Vector ước lượng cho block 8x8

Phương pháp chia nhỏ block

không làm tăng chất lượng

S LR frame ố 1 frame 2 frame 3frame 4 frame

Phương pháp MMSE với toàn bộ ảnh

Phương pháp MMSE với toàn bộ ảnh

HR tăng khi số extra block tăng

S LR frame ố 1 frame 2 frame 3frame 4

frame

N i suy ộ Neares t

Ph ươ ng pháp MMSE v i toàn b ớ ộ

Tái tạo một số Video

 Giải thuật tái tạo chất lượng ảnh tốt, chỉ cần 1 extra frame

 Tuy nhiên, video với 600 HR frames dung lượng >1GB

Kết luận

o Tìm hiểu được mô hình suy giảm ảnh

o Siêu phân giải ảnh:

o Kết quả mô phỏng chỉ ra độ tin cậy của giải thuật

o Thực hiện trên phần cứng máy tính, KIT ARM cho kết quả tương tự

o Thời gian thực hiện trên KIT vẫn còn hạn chế lớn

o Siêu phân giải video:

o Phương pháp chia block: Chỉ ra được hiệu quả cho việc tìm motion vector, nhưng chỉ mới áp dụng cho tái tạo “bicubic” và “nearest” không cho kết quả cao.

o Giải thuật MMSE cho toàn bộ frame: kết quả tốt, có thể áp dụng cho tái tạo các video.

Xin chân thành cảm ơn.