THỬ NGHIỆM PHƯƠNG PHÁP KHỬ MỜ ẢNH DỰA TRÊN DCP

File có kèm theo file ppt và file code để demo THỬ NGHIỆM PHƯƠNG PHÁP KHỬ MỜ ẢNH DỰA TRÊN DCP THỬ NGHIỆM PHƯƠNG PHÁP KHỬ MỜ ẢNH DỰA TRÊN DCP THỬ NGHIỆM PHƯƠNG PHÁP KHỬ MỜ ẢNH DỰA TRÊN DCP THỬ NGHIỆM PHƯƠNG PHÁP KHỬ MỜ ẢNH DỰA TRÊN DCP THỬ NGHIỆM PHƯƠNG PHÁP KHỬ MỜ ẢNH DỰA TRÊN DCP

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

VIỆN ĐIỆN TỬ - VIỄN THÔNG

BÁO CÁO BÀI TẬP LỚN

XỬ LÝ ẢNH SỐ

Đề tài:

NGHIÊN CỨU THỬ NGHIỆM PHƯƠNG PHÁP

KHỬ MỜ CHO ẢNH DỰA TRÊN DCP

Hà Nội, 2020

LỜI NÓI ĐẦU

Ngày này khói mù trong bầu khí quyển làm giảm chất lượng của hình ảnh.Việc loại bỏ sương mù, được gọi là dehazing, thường được thực hiện theo mô hìnhvật lý, đòi hỏi một giải pháp cho một vấn đề nghịch đảo Để giảm bớt khó khăn củavấn đề, một giả thuyết trước đó gọi là kênh tối trước (DCP) đã được đề xuất gầnđây và đã nhận được rất nhiều sự chú ý Dựa trên DCP, việc khử ánh sáng đượcthực hiện Trong báo cáo này chúng em sẽ làm rõ việc khử mờ ảnh trên DCP

MỤC LỤC

LỜI NÓI ĐẦU 2

DANH MỤC HÌNH ẢNH 4

CHƯƠNG I: GIỚI THIỆU 5

CHƯƠNG 2: TỔNG QUAN 7

CHƯƠNG 3: DARK CHANNEL PRIOR 9

CHƯƠNG 4: KHỬ MỜ ẢNH DƯA TRÊN DCP 14

4.1 Ước tính truyền 14

4.2 Soft Matting 16

4.3 Khôi phục độ sáng của cảnh 17

4.4 Ước tính ánh sáng khí quyển 17

CHƯƠNG 5: KẾT QUẢ 19

TÀI LIỆU THAM KHẢO 23

DANH MỤC HÌNH ẢNH

Hình 1.1: Khử mờ sử dụng một hình ảnh duy nhất 5

Hình 3.1: Hình ảnh ngời trời của kênh tối 10

Hình 3.2: Kênh tối của ảnh mờ 11

Hình 3.3: Hình ảnh không bị mờ 12

Hình 3.4: Thống kê các kênh tối 12

Hình 4.1: Kết quá khử mờ 16

Hình 4.2: Ước tính ánh sáng khí quyển 18

Hình 5.1: Ảnh ban đầu 19

Hình 5.2: DCP của ảnh 19

Hình 5.3: Ước tính ánh sáng của ảnh 20

Hình 5.4: Ước tính truyền 20

Hình 5.5: Thực hiện soft matting cho ảnh 21

Hình 5.6: Khử mờ cho ảnh 21

Hình 5.7: Khử mờ một tập ảnh 22

CHƯƠNG I: GIỚI THIỆU

Hình ảnh của các cảnh ngoài trời thường bị giảm chất lượng bởi môi trườngđục (ví dụ, các hạt, giọt nước) trong khí quyển Khói mù, sương mù và khói lànhững hiện tượng như vậy do sự hấp thụ và tán xạ của khí quyển Bức xạ mà máyảnh nhận được từ điểm hiện trường bị suy giảm dọc theo đường ngắm Hơn nữa,ánh sáng tới được pha trộn với đèn không khí (ánh sáng xung quanh bị các hạt khíquyển phản xạ vào đường nhìn) Hình ảnh bị giảm chất lượng sẽ mất đi độ tươngphản và độ trung thực của màu sắc, như trong Hình 1 (a) Vì lượng tán xạ phụthuộc vào khoảng cách của các điểm cảnh từ máy ảnh, nên sự suy giảm là biến thểtheo không gian

Hình 1.1: Khử mờ sử dụng một hình ảnh duy nhấtKhử mờ rất được mong muốn trong cả các ứng dụng chụp ảnh tiêu dùng / máy tính và thị giác máy tính Đầu tiên, việc loại bỏ khử mờ có thể làm tăng đáng

kể khả năng hiển thị của cảnh và hiệu chỉnh sự thay đổi màu sắc do đèn không khí gây ra Nhìn chung, hình ảnh không có khử mờ sẽ dễ chịu hơn về mặt thị giác Thứhai, hầu hết các thuật toán thị giác máy tính, từ phân tích hình ảnh mức thấp đến nhận dạng vật thể mức cao, thường giả định rằng hình ảnh đầu vào (sau khi hiệu

chuẩn đo bức xạ) là bức xạ cảnh Hiệu suất của các thuật toán thị giác (ví dụ: phát hiện tính năng, lọc và phân tích trắc quang) chắc chắn sẽ bị sai lệch, bức xạ cảnh

có độ tương phản thấp Cuối cùng, việc loại bỏ khử mờ có thể tạo ra thông tin về

độ sâu và mang lại lợi ích cho nhiều thuật toán thị giác và chỉnh sửa hình ảnh nâng cao Khử mờ có thể là một đầu mối chiều sâu hữu ích để hiểu cảnh Hình ảnh khử

DCP dựa trên số liệu thống kê về các hình ảnh ngoài trời không có khói mù.Chúng tôi thấy rằng, ở hầu hết các khu vực địa phương không che bầu trời, một sốpixel (được gọi là "pixel tối") có cường độ rất thấp trong ít nhất một kênh màu(rgb) rất thường xuyên Trong hình ảnh sương mù, cường độ của các điểm ảnh tốinày trong kênh đó chủ yếu do ánh sáng đèn đóng góp Do đó, những pixel tối này

có thể trực tiếp cung cấp ước tính chính xác về sự truyền tải của sương mù Kếthợp mô hình chụp ảnh sương mù và phương pháp nội suy mềm, chúng tôi có thểkhôi phục hình ảnh không có sương mù chất lượng cao và tạo ra bản đồ độ sâu tốt(lên đến tỷ lệ)

Giống như bất kỳ cách tiếp cận nào sử dụng một giả định mạnh mẽ, cáchtiếp cận của chúng tôi cũng có hạn chế riêng DCP có thể không hợp lệ khi đốitượng cảnh vốn dĩ giống với đèn không khí trên một vùng cục bộ lớn và không cóbóng đổ lên đối tượng Mặc dù cách tiếp cận của chúng tôi hoạt động tốt đối vớihầu hết các hình ảnh ngoài trời có sương mù, nhưng nó có thể không thành côngtrong một số trường hợp khắc nghiệt Chúng tôi tin rằng việc phát triển các bản gốctiểu thuyết từ các hướng khác nhau là rất quan trọng và việc kết hợp chúng vớinhau sẽ nâng cao hơn nữa trình độ nghệ thuật

CHƯƠNG 2: TỔNG QUAN

Trong thị giác máy tính và đồ họa máy tính, mô hình được sử dụng rộng rãi

để mô tả sự hình thành của một hình ảnh mờ như sau:

I(x) = J(x)t(x) + A(1 − t(x)) (1)trong đó I là cường độ quan sát được, J là bức xạ quang cảnh, A là ánh sáng khíquyển toàn cầu, và t là độ truyền trung bình mô tả phần ánh sáng không bị tán xạ

và đến được máy ảnh Mục tiêu của việc loại bỏ mờ là khôi phục J, A và t từ I

Số hạng đầu tiên J (x) t (x) ở bên phải của Phương trình (1) được gọi là suyhao trực tiếp , và số hạng thứ hai A (1-t (x)) được gọi là airlight Sự suy giảm trựctiếp mô tả sự chói sáng của cảnh và sự phân rã của nó trong môi trường, trong khiánh sáng không khí là kết quả của ánh sáng bị tán xạ trước đó và dẫn đến sự thayđổi màu sắc của cảnh Khi bầu khí quyển là đồng nhất, độ truyền t có thể được biểuthị bằng:

(2) trong đó β là hệ số tán xạ của khí quyển Nó chỉ ra rằng độ chói của cảnh bị suygiảm theo cấp số nhân với độ sâu của cảnh d

Về mặt hình học, tạo mờ Công thức (1) có nghĩa là trong không gian màuRGB, các vectơ A, I (x) và J (x) là đồng phẳng và điểm cuối của chúng là thẳnghàng (xem Hình 2 (a)) Độ truyền sóng t là tỉ số giữa hai đoạn thẳng:

(3)

trong đó c∈ {r, g, b} là chỉ số kênh màu.

Dựa trên mô hình này, phương pháp của Tan tập trung vào việc nâng caokhả năng hiển thị của hình ảnh Đối với một bản vá có truyền dẫn đều t, khả nănghiển thị (tổng gradient) của hình ảnh đầu vào bị giảm do sương mù, vì t <1:

(4)Việc truyền t trong một bản vá cục bộ được ước tính bằng cách tối đa hóakhả năng hiển thị của bản vá và thỏa mãn một hạn chế rằng cường độ của J (x) nhỏhơn cường độ của A Một mô hình MRF được sử dụng để chính xác hóa kết quả

Cách tiếp cận này có thể tiết lộ các chi tiết và cấu trúc từ hình ảnh khói mù.Tuy nhiên, hình ảnh đầu ra có xu hướng có giá trị bão hòa lớn hơn bởi vì phươngpháp này chỉ tập trung vào việc nâng cao khả năng hiển thị và không có ý địnhkhôi phục về mặt vật lý độ rạng rỡ của cảnh Bên cạnh đó, kết quả có thể chứa cáchiệu ứng hào quang gần các điểm gián đoạn độ sâu

Fattal đề xuất một cách tiếp cận dựa trên Phân tích thành phần độc lập(ICA) Đầu tiên, albedo của một bản vá cục bộ được giả định là một vectơ khôngđổi R Do đó, tất cả các J (x) trong bản vá có cùng hướng R, như thể hiện trongHình 1 (b) Thứ hai, bằng cách giả định rằng thống kê của bóng bề mặt J (x) vàtruyền t (x) là độc lập trong bản vá, hướng của R có thể được ước tính bởi ICA.Cuối cùng, một mô hình MRF được hướng dẫn bởi hình ảnh màu đầu vào được ápdụng để ngoại suy giải pháp cho toàn bộ hình ảnh Cách tiếp cận này dựa trên cơ

sở vật lý và có thể tạo ra hình ảnh tự nhiên không có khói mù cùng với bản đồ độsâu tốt Tuy nhiên, vì cách tiếp cận này dựa trên giả định độc lập về mặt thống kêtrong một bản vá cục bộ, nên nó yêu cầu các thành phần độc lập khác nhau đáng

kể Bất kỳ sự thiếu biến đổi nào hoặc tỷ lệ tín hiệu trên nhiễu thấp (ví dụ: trongvùng sương mù dày đặc) sẽ làm cho số liệu thống kê không đáng tin cậy Hơn nữa,

vì số liệu thống kê dựa trên thông tin màu sắc, nó không hợp lệ đối với hình ảnhthang độ xám và khó xử lý sương mù dày đặc thường không màu và dễ bị nhiễu

CHƯƠNG 3: DARK CHANNEL PRIOR

Quan sát đặc tính của hình ảnh ngoài trời không có khói mù, người ta đã đềxuất một giả thuyết trước đó — kênh tối trước đó (DCP) DCP dựa trên thuộc tính

“điểm ảnh tối”, có cường độ rất thấp trong ít nhất một kênh màu, ngoại trừ vùngbầu trời Do hiệu quả của nó trong việc khử mùi, phần lớn các kỹ thuật khử mùigần đây đã áp dụng DCP Kỹ thuật khử ẩm dựa trên DCP bao gồm bốn bước chính:ước tính ánh sáng khí quyển, ước tính bản đồ truyền, tinh chỉnh bản đồ truyền vàtái tạo hình ảnh Trong baó cáo này chúng em thực hiện phân tích chuyên sâu vềcác phương pháp dựa trên DCP theo quan điểm bốn bước

Từ 5000 kênh tối của hình ảnh không có khói mù ngoài trời, người ta đãchứng minh rằng khoảng 75 phần trăm pixel trong các kênh tối có giá trị bằng 0 và

90 phần trăm pixel có giá trị dưới 35 khi loại trừ pixel trên vùng trời Các cường

độ thấp trong kênh tối là do ba đặc điểm chính sau: (i) bóng, ví dụ: bóng từ ô tô vàtòa nhà trong cảnh đô thị hoặc bóng từ cây, lá và đá trong phong cảnh (Hình 2.1a);(ii) các đồ vật hoặc bề mặt nhiều màu sắc, ví dụ, hoa và lá màu đỏ hoặc vàng (Hình2.1b); và (iii) các vật thể hoặc bề mặt tối, ví dụ, các thân cây và đá sẫm màu (Hình2.1c)

Hình 3.1: Hình ảnh ngời trời của kênh tốiNgược lại, các kênh tối từ các hình ảnh mờ tạo ra các điểm ảnh có giá trịtrên 0 như trong Hình 3 Ánh sáng khí quyển toàn cầu có xu hướng trở nên đa sắc

và sáng, và sự kết hợp giữa ánh sáng không khí và sự suy giảm trực tiếp làm tăngđáng kể giá trị tối thiểu của ba kênh màu trong bản vá cục bộ Điều này ngụ ý rằngcác giá trị pixel của kênh tối có thể đóng vai trò là manh mối quan trọng để ướctính mật độ sương mù Kết quả khử mùi thành công của các thuật toán khử mùidựa trên DCP khác nhau hỗ trợ hiệu quả của DCP trong việc khử mùi bằng hìnhảnh

Hình 2.2: Kênh tối của ảnh mờDCP( Dark Channel Prior ) dựa trên quan sát sau đây về hình ảnh ngoài trờikhông có sương mù: trong hầu hết các mảng không có bầu trời, ít nhất một kênhmàu có cường độ rất thấp tại một số pixel Nói cách khác, cường độ tối thiểu trongmột bản vá như vậy phải có giá trị rất thấp Về mặt hình thức, đối với một hình ảnh

J, chúng tôi xác định

(5)trong đó là kênh màu của J và Ω (x) là bản vá cục bộ có tâm tại x Quan sát củachúng tôi cho thấy ngoại trừ vùng trời, cường độ tối của và có xu hướng bằng 0,nếu J là hình ảnh ngoài trời không có sương mù Chúng tôi gọi là kênh tối của J, vàchúng tôi gọi quan sát thống kê ở trên hoặc kiến thức ở trên là kênh tối trước đó

Để xác minh mức độ tốt của kênh tối trước đó, chúng tôi thu thập bộ hìnhảnh ngoài trời từ flickr.com và một số công cụ tìm kiếm hình ảnh khác bằng cách

sử dụng 150 thẻ phổ biến nhất được người dùng flickr chú thích Vì sương mùthường xuất hiện trong cảnh quan ngoài trời và cảnh quan thành phố, nên chúng tôichọn ra những cảnh quan không có khói mù và cảnh quan thành phố theo cách thủcông từ các hình ảnh đã tải xuống Trong số đó, chúng tôi chọn ngẫu nhiên 5.000hình ảnh và cắt bỏ các vùng trên bầu trời theo cách thủ công Chúng được thay đổikích thước các kênh tối của chúng được tính bằng kích thước bản vá 15 × 15 Hình

Hình 3.3: Hình ảnh không bị mờ

Hình 3.4: Thống kê các kênh tối

Hình 3.4 (a) là biểu đồ cường độ trên tất cả 5.000 kênh tối và Hình 4 (b) làbiểu đồ tích lũy tương ứng Chúng ta có thể thấy rằng khoảng 75% pixel trongkênh tối có giá trị bằng 0 và cường độ của 90% pixel dưới 25 Thống kê này hỗ trợrất mạnh cho kênh tối của chúng ta trước đây Chúng tôi cũng tính toán cường độtrung bình của mỗi kênh tối và vẽ biểu đồ tương ứng trong Hình 4 (c) Một lần nữa,hầu hết các kênh tối có cường độ trung bình rất thấp, có nghĩa là chỉ một phần nhỏ

quan, cường độ của kênh tối là một xấp xỉ thô của độ dày của mây mù (xem bêntay phải của Hình 3.3).

Lưu ý rằng, chúng tôi bỏ qua các vùng bầu trời vì kênh tối của hình ảnhkhông có sương mù có thể có cường độ cao ở đây May mắn thay, chúng ta có thể

xử lý các vùng trời một cách duyên dáng bằng cách sử dụng Phương trình tạo ảnhsương mù (1) và phương trình trước đó của chúng ta cùng nhau Không cần thiếtphải cắt bỏ các vùng trên bầu trời một cách rõ ràng

CHƯƠNG 4: KHỬ MỜ ẢNH DƯA TRÊN DCP

4.1 Ước tính truyền

Trong phương pháp khử mù dựa trên DCP ban đầu, người ta đề cập rằnghình ảnh có thể trông không tự nhiên nếu khói mù được loại bỏ triệt để Do đó,hằng số ω (0 <ω <1) được sử dụng để giữ lại một lượng nhỏ khói mù

Ở đây, trước tiên chúng ta giả sử rằng ánh sáng A trong khí quyển được đưa

ra Chúng tôi giả định thêm rằng việc truyền trong một bản vá cục bộ Ω (x) làkhông đổi Chúng tôi ký hiệu độ truyền của bản vá là t ˜ (x) Thực hiện phép toántối thiểu trong bản vá cục bộ trên phương trình tạo ảnh sương mù (1), chúng ta có:

(6)Lưu ý rằng hoạt động tối thiểu được thực hiện trên ba kênh màu một cách độc lập.Phương trình này tương đương với:

(7)Sau đó, chúng tôi thực hiện phép toán tối thiểu giữa ba kênh màu trong phươngtrình trên và thu được:

(8)Theo kênh tối trước đó, kênh tối của bức xạ không có sương mù J có xu hướngbằng không:

(9)

Vì luôn dương, điều này dẫn đến:

(10)Đưa Phương trình (10) vào Phương trình (8), chúng ta có thể ước lượng truyềnđơn giản bằng:

(11)Trên thực tế, là kênh tối của hình ảnh sương mù chuẩn hóa Nó trực tiếp cung cấp

(12)trên các vùng trời Vì bầu trời ở vô hạn và có xu hướng không có đường truyền,nên Công thức (11) xử lý một cách duyên dáng cả vùng trời và vùng không phảibầu trời Chúng ta không cần phải tách các vùng trời trước.

Trong thực tế, ngay cả trong những ngày quang đãng, bầu khí quyển khônghoàn toàn không có bất kỳ hạt nào Vì vậy, khói mù vẫn tồn tại khi chúng ta nhìnvào các vật thể ở xa Hơn nữa, sự hiện diện của khói mù là một dấu hiệu cơ bản đểcon người nhận thức được độ sâu Hiện tượng này được gọi là phối cảnh trênkhông Nếu chúng tôi loại bỏ sương mù kỹ lưỡng, hình ảnh có vẻ không tự nhiên

và cảm giác về chiều sâu có thể bị mất Vì vậy, chúng tôi có thể tùy ý giữ mộtlượng rất nhỏ sương mù cho các vật thể ở xa bằng cách đưa một tham số không đổi

ω (0 <ω≤1) vào Công thức (11):

(13)Tính chất của sửa đổi này là thích nghi giữ nhiều sương mù hơn cho các vậtthể ở xa Giá trị của ω dựa trên ứng dụng Chúng tôi sửa nó thành 0,95 cho tất cảcác kết quả được báo cáo trong bài báo này

4.2 Soft Matting

Chúng tôi nhận thấy rằng phương trình tạo ảnh sương mù (1) có dạng tương

tự với phương trình ảnh mờ Một bản đồ truyền dẫn chính xác là một bản đồ alpha

Do đó, chúng tôi áp dụng một thuật toán mờ mềm để tinh chỉnh đường truyền

Kí hiệu bản đồ truyền dẫn tinh bằng t (x) Viết lại t (x) và ở dạng vectơ củachúng dưới dạng t và , chúng ta tối thiểu hóa hàm chi phí sau:

(14)trong đó L là ma trận Laplacian Matting do Levin đề xuất, và λ là một tham sốchính quy Số hạng đầu tiên là số hạng trơn và số hạng thứ hai là số hạng dữ liệu

Phần tử (i, j) của ma trận L được định nghĩa là:

Phương pháp trải thảm mềm của Levin cũng đã được Hsu etal áp dụng đểđối phó với vấn đề cân bằng trắng thay đổi theo không gian Trong cả tác phẩm củaLevin và Hsu, chữ t chỉ được biết đến ở những vùng thưa thớt và phép phủ mờ chủyếu được sử dụng để ngoại suy giá trị cho vùng chưa biết Trong bài báo này,chúng tôi sử dụng lớp nền mềm để tinh chỉnh phần thô hơn đã lấp đầy toàn bộ hìnhảnh

Hình 4.1 (c) là kết quả mềm sử dụng Hình 4 (b) làm thuật ngữ dữ liệu Nhưchúng ta có thể thấy, bản đồ truyền dẫn tinh chỉnh quản lý để nắm bắt các điểm

không khi truyền t (x) gần bằng không Bức xạ của cảnh được phục hồi trực tiếp J

dễ bị nhiễu Do đó, chúng tôi hạn chế truyền t (x) ở giới hạn dưới t_0, có nghĩa làmột lượng nhỏ sương mù được bảo tồn trong các vùng sương mù rất dày đặc Ảnhcùng J (x) được phục hồi bởi:

Hình 4.2: Ước tính ánh sáng khí quyển

Chúng ta có thể sử dụng kênh tối để cải thiện ước tính ánh sáng trong khíquyển Trước tiên, chúng tôi chọn 0,1% pixel sáng nhất hàng đầu trong kênh tối.Những điểm ảnh này hầu hết là mờ đục (được giới hạn bởi các đường màu vàngtrong Hình 5 (b)) Trong số các pixel này, pixel có cường độ cao nhất trong hìnhảnh đầu vào I được chọn làm ánh sáng khí quyển Các pixel này nằm trong hìnhchữ nhật màu đỏ trong Hình 5 (a) Lưu ý rằng những pixel này có thể không sángnhất trong toàn bộ hình ảnh

Phương pháp đơn giản dựa trên kênh tối trước đây mạnh hơn phương pháp

"pixel sáng nhất" Chúng tôi sử dụng nó để tự động ước tính ánh sáng khí quyểncho tất cả các hình ảnh được hiển thị trên giấy