Ứng dụng xử lý ảnh để phát hiện và cảnh báo cháy rừng qua tin nhắn điện thoại

Những đề tài nghiên cứu trước đây như “Xử lý ảnh để phát hiện khói cho cảnh báo cháy rừng” [3] đã sử dụng các biện pháp phân ngưỡng ảnh qua màu sắc để nhận dạng khói và phát hiện cháy ho

KHOA ĐIỆN - ĐIỆN TỬ

ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ - TRUYỀN THÔNG

KHOA ĐIỆN – ĐIỆN TỬ

BỘ MÔN ĐIỆN TỬ-CÔNG NGHIỆP

Tp Hồ Chí Minh - 1/2017

KHOA ĐIỆN – ĐIỆN TỬ

BỘ MÔN ĐIỆN TỬ-CÔNG NGHIỆP

KHOA ĐIỆN-ĐIỆN TỬ

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP

Tp HCM, ngày 09 tháng 01 năm 2017

NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP

Họ tên sinh viên: Lý Hoàng Anh MSSV: 12141467

Nguyễn Thanh Điền MSSV: 12141059 Chuyên ngành: Điện tử Công nghiệp Mã ngành: 141

Hệ đào tạo: Đại học chính quy Mã hệ: 1

I TÊN ĐỀ TÀI: Ứng dụng xử lý ảnh để phát hiện và cảnh báo cháy rừng qua tin

nhắn điện thoại

II NHIỆM VỤ

1 Các số liệu ban đầu:

Các tài liệu về MATLAB, Giáo trình Xử lý ảnh

Các ví dụ trên trang mathwork.com

2 Nội dung thực hiện:

Thu thập ảnh, video clip, nhận dạng và cảnh báo có khói, lửa

Thiết kế - Thi công hệ thống cảnh báo qua tin nhắn điện thoại giao tiếp với máy tính

III NGÀY GIAO NHIỆM VỤ: 04/10/2016

IV NGÀY HOÀN THÀNH NHIỆM VỤ: 09/01/2017

V HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: TS Nguyễn Thanh Hải

CÁN BỘ HƯỚNG DẪN BM ĐIỆN TỬ CÔNG NGHIỆP

Viết tóm tắt yêu cầu đề tài đã chọn: đề tài làm cái

gì, nội dung thiết kế, các thông số giới hạn của đề tài

(14/11–19/11) - Tiến hành thi công mạch

- Kiểm tra mạch thi công Tuần 8

Đề tài này là do tôi tự thực hiện dựa vào một số tài liệu trước đó và không sao chép từ tài liệu hay công trình đã có trước đó

Người thực hiện đề tài

Nguyễn Thanh Điền

Nhóm em xin gởi lời cảm ơn sâu sắc đến Thầy Nguyễn Thanh Hải, đã góp ý

và chia sẻ nhiều kinh nghiệm quý báu cho em thực hiện tốt đề tài

Nhóm em xin gởi lời chân thành cảm ơn các thầy cô trong Khoa Điện-Điện Tử

và cũng như các bạn bè đã bên cạnh giúp đỡ và đã tạo những điều kiện tốt nhất cho nhóm hoàn thành đề tài

Cảm ơn đến cha mẹ, người luôn bên cạnh lúc gặp khó khăn và cũng là nguồn động lực lớn nhất để nhóm hoàn thành xong đề tài tốt nghiệp

Xin chân thành cảm ơn!

Người thực hiện đề tài

Lý Hoàng Anh

MỤC LỤC

Trang bìa i

Nhiệm vụ đồ án ii

Lịch trình iii

Cam đoan v

Lời cảm ơn vi

Mục lục vii

Liệt kê hình vẽ x

Liệt kê bảng vẽ ……… xiv

Chương 1 TỔNG QUAN 1

ĐẶT VẤN ĐỀ 1

MỤC TIÊU 2

NỘI DUNG NGHIÊN CỨU 2

GIỚI HẠN CỦA ĐỀ TÀI 2

BỐ CỤC 3

Chương 2 CƠ SỞ LÝ THUYẾT 4

HỆ THỐNG XỬ LÝ VÀ PHÁT HIỆN KHÓI LỬA 4

Đặc tính của khói lửa 4

Các phương pháp nhận biết khói lửa 4

Modul SIM800 30

Module USB UART 32

Chương 3 TÍNH TOÁN VÀ THIẾT KẾ 33

GIỚI THIỆU 33

TÍNH TOÁN VÀ THIẾT KẾ HỆ THỐNG 33

Thiết kế sơ đồ khối hệ thống 33

Tính toán và thiết kế mạch báo động Error! Bookmark not defined. Sơ đồ nguyên lý của toàn mạch 40

Chương 4 THI CÔNG HỆ THỐNG 42

GIỚI THIỆU 42

THI CÔNG MẠCH 42

LẬP TRÌNH CHO KHỐI CẢNH BÁO 44

Lưu đồ giải thuật 44

Phần mềm lập trình cho vi điều khiển 45

LẬP TRÌNH XỬ LÝ ẢNH 50

Lưu đồ giải thuật 50

Phần mềm lập trình và mô phỏng MATLAB 55

Chương 5 KẾT QUẢ THỰC NGHIỆM 61

THU THẬP DỮ LIỆU 61

KẾT QUẢ NHẬN DẠNG KHÓI VÀ LỬA 63

CẢNH BÁO THÔNG QUA SIM800A 68

Chương 6 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 71

KẾT LUẬN 71

TÀI LIỆU THAM KHẢO 72

Phụ lục 73

I CODE CHƯƠNG TRÌNH CHÍNH 73

II CODE CHƯƠNG TRÌNH TRÊN VI ĐIỀU KHIỂN 85

LIỆT KÊ HÌNH ẢNH

Hình 2.1: (a) Hình ảnh cháy kèm lửa và khói, (b) Sương bao phủ rừng 4

Hình 2.2: (a) Cháy rừng kèm lửa và khói, (b) Cháy rừng nhưng chỉ thấy khói 5

Hình 2.3: Hình mẫu phát hiện được khói trong phương pháp sử dụng phép biến đổi wavelet của tác giả Toreyin et al [6] (mũi tên cho biết vùng khói được xác định) 6

Hình 2.4: Sơ đồ thuật toán lọc trung bình 8

Hình 2.5: Nhiễu muối tiêu từ ảnh RGB trích kênh Red (a) và sau khi được lọc (b) qua bộ lọc trung vị 9

Hình 2.6: Nhiễu muối tiêu được lọc bằng các bộ lọc khác (a) là ảnh gốc, (b) bộ lọc Disk, (c) bộ lọc Gaussian, (d) bộ lọc Laplacian, (e) bộ lọc Log, (f) bộ lọc Sobel 9

Hình 2.7: Các màu cơ bản đỏ (Red), xanh (Green), xanh dương (Blue) 10

Hình 2.8: Không gian màu HSV 11

Hình 2.9: Hình tròn biểu diễn màu sắc (Hue) 12

Hình 2.10: Sơ đồ bộ chuyển đổi RGB sang HSV 12

Hình 2.11: Ví dụ chuyển đổi ảnh từ không gian RGB sang không gian HSV, (a) (c) (e) là ảnh RGB gốc, (b) (d) (e) là ảnh sau khi chuyển đổi 14

Hình 2.12: Lươc đồ xám của một ảnh có sự tách biệt về mức xám ở ngưỡng t0 15

Hình 2.13: Kết quả phân đoạn dựa trên ngưỡng toàn cục (a) (c) là ảnh gốc ;(b) (d) ảnh đã được phân ngưỡng 17

Hình 2.14: Một số hình dáng của cấu trúc phẳng 18

Hình 2.15: Ví dụ về phép toán co ảnh nhị phân với phần tử cấu trúc phẳng 19

Hình 2.16: Ví dụ về phép giãn nhị phân trên ảnh với phần tử cấu trúc phẳng 20

Hình 2.17: Phương pháp lập bảng tìm kiếm 20

Hình 2.18: Lọc nhỏ cho ảnh nhị phân (a) ta được ảnh (b) các vùng nhỏ li ti đã bị mất.

21

Hình 2.19: Ảnh sau khi được lọc trơn (b) từ ảnh nhị phân (a) 22

Hình 2.20: Thuật toán quá trình làm đầy 1 điểm ảnh 23

Hình 2.21: Kết quả của việc thực hiện lấp đầy vùng ảnh: (a) Ảnh nhị phân với các “lỗ hổng”, (b) Ảnh sau khi được lấp đầy 24

Hình 2.22: Sơ đồ tổng quát hệ thống nhận dạng ảnh 25

Hình 2.23: Vùng nghi có khói trên nền ảnh gốc 26

Hình 2.24: Thiết bị thu hình 27

Hình 2.25: Sơ đồ chân vi điều khiển PIC 16F887 28

Hình 2.26: Hình ảnh thực tế của module SIM800A 30

Hình 2.27: Tín hiệu tương đương của UART và RS232 31

Hình 2.28: Khung truyền cơ bản trong truyền nhận UART 32

Hình 2.29: Cổng COM vật lý Error! Bookmark not defined. Hình 2.30: Hình dáng modul USB to UART 32

Hình 3.1: Sơ đồ khối của hệ thống xử lý ảnh nhận biết khói và lửa 33

Hình 3.2: Bảng tra cứu tỉ lệ lỗi khi sử dụng UART Error! Bookmark not defined. Hình 3.3: Đèn báo động nháy đỏ 37

Hình 3.4: Hình ảnh thực tế của module relay 38

Hình 3.5: Sơ đồ kết nối của chuông cảnh báo 38

Hình 4.1: Mạch in sau khi vẽ 43

Hình 4.2: Mặt sau của mạch 43

Hình 4.3: Hệ thống khi lắp hoàn chỉnh trên taplo nhựa 44

Hình 4.4: Lưu đồ giải thuật chương trình cảnh báo 45

Hình 4.5: Giao diện chương trình CCS 47

Hình 4.6: Giao diện soạn thảo code trên phần mềm CCS 47

Hình 4.7: Cấu hình khi tạo project mới trên CCS 48

Hình 4.8: Cấu hình Tab Communications trong CCS 49

Hình 4.9: Lưu đồ giải thuật chương trình nhận dạng trên máy tính 50

Hình 4.10: Lưu đồ quá trình Tiền xử lý ảnh 51

Hình 4.11: Hình ảnh gốc (a) sau khi qua bộ lọc trung vị (b) 52

Hình 4.12: Kết quả phép chuyển đổi không gian RGB sang HSV 52

Hình 4.13: Lưu đồ quá trình Phân vùng và tách khói, lửa 53

Hình 4.14: Kết quả sau khi chọn ngưỡng và phân vùng thứ tự (a) là kênh Hue (b) là kênh Saturation (c) là kênh Brightness 53

Hình 4.15: Lưu đồ quá trình nhận dạng khói, lửa 54

Hình 4.16: Khói được nhận dạng trên khung ảnh đã xử lý (a), khung ảnh gốc được làm nổi vùng có khói (b) 54

Hình 4.17: Giao diện chương trình MATLAB 55

Hình 4.18: Bấm vào nút New Script để tạo M-File mới 56

Hình 4.19: Khung soạn thảo code của MATLAB 57

Hình 4.20: Bấm nút Run để chạy chương trình trong MATLAB 57

Hình 4.21: Thêm comment trong code ở MATLAB 58

Hình 4.22: Hộp thoại tạo GUIDE hiện ra 58

Hình 4.23: Giao diện kéo thả của phần GUIDE 59

Hình 4.24: Các button được tạo ví dụ trong MATLAB 60

Hình 5.1: Giao diện chương trình nhận dạng trên máy tính 63

Hình 5.2: Trạng thái kết nối của camera trong chương trình 64

Hình 5.3: Hộp thoại để chọn đường dẫn đến file video cần chạy thử 64

Hình 5.4: Phát hiện khói đen 65

Hình 5.5: Phát hiện khói trắng, trường hợp có người đứng bên cạnh và mặc áo trắng.65 Hình 5.6: Khói ít được phát hiện 66

Hình 5.7: Khói xuất hiện ở xa hệ thống không phát hiện kịp thời 66

Hình 5.8: Hệ thống hoạt động trong khi camera di chuyển, nhận dạng khói sai vị trí 66 Hình 5.9: Ăn-ten gắn thêm cho module SIM800A 68

Hình 5.10: Cảnh báo khi phát hiện lửa; cuộc gọi đến điện thoại, hình (a); tin nhắn cảnh báo cháy, hình (b) 69

Hình 5.11: Tin nhắn thông báo phát hiện khói trong khu vực quét của camera; cảnh báo khói nhiều, hình (a); khói ít, hình (b) 70

LIỆT KÊ BẢNG

Bảng Trang

Bảng 2-1: Thông số của vi điều khiển PIC 16F887 28

Bảng 4-1: Danh sách các linh kiện sử dụng 42

Bảng 5-1: Bảng mô tả đoạn clip thu thập được 61

Bảng 5-2: Bảng hiệu suất kết quả nhận dạng 67

Những đề tài nghiên cứu trước đây như “Xử lý ảnh để phát hiện khói cho cảnh báo cháy rừng” [3] đã sử dụng các biện pháp phân ngưỡng ảnh qua màu sắc để nhận dạng khói và phát hiện cháy hoặc nhận dạng các điểm ảnh có đặc trưng của lửa và đưa ra cảnh báo cục bộ tại hệ thống mà không thể cảnh báo cho các bên có liên quan khác rằng đang

có hỏa hoạn xảy ra Dựa trên những yếu tố đó nhóm em đã chọn đề tài: “Ứng dụng xử

nhận dạng ảnh thông qua máy tính từ đó đưa ra cảnh báo tại hệ thống cũng như gửi tin nhắn cảnh báo cho các bên có liên quan kịp thời đưa ra biện pháp xử lý

MỤC TIÊU

Thiết kế và xây dựng mô hình hệ thống camera giám sát và cảnh báo cháy sử dụng phương pháp xử lý ảnh nhận dạng khói và lửa Cảnh báo qua chuông báo và tin nhắn điện thoại thông qua modul SIM 800A

NỘI DUNG NGHIÊN CỨU

+ NỘI DUNG 1: Xây dựng và thu thập cơ sở dữ liệu bao gồm các hình ảnh tĩnh

chuẩn RGB và các hình thu được qua camera

+ NỘI DUNG 2: Thực hiện việc nhận dạng hỏa hoạn dựa trên màu sắc của khói và

lửa

+ NỘI DUNG 3: Thiết kế, tính toán và thi công khối mạch điều khiển chuông báo

và giao tiếp với module SIM900 thông qua máy tính

+ NỘI DUNG 4: Thiết kế giao diện giám sát và điều khiển trên máy tính

+ NỘI DUNG 5: Chạy thử nghiệm hệ thống

+ NỘI DUNG 6: Cân chỉnh hệ thống

+ NỘI DUNG 7: Viết báo cáo

+ NỘI DUNG 6: Báo cáo đề tài tốt nghiệp

GIỚI HẠN CỦA ĐỀ TÀI

+ Thi công mô hình hệ thống camera giám sát và cảnh báo qua chuông báo và tin nhắn điện thoại

+ Camera thu thập hình ảnh được gắn trên trục cố định, hướng chếch xuống so với mặt đất một góc 45 độ Camera thu hình ảnh rõ nét trong phạm vi từ [1m-4m] + Xử lý được các hình ảnh thu về từ camera trong phạm vi quan sát với điều kiện

đủ ánh sáng, không có sương mù và mây

+ Giao tiếp với module SIM800 và điều khiển chuông báo thông qua máy tính + Thử nghiệm hệ thống với các đoạn clip có sẵn, điều kiện môi trường đủ ánh sáng

và không có sương mù

BỐ CỤC

 Chương 1: Tổng quan

Chương này trình bày đặt vấn đề dẫn nhập lý do chọn đề tài, mục tiêu, nôi dung nghiên cứu, các giới hạn thông số và bố cục đồ án

 Chương 2: Cơ Sở Lý Thuyết

Nội dung bao gồm cơ sở lý thuyết của các phương pháp xử lý ảnh dùng trong đề tài này, giao thức sử dụng để giao tiếp máy tính với thiết bị điều khiển và giới thiệu phần cứng được sử dụng

 Chương 3: Thiết Kế và Tính Toán

Nêu rõ quá trình thiết kế và tính toán các linh kiện sử dụng, thông số cũng như phần giao diện giám sát và điều khiển trên máy tính

 Chương 4: Kết Quả, Nhận Xét và Đánh Giá

Trình bày kết quả hoạt động của hệ thống, nhận xét độ ổn định cũng như tính chính xác của hệ thống, đánh giá kết quả đạt được

 Chương 5: Kết Luận và Hướng Phát Triển

Kết luận các nội dung đã thực hiện được và chỉ ra hướng phát triển của đề tài

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT

HỆ THỐNG XỬ LÝ VÀ PHÁT HIỆN KHÓI LỬA

Đặc tính của khói lửa

Theo quan sát từ các hình ảnh cũng như thực tế, ngọn lửa thường hiển thị màu đỏ hoặc vàng Ngưỡng màu sắc có thể được xây dựng hoặc tính toán dựa trên thực nghiệm

để nhận ra ngọn lửa Tuy nhiên, một số vùng ảnh hiển thị sẽ có thể hiểu nhầm rằng có thể là lửa do việc chọn ngưỡng chưa thích hợp hoặc phần xử lý nhiễu chưa tốt dẫn đến sai xót, sương dày cũng gây ra một phần nhiễu cho hệ thống do đó cần phải có những cách xử lý riêng trong từng trường hợp như trong hình 2.1

(a) (b)

Hình 2.1: (a) Hình ảnh cháy kèm lửa và khói, (b) Sương bao phủ rừng

Các phương pháp nhận biết khói lửa

“Khói và lửa được sinh ra khi nhiệt độ vật thể đạt tới điểm cháy và phát sáng, khói sinh ra khi chất cháy có lẫn tạp chất” [3] Khói thường có màu xám, chuyển động hỗn loạn không theo quy luật Dựa trên những đặc điểm trên tuỳ theo hướng nghiên cứu mà

ta có thể có nhiều phương pháp khác nhau để nhận biết được chúng

(a) (b)

Hình 2.2: (a) Cháy rừng kèm lửa và khói, (b) Cháy rừng nhưng chỉ thấy khói.

Các phương pháp phát hiện khói lửa:

+ Dựa vào màu sắc: từ ảnh gốc ta đem so sánh với các màu tương tự như màu của lửa như cam, vàng, đỏ Phương pháp này bắt buộc phải phân biệt được màu của lửa so với màu nền nếu chúng tương tự với màu của lửa Phương pháp này được

áp dụng trong phương pháp sử dụng camera hồng ngoại, ưu điểm là phát hiện nhanh và chính xác tuy nhiên giá thành tốn kém so với các phương pháp khác [4] + Dựa vào đặc tính chuyển động ngẫu nhiên của khói và lửa: phương pháp này dựa trên những chuyển động ngẫu nhiên của cả khói và lửa trên các frame ảnh thu được từ camera, từ đó xác định được đâu là lửa và khói so với các vật thể có màu tương tự Phương pháp này có khả năng phát hiện nhanh sự hiện diện của khói cũng như lửa Tuy nhiên phương pháp này có khả năng phát hiện sai nếu như có một nguồn sáng có khả năng nhấp nháy gần giống với ngọn lửa [5]

Phương pháp đầu tiên được sử dụng bởi TY Le Maoult, tác giả đã sử dụng một lược

đồ màu gần hồng ngoại Lược đồ này sử dụng lược đồ màu của lửa và phân tích nó thông qua chuyển động Nếu một đối tượng với màu sắc giống lược đồ màu được phát hiện trong nguồn hình ảnh thì nó sẽ cho rằng đó là lửa

Phương pháp thứ hai dựa vào đặc tính chuyển động, tác giả Toreyin et al đã đi sâu

Thuật toán phát hiện khói có độ phức tạp hơn so với phát hiện lửa, do sự nhầm lẫn dữa sương mù tự nhiên và khói phát ra từ đám cháy Thêm nữa là độ nhiễu gây ra từ chính độ đồng nhất giữa mật độ các hạt khói cũng như các đám khói không có cạnh rõ ràng để có thể phân vùng cũng như nhận biết so với lửa

Hình 2.3: Hình mẫu phát hiện được khói trong phương pháp sử dụng phép biến đổi wavelet

của tác giả Toreyin et al [6] (mũi tên cho biết vùng khói được xác định)

Một hạn chế của hầu hết các phương pháp là đám cháy xuất hiện và được che chắn bởi một vật gì đó, làm che khuất tầm nhìn cho đến khi đám cháy đã lớn thì việc xử lý đám cháy sẽ khó khăn hơn lúc đám cháy được phát hiện sớm

Các quá trình xử lý ảnh

a Quá trình lọc nhiễu

Dữ liệu ảnh thu nhận được ban đầu gồm ảnh gốc và nhiễu, do vậy trước khi đem ảnh

đi xử lý ta phải lọc bớt nhiễu để nhiễu không ảnh hưởng nhiều đến kết quả cuối cùng của quá trình nhận dạng khói và lửa Ta thường xem xét 3 loại nhiễu chính và phổ biến, gọi một cách khoa học là: nhiễu cộng, nhiễu nhân và nhiễu xung

- Nhiễu cộng (Additive noise): thường phân bố khắp ảnh và được biểu diễn bởi:

Y = X + n với Y: ảnh quan sát, X: ảnh gốc và n là nhiễu

- Nhiễu nhân: cũng thường phân bố khắp ảnh và được biểu diễn bởi: Y = X.n

- Nhiễu xung (Impulse noise): là một loại nhiễu khá đặc biệt có thể sinh ra bởi nhiều lý do khác nhau chẳng hạn: lỗi truyền tín hiệu, lỗi bộ nhớ, hay lỗi định thời trong quá trình lượng tử hóa Nhiễu này thường gây đột biến tại một số điểm ảnh

Nhiễu muối tiêu (Salt-pepper noise) - một ví dụ điển hình nhất của loại nhiễu xung–

sẽ cho thấy rõ hơn tính chất “đột biến” của nó Các điểm ảnh bị nhiễu (noise pixel) có thể nhận các giá trị cực đại hoặc cực tiểu trong khoảng giá trị [0, 255] Với ảnh mức xám (gray scale), nếu một điểm ảnh có giá trị cực đại (tức cường độ sáng bằng 255) thì

nó sẽ tạo ra một đốm trắng trên ảnh, trông giống như hạt “muối” Và ngược lại nếu một điểm ảnh có giá trị cực tiểu (tức cường độ sáng bằng 0) thì sẽ tạo ra một đốm đen, giống như “tiêu” Vậy nên còn gọi là ảnh muối tiêu Thông thường, khi nói một ảnh nhiễu muối tiêu 30% nghĩa là trong đó tỉ lệ các điểm ảnh nhiễu mang gia trị cực tiểu là 15%

và cực đại là 15%

Để loại đi các loại nhiễu trong trường hợp bộ lọc trung bình (hay trung vị) được sử dụng Sau khi cho ảnh qua bộ lọc trung bình thì ảnh đã được lọc đi một phần nhiễu Với

chập Phương trình biểu diễn toán học của phép toán nhân chập được áp dụng để tính

bộ lọc trung bình ảnh I(i, j) với mặt nạ [11]:

r

r k

l j k i I l k w N

j i

Hình 2.4: Sơ đồ thuật toán lọc trung bình

Kết quả ảnh nhiễu muối tiêu đi qua bộ lọc trung vị:

Hình 2.5: Nhiễu muối tiêu từ ảnh RGB trích kênh Red (a)

và sau khi được lọc (b) qua bộ lọc trung vị

Kết quả sau khi lọc với các bộ lọc khác:

Tiến hành thực hiện quá trình lọc ảnh với nhiều bộ lọc khác nhau: Disk; Gaussian; Laplacian; Log; Motion; Prewitt; Sobel

(a) (b) (c)

 Nhận xét: sau khi cho ảnh gốc (a) đi qua các bộ lọc Disk các điểm ảnh nhiễu muối tiêu đã được loại bỏ hẳn khỏi hình Với các bộ lọc khác nhau cho ra các ảnh ngõ ra

đã được lọc khác nhau tùy thuộc vào yêu cầu và mục đích cải thiện chất lượng ảnh, triệt nhiễu, tách biên và các ứng dụng khác Riêng đề tài này ta chọn bộ Lọc trung bình như đã nói ở trên

b Chuyển ảnh màu RGB sang không gian HSV

Ảnh RGB: mọi màu cơ bản đều là tổ hợp của 3 màu cơ bản là: đỏ (Red), xanh (Green), xanh dương (Blue) Tương ứng với các bước sóng 700 nm(R), 546,8 nm(G),

và 435,8 nm (B) [12]

Hình 2.7: Các màu cơ bản đỏ (Red), xanh (Green),

xanh dương (Blue)

Đối với mắt người, có 3 thuộc tính cơ bản:

+ Brightness hay Value còn gọi là độ chói hoặc giá trị độ chói

+ Hue còn gọi là sắc thái

+ Saturation là độ bão hoà màu

Không gian màu là phương pháp diễn giải các đặc tính và tác động của màu trong ngữ cảnh nhất định Ví dụ như không gian màu RGB ứng dụng cho màn hình, TV và không gian màu HSV dùng cho nhận thức của con người ngoài ra còn có không gian màu CMYK dùng cho máy in [8]

Nếu như một ảnh số được mã hóa bằng 24 bit, nghĩa là 8 bit cho kênh R, 8 bit cho kênh G, 8 bit cho kênh B, thì mỗi kênh này màu này sẽ nhận giá trị từ 0-255 Với mỗi

giá trị khác nhau của các kênh màu kết hợp với nhau ta sẽ được một màu khác nhau, như vậy ta sẽ có tổng cộng 255x255x255 = 1.66 triệu màu sắc

Với cách định nghĩa trên, ta có: Màu đen là sự kết hợp của các kênh màu (R, G, B) với giá trị tương ứng (0, 0, 0) màu trắng có giá trị (255, 255, 255), màu vàng có giá trị (255, 255, 0), màu tím đậm có giá trị (64, 0, 128) Nếu ta dùng 16bit để mã hóa một kênh màu (48bit cho toàn bộ 3 kênh màu) thì dải màu sẽ trãi rộng lên tới 3*2^16 =

196608 , một con số rất lớn

Không gian màu HSV:

HSV là không gian màu được dùng nhiều trong việc chỉnh sữa ảnh, phân tích ảnh

và một phần của lĩnh vực thị giác máy tính Hệ không gian này dựa vào 3 thông số sau

để mô tả màu sắc: H = Hue: màu sắc, S = Saturation: độ đậm đặc, sự bảo hòa, V = value: giá trị cường độ sáng Không gian màu này thường được biểu diễn dưới dạng hình trụ hoặc hình nón

Hình 2.8: Không gian màu HSV

Theo đó, đi theo vòng tròn từ 0 -360 độ là trường biểu diễn màu sắc(Hue) Trường này bắt đầu từ màu đỏ đầu tiên (red primary) tới màu xanh lục đầu tiên (green primary) nằm trong khoảng 0-120 độ, từ 120 - 240 độ là màu xanh lục tới xanh lơ (green primary

- blue primary) Từ 240 - 360 là từ màu đen tới lại màu đỏ

Hình 2.9: Hình tròn biểu diễn màu sắc (Hue).

Theo như cách biểu diễn không gian màu theo hình trụ như trên, đi từ giá trị độ sáng (V) được biểu diễn bằng cách đi từ dưới đáy hình trụ lên và nằm trong khoảng từ

0 -1 Ở đáy hình trụ V có giá trị là 0, là tối nhất và trên đỉnh hình trụ là độ sáng lớn nhất (V = 1) Đi từ tâm hình trụ ra mặt trụ là giá trị bão hòa của màu sắc (S) S có giá trị từ 0-1 Giá trị 0 ứng với tâm hình trụ là chỗ mà màu sắc là nhạt nhất Khi S có giá trị bằng

1 ở ngoài mặt trụ, là nơi mà giá trị màu sắc là đậm đặc nhất

Như vậy với mỗi giá trị (H, S, V) sẽ cho ta một màu sắc mà ở đó mô tả đầy đủ thông tin về màu sắc, độ đậm đặc và độ sáng của màu đó

Chuyển đổi từ RGB => HSV:

Việc chuyển đổi không gian màu từ RGB sang HSV là yêu cầu đầu tiên cần thiết cho việc nhận biết màu sắc Bởi vì không gian màu HSV là không gian màu phù hợp với mắt người Ta có sơ đồ chuyển đổi không gian màu là:

Bộ chuyển đổiRGB -> HSV

Hình 2.10: Sơ đồ bộ chuyển đổi RGB sang HSV

Đối với mỗi điểm ảnh trong ảnh RGB đều được biểu diễn bằng ba màu cơ bản Từ đầu vào là không gian màu RGB ta có để tìm không gian màu của HSV như sau [11]: B1: Tìm giá trị max, min của (R,G,B) tương ứng với từng điểm ảnh một

 Nếu max(R,G,B) = min(R,G,B) thì S = H = 0

 Ngược lại thì thực hiện B2 ,B3 sau đây

B2: Gán giá trị của V là: V=Max(R,G,B) (2.2)

B3: Gán giá trị của S là: S= (Max(R,G,B)−Min(R,G,B))∗255

𝑆 (2.7)

Kết quả chuyển đổi một số ảnh từ không gian RGB sang HSV :

Hình 2.11: Ví dụ chuyển đổi ảnh từ không gian RGB sang không gian HSV, (a) (c) (e) là ảnh

RGB gốc, (b) (d) (e) là ảnh sau khi chuyển đổi

 Nhận xét: từ ảnh gốc (các hình a, c, e) ta thực hiện việc chuyển đổi từ không gian RGB sang không gian HSV Với hai màu giống nhau, chỉ khác nhau về độ sáng sẽ có giá trị Hue bằng nhau, chỉ khác nhau về Saturation và Value Điều này đặc biệt có ích trong việc phân biệt màu sắc bằng máy tính

c Phân ngưỡng ảnh

Để xác định được khói lửa, yêu cầu đưa ra là cần phân ngưỡng cho ảnh dựa trên không gian màu HSV Đây là bước tìm ngưỡng mức xám của điểm ảnh biểu diễn khói Điểm vượt qua ngưỡng này được đánh dấu bằng màu trắng, tất cả các điểm còn lại đánh dấu bằng màu đen Do vậy, sau quá trình tìm ngưỡng từ bức ảnh ban đầu chúng ta thu được ảnh nhị phân chỉ với hai mức đen và trắng Các ảnh nhị phân này thường bị ảnh hưởng bởi nhiễu nên yêu cầu thực hiện lọc nhiễu sau khi đã được phân ngưỡng

Một ảnh f(x,y) có lược đồ xám như hình 2.16 Ảnh này gồm vật thể sáng trên nền tối

vì thế vật thể và nền có độ chói của các điểm ảnh được chia thành 2 nhóm:Một trong những cách để trích vật ra khỏi nền là chọn ngưỡng T để chia 2 nhóm này ra

Như vậy bất kỳ điểm (x,y) sao cho f(x,y)≥T được gọi là điểm vật thể, ngược lại là điểm ảnh gọi là điểm nền [13]

g(x,y) = {1; 𝑓(𝑥, 𝑦) ≥ 𝑇

0; 𝑓(𝑥, 𝑦) < 𝑇 (2.8) Các điểm ảnh được đánh nhãn 1 tương ứng vật thể trong khi đó nhãn 0 tương ững với nền

Để chọn ngưỡng tự động Gonzales và Woods đã giới thiệu giải thuật sau [14]:

Pr(rq) = 𝑛𝑞

𝑛 q=0,1,2,…… L-1 (2.9) Trong đó :

+ n là số lượng điểm ảnh trong ảnh

w1 = ∑𝐿−1𝑞=𝑘𝑝q(rq) (2.12)

µ0 = ∑𝑘−1𝑞=0𝑞𝑝q(rq)/w0 (2.13)

µ1 = ∑𝐿−1𝑞=𝑘𝑞𝑝q(rq)/w1 (2.14)

µT = ∑𝐿−1𝑞=0𝑞𝑝q(rq) (2.15)

Hàm graythresh được xây dựng sẵn trong MATLAB thực hiện việc tìm ngưỡng này

1 Chọn 1 giá trị khởi tạo cho T (giá trị khởi tạo thường được chọn là trung bình của độ chói lớn nhật và nhỏ nhất trong ảnh)

2 Phân đoạn ảnh dùng ngưỡng T này Điều này sẽ tạo ra 2 nhóm điểm ảnh:G1chứa tất cả các điểm ảnh có độ chói ≥T và G2 chứa các điểm ảnh có độ chói <T

3 Tính độ chói trung bình µ1 và µ2 cho các điểm ảnh trong vùng 1 và vùng

T = graythresh(f)

Kết quả thực hiện phân đoạn ảnh với việc chọn ngưỡng từ phương pháp Otsu:

Hình 2.13: Kết quả phân đoạn dựa trên ngưỡng toàn cục (a) (c) là ảnh gốc ;(b) (d) ảnh đã

được phân ngưỡng

 Nhận xét : Ảnh sau khi được phân đoạn và phân ngưỡng ,chuyển sang ảnh nhị phân chỉ còn 2 màu đen và trắng tách biệt rõ ràng giúp chúng ta tách được khói Nếu màu khói nằm trong dải màu như đã nêu ở trên thì đó là khói và quyết định nó có màu trắng, còn ngược lại nó sẽ có màu đen.Thực chất sau quá trình phân đoạn, ảnh nhận

dạng khói chỉ là ảnh nhị phân

d Tách khói

Lọc nhiễu ở đây là tìm các đối tượng nhỏ li ti mà được coi không phải là khói Đó chỉ là nhiễu mắc phải Vậy nên để cho quá trình nhận dạng khói và lửa chính xác hơn ta phải đi loại bỏ nhiễu này để tránh nhầm lẫn với vùng có khói hoặc lửa

Ảnh sau khi được phân ngưỡng và chuyển sang ảnh nhị phân cần được lọc nhiễu và các bước quan trọng trong quá trình này là :

- Lọc các vùng nhỏ ra khỏi ảnh

- Làm trơn ảnh bằng cách sử dụng hình thái học của ảnh

- Tách vùng nghi có khói ra khỏi ảnh

Để thực hiện được các bước trên, chúng ta cần dựa vào phương pháp Hình thái học của ảnh (còn được gọi là thuật toán Mophologyclose)

Thuật toán Mophologyclose:

Trong các ứng dụng thị giác máy tính, xử lý hình thái học có thể được sử dụng để nhận dạng đối tượng, nâng cao chất lượng ảnh, phân đoạn ảnh và kiểm tra khuyết điểm trên ảnh Các phép toán xử lý hình thái học được thực hiện chủ yếu trên ảnh nhị phân

Hình 2.14: Một số hình dáng của cấu trúc phẳng

Phép co ảnh – Erosion:

Xét tập hợp A và tập hợp B (Phần tử cấu trúc), phép co ảnh nhị phân của tập hợp A bởi phần tử cấu trúc B được kí hiệu A ⊖ B và viết dưới dạng công thức như sau:

A ⊖ B = {Z|(B)Z }  A (2.16) Với Bz là phương thức biểu diễn của B bằng các vector z :

Bz ={b+z|b∈B} ,∀𝑧 ∈ 𝐸 (2.17) Phép co ảnh nhị phân của tập hợp A bởi phần tử cấu trúc B là tập hợp các điểm z (z nằm ở tâm điểm của phần tử cấu trúc B) sao cho Bz là tập con của A

0

1

0 1 2 3

0 1

2 3

Gọi A là ảnh gốc, B là một phần tử cấu trúc Phép giãn nhị phân của ảnh A với phần

tử cấu trúc B được kí hiệu A  B và chúng ta có thể biểu diễn phép toán co ảnh dưới

dạng phép toán tổ hợp như sau:

A  B={𝑧|[(𝐵̂)𝑧 ∩ 𝐴]  𝐴} (2.18)

Phép giãn ảnh nhị phân của tập A bởi phần tử cấu trúc B là tập hợp của các điểm z (z là tâm của phần tử cấu trúc B trên tập A) sao cho phản xạ của Bz giao với tập A tại ít

1

0 1 2 3

0 1

2 3

Thuật toán lọc nhiễu dựa trên hai phép “dãn” và “co” và được trình bày như sau:

Mỗi pixel và 8 pixel lân cận của nó trong ảnh nhị phân có thể được biểu diễn một cách đầy đủ bởi một số nguyên dương 9 bit được thể hiện như hình sau:

Dựa vào phương pháp lập bảng tìm kiếm ta có được cách thực hiện sau Từ pixel cũ

X và lân cận của nó ta có thể suy ra được một pixel mới Y như sau:

Y= X ∩ X0∩ X1 ∩ X2 ∩ X3 ∩ X4 ∩ X5 ∩ X6 ∩ X7 (2.30)

B2: Thực hiện phép dãn ảnh:

Cũng tương tự như phép co ảnh phép dãn ảnh cũng dựa vào bảng tìm kiếm ta có thể

suy ra được pixel mới Y từ pixel cũ X và lân cận của nó như sau:

Y=X ∪ X0 ∪ X1∪ X2 ∪ X3 ∪X4 ∪X5 ∪ X6 ∪X7 (2.31) Trong thuật toán Mophologyclose thì ảnh được tạo ra từ phép co ảnh rồi sau đó mới đến phép dãn ảnh Số lượng các bước co ảnh phải bằng với số lượng các bước dãn ảnh Qua thuật toán Mophologyclose đối tượng nhỏ bị mất hoàn toàn, các cấu trúc gờ cạnh

không thuận nghịch Ảnh sau khi qua thuật toán Mophologyclose thì ảnh thường bị bé

đi hay bị lõm Do vậy ta nên thực hiện một thuật toán làm sao lấp đầy các đối tượng bị lõm Đó chính là thuật toán Mophologyopen Thuật toán này chính là ngược so với thuận toán Mophologyclose

Thuât toán Mophologyopen được thực hiện bằng phép dãn ảnh, sau đó mới đến phép

co ảnh, số lượng các phép dãn ảnh phải bằng số lượng các phép co ảnh Thuật toán này

có tác dụng các đối tượng nằm sát nhau cùng lớn lên, còn lỗ trống trong các đối tượng được khép kín lại và cấu trúc lõm ở mép đối tượng được làm đầy

Trong Matlab có hỗ trợ hàm bwareaopen với cú pháp như sau:

 BW2 = bwareaopen (BW, P)

Thực hiện phép toán như trên ta thực hiện lọc cho một số ảnh dữ liệu đang xử lý:

(a) (b)

Hình 2.18: Lọc nhỏ cho ảnh nhị phân (a) ta được ảnh (b) các vùng nhỏ li ti đã bị mất

AB = (A⊖B)⊕B (2.32)

- Phép đóng ảnh – Closing:

Với tập hợp A là ảnh gốc, B là phần tử cấu trúc  là ký hiệu phép đóng ảnh

Khi đó phép đóng ảnh của tập hợp A bởi phần tử cấu trúc B, kí hiệu là (AB), xác định bởi:

(AB) = (A  B)⊖B (2.33)

Trong Matlab có hỗ trợ hàm imclose cho việc lọc trơn ảnh:

IM2 = imclose(IM,SE) IM2 = imclose(IM,NHOOD) Ảnh trước khi được lọc trơn thường nhiễu, ảnh sau khi được lọc trơn trở nên mịn hơn và giảm nhiễu Điều này rất quan trọng và giúp cho việc tách biên, phân vùng dễ dàng hơn (Hình 2.20)

(a) (b)

Hình 2.19: Ảnh sau khi được lọc trơn (b) từ ảnh nhị phân (a)

Theo phương pháp xử lý hình thái học, có một số ứng dụng và một trong những ứng

Tô đầy vùng - Region fill:

Ảnh nhị phân thường là kết quả của các phép thực hiện phân ngưỡng hoặc phân đoạn ảnh xám hoặc ảnh màu đầu vào Những phép biến đổi này rất hiểm khi “hoàn hảo” do những nhân tố bên ngoài mà trong quá trình lấy mẫu ảnh chúng ta không kiểm soát được như cường độ sáng hay độ chói xuất hiện trong ảnh và nó có thể để lại những “lỗ hổng” sau khi thực hiện lấy ngưỡng hoặc phân đoạn ảnh

Sử dụng các phép xử lý hình thái học để lấp đầy các lỗ hổng thực sự rất hiệu quả Cho một ảnh nhị phân A gồm có: các điểm ảnh là biên của đối tượng được gán nhãn bằng 1 và các điểm ảnh không phải là biên được gán nhãn bằng 0 Đặt B là cấu trúc phần tử và x0 là một điểm ảnh bất kì nằm trong lỗ hổng được bao bọc bởi biên của đối tượng (điểm xuất phát) Việc làm đầy đối tượng được thực hiện bằng cách lặp đi lặp lại quá trình sau đây:

Bắt đầu

x0 = 0

xk= (xk-1 ⊖B) ∩ A với k=1,2,3…

xk = xk-1

Sai

Kết thúc Đúng

Kết quả vùng đối tượng được lấp đầy cuối cùng chúng ta có được là H = A ∪ 𝑥𝑘

(a) (b)

Hình 2.21: Kết quả của việc thực hiện lấp đầy vùng ảnh: (a) Ảnh nhị phân với các “lỗ

hổng”, (b) Ảnh sau khi được lấp đầy

Các đối tượng nhỏ trong hình (a) được đẩy ra ,và được thay thế và lấp đầy bằng đối tượng đang xét Hình (b) Các đối tượng nhỏ đẩy ra xa, tạo ra 2 vùng riêng biệt, từ đây chúng ta dễ dàng phân vùng

Phân đoạn vùng

- Công thức cơ bản: Đặt R đại diện cho vùng ảnh hiện tại.Việc phân đoạn ảnh là

quá trình chia R thành n vùng nhỏ R1,R2….,Rn [7]

Các tiền đề trong phân vùng

- Phân đoạn phát triển vùng: Phân đoạn dựa trên việc phát triển vùng là quá trình

nhóm các điểm ảnh hay các nhóm phụ thành một vùng rộng hơn dựa trên các

c) Ri∩Rj = với mọi i và j sao cho i≠j d) P(Ri) =TRUE với i=1,2,….,n

e) P(Ri ∪ Rj)=FALSE cho bất kỳ vùng liền kề Ri và Rj