Traffic analysis in transportation system using image processing

Nhiệm vụ yêu cầu về nội dung và số liệu ban đầu Sử dụng các kỹ thuật trong xử lý ảnh và các tính toán cần thiết thực hiện phân tích tình trạng giao thông từ nguồn dữ liệu ban đầu là các

CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG –HCM

Cán bộ hướng dẫn khoa học : PSG.TS Đỗ Hồng Tuấn

Cán bộ chấm nhận xét 1 :

Cán bộ chấm nhận xét 2 :

Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG TP.HCM Ngày 11 tháng 01 năm 2019 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm : 1

2

3

4

5

Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA

NHIỆM VỤ LUẬN VĂN THẠC SĨ

1 Tên đề tài luận văn (Tiếng Việt và Tiếng Anh) :

Tên Tiếng Việt : Phân tích tình trạng giao thông sử dụng xử lý ảnh

Tên Tiếng Anh : Traffic analysis in transportation system using image

processing

2 Nhiệm vụ (yêu cầu về nội dung và số liệu ban đầu)

Sử dụng các kỹ thuật trong xử lý ảnh và các tính toán cần thiết thực hiện phân tích tình trạng giao thông từ nguồn dữ liệu ban đầu là các file video/ file hình

ảnh ghi nhận được tại các camera đặt tại các trục lộ

3 Các kết quả dự kiến

Phân tích tình trạng giao thông sử dụng hình ảnh thực tế ghi nhận tại các trục lộ

và phân loại thành ba nhóm chính : Thông thoáng (Free); Đông xe (Crowded); Kẹt xe (Congested) dựa theo mức ngưỡng dữ liệu đề xuất nhằm đưa ra các cảnh báo về tình trạng giao thông

4 Ngày giao nhiệm vụ luận văn : 20/7/2018

5 Ngày hoàn thành nhiệm vụ : 20/12/2018

6 Họ và tên người hướng dẫn : PGS TS Đỗ Hồng Tuấn

HỌ VÀ TÊN : Trần Công Vinh

Ngày, tháng, năm sinh: 24/11/1982

NGÀNH : Kỹ Thuật Viễn Thông

MSHV : 1570415 Nơi sinh: Lâm Đồng

Mã số: 60 52 02 08

LỜI CẢM ƠN

Tôi xin bày tỏ lòng biết ơn sâu sắc đến Thầy PGS Tiến sĩ Đỗ Hồng Tuấn, Thầy

đã có những định hướng giúp tôi thành công trong công việc nghiên cứu của mình Thầy cũng động viên chỉ bảo cho tôi vượt qua những khó khăn và cho tôi nhiều kiến thức quý báu về nghiên cứu khoa học Nhờ sự chỉ bảo của Thầy, tôi mới có thể hoàn thành đề tài luận văn này

Tôi xin chân thành cảm ơn các thầy cô trong Khoa, trong Trường Đại học Bách khoa TPHCM đã tận tình giảng dạy, truyền đạt những kiến thức và kinh nghiệm vô cùng quý báu trong những năm học vừa qua

Sau cùng là lòng biết ơn sâu sắc đến bố mẹ, anh, chị, bạn bè đã luôn động viên, giúp đỡ, ủng hộ trong suốt quá trình tôi tham gia học tập tại Trường

ABSTRACT

Currently, the problem of traffic congestion is becoming a national focus issue Serious traffic congestions affect people’s normal travel, restrict the economical development of society, so this is a problem that need to be solved as soon as possible With the wide use of traffic monitoring system, using video and image processing technologies to detect traffic congestion is attracting more and more interests

In this thesis, a real-time algorithm for analysing traffic conditions based on texture analysis is proposed The algorithm is based on image/video data obtained from traffic surveillance systems to analyse the traffic conditions in different scenarios

It is considered to successfully provide quick and reliable traffic information to the traffic administrative departments

In this thesis, by applying digital image description techniques, parameters of the Gray Level Co-occurrence Matrix (GLCM), algorithms of analyzing image texture, the nanalysis of traffic conditions uses actual images recored on roads has been completed The traffic status is classified into three main groups : “Free”,

“Crowded”, and “Congested” based on the input threshold level The above analysis results can be used to give warnings about traffic status

The proposed algorithm in the thesis can be integrated in the future traffic video surveillance system, providing reliable and fast traffice information for traffic

management units

TÓM TẮT

Hiện nay, vấn đề tắc nghẽn giao thông đang trở thành vấn đề trọng tâm của quốc gia Sự tắc nghẽn giao thông nghiêm trọng ảnh hưởng đến quá trình di chuyển của nhiều người, hạn chế sự phát triển kinh tế của xã hội, vì vậy đây là một vấn đề cần được giải quyết càng sớm càng tốt Với việc sử dụng rộng rãi hệ thống giám sát giao thông, sử dụng công nghệ xử lý hình ảnh và video để phát hiện tình trạng tắc nghẽn giao thông đang thu hút nhiều nhiều sự quan tâm

Trong luận văn này, thuật toán phân tích tình trạng giao thông theo thời gian thực dựa trên phân tích kết cấu hình ảnh được đề xuất Giải thuật dựa vào nguồn dữ liệu hình ảnh/ video đầu vào được trích xuất từ hệ thống giám sát giao thông và thực hiện phân tích mật độ các phương tiện giao thông trong các ngữ cảnh khác nhau Thuật toán này đã cung cấp những thông tin giao thông một cách nhanh chóng

và đáng tin cậy cho các đơn vị quản lý hành chính về giao thông

Trong luận văn, bằng cách áp dụng các kỹ thuật trong quá trình xử lý ảnh, các tham số của ma trận Gray level coocurence (GLCM), các thuật toán phân tích kết cấu (texture) của hình ảnh, việc phân tích tình trạng giao thông sử dụng hình ảnh thực tế ghi nhận tại các trục lộ đã được hoàn tất Tình trạng giao thông được phân loại thành

ba nhóm chính: Thông thoáng (Free), Đông xe (Crowded), Kẹt xe (Congested) dựa theo mức ngưỡng dữ liệu video đầu vào Các kết quả phân tích trên có thể được dùng

để đưa ra các cảnh báo về tình trạng giao thông

Giải thuật đề xuất trong luận văn có thể được tích hợp trong hệ thống giám sát giao thông trong tương lai và cung cấp thông tin giao thông đáng tin cậy và nhanh chóng cho các đơn vị quản lý giao thông

LỜI CAM ĐOAN

Tôi xin cam đoan mọi kết quả của đề tài: “Phân tích tình trạng giao thông sử dụng

xử lý ảnh” là công trình nghiên cứu của cá nhân tôi và chưa từng được công bố trong

bất cứ công trình khoa học nào khác cho tới thời điểm này

……… , Ngày tháng 12 năm 2018 Tác giả luận văn

Trần Công Vinh

Hình 4.1 Lưu đồ giải thuật PCM

Hình 5.1 Lưu đồ phân tích tình trạng giao thông

Hình 5.2 Giao thông ở trạng thái “Free” ảnh màu (Frame đầu tiên)

Hình 5.3 Giao thông ở trạng thái “Free” ảnh thang xám (Frame đầu tiên)

Hình 5.4 Biểu đồ ma trận GLCM với d=1 và góc theta=00 (Frame đầu tiên) Hình 5.5 Giao thông ở trạng thái “Free” ảnh màu (Frame cuối)

Hình 5.6 Giao thông ở trạng thái “Free” ảnh thang xám (Frame cuối)

Hình 5.7 Biểu đồ ma trận GLCM với d=1 và góc theta=00 (Frame cuối)

Hình 5.8 Giao thông ở trạng thái “Crowded” ảnh màu (Frame đầu tiên)

Hình 5.9 Giao thông ở trạng thái “Crowded” ảnh thang xám (gray scale image) (Frame đầu tiên)

Hình 5.10 Biểu đồ ma trận GLCM với d=1 và góc theta=00 (Frame đầu tiên) Hình 5.11 Giao thông ở trạng thái “Crowded” ảnh màu (Frame cuối)

Hình 5.12 Giao thông ở trạng thái “Crowded” ảnh thang xám (Frame cuối) Hình 5.13 Biểu đồ ma trận GLCM với d=1 và góc theta=00 (Frame cuối) Hình 5.14 Biểu đồ mức xám (gray level) của Frame đầu tiên

Hình 5.15 Biểu đồ mức xám (gray level) của Frame cuối

Hình 5.18 Biểu đồ ma trận GLCM với d=1 và góc theta=00 (Frame đầu tiên) Hình 5.19 Giao thông ở trạng thái “Congested” ảnh màu (Frame cuối)

Hình 5.20 Giao thông ở trạng thái “Congested” ảnh thang xám (Frame cuối) Hình 5.21 Biểu đồ ma trận GLCM với d=1 và góc theta=00 (Frame cuối) Hình 5.22 Biểu đồ mức xám (gray level) của Frame đầu tiên

Hình 5.23 Biểu đồ mức xám (gray level) của Frame cuối

Hình 5.24 Biểu đồ minh hoạ các giá trị contrast average theo bảng tổng hợp Hình 5.25 Biểu đồ xác định giá trị ngưỡng T1

Hình 5.26 Biểu đồ minh hoạ các giá trị gray level theo bảng tổng hợp

Hình 5.27 Biểu đồ xác định giá trị ngưỡng T2

DANH MỤC BẢNG BIỂU

Bảng 3.1 Các bước thực hiện tính các tham số texture và so sánh hình ảnh Bảng 5.1 Giải thuật mô phỏng đề tài

Bảng 5.2 Tổng hợp giá trị contrast theo các mẫu file video

Bảng 5.3 Tổng hợp giá trị gray level theo các mẫu file video

MỤC LỤC

CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI 13

1.1Lý do chọn đề tài 13

1.2Mục đích nghiên cứu 13

1.3Đối tượng và phạm vi nghiên cứu 13

1.4Phương pháp nghiên cứu 13

1.5Ý nghĩa khoa học và thực tiễn của đề tài 14

1.6Cấu trúc của luận văn 14

CHƯƠNG 2: TỔNG QUAN VỀ HÌNH ẢNH VÀ XỬ LÝ ẢNH 16

2.1Tổng quan về hình ảnh: 16

2.2Xử lý hình ảnh: 17

2.2.1 Các bước cơ bản trong quá trình xử lý hình ảnh: 17

2.2.2 Các thành phần trong quá trình xử lý hình ảnh: 19

CHƯƠNG 3: PHẦN MỀM MATLAB VÀ MA TRẬN GRAY LEVEL COOCURENCE (GLCM) 22

3.1Tổng quan về phần mềm Matlab và các lệnh thường dùng trong xử lý hình ảnh: 22

3.2Ma trận GLCM và các tham số liên quan được sử dụng trong quá trình phân tích xử lý hình ảnh: 25

3.2.1 Tổng quan về Texture (kết cấu) và giải thuật so sánh hình ảnh: 25

3.2.2 Ma trận Gray level coocurence (GLCM): 31

CHƯƠNG 4: GIẢI THUẬT FUZZY POSSIBILISTIC C-MEANS CLUSTERING 37

CHƯƠNG 5: CÁC BƯỚC THỰC HIỆN MÔ PHỎNG ĐỀ TÀI VÀ TỔNG HỢP ĐÁNH GIÁ KẾT QUẢ 41

a Phân tích Frame đầu tiên: 46

b Phân tích Frame cuối cùng: 48

c Kết luận về tình trạng giao thông: 50

5.4.2.2 Trạng thái “Crowded”: 51

a Phân tích Frame đầu tiên: 51

b Phân tích Frame cuối cùng: 53

c Đánh giá tình trạng giao thông: 55

d Kết luận về tình trạng giao thông: 57

5.4.2.3 Trạng thái “Congested”: 57

a Phân tích Frame đầu tiên: 57

b Phân tích Frame cuối cùng: 59

c Đánh giá tình trạng giao thông: 61

d Kết luận về tình trạng giao thông: 63

5.5.1 Xác định ngưỡng T1 để phân biệt trạng thái “Free” và hai trạng thái còn lại là “Crowded” và “Congested”: 63

5.5.2 Xác định ngưỡng T2 để phân biệt giữa hai trạng thái là “Crowded” và “Congested”: 66

5.5.3 Nhận xét và đánh giá kết quả mô phỏng đề tài: 69

CHƯƠNG 6: TỔNG KẾT VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI 71

6.1Tổng kết đề tài: 71

6.2Hướng phát triển của đề tài: 71

TÀI LIỆU THAM KHẢO 73

CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI 1.1 Lý do chọn đề tài

Ở các đô thị Việt Nam, nhất là tại các thành phố lớn như Hà Nội, TP Hồ Chí Minh và Đà Nẵng,… tắc nghẽn giao thông đang ngày càng trầm trọng đặc biệt là trong các dịp lễ, tết, trong thời gian tổ chức các sự kiện…, chính quyền thành phố đã đưa ra nhiều giải pháp để hạn chế tắc nghẽn giao thông, nhưng đa số giải pháp vẫn chỉ mang tính căn cơ, đối phó tạm thời mà chưa có định hướng cụ thể nhờ vào việc

áp dụng các thành tựu trong nghiên cứu về khoa kỹ thuật đang được triển khai tại các nước tiên tiến để giảm thiểu tình trạng trên

Đồng thời với mong muốn tạo ra nguồn dữ liệu trực quan phục vụ công tác quy hoạch phát triển giao thông trong tương lai và thực hiện các thống kê, ước lượng nhanh về trạng thái của các phương tiện đang tham gia giao thông tại một thời điểm theo hình ảnh ghi nhận được tại các camera quan sát; Tôi đã thực hiện đề tài phân tích và lưu trữ trạng thái của các phương tiện giao thông sử dụng xử lý hình ảnh ghi nhận các phương tiện giao thông được lưu trữ dưới dạng file video hoặc file hình ảnh

1.2 Mục đích nghiên cứu

Phân tích tình trạng giao thông sử dụng hình ảnh thực tế ghi nhận tại các trục lộ

và phân loại thành ba nhóm chính: Thông thoáng (Free); Đông xe (Crowded); Kẹt xe (Congested) dựa theo mức ngưỡng dữ liệu đề xuất nhằm đưa ra các cảnh báo về tình trạng giao thông Đồng thời các trạng thái này gắn với các thuộc tính thời gian, địa điểm ghi nhận sẽ được lưu trữ vào cở sở dữ liệu (Database) để tạo ra nguồn dữ liệu giúp định hướng trong việc xây dựng các hạ tầng giao thông, xây dựng thành phố thông minh đang là mục tiêu phát triển của nhiều đô thị ở Việt Nam hiện nay

1.3 Đối tượng và phạm vi nghiên cứu

Các loại phương tiện tham gia giao thông được ghi nhận dưới dạng hình ảnh hoặc file video từ các camera quan sát đặt tại các trục lộ

Bằng cách sử dụng phần mềm Matlab để phân tích, trích xuất hình ảnh và áp dụng các phép biến đổi của ma trận Gray level co-ocurence matrix (GLCM) để thực

1.4.1 Về mức độ lý thuyết

Tìm hiểu, nghiên cứu các tài liệu về:

- Đặc tính của màu sắc là một trong những yếu tố cơ bản tạo nên hình ảnh

- Cấu trúc, đặc điểm của hình ảnh và các phương pháp biến đổi hình ảnh màu sang ảnh thang xám và biểu diễn dưới dạng dữ liệu số

- Texture và các thuộc tính của hình ảnh

- Tính năng và các hàm xử lý, trích xuất hình ảnh của phần mềm Matlab

- Các tham số và các thuật toán liên quan của ma trận GLCM khi thực hiện phân tích dữ liệu hình ảnh

- Phương pháp phân cụm dữ liệu Fuzzy c-means (FCM)

1.4.2 Về mặt thực tiễn

- Sử dụng hình ảnh hoặc file video về các phương tiện giao thông ghi nhận từ các camrera giám sát tại một địa điểm để đưa ra các nhận định về tình trạng giao thông tại thời điểm đó

- Lưu trữ kết quả phân tích vào database để tạo ra nguồn dữ liệu giúp định hướng trong việc xây dựng các hạ tầng giao thông, đưa ra các lựa chọn về định tuyến cho người tham gia giao thông

1.5 Ý nghĩa khoa học và thực tiễn của đề tài

- Áp dụng các thiết bị ghi nhận hình ảnh, sử dụng phần mềm Matlab dùng

để trích xuất hình ảnh, cung cấp môi trường tính toán và lập trình để thống kê tình trạng của các phương tiện tham gia giao thông

- Các trạng thái của đèn giao thông quá cứng nhắc và lặp đi lặp lại theo thời gian nhất định, không dựa theo các tham thực tế là mật độ giao thông vì vậy không đưa ra được các chỉ dẫn linh hoạt hoặc gợi ý về hướng di chuyển hợp

lý cho người tham gia giao thông

- Bằng cách sử dụng hệ thống xử lý hình ảnh, các tình huống không dự đoán được việc tắc nghẽn giao thông có thể được phát hiện và giải quyết tự động

Nội dung của luận văn được chia thành các chương như sau:

- Chương 1: Giới thiệu đề tài

Trình bày lý do chọn đề tài, mục đích, đối tượng và phạm vi nghiên cứu,

ý nghĩa khoa học và thực tiễn của đề tài nghiên cứu

Trình bày tổng quan về ma trận Gray level coocurence (GLCM)

- Chương 4: Giải thuật Fuzzy Possibilistic C-Means clustering (PCM)

Trình bày về phương pháp phân cụm Fuzzy Possiblistic C-Mean (FPMC)

và áp dụng phương pháp phân cụm FPMC thông qua giải thuật viết trên phần mềm Matlab để tính giá trị trung tâm của các cụm dữ liệu đầu vào

- Chương 5: Các bước thực hiện mô phỏng đề tài và tổng hợp đánh giá kết quả

Trình bày các bước thực hiện mô phỏng đề tài, định nghĩa các trạng thái đánh giá tình trạng giao thông theo dữ liệu thực tế

Tổng hợp kết quả đánh giá phân tích tình trạng giao thông thực tế theo file video ghi nhận hình ảnh các phương tiện giao thông

- Chương 6: Tổng kết đề tài và hướng phát triển của đề tài

CHƯƠNG 2: TỔNG QUAN VỀ HÌNH ẢNH VÀ XỬ LÝ ẢNH

2.1 Tổng quan về hình ảnh:

Ảnh số là tập hợp hữu hạn các điểm ảnh (pixel) với mức xám phù hợp dùng để mô tả ảnh gần với ảnh thật Số điểm ảnh xác định độ phân giải của ảnh Ảnh có độ phân giải càng cao thì càng thể hiện rõ nét các đặt điểm của tấm hình càng làm cho tấm ảnh trở nên thực và sắc nét hơn

a Điểm ảnh (Picture Element):

Điểm ảnh (Pixel) là một phần tử của ảnh số tại toạ độ (x, y) với độ xám hoặc màu nhất định Kích thước và khoảng cách giữa các điểm ảnh

đó được chọn thích hợp sao cho mắt người cảm nhận sự liên tục về không gian và mức xám (hoặc màu) của ảnh số gần như ảnh thật Mỗi phần tử trong ma trận được gọi là một phần tử ảnh

b Contrast (độ tương phản):

- Contrast là sự khác biệt về độ sáng hoặc màu sắc sao cho một vật thể nào đó trong hình ảnh trở nên được phân biệt so với các vật thể khác Constrast được xác định bởi sự khác biệt về màu sắc và Brightness của chính đối tượng và các đối tượng khác trong cùng trường nhìn Nói chung, nhờ có Constrast mà hệ thống thị giác của con người có thể nhận biết được các vật thể xung quanh

- Xét trong ảnh kĩ thuật số, ta có thể xem Constrast là sự khác biệt giữa màu đen và màu trắng trong hình ảnh Nếu không có sự tương phản chúng ta sẽ không thấy được điều gì ở trong ảnh vì sẽ không có bất kỳ sự khác biệt giữa ánh sáng và bóng tối; tất cả mọi thứ sẽ có màu đen, trắng, hoặc lờ mờ màu xám

- Hình ảnh High Contrast (độ tương phản cao) sẽ cho ta thấy rõ ràng

sự nổi bật của ánh sánh, bóng, màu sắc và bề mặt của các vật thể trong hình ảnh

- Ngược lại, hình ảnh Low Contrast (độ tương phản thấp) là hình ảnh có tông màu hẹp, ít ấn tượng, có cảm giác bị phẳng, xám xịt

Mức xám: Là kết quả của sự biến đổi tương ứng 1 giá trị độ sáng của

1 điểm ảnh với 1 giá trị nguyên dương Thông thường nó xác định trong [0, 255] tuỳ thuộc vào giá trị mà mỗi điểm ảnh được biểu diễn Các thang giá trị mức xám thông thường: 16, 32, 64, 128, 256 (Mức 256 là mức phổ dụng Lý do: từ kỹ thuật máy tính dùng 1 byte (8 bit) để biểu diễn mức xám Mức xám dùng 1 byte biểu diễn: 28 =256 mức, tức là từ 0 đến 255)

d Độ phân giải của ảnh:

- Định nghĩa: Độ phân giải (Resolution) của ảnh là mật độ điểm ảnh được ấn định trên một ảnh số được hiển thị

- Theo định nghĩa, khoảng cách giữa các điểm ảnh phải được chọn sao cho mắt người vẫn thấy được sự liên tục của ảnh Việc lựa chọn khoảng cách thích hợp tạo nên một mật độ phân bổ, đó chính là độ phân giải và được phân bố theo trục x và y trong không gian hai chiều

2.2 Xử lý hình ảnh:

2.2.1 Các bước cơ bản trong quá trình xử lý hình ảnh:

Hình 2.1 Các bước cơ bản trong quá trình xử lý hình ảnh [2]

a Phần thu nhận ảnh (Image Acquisition):

- Thu nhận hình ảnh: trong xử lý hình ảnh có thể được định nghĩa

là lấy ra một hình ảnh từ một số nguồn, thường là một nguồn dựa trên phần cứng, do đó nó có thể được truyền qua bất kỳ quá trình nào cần xảy ra sau

- Trước đây, ảnh thu qua Camera là các ảnh tương tự (loại Camera ống kiểu CCIR) Gần đây, với sự phát triển của công nghệ, ảnh màu hoặc đen trắng được lấy ra từ Camera, sau đó nó được chuyển trực tiếp thành ảnh số tạo thuận lợi cho xử lý tiếp theo

b Tiền Xử lý (Image preprocessing):

Sau bộ thu nhận, ảnh có thể nhiễu độ tương phản thấp nên cần đưa vào bộ tiền xử lý để nâng cao chất lượng Chức năng chính của bộ tiền xử

lý là lọc nhiễu, nâng độ tương phản để làm ảnh rõ hơn, nét hơn Về cơ bản,

ý tưởng của các kỹ thuật tiền xử lý là đưa ra các chi tiết bị che khuất, hoặc chỉ đơn giản là để làm nổi bật một số tính năng quan tâm trong một hình ảnh Chẳng hạn như, thay đổi độ sáng & độ tương phản

c Phân đoạn hình ảnh (Image segmentation):

Mục đích của công đoạn này là để các đối tượng làm đại diện đặc trưng cho các vùng có ý nghĩa của hình ảnh Ví dụ: để nhận dạng chữ (hoặc mã vạch) trên phong bì thư cho mục đích phân loại bưu phẩm, cần chia các câu, chữ về địa chỉ hoặc tên người thành các từ, các chữ, các số (hoặc các vạch) riêng biệt để nhận dạng Đây là phần phức tạp khó khăn nhất trong xử lý ảnh và cũng dễ gây lỗi, làm mất độ chính xác của ảnh Kết quả nhận dạng ảnh phụ thuộc rất nhiều vào công đoạn này

d Biểu diễn ảnh số (Image Representation):

Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh (ảnh đã phân đoạn) cộng với mã liên kết với các vùng lận cận Việc biến đổi các

số liệu này thành dạng thích hợp là cần thiết cho xử lý tiếp theo bằng máy tính Việc chọn các tính chất để thể hiện ảnh gọi là trích chọn đặc trưng (Feature Selection) gắn với việc tách các đặc tính của ảnh dưới dạng các thông tin định lượng hoặc làm cơ sở để phân biệt lớp đối tượng này với đối tượng khác trong phạm vi ảnh nhận được Ví dụ: trong nhận dạng ký

tự trên phong bì thư, chúng ta miêu tả các đặc trưng của từng ký tự giúp phân biệt ký tự này với ký tự khác

e Nhận dạng và nội suy ảnh số (Image Recognition and Interpretation):

Nhận dạng ảnh là quá trình xác định ảnh Quá trình này thường thu được bằng cách so sánh với mẫu chuẩn đã được học (hoặc lưu) từ trước Nội suy là phán đoán theo ý nghĩa trên cơ sở nhận dạng Ví dụ: một loạt chữ số và nét gạch ngang trên phong bì thư có thể được nội suy thành mã điện thoại Có nhiều cách phân loai ảnh khác nhau về ảnh Theo lý thuyết

về nhận dạng, các mô hình toán học về ảnh được phân theo hai loại nhận dạng ảnh cơ bản:

- Nhận dạng theo tham số

- Nhận dạng theo cấu trúc

Một số đối tượng nhận dạng khá phổ biến hiện nay đang được áp dụng trong khoa học và công nghệ là: nhận dạng ký tự (chữ in, chữ viết tay, chữ ký điện tử), nhận dạng văn bản (Text), nhận dạng vân tay, nhận dạng mã vạch, nhận dạng mặt người…

2.2.2 Các thành phần trong quá trình xử lý hình ảnh:

Hình 2.2 Các thành phần trong quá trình xử lý hình ảnh [2]

a Bộ cảm biến hình ảnh (Image sensors):

Bộ cảm biến cần có 2 thành phần để ghi nhận các hình ảnh kỹ thuật

d Phần mềm:

Được dùng để xử lý hình ảnh bao gồm các mô-đun chuyên biệt thực hiện một số tác vụ cụ thể

e Dung lượng thiết bị lưu trữ hình ảnh (Mass storage):

Mức dữ liệu được lưu trữ khi thực hiện các ứng dụng xử lý ảnh gồm:

- Short-term storage: lưu trữ trong thời gian ngắn để thực hiện quá trình xử lý hình ảnh

- Online storage: lưu trữ trực tuyến nhằm đáp ứng việc truy xuất nhanh các dữ liệu cần thiết

- Archival storage: lưu trữ các dữ liệu không thường xuyên truy cập

f Image display: thiết bị hiển thị hình ảnh

g Hardcopy devices: các thiết bị được sử dụng trong việc ghi lại

hình ảnh bao gồm máy in laze, máy quay phim và các thiết bị khác như đĩa quang, đĩa CD-ROM, …

CHƯƠNG 3: PHẦN MỀM MATLAB VÀ MA TRẬN GRAY LEVEL

COOCURENCE (GLCM) 3.1 Tổng quan về phần mềm Matlab và các lệnh thường dùng trong xử lý hình ảnh:

- Matlab là một ngôn ngữ lập trình thực hành bậc cao được sử dụng

để giải các bài toán về kỹ thuật Matlab tích hợp được việc tính toán, thể hiện kết quả, cho phép lập trình, giao diện làm việc rất dễ dàng cho người

sử dụng Dữ liệu cùng với thư viện được lập trình sẵn cho phép người sử dụng có thể tạo ra nhiều ứng dụng phục vụ các mục tiêu khác nhau

- Dữ liệu của Matlab thể hiện dưới dạng ma trận (hoặc mảng - tổng quát), và có các kiểu dữ liệu như: single, double, uint8, uint16, uint64, …

- Một số hàm thường dùng của phần mềm Matlab trong xử lý ảnh:

 Hiển thị ảnh: Dùng hàm imview

Để hiển thị một ảnh sử dụng hàm imview, dùng hàm imview, chỉ rõ ảnh mà ta muốn hiển thị Ta có thể sử dụng imview để hiển thị một ảnh mà đã được nhập vào trong không gian làm việc của Matlab moonfig = imread('moon.tif');

Nếu ta gọi hàm imview mà không chỉ ra mất kì tham số nào,

nó sẽ hiển thị một hộp chọn file cho phép ta chỉ ra tên file muốn hiển thị

 Xem nhiều ảnh:

Nếu ta chỉ ra một file mà chứa nhiều ảnh, hàm imview chỉ hiển

dụng hàm imread để nhập mỗi ảnh vào trong không gian làm việc của Matlab sau đó gọi hàm imview nhiều lần để hiển thị mỗi ảnh riêng biệt

 Dùng hàm imshow

Để xem ảnh, ta có thể sử dụng hàm imshow thay cho imview

Ta sử dụng imshow để hiển thị một ảnh đã được nhập vào trong không gian làm việc như ví dụ sau:

 Các hàm chuyển đổi kiểu ảnh Với các thao tác nhất định sẽ thật hữu ích khi có thể chuyển đổi ảnh từ dạng này sang dạng khác Chẳng hạn, nếu ta muốn lọc một màu ảnh được lưu trữ dưới dạng ảnh chỉ số đầu tiên ta nên chuyển đổi nó thành dạng ảnh RGB

Khi ta áp dụng phép lọc tới ảnh RGB, Matlab sẽ lọc giá trị cường độ trong ảnh tương ứng Nếu ta cố gắng lọc ảnh chỉ số, Matlab đơn giản chỉ áp đặt phép lọc tới ma trận ảnh chỉ số và kết quả sẽ không có ý nghĩa

 Danh sách sau đây sẽ liệt kê các hàm được sử dụng trong việc chuyển đổi kiểu ảnh:

+) dither: Tạo một ảnh nhị phân từ một ảnh cường độ đen trắng bằng cách trộn, tạo một ảnh chỉ số từ một ảnh RGB bằng cách trộn (dither)

+) gray2id: Tạo một ảnh chỉ số từ một ảnh cường độ đen trắng +) grayslice: Tạo một ảnh chỉ số từ một ảnh cường độ đen trắng bằng cách đặt ngưỡng

+) im2bw: Tạo một ảnh nhị phân từ một ảnh cường độ, ảnh chỉ

số hay ảnh RGB trên cơ sở của ngưỡng ánh sáng

+) ind2gray: Tạo một ảnh cường độ đen trắng từ một ảnh chỉ

 Chuyển đổi định dạng các file ảnh

Để thay đổi định dạng đồ hoạ của một ảnh, sử dụng hàm imread

để đọc một ảnh và sau đó lưu nó với hàm imwrite đồng thời chỉ ra định dạng tương ứng

Để minh hoạ, ví dụ sau đây sử dụng hàm imread để đọc một file BMP vào không gian làm việc Sau đó, hàm imwrite lưu ảnh này dưới định dạng PNG

+) bitmap = imread('mybitmap.bmp','bmp');

+) imwrite(bitmap,'mybitmap.png','png');

 Khi cần trích xuất dữ liệu từ một Frame nhất định trong file video Chúng ta có thể thực hiện theo các bước đơn giản khi sử dụng phần mềm MATLAB và lưu vào bất kỳ định dạng hình ảnh mà MATLAB hỗ trợ, một hàm thường xuyên được sử dụng là

GetVideoFrames (vid, startt, endt, step, savetodir)

Hàm này tạo ra một loạt các hình ảnh tương ứng với các khung hình cụ thể của một file video nhất định

Người dùng có thể chỉ định thời gian tính bằng đơn vị giây của frame bắt đầu và frame kết thúc và khoảng thời gian giữa 2 frame liên tiếp Người dùng cũng có thể chỉ định thư mục nào lưu trữ những hình ảnh này

Các tham số đầu vào:

+) vid: File video hoặc đường dẫn đến file video cần phân tích +) from: Thời gian tính theo đơn vị giây của Frame bắt đầu (Mặc định = 0)

+) to: Thời gian tính theo đơn vị giây của Frame kết thúc (Mặc định = thời gian kết thúc của video)

+) step: khoảng thời gian tính bằng đơn vị giây trung bình giữa các Frame (Mặc định = 15)

+) savetodir: (tham số tuỳ chọn): thư mục để trích xuất dữ liệu +) Outputs: mảng các giá trị biểu diễn cho Frame được trích xuất

3.2 Ma trận GLCM và các tham số liên quan được sử dụng trong quá trình phân tích xử lý hình ảnh:

3.2.1 Tổng quan về Texture (kết cấu) và giải thuật so sánh hình ảnh:

- Texture có thể được nhìn thấy rất nhiều trong thế giới tự nhiên: bất kì vật gì có bề mặt thì đều có texture theo một tỷ lệ nhất định Chúng ta có thể quan sát texture ở cả các vật thể tự nhiên hay giả tự nhiên (nhân tạo) như texture trên gỗ, cây, kim loại và da Nói chung, texture liên quan đến các đặc điểm bề mặt của một vật thể và

có kích thước, hình dáng, mật độ, sự sắp xếp, tỷ lệ các thành phần cơ bản của vật thể

- Trong phân tích kết cấu thống kê, tính chất kết cấu được tính

từ sự phân bố thống kê các kết hợp quan sát của các cường độ ở các

vị trí xác định tương ứng với nhau trong hình ảnh

- Đối với các ứng dụng phân tích hình ảnh dựa trên nội dung, màu sắc và kết cấu mô phỏng hình ảnh thu nhận là hai yếu tố quan trọng Trong phần này sẽ đề xuất một phương pháp dùng để phân tích hình ảnh dựa trên các giá trị biểu đồ màu và mô tả kết cấu của hình ảnh Trong đó, các tham số được sử dụng để phân tích mô tả kết cấu gồm entropy, local range and standard deviation (độ lệch chuẩn)

Để trích xuất các thuộc tính màu của một hình ảnh, các giá trị biểu

đồ được sử dụng Sự kết hợp các tính năng màu sắc và kết cấu của hình ảnh cung cấp một phương thức tối ưu để truy xuất hình ảnh

a Phương pháp trích xuất và so sánh hình ảnh:

- Hình ảnh trả về có thể được mô phỏng từ cơ sở dữ liệu thông tin về hình ảnh số dựa trên màu sắc, hình dáng về kết cấu của hình ảnh Trong đó phương thức kết hợp giữa kết cấu và đặc điểm màu sắc của hình ảnh mạng lại hiệu quả cao khi thực hiện phân tích nhiều tình huống khác nhau:

Hình 3.1: Mô hình phân tích hình ảnh

- Theo mô hình phân tích như trên, khi hình ảnh truy vấn được gửi để thực hiện tra cứu hình ảnh, màu sắc và đặc điểm kết cấu được trích xuất và thực hiện so sánh giữa đặc tính hình ảnh cần truy vấn

và đặc tính hình ảnh được lưu trữ trong database, nếu kết quả trùng khớp thì hình ảnh sẽ được trả về từ database

b Lược đồ (histogram) và đặc điểm kết cấu của hình ảnh:

- Lược đồ (histogram) của một ảnh là biểu diễn của một hàm cung cấp tần suất xuất hiện của mỗi mức xám (grey level) Lược đồ màu biểu diễn trong một hệ toạ độ vuông góc x, y Trong hệ toạ độ này, trục hoành biểu diễn số mức xám từ 0 đến N, N là số mức xám (256 mức) Trục tung biểu diễn số điểm ảnh cho một mức xám (số điểm ảnh có cùng mức xám)

Hình 3.2 Lược đồ mức xám của hình ảnh xuất từ phần mềm Matlab

- Cũng có thể biểu diễn theo một cách khác: trục tung là tỷ lệ

số điểm ảnh có cùng mức xám trên tổng số điểm ảnh

Hình 3.3 – Lược đồ mức xám của hình ảnh

- Lược đồ ở hình 3.4 bên dưới có hình ngọn núi với độ cao tăng dần từ trái, cao nhất ở giữa và thấp nhất ở bên phải Điều đó chứng tỏ số lượng điểm ảnh nhiều nhất là ở độ sáng trung bình

0 0.5 1 1.5 2 2.5

Hình 3.4 – Giải thích lược đồ mức xám

- Lược đồ thường được sử dụng để so sánh các hình ảnh Ví

dụ trong các ứng dụng đa phương tiện bao gồm việc phát hiện các hoạt cảnh gián đoạn và việc truy xuất cơ sở dữ liệu lược đồ của hình ảnh thường được sử dụng vì chúng dễ tính toán và khắc phục được những lỗi nhỏ của máy ảnh Trong nhiều trường hợp, lược đồ mức xám thường được sử dụng để tính toán lược đồ của bất kỳ hình ảnh

Theo mục tiêu này, đầu tiên hình ảnh màu sẽ được chuyển sang chế

độ trắng đen Sau đó giá trị lược đồ được tính toán dựa trên lược đồ mức xám Căn cứ theo giá trị lược đồ, hình ảnh được trả về từ cơ sở

dữ liệu

c Các tham số để tính Texture của hình ảnh:

Texture= (Entropy +Standard deviation + local Range)

- Entropy: là một thước đo thống kê ngẫu nhiên có thể được

sử dụng để mô tả kết cấu của hình ảnh đầu vào Giá trị của entropy

có thể được tính như sau:

Entropy = ∑ 𝑃𝑘log⁡(𝑃1

𝑘)

𝑀 𝑘=1 (3.1)

Trong đó:

Entropy=Entropy của I/P

M=tổng số mẫu P= Xác suất xuất hiện I / P

- Standard Deviation: Độ lệch chuẩn, giá trị độ lệch chuẩn

có thể được tính như sau:

d Lưu đồ và giải thuật so sánh hình ảnh sử dụng biểu đồ giá trị mà và các đặc điểm của kết cấu:

Bảng 3.1 – Các bước thực hiện tính các tham số texture và so sánh hình ảnh

- Theo các bước của giải thuật khi lệnh truy vấn được gửi để truy vấn so sánh hình ảnh, các đặc điểm của hình ảnh sẽ được trích xuất và giải thuật sẽ thực hiện việc so khớp giữa hình ảnh đang phân tích, hình ảnh lưu trữ trong cơ sở dữ liệu và đưa ra kết quả cuối cùng

3.2.2 Ma trận Gray level coocurence (GLCM):

- Ma trận GLCM hay ma trận đồng nhất mức xám là ma trận được dùng nhiều trong các ứng dụng liên quan đến xử lý hình ảnh

- GLCM là ma trận trong đó số lượng hàng và cột bằng với số lượng các cấp độ xám (G) trong các hình ảnh cần phân tích

- Phần tử ma trận P (i, j | Δx, Δy) chứa giá trị là số lần xuất hiện của hai điểm ảnh (pixel), cách nhau bởi khoảng cách (Δx, Δy) nằm trong một vùng lân cận, một với cường độ i và một với cường

độ j, có thể cũng nói rằng phần tử ma trận P (i, j | d, θ) chứa các giá trị xác suất thống kê thứ tự về sự thay đổi giữa các mức màu xám i

File texture.m Function t=statxture(f, scale)

Step 1 Load database in the MATLAB workspace

Step 2 Resize the image for [128 128]

Step 3 Convert image from RGB to Gray

Step 4 Normalize the gray image for fixed mean

Step 5 Generate the histogram of RGB

Step 6 Find entropy, standard deviation and local range of Gray

Step 7 Combine the image feature

- Cho ma trận MxN phần tử của hình ảnh với giá trị cường độ mức xám từ 0 đến G – 1, đặt f(m,n) là giá trị cường độ tại mẫu (m,n) Khi đó:

P (i, j | Δx, Δy) = WQ (i, j | Δx, Δy) (3.3) Trong đó:

𝑊 = ⁡(𝑀−𝛥𝑥)(𝑁−𝛥𝑦)1 (3.4)

Hình 3.6 – Ma trận GLCM (5 x 5)

- Sử dụng nhiều mức cường độ G có nghĩa là lưu trữ rất nhiều

dữ liệu tạm thời, tức là một ma trận G × G cho mỗi sự kết hợp của (Δx, Δy) hoặc (d, θ) Đôi khi có tình huống nghịch lý mà ma trận từ

đó các đặc tính kết cấu được chiết xuất nhiều hơn so với các hình ảnh ban đầu Rõ ràng là do chiều kích lớn của chúng, GLCM rất nhạy với kích thước của các mẫu kết cấu mà chúng ước tính Do đó, số lượng mức độ màu xám thường giảm

- Trực quan hơn, lượng tử hóa thành 16 mức màu xám thường

là đủ để phân biệt hoặc phân chia các kết cấu

- Hiệu suất của một tính năng dựa trên GLCM đã được xác định, cũng như thứ hạng của các tính năng, có thể phụ thuộc vào số lượng mức độ màu xám được sử dụng

- Một ma trận G × G phải được tích lũy cho mỗi ảnh hoặc một khung ảnh và cho mỗi bộ tham số (d, θ), thông thường cần phải tính toán để hạn chế (d, θ) là các giá trị đã thử nghiệm với một số giới hạn các giá trị

- Hình 1 dưới đây minh họa các mối quan hệ hình học của các phép đo GLCM được thực hiện cho bốn khoảng cách d (d = max ({|

Δx |, | Δy |}) và các góc của θ = 0, π / 4, π / 2, và 3π / 4 radian dưới giả định đối xứng góc

a Cách xác định ma trận GLCM:

- Để minh họa, hình dưới đây cho thấy cách tính toán của GLCM trong ba giá trị đầu tiên trong GLCM Trong GLCM đầu ra,

tương ứng GLCM (1,2) chứa giá trị 2 vì có hai trường hợp có hai pixel nằm ngang theo chiều ngang có giá trị 1 và 2 Phần tử (1,3) trong GLCM có giá trị 0 vì không có trường hợp nào của hai pixel nằm ngang theo chiều ngang với các giá trị 1 và 3 GLCM tiếp tục được tính toán theo các bước trên

Hình 3.8 Cách tính ma trận GLCM từ ma trận biểu diễn hình ảnh

b Các tham số liên quan khi thực hiện các phép toán trong

ma trận GLCM [3]:

- Cho G là số lượng mức xám được sử dụng

- µ là giá trị trung bình của P

- µx, µy, σx và σy là các tham số về độ lệch chuẩn của Px và

- Ma trận GLCM có thể là một mảng m x n x p của các ma trận đồng thời xuất hiện ở mức xám hợp lệ Mỗi ma trận co-occurrence mức xám được chuẩn hóa sao cho tổng của nó là một Các thuộc tính của ma trận GLCM có thể là một danh sách các chuỗi được phân cách bằng dấu phẩy, một mảng với các phần tử có chứa các chuỗi, chuỗi “All” bao gồm tất cả các phần tử hoặc một chuỗi các thuộc tính cách nhau bằng dấu cách Các thuộc tính này có thể được viết tắt trong một số trường hợp

CHƯƠNG 4: GIẢI THUẬT FUZZY POSSIBILISTIC C-MEANS

CLUSTERING 4.1 Tổng quan phương pháp phân cụm (Clustering method):

- Ý nghĩa của phương pháp Clustering là phân chia dữ liệu đầu vào thành các nhóm tương đồng (có những đặc điểm gần giống nhau) để giảm dần quá trình phân tích dữ liệu Clustering rất hữu ích khi thực hiện các nghiên cứu về máy học, khai thác dữ liệu, phân đoạn hình ảnh, … Tổng quát các phương pháp clustering có thể chia làm 2 loại chính: Crisp clustering (Phân cụm sắc nét) và Fuzzy clustering (phân cụm mờ)

- Phân cụm sắc nét gán mỗi dữ liệu cho một cụm duy nhất và bỏ qua khả năng rằng những dữ liệu này cũng có thể thuộc về các cụm khác Tuy nhiên, vì ranh giới giữa các cụm không thể được xác định chính xác, một số dữ liệu có thể thuộc về nhiều hơn một cụm với các mức độ khác nhau của dữ liệu

- Trong phương pháp phân cụm mờ, xem mỗi cụm là một tập mờ và đặc điểm của dữ liệu trong cụm có các mức độ phụ thuộc lẫn nhau Vì vậy, mỗi đặc điểm dữ liệu có thể được gán cho nhiều cụm với một số mức độ phụ thuộc khác nhau Hai mô hình được áp dụng quan trọng của nhóm mờ, Fuzzy C-Means, và Possibilistic C-Means

- Giải thuật Fuzzy C - Means (FCM) có thể được xem như là một phiên bản của giải thuật k-means [14] Nó là một phương pháp phân cụm cho phép một phần dữ liệu thuộc về hai hoặc nhiều cụm Phương pháp này (do Dunn phát triển năm 1973 và được sửa đổi bởi Bezdek vào năm 1981) và thường được sử dụng trong nhận dạng mẫu Thuật toán là một phương pháp phân cụm lặp lại tạo ra phân vùng c tối ưu bằng cách giảm thiểu tổng trọng số trong nhóm tổng hàm bình phương

- Giải thuật Fuzzy C - Means (FCM):

𝐽𝐹𝐶𝑀(V,U,X)=∑𝑐 1

𝑖=1 ∑𝑛 𝑢𝑖𝑗𝑚

𝑗=1 𝑑2(𝑥𝑗𝑣𝑖⁡),1<m<∞ (4.1) Trong đó