Ứng dụng xử lý ảnh đếm các đối tượng có ảnh chạm nhau

MỞ ĐẦU Đếm các đối tượng trong ảnh là một bài toán được đặt ra nhiều trong thực tế như đếm các tế bào, đếm hồng cầu trong máu qua ảnh từ kính hiển vi điện tử, đếm các sản phẩm công nghiệ

Trang phụ bìa

ĐẠI HỌC THÁI NGUYÊN

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

NGUYỄN THỊ THANH XUÂN

ỨNG DỤNG XỬ LÝ ẢNH ĐẾM CÁC ĐỐI TƯỢNG CÓ ẢNH CHẠM NHAU

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Thái Nguyên năm 2020

LỜI CAM ĐOAN

Tên tôi là: Nguyễn Thị Thanh Xuân

Sinh ngày: 10/10/1977

Học viên lớp cao học CHK17A - Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên

Hiện đang công tác tại: Trường THPT Đồng Hỷ - tỉnh Thái Nguyên

Xin cam đoan: Đề tài “Ứng dụng xử lý ảnh đếm các đối tượng có ảnh chạm nhau” do TS Phạm Đức Long hướng dẫn là công trình nghiên cứu của riêng tôi

Tất cả tài liệu tham khảo đều có nguồn gốc, xuất xứ rõ ràng

Tác giả xin cam đoan tất cả những nội dung trong luận văn đúng như nội dung trong đề cương và yêu cầu của thầy giáo hướng dẫn Nếu sai tôi hoàn toàn chịu trách nhiệm trước hội đồng khoa học và trước pháp luật

Thái Nguyên, ngày 01 tháng 10 năm 2020

Tác giả luận văn

Nguyễn Thị Thanh Xuân

LỜI CẢM ƠN

Sau một thời gian nghiên cứu và làm việc nghiêm túc, được sự động viên, giúp đỡ và hướng dẫn tận tình của Thầy giáo hướng dẫn TS Phạm Đức Long, luận

văn với Đề tài “Ứng dụng xử lý ảnh đếm các đối tượng có ảnh chạm nhau”

Tôi xin bày tỏ lòng biết ơn sâu sắc đến:

Thầy giáo hướng dẫn TS Phạm Đức Long đã tận tình chỉ dẫn, giúp đỡ tôi

hoàn thành luận văn này

Phòng đào tạo Sau đại học Trường Đại học Công nghệ Thông tin và Truyền thông đã giúp đỡ tôi trong quá trình học tập cũng như thực hiện luận văn

Trường THPT Đồng Hỷ - tỉnh Thái Nguyên nơi tôi công tác đã tạo điều kiện tối đa cho tôi thực hiện khóa học này

Tôi xin chân thành cảm ơn bạn bè, đồng nghiệp và gia đình đã động viên, khích lệ, tạo điều kiện giúp đỡ tôi trong suốt quá trình học tập, thực hiện và hoàn thành luận văn này

Thái Nguyên, ngày 01 tháng 10 năm 2020

Tác giả luận văn

Nguy ễn Thị Thanh Xuân

M ỤC LỤC

LỜI CAM ĐOAN i

LỜI CẢM ƠN ii

MỤC LỤC iii

DANH MỤC CÁC BẢNG iv

DANH MỤC CÁC HÌNH VẼ v

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT vi

ĐẶT VẤN ĐỀ Error! Bookmark not defined CHƯƠNG 1 T ỔNG QUAN ĐẾM ĐỐI TƯỢNG VÀ NHU CẦU ĐẾM B ẰNG X Ử LÝ ẢNH 2

1.1 Đếm đối tượng trong thực tế 2

1.1.1 Đếm thủ công bằng mắt 2

1.1.2 Đếm qua thiết bị sensor 3

1.1.3 Đếm qua ảnh 4

1.2 Đặc điểm đếm đối tượng qua ảnh 5

1.2.1 Ảnh số 5

1.2.2 Những thuận lợi khi áp dụng đếm bằng xử lý ảnh 8

1.2.3 Khó khăn khi đếm đối tượng qua ảnh 8

K ẾT LUẬN CHƯƠNG 1 10

CHƯƠNG 2 CÁC PHƯƠNG PHÁP ĐẾM BẰNG XỬ LÝ ẢNH 11

2.1 Đếm các đối tượng tách rời 11

2.1.1 Thuật toán kinh điểm đếm các đối tượng tách rời nhau 11

2.1.2 Đếm sai khi có các đối tượng chạm nhau 12

2.2 Đếm đối tượng có ảnh dính nhau dùng hình thái học kinh điển 14

2.2.1 Hình thái học kinh điển 14

2.2.2 Hạn chế khi đếm các đối tượng dính nhau 16

2.3 Phối hợp Biến đổi Watershed và biến đổi khoảng cách 17

2.3.1 Biến đổi khoảng cách (DT - Distance Transform) 17

2.3.2 Phân vùng Watershed (WS-Watershed Segmentation) 19

2.3.3 Phối hợp biến đổi Watershed và biến đổi khoảng cách 27

2.4 Sử dụng mạng nơ ron 31

2.5 Đếm đối tượng có ảnh dính nhau dùng hình thái học định hướng 35

2.5.1 Khảo sát Hình thái học gradients kinh điển 35

2.5.2 Hình thái học có định hướng 37

2.6 Xây dựng thuật toán đếm đối tượng có ảnh dính nhau dùng hình thái học định hướng 41

K ẾT LUẬN CHƯƠNG 2 42

CHƯƠNG 3 ỨNG DỤNG XỬ LÝ ẢNH ĐẾM CÂY THÉP QUA ẢNH ĐẦU BÓ 43

3.1 Cơ sở chọn thuật toán và nhu cầu thực tế 43

3.2 Đếm cây thép qua ảnh đầu bó 51

3.3 Kết quả thực nghiệm 52

3.4 Nhận xét và đánh giá, so sánh 55

KẾT LUẬN CHƯƠNG 3 56

KẾT LUẬN 56

HƯỚNG PHÁT TRIỂN 57

TÀI LIỆU THAM KHẢO 58 PHỤ LỤC I

DANH MỤC CÁC BẢNG

Bảng 2.1 Một số ví dụ biến đổi khoảng cách 18

Bảng 3.1 Quy cách thép cây cường lực (thép cây có vằn) 45

Bảng 3.2 Quy cách thép tròn trơn 46

Bảng 3.3 Độ chính xác kết quả đếm qua ảnh đầu bó thép (%) 55

DANH MỤC CÁC HÌNH VẼ

Hình 1.1 Đếm sơ khai và trừu tượng với con số 2

Hình 1.2 Đếm thủ công đầu bó thép dùng sơn và mắt thường 2

Hình 1.3 Đếm bằng sensor 3

Hình 1.4 Đếm quả để ước tính sản lượng 4

Hình 1.5 Đếm hồng cầu qua kính hiển vi 4

Hình 1.6 Đếm ô tô trên đường cao tốc 4

Hình 1.7 Nguyên lý máy ảnh số 5

Hình 1.8 Nguyên lý sensor CCD Trong hình là 3 vi điểm ảnh 6

Hình 1.9 Sensor CCD và sensor CMOS 6

Hình 1.10 Sensor CMOS hiện tại 7

Hình 1.11 Ảnh thiếu sáng chất lượng kém, bị mất không tin 9

Hình 1.12 Ảnh hồng cầu bị chạm, chồng lên nhau 9

Hình 1.13 Ảnh nhiễu và không nhiễu 9

Hình 2.1 Tạo các điểm ảnh biên cho ảnh I 11

Hình 2.2 Minh họa phương pháp đếm kinh điển 12

Hình 2.3 a) ảnh nguyên bản b) ảnh nhị phân 13

Hình 2.4 Thực hiện phép co và phép dãn nở ảnh nhị phân 13

Hình 2.5 a) Ảnh nguyên bản b) Sau khi dùng phép co c) Sau khi dùng phép dãn nở 14

Hình 2.6 Ảnh nhị phân nguyên bản và sau khi thực hiện các phép hình thái học 15 Hình 2.7 Hình thái học trên ảnh xám 16

Hình 2.8 Thực hiện hình thái học trên ảnh xám 16

Hình 2.9 Dùng phép co để tách các đối tượng 17

Hình 2.10 Do phép co chưa đủ số lần thực hiện 17

Hình 2.11 Tác dụng của ba kiểu biến đổi khoảng cách 19

Hình 2.12 Nguyên lý biến đổi lưu vực sông (watershed transform) nơi các giá trị cường độ xác định đồi và lưu vực Đối với mục đích phân vùng, các lưu vực có thể bị ngập để kết hợp các vùng tương ứng 19

Hình 2.13 Địa hình khi chưa bị ngập nước 20

Hình 2.14 Bắt đầu cho ngập các thung lũng 20

Hình 2.15 Vị trí của Watershed 20

Hình 2.16 Xây dựng bức tường ngăn cách tại vị trí Watershed 20

Hình 2.17 Toàn bộ địa hình bị nhấn chìm 21

Hình 2.18 Ví dụ phân vùng ảnh bằng Watershed 21

Hình 2.19 Watershed transform trên lưới ô vuông, cho các kết nối khác nhau 26

Hình 2.20 Phân vùng quá mức do nhiễu khi áp dụng cho một lát cắt trục của hình ảnh CT Ảnh cuối: các lưu vực riêng lẻ (individual basins) được hợp nhất để tạo thành các vùng lớn hơn liên tiếp 27

Hình 2.21 Thuật toán phối hợp biến đổi Watershed và biến đổi khoảng cách 29

Hình 2.22 Phân vùng các đồng xu dính nhau 30

Hình 2.23 Tách các hạt cà phê dính nhau 31

Hình 2.24 Trước tiên, mạng CNN-DC thực hiện phát hiện các điểm tâm cây thép bằng một mạng CNN (deep CNN), sau đó áp dụng thuật toán Phân cụm khoảng cách để có được thông tin về số lượng thanh thép và các vị trí tâm của các thanh thép 32

Hình 2.25 Minh họa quá trình phân cụm khoảng cách: (1) Tính khoảng cách 33

Hình 2.26 Kiến trúc CNN 34

Hình 2.27 Quá trình sử dụng phương pháp dùng mạng nơ ron chập cuộn CNN cho đêm và định tâm các cây thép 34

Hình 2.28 Ví dụ hình thái học gradient với ảnh một con đường 36

Hình 2.29 Hình thái học gradient với tín hiệu 1D có tác dụng cải thiện tín hiệu cả hai vùng trong và ngoài 36

Hình 2.30 Ví dụ hình thái học gradient với ảnh một tấm bản mạch 37

Hình 2.31 Quy ước các hướng trong ảnh với thực hiện hình thái học có định hướng 37

Hình 2.32 Hình thái học có hướng 38

Hình 2.33 Các vị trí và hướng thực hiện Hình thái học định hướng 39 Hình 2.34 Góc  thay đổi qua các trục thể hiện các điểm lõm (a) và lồi (b) của biên.…39

Hình 2.35 Điểm A đổi chiều gradient theo hướng Y-Y 40

Hình 2.36 Tìm tọa độ các điểm thực hiện hình thái học định hướng 40

Hình 2.37 Các mặt nạ hình thái học theo hướng a) X-X, b) Y-Y c) Y-X d) X-Y 40

Hình 3.1 Thép xây dựng a) dạng cây b) dạng cuộn 44

Hình 3.2 Thép tròn trơn và thép vằn 45

Hình 3.3 Phôi thép cán 48

Hình 3.4 Đầu thép thanh tròn và thép thanh cường lực 48

Hình 3.5 Dây chuyền cán và cơ cấu đếm của DANIEL (Ytalia) tại nhà máy Thái Trung – Thái Nguyên 49

Hình 3.6 Hệ thống đếm thép 2 Camera của của dây chuyền cán Thái Trung (Thái Nguyên) sử dụng công nghệ DANIEL 49

Hình 3.7 Dây chuyền cán NasteelVina sử dụng đếm thủ công 49

Hình 3.8 a) Hệ thống đếm từng cây thép trên băng tải của SINOM GROUP LTD Sai số 0.7 % b) ảnh trên chương trình xử lý [11] 50

Hình 3.9 Đưa số đếm vào chương trình mã vạch để quản lý 50

Hình 3.10 Tách đối tượng dùng mẫu 52

Hình 3.11 Mẫu ảnh dùng trong thực nghiệm 53

Hình 3.12 Các bước thực hiện tách đối tượng trong ảnh a) ảnh nguyên bản b) ảnh xám c) ảnh nhị phân d), e), f) các bước trung gian g) tìm biên để xác định hưởng thực hiện hình thái học h) kết quả tách các đối tượng 54

Hình 3.13 Kết quả đếm số cây đầu bó 55

Hình 3.14 Trường hợp đầu cây thép bị thụt vào 55

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT

AI- Artificial Intelligence Trí tuệ nhân tạo

CNN - Convolutional Neural Networks Mạng nơ ron chập cuộn

(phần mềm) CNN- Cellular Neural Netwwork Mạng nơ ron tế bào

(phần cứng)

DT - Distance Transform Biến đổi khoảng cách

Morphological Operator Toán tử hình thái học

Morphological Gradient Hình thái học Gradient

OM - Oriented Morphology Hình thái học định hướng

Sensor CCD (Charge Coupled Device) Cảm biến CCD

Sensor Complementary Metal-Oxide-Semiconductor (CMOS)

Cảm biến bán dẫn ô xit kim loại Watershed Segmentation Biến đổi Watershed

MỞ ĐẦU

Đếm các đối tượng trong ảnh là một bài toán được đặt ra nhiều trong thực tế như đếm các tế bào, đếm hồng cầu trong máu qua ảnh từ kính hiển vi điện tử, đếm các sản phẩm công nghiệp qua các camera công nghiệp… Khó khăn lớn nhất với việc đếm bằng xử lý ảnh là ảnh của các đối tượng cần đếm thường dính với nhau gây ra kết quả sai khác so với thực tế Cho đến nay đã có nhiều phương pháp làm tăng độ chính xác của kết quả đếm bằng xử lý ảnh Tuy nhiên kết quả của các phương pháp đó vẫn chưa cho độ chính xác 100% Trong bài báo này chúng tôi đề xuất một phương pháp mới áp dụng hình thái học có định hướng để tách các đối tượng bị dính nhau trong ảnh để đưa độ chính xác kết quả của các quá trình đếm có khả năng đạt đến độ chính xác tuyệt đối trong một số ứng dụng trong công nghiệp hiện nay Thực nghiệm được thực hiện trên ảnh của các bó thép cho số lượng cây thép có trong bó có thể đạt độ chính xác tuyệt đối Kết quả này có thể được ứng dụng thay cho việc đếm bằng thủ công trong các nhà máy cán thép hiện nay

Nhu cầu đếm các đối tượng có rất nhiều trong thực tiễn Đếm thủ công bằng mắt là một phương pháp tự nhiên, đã có lâu đời Nhưng ngày nay việc đếm thủ công

đã không còn đáp ứng được nữa do tốc độ xuất hiện và tồn tại các đối tượng cần đếm rất nhanh, do số lượng đối tượng cần đếm vô cùng lớn, do các đối tượng trong nhóm dính hoặc chồng lấn lên nhau

Mục tiêu của luận văn là nghiên cứu Xây dựng thuật toán đếm đối tượng có

ảnh dính nhau dùng hình thái học định hướng Chúng ta thấy morphological

gradient chỉ có tác dụng nổi biên ở các phía trong và ngoài biên cũng như nổi biên

so với nền ảnh trong một số trường hợp và không tác dụng tách rời các đối tượng dính nhau Với mục tiêu tách đối tượng tách rời các đối tượng dính nhau chúng tôi đưa ra một loại hình thái học mới thực hiện hình thái học dựa trên đặc điểm của biên ảnh tại những vị trí có biểu hiện đặc điểm của hai đối tượng “dính nhau” Từ

đó tiến hành xây dựng mô hình thực nghiệm đếm ảnh sản phẩm trên phần mềm Matlab Do vậy em lựa chọn đề tài “Ứng dụng xử lý ảnh đếm các đối tượng có ảnh

chạm nhau” cho đề tài luận văn tốt nghiệp

C HƯƠNG 1 TỔNG QUAN ĐẾM ĐỐI TƯỢNG VÀ NHU CẦU ĐẾM

Hình 1.1 Đếm sơ khai và trừu tượng với con số

Số đếm ra đời cho phép con người đếm được nhiều hơn Tuy nhiên với số lượng lớn sự bao quát của mắt không thể đáp ứng được Lúc đó phải có đánh dấu, ví

dụ đếm cây thép qua đầu bó thép mỗi cây thép đã đếm rồi thì phải bôi sơn vào để không đếm nhầm lại nữa

Hình 1.2 Đếm thủ công đầu bó thép dùng sơn và mắt thường

Tuy nhiên với các yêu cầu đếm nhanh, đếm tự động chính xác thì phải có những phương pháp khác

Đây mới chỉ đề cập đến đếm thuần túy và chưa kể đến đếm có kiểm tra ví dụ đếm tiền bằng máy đếm

1.1.2 Đếm qua thiết bị sensor

b) Đếm sản phẩm trên dây chuyền sản xuất b) Đếm người ra-vào qua cửa

hiệu bằng “1” và số đếm = số đếm +1

+ Với lối ra vào rộng: Để tránh trường hợp có 2 hay nhiều hơn số người cùng đi qua

mà vẫn chỉ có một tín hiệu “1” thì các sensor cần bố trí theo dãy ngang từ trên xuống

Một số nhược điểm của dùng sensor là khi cường độ nhiễu của môi trường với biên độ lớn đến hơn 100V làm bộ điều khiển bị “treo” hoặc sensor báo tín hiệu sai Đây là trường hợp dùng sensor đếm thép cây trên dây chuyền trong quá trình sản xuất tại nhà máy cán thép

1.1.3 Đếm qua ảnh

Khái niệm “ảnh” ở đây được hiểu không chỉ là ảnh quang học thu qua các camera

mà cả ảnh thu qua các mảng sensor (ví dụ ảnh trên thiết bị kiểm tra vị trí xe ô tô)

Trong thực tiễn để có kết quả đếm rất nhiều trường hợp không thể sử dụng đếm bằng sensor và đếm bằng mắt thì không đếm xuể ví dụ đếm hồng cầu, đếm quả trong vườn, [1], [2], [3]

Hình 1.4 Đếm quả để ước tính sản lượng

Hình 1.5 Đếm hồng cầu qua kính hiển vi

Hình 1.6 Đếm ô tô trên đường cao tốc

1.2 Đặc điểm đếm đối tượng qua ảnh

1.2.1 Ảnh số

Hình 1.7 Nguyên lý máy ảnh số

Các máy ảnh số hiện nay không phải thu và lưu trữ các ảnh thực như máy ảnh chụp phim mà dùng các sensor quang thu và lưu giữ các điểm ảnh thực đã được rời rạc hóa và chuyển sang giá trị số Các máy ảnh đặc biệt chụp ban đêm hoặc y học có thể dùng các cảm biến quang ở vùng phổ tia X, tia gamma Hai loại sensor quang được dùng trong các máy ảnh số thông dụng là CCD (hoặc CMOS) Trong hình 1.7 là nguyên lý của một máy ảnh số dùng sensor CCD Cường độ sáng của đối tượng qua hệ thống ống kính tác động lên mảng sensor sẽ cho ra ở đầu ra của mảng sensor các điện áp khác nhau phụ thuộc độ sáng của mỗi điểm ảnh Các gía trị điện áp này sẽ được bộ xử lý và bộ ADC chuyển sang các mức điện áp tương ứng với các giá trị số 0/1 (tức là mảng ảnh số) Để tích hợp ảnh màu cần có 3 mảng sensor để chuyển đổi một mảng tín hiệu quang học thành 3 nhóm tín hiệu màu cơ bản; chẳng hạn các nhóm RGB trong hệ màu Đỏ, Xanh lam, Xanh dương

Cả hai loại sensor ảnh phổ biến CCD và CMOS đều được phát triển từ giai đoạn cuối 1960-1970

 Sensor CCD (Charge Coupled Device)

CCD bao gồm một mạng lưới các điểm bắt sáng (điểm ảnh, pixel) Các điểm này

lại được phủ các lớp lọc màu (thường là 1 trong 3 màu cơ bản: đỏ, xanh lam và xanh dương (Red, Green, Blue) để mỗi điểm chỉ bắt một màu nhất định Do các điểm ảnh được phủ các lớp lọc màu khác nhau và được đặt xen kẽ nhau nên màu nguyên thủy tại một điểm của hình ảnh thật sẽ được tái hiện bằng màu từ một điểm

ảnh chính kết hợp với các màu bù được bổ sung từ các điểm xung quanh bằng phương pháp nội suy

Hình 1.8 Nguyên lý sensor CCD Trong hình là 3 vi điểm ảnh

Khi chụp ảnh, cửa chập mở ra (cửa đóng/mở hệ thống thấu kính của máy ảnh), ánh sáng qua ống kính sẽ được lưu lại lại bề mặt chip thông qua các điểm ảnh Thông tin về ánh sáng (độ sáng, màu) của mỗi điểm ảnh được chuyển đổi thành sự khác nhau

về điện áp và sẽ được chuyển lần lượt ra bộ phận đọc giá trị điện áp này Sau đó các giá trị này sẽ đi qua bộ khuyếch đại tín hiệu, rồi đến bộ chuyển đổi tín hiệu tương tự sang tín hiệu số (A/D converter-bộ chuyển đổi tín hiệu tương tự analog thành tín hiệu số digital), rồi tới bộ xử lý để tái hiện lại hình ảnh đã chụp được

Việc phải đọc lần lượt thông tin là do tốc độ xử lý hoàn thiện một bức ảnh khá chậm, ảnh ở một số vùng hoặc dễ bị thừa sáng hoặc thiếu sáng Để xử lý vấn đề này, một bộ đọc ảnh có kích cỡ bằng mạng lưới các hạt sáng được bổ sung xen kẽ

để làm tăng tốc độ xử lý ảnh mà không bị suy giảm chất lượng Sự cải thiện này đòi hỏi phải có thêm không gian nhớ trên chip Để sản xuất chip CCD cần có những thiết bị, phòng lab chuyên dụng, khiến cho giá thành CCD đã đắt lại càng thêm đắt

Hình 1.9 Sensor CCD và sensor CMOS

 Sensor CMOS (Complementary Metal-Oxide-Semiconductor)

Với sensor CMOS, cạnh mỗi một điểm bắt sáng trên cảm biến CMOS đều có một mạch bổ trợ, do đó người ta có thể tích hợp các quy trình xử lý ảnh như bộ chuyển đổi analog/digital, cân bằng trắng vào mạch bổ trợ này, giúp cho quá trình

xử lý bức ảnh được thực hiện rất nhanh nhờ được thực hiện ngay tại từng điểm ảnh đơn lẻ Các điểm ảnh đa chức năng này (vì thế ở CMOS thế hệ mới còn được gọi là các điểm ảnh chủ động APS – active pixel sensor) đều có khả năng tự làm việc Cũng do khả năng này mà người ta có thể tương tác với một vùng pixel nhất định của chip cảm biến (ví dụ như zoom số - phóng to/thu nhỏ chỉ một phần của ảnh), điều không thể làm được đối với CCD vì CCD đã đọc là đọc hết toàn bộ bức ảnh Với khả năng tích hợp cao, bảng mạch chính sẽ không bị mất thêm không gian (vì tất cả đã ở trên chip), không đòi hỏi thêm các chip bổ trợ CMOS cũng tiêu thụ rất ít điện năng, việc sản xuất dễ dàng vì quy trình giống như quy trình sản xuất chip máy tính thông dụng ngày nay hay các chip trong các thiết bị điều khiển khác, không cần phải đầu tư thêm phòng lab mới Giá thành sản xuất theo đó sẽ được giảm đáng kể

Tuy nhiên, do mỗi một điểm nhận ánh sáng trên CMOS lại có một mạch riêng nên khó có thể đảm bảo tính đồng nhất của mỗi mạch khi khuyếch đại Điều này làm cho bức ảnh xuất ra luôn có một độ nhiễu nhất định (không mịn) Nếu như ở CCD, mỗi một điểm ảnh là một mặt bắt sáng khiến cho độ nhạy sáng của CCD cao hơn, dải màu thể hiện được nhiều hơn, độ phân giải cao hơn, thì mỗi một điểm ảnh của CMOS (bao gồm hạt bắt sáng và mạch khuyếch đại) khi bắt sáng sẽ có những phần ánh sáng rơi vào

vị trí của mạch vì thế sẽ không được tái hiện Điều này làm cho ảnh bị mất thông tin tại những vùng này dẫn đến độ phân giải của CMOS không cao

Hình 1.10 Sensor CMOS hiện tại

Với công nghệ chế tạo chip cảm biến CMOS mới hiện tại, các vấn đề nhược điểm của sensor CMOS đã được khắc phục Để giải quyết vấn đề các mạch khuyếch đại luôn tạo ra một độ nhiễu nhất định trên ảnh, người ta khắc phục bằng cách đọc ảnh trên cảm biến CMOS hai lần, mỗi lần chỉ trong vòng khoảng 10/1.000 giây Lần

1 đọc toàn bộ các giá trị bắt sáng của cảm biến, lần 2 chỉ đọc các giá trị của các mạch bổ trợ tại mỗi chip (giá trị gây nhiễu, hạt) Lấy giá trị lần 1 trừ đi giá trị lần 2

sẽ được bức ảnh chất lượng cao, loại bỏ gần như hoàn toàn độ nhiễu Để không bị mất phần thông tin ánh sáng rơi vào vị trí của mạch, người ta đã thêm vào bên trên của mạch một lớp chắn sáng, một vi thấu kính sẽ được phủ lên toàn bộ bề mặt của hạt bắt sáng và của mạch, lái ánh sáng tại mọi vị trí của điểm ảnh rơi vào vị trí của hạt bắt sáng

Nhờ vào các ưu điểm và việc khắc phục các nhược điểm như trên của cảm biến CMOS mà giờ đây cảm biến CMOS đang là lựa chọn của rất nhiều nhà sản xuất máy chụp hình/quay phim nổi tiếng trên thế giới Nhờ những đột phá về công nghệ mới đã khiến cho chất lượng của CMOS hiện tại trở nên ngang bằng hoặc thậm chí là vượt qua cả tiêu chuẩn của CCD Với nhiều tính năng được tích hợp sẵn hơn là CCD, cảm biến CMOS hoạt động hiệu quả hơn, cần ít điện năng hơn và chụp ảnh tốc độ cao tốt hơn CCD

1.2.2 Những thuận lợi khi áp dụng đếm bằng xử lý ảnh

+ Dễ dàng tin học hóa, tự động hóa,

+ Dùng được trong những trường hợp không thể dùng các phương pháp thủ công và cũng không dùng được các phương pháp đếm bằng cơ cấu cơ khí, đếm bằng sensor điện tử (ví dụ các trường hợp đếm thép cây trong nhà máy qua ảnh đầu

bó thép, đếm hồng cầu qua ảnh thu được trên kính hiển vi điện tử)

1.2.3 Khó khăn khi đếm đối tượng qua ảnh

Những khó khăn khi đếm đối tượng qua ảnh là:

+ Chất lượng ảnh phụ thuộc nhiều vào chất lượng ánh sáng khi tích hợp ảnh: Nếu cường độ sáng chiếu vào đối tượng mà nhỏ quá thì các các sensor không tác động hoặc cường độ điện áp ra thấp có nghĩa là ảnh không thấy gì hoặc chất lượng kém

làm ảnh hưởng đến các khâu xử lý ảnh Ngược lại khi ảnh được chiếu sáng quá mức hoặc bị ngược sáng thì cũng cho ảnh chất lượng xấu

Hình 1.11 Ảnh thiếu sáng chất lượng kém, bị mất không tin

+ Ảnh của đối tượng bị dính (chạm) nhau hoặc chồng lên nhau

Hình 1.12 Ảnh hồng cầu bị chạm, chồng lên nhau

+ Tác động của nhiễu khi tích hợp ảnh cũng là vấn đề lớn; nhất là các ảnh y học siêu âm khi tích hợp thường xuất hiện nhiễu đốm là một loại nhiễu khó loại bỏ Trong hình 1.13 Với nhiệm vụ phát hiện, đếm ô tô nếu ta không khử được nhiễu thì không thể thực hiện các bước nhận dạng ô tô và đếm

Hình 1.13 Ảnh nhiễu và không nhiễu

KẾT LUẬN CHƯƠNG 1

Trong cuộc sống thực tiễn các nhu cầu đếm đối tượng có trong nhiều lĩnh vực Để có thể tự động hóa việc đếm có thể sử dụng các bộ cảm biến (sensor) hoặc đếm qua xử lý ảnh Rất nhiều trường hợp không thể sử dụng sensor do nhiễu hoặc không lắp đặt được sensor, khi đó phương pháp đếm bằng xử lý ảnh là giải pháp duy nhất Tuy nhiên đếm bằng xử lý ảnh cũng có những khó khăn do bản chất của phương pháp là phụ thuộc ánh sáng và có thể có sai số khi các đối tượng bị dính/chạm nhau nếu chúng ta không có phương pháp loại trừ thích hợp

C HƯƠNG 2

C ÁC PHƯƠNG PHÁP ĐẾM BẰNG XỬ LÝ ẢNH

2.1 Đếm các đối tượng tách rời

2.1.1 Thuật toán kinh điểm đếm các đối tượng tách rời nhau

Như chương 1 đã đề cập: rất nhiều loại hình công việc đếm trong thực tiễn phải dùng phương pháp đếm bằng xử lý ảnh Đếm số đối tượng trong ảnh là một trong các công việc cơ bản của xử lý ảnh Trong đó bài toán kinh điển đếm các đối tượng tách rời nhau được mô tả qua thuật toán sau:

Thuật toán đếm kinh điển:

Input: Ảnh số nhị phân

Output: Số đối tượng cần đếm trong ảnh

Thực hiện với ảnh gốc I có kích thước MxN

1 Tạo các điểm ảnh biên của ảnh I = 0;

// sau khi tạo có ảnh mới I1 có kích thước (M+2) x (N+2)

Số đối tượng = 0;

Hình 2.1 Tạo các điểm ảnh biên cho ảnh I

2 Tìm trong khoảng i = 1  M-2; j = 1  N-2

2.1 Bắt đầu từ điểm bất kỳ (chẳng hạn điểm top-left)

Xem điểm ảnh đó có phải điểm đen không?

+ Nếu điểm ảnh là điểm trắng không làm gì + Nếu điểm ảnh đó là điểm đen thì: gán nhãn cho điểm đó là "2" rồi

+ Kiểm tra xem 8 điểm ảnh xung quanh có là điểm đen không? Nếu điểm nào trong

số 8 điểm đó là đen thì gán chúng là "2" Nếu không thì chúng vẫn bằng "0" Cập nhật vị trí các điểm "2" Cập nhật các vị trí đã kiểm tra (Đánh số từ "2" để không lẫn với giá trị "1")

2.2 Loại trừ điểm đen đầu tiên (điểm "2" đầu tiên) làm tiếp với từng điểm

"2" lân cận với bước 2.1 để tìm các điểm "2" mới tức là tìm các điểm ảnh mới liên kết với các điểm "2" cũ

2.3 Khi không còn có điểm "2" mới nào thì:

+ Số đối tượng = Số đối tượng + 1;

+ Tìm trong số tất cả các điểm ảnh còn lại chưa kiểm tra có điểm

đen nào thì lại thực hiện 2.1, 2.2

3 Tìm đến điểm ảnh cuối cùng của ảnh thì sẽ tìm được số đối tượng trong ảnh

Số điểm ảnh có cùng nhãn "2", "3", sẽ là diện tích (độ lớn) của mỗi đối tượng

a) Các nhóm điểm đen được gán nhãn (hình b)

Hình 2.2 Minh họa phương pháp đếm kinh điển

Trên hình 2.2 các nhãn được đánh số từ 2 đến 7 và số đối tượng N là số thứ tự nhãn

lớn nhất -1 tức là N=7-1=6

2.1.2 Đếm sai khi có các đối tượng chạm nhau

Theo cách thức của thuật toán đếm kinh điển chúng ta thấy dựa trên sự gán nhãn các nhóm điểm ảnh liên thông nhau Mỗi nhóm điểm ảnh là một đối tượng Như vậy khi có hai đối tượng chạm nhau trong thực tế thì ảnh của chúng cũng có các điểm liên thông như là cùng trong một đối tượng Áp dụng thuật toán đếm kinh

điển trong trường hợp này mà không có xử lý tách hai (hoặc nhiều đối tượng dính nhau ra) sẽ cho kết quả đếm sai

Hình 2.3 a) ảnh nguyên bản b) ảnh nhị phân

Trên hình 2.3 nguyên bản có 5 đồng xu trong đó có hai nhóm đồng xu bị chồng lên nhau Trên ảnh nhị phân khi đếm dùng thuật toán đếm kinh điển chúng ta chỉ đếm được 3 nhóm đối tượng (mà lẽ ra phải là 5)

2.2 Đếm đối tượng có ảnh dính nhau dùng hình thái học kinh điển

2.2.1 Hình thái học kinh điển

Thuật ngữ thực hiện phép toán hình thái học bao gồm một lớp các thuật toán

xử lý ảnh biến đổi ảnh khi thực hiện biến đổi ảnh qua phần tử cấu trúc Hình thái học có thể được thực hiện với ảnh nhị phân và cả ảnh đa cấp xám Nó được rất hữu ích trong nhiều công việc xử lý ảnh như tìm xương ảnh, tìm biên, phục hồi và phân tích kết cấu ảnh Hai phép toán hình thái học cơ bản là dilation và erotion

Với ảnh nhị phân: Phép biến đổi erosion & dilation ảnh nhị phân thường được

dùng để biến đổi ảnh như sau:

Hình 2.4 Thực hiện phép co và phép dãn nở ảnh nhị phân

Ta có một ảnh P như hình 2.4 Thực hiện phép erosion và dilation ảnh bằng cách tuỳ theo việc thực hiện phép xử lý nào mà tạo ra các tập phần tử có cấu trúc

(mặt nạ) tương ứng, sau đó rê mặt nạ đi khắp ảnh và tính giá trị điểm ảnh bởi các điểm lân cận với motip của mặt nạ Các phép thực hiện có thể là hội, tuyển hoặc liên hợp

Dilation: Rê mặt nạ S đi khắp ảnh và tại mỗi điểm kiểm tra nếu bít có giá trị 1 thì thực hiện phép tuyển với bit mặt nạ quanh điểm ảnh đó Kết quả được D(P,S)

Erosion: Rê mặt nạ S đi khắp ảnh và tại mỗi điểm kiểm tra nếu bít có giá trị 1 thì thực hiện phép hội với bit mặt nạ quanh điểm ảnh đó Kết quả được E(P,S);

Hình 2.5 a) Ảnh nguyên bản b) Sau khi co ảnh c) Sau khi dãn ảnh

Khi kết hợp phép dãn ảnh và phép co ta có thêm các phép hình thái học, toán tử đóng (closing) và toán tử mở (opening)

Closing: Toán tử đóng của một ảnh A với một phần tử cấu trúc B được thực hiện theo luật sau:

 Closing thay đổi bất biến

Opening: toán tử mở của một ảnh A với một phần tử cấu trúc B được thực hiện theo luật sau:

trong đó  và Θ ký hiệu của phép dilation và erosion

Thuộc tính:

 Tính chắc chắn (Imdepotence): (AB)B=AB

 Chống mở rộng: AB  A

 Toán tử mở thay đổi bất biến

 Toán tử mở và toán tử đóng đáp ứng tính nhị nguyên: AB=(AcBs)c

Trong xử lý ảnh closing được dùng để loại bỏ các lỗ nhỏ và opening được dùng để loại các đối tượng nhỏ của ảnh Các kỹ thuật này cũng còn được dùng để tìm các hình dạng đặc tả trong ảnh

Hình 2.6 Ảnh nhị phân nguyên bản và sau khi thực hiện các phép hình thái học Hình thái học với ảnh đa cấp xám:

Phép co với ảnh xám được thực hiện bởi bộ lọc cực tiểu còn phép dãn nở thì được thực hiện bởi bộ lọc cực đại Trong một bộ lọc cực tiểu 3 x 3 = pixel trung tâm thì được thay thế bởi giá trị nhỏ nhất của các pixel trong cửa sổ Trong một bộ lọc cực đại pixel trung tâm thì được thay thế bởi giá trị lớn nhất của các pixel trong cửa

sổ Sự thực hiện của các bộ lọc cực tiểu và bộ lọc cực đại giống như sự thực hiện của bộ lọc median

Phép hình thái học dãn nở của ảnh xám

Hình 2.7 Hình thái học trên ảnh xám

Hình 2.8 Thực hiện hình thái học trên ảnh xám

2.2.2 Hạn chế khi đếm các đối tượng dính nhau

Khi thực hiện hình thái học để tách các đối tượng dính nhau ra thành đối tượng độc lập để đếm có thể xảy ra các trường hợp [4]:

 Tách được các đối tượng ra đúng đắn và đếm chính xác

Hình 2.9 Dùng phép co để tách các đối tượng

 Tách đối tượng không hết vẫn còn có đối tượng dính nhau nên đếm sai

Hình 2.10 Do phép co chưa đủ số lần thực hiện

nên vẫn còn các nhóm đối tượng dính nhau

 Thực hiện hình thái học với số lần lặp lớn quá mức dẫn đến đối tượng bị biến mất Khi đó cũng bị đếm sai

2.3 Phối hợp biến đổi Watershed và biến đổi khoảng cách

2.3.1 Biến đổi khoảng cách (DT - Distance Transform)

Biến đổi khoảng cách là một toán tử thường áp dụng cho hình ảnh nhị phân (cũng có áp dụng cả với ảnh xám) Kết quả của phép biến đổi là một hình ảnh

Graylevel trông tương tự như hình ảnh đầu vào, ngoại trừ cường độ mức xám của các điểm gần các vùng biên được thay đổi Một số ví dụ trong bảng 2.1

Bảng 2.1 Một số ví dụ biến đổi khoảng cách

Ảnh nguyên bản Ảnh sau biến đổi

khoảng cách

Công thức biến đổi khoảng cách

Công thức biến đổi khoảng cách: Một tập các điểm P, số đo khoảng cách DT(P)[x]

= min y ∈ P dist(x, y) Đối với mỗi vị trí x khoảng cách đến điểm y gần nhất trong P

- Có thể nghĩ về “hình nón” gốc ở mỗi y ∈ P – và cực tiểu (min) trên tất cả các hình nón (đường bao thấp hơn

Ba loại biến đổi khoảng cách dựa trên ba kiểu khoảng cách được sử dụng

 Khoảng cách Euclidean (L2 norm) sqrt(( x1-y1)2 + (x2-y2)2 + … )

 Khoảng cách Mahattan (city block distance - L1 norm) |x1- y1| + |x2-y2| + …ƒ

 Khoảng cách Chebyshev (L norm) max(|x1 - y1|, |x2 - y2|, …)

Hình 2.11 Tác dụng của ba kiểu biến đổi khoảng cách

a) ảnh gốc b) dùng khoảng cách Ơ clit

c) Dùng khoảng cách Mahatan d) dùng khoảng cách Chessboard

2.3.2 Phân vùng Watershed (WS-Watershed Segmentation)

Đầu tiên, thuật toán Watershed xem bức ảnh chứa “Gradient of the Intensity” như là một tấm bản đồ địa hình, trong đó các vùng sáng là các ngọn núi, còn các vùng tối là các thung lũng, hình 2.12

Hình 2.13 Địa hình khi chưa bị ngập nước

Giả sử có một trận mưa cực lớn xuất hiện, ban đầu nước sẽ nhấn chìm toàn

bộ các thung lũng, sau đó mực nước tăng dần để nhấn chìm từng ngọn núi, lúc này nước ở trong các thung lũng sẽ gặp nhau, vị trí mà chúng gặp nhau chính là biến đổi

watershed (hình 2.15) và đó cũng chính là ranh giới giữa các vùng mà chúng ta cần phân tách Nước lũ ở từng thung lũng được tô màu khác nhau để dễ hình dung

Hình 2.14 Bắt đầu cho ngập các thung lũng

Hình 2.15 Vị trí của Watershed

Hình 2.16 Xây dựng bức tường ngăn cách tại vị trí Watershed

Nếu những vùng bị nhấn chìm cùng nhau đã được đánh dấu cùng là tiền cảnh hoặc cùng là nền từ trước thì chúng sẽ được kết nối với nhau Ngược lại thì tại vị

trí watershed, chúng ta cần xây dựng một bức tường để ngăn cản nước từ hai vùng

khác biệt (tiền cảnh và nền) hòa trộn với nhau, hình 2.17

Hình 2.17 Toàn bộ địa hình bị nhấn chìm

Sau khi toàn bộ địa hình đã bị nhấn chìm, chúng ta sẽ nhận được các vùng ( tiền

cảnh) foreground, nền và đường ranh giới giữa chúng hình 2.18

Hình 2.18 Ví dụ phân vùng ảnh bằng Watershed

Định nghĩa Watershed transform [5]

Dẫn nhập: Phần này nhắc lại một số kiến thức về đồ thị và ảnh kỹ thuật số

 Đồ thị

Một đồ thị G = (V, E) bao gồm một tập hợp V các đỉnh (hoặc nút) và một tập hợp E ⊆ V × V của các cặp đỉnh Trong đồ thị có hướng, tập hợp E bao gồm các cặp theo thứ tự (v, w) Thay vì graph ‘đồ thị định hướng - directed graph’, chúng ta

sẽ viết là digraph Một cặp không có thứ tự (v, w) được gọi là một biên, một cặp có

thứ tự (v, w) một cung Nếu e = (v, w) là một cạnh (cung), e được gọi là sự cố (incident) với (hoặc liền kề) các đỉnh v và w của nó; ngược lại, v và w được gọi là

sự cố với e Chúng ta cũng gọi v và w là các hàng xóm Tập hợp các đỉnh là hàng xóm của v được ký hiệu là NG(v) Một đường dẫn π có độ dài ℓ trong graph G = (V,

E) từ đỉnh p đến đỉnh q là một chuỗi các đỉnh (p0, p1, , pℓ −1, pℓ) sao cho p0 = p, pℓ=

q và (pi, pi +1) ∈E i ∈ [0, ℓ ) Độ dài của một đường dẫn π được biểu thị bằng

length(π) Một đường dẫn được gọi là đơn giản (simple) nếu tất cả các đỉnh của nó

là khác biệt Nếu tồn tại một đường dẫn từ một đỉnh p đến một đỉnh q, thì chúng ta

nói rằng q có thể truy cập (reachable) từ p, ký hiệu là p  q

Một đồ thị vô hướng được kết nối nếu mọi đỉnh có thể tiếp cận được từ mọi đỉnh khác Đồ thị G’ = (V’, E’) được gọi là sơ đồ con của G = (V, E) nếu V’⊆ V, E’ ⊆ E và các phần tử của E’ chỉ xảy ra sự cố với các đỉnh từ V’ Một thành phần

được kết nối (connected component) của đồ thị là một sơ đồ con được kết nối tối đa

của G Các thành phần được kết nối phân vùng các đỉnh của G

Trong một digraph, một đường dẫn (p0, p1, , pℓ -1, pℓ) tạo thành một chu kỳ

nếu p0 = pℓ và đường dẫn chứa ít nhất một cạnh Nếu tất cả các đỉnh của chu kỳ là

khác biệt, chúng ta nói về một chu kỳ đơn giản (simple cycle) Một vòng tự lặp là

một chu kỳ có độ dài 1 Trong đồ thị vô hướng, một đường dẫn (p0, p1, , pℓ -1, pℓ) tạo thành một chu kỳ nếu p0 = pℓ và p1, , pℓ là khác biệt Một đồ thị không có chu

kỳ được gọi là acyclic Một khu rừng (forest) là một acyclic vô hướng, một cây (tree) là một biểu đồ chu kỳ vô hướng được kết nối (a tree is a connected

undirected acyclic graph ) Một đồ thị chu kỳ có hướng (directed acyclic graph)

được viết tắt là DAG

Đồ thị có trọng số (weighted graph) là một bộ ba G = (V, E, w) trong đó w:

E → R là hàm trọng số được xác định trên các cạnh Đồ thị có giá trị (valued graph)

là một bộ ba G = (V, E, f) trong đó f: V → R là hàm trọng số được xác định trên các đỉnh Thành phần cấp độ ở cấp h của đồ thị có giá trị là thành phần được kết nối của tập hợp các nút v có cùng giá trị f (v) = h Ranh giới của thành phần cấp P ở cấp h bao gồm tất cả p ∈ P có các láng giềng có giá trị khác với h; ranh giới dưới của P là tập hợp tất cả p ∈ P có các láng giềng có giá trị nhỏ hơn h; phần bên trong của P bao gồm tất cả các điểm của P không nằm trên đường biên Đường dẫn giảm dần là đường dẫn mà giá trị không tăng Bởi chúng ta biểu thị tập hợp tất cả các đường dẫn giảm dần bắt đầu trong một nút p và kết thúc ở một số nút q với f (q) < f

(p) Cực tiểu khu vực (minimum, viết tắt) ở cấp h là thành phần cấp P trong đó

không có điểm nào có hàng xóm có giá trị thấp hơn h, tức là với tất cả p

∈ P Một đồ thị có giá trị được gọi là thấp hơn hoàn thành khi mỗi nút không ở mức tối thiểu có nút lân cận có giá trị thấp hơn

 Lưới kỹ thuật số:

Lưới kỹ thuật số (digital grid) là một loại đồ thị đặc biệt Thông thường

người ta làm việc với lưới vuông D ⊆ Z2, trong đó các đỉnh là pixel Khi D là hữu hạn, kích thước của D là số điểm trong D Tập hợp pixel D có thể được cung cấp cho cấu trúc đồ thị G = (V, E) bằng cách lấy cho V miền D và cho E một tập hợp con nhất định của Z2 × Z2 xác định kết nối Các lựa chọn thông thường là 4 kết nối, tức là, mỗi điểm có các cạnh với các hàng xóm ngang và dọc hoặc 8 kết nối trong

đó một điểm được kết nối với các hàng xóm ngang, dọc và chéo của nó Các thành phần được kết nối của một tập hợp pixel được xác định bằng cách áp dụng định

nghĩa cho biểu đồ (graphs)

Khoảng cách giữa các nút lân cận trong lưới kỹ thuật số được giới thiệu bằng cách liên kết trọng số không âm d (p, q) với mỗi cạnh (p, q) Theo cách này, một đồ thị có trọng số sẽ thu được Khoảng cách d (p, q) giữa các pixel không lân cận p và

q được xác định là độ dài đường dẫn tối thiểu trong số tất cả các đường dẫn từ p đến

q (điều này phụ thuộc vào cấu trúc biểu đồ của lưới, tức là kết nối)

 Ảnh số

Một ảnh xám kỹ thuật số là bộ ba G = (D, E, f), trong đó (D, E) là một biểu đồ (thường là lưới kỹ thuật số) và f: D - → N là hàm gán giá trị nguyên cho mỗi pD Một ảnh nhị phân f chỉ có hai giá trị, các điểm ảnh là 1 ('tiền cảnh-foreground') và nền là 0 ('nền- background ') Đối với p ∈ D, f (p) được gọi là giá trị xám hoặc độ cao (coi f là một hình chạm nổi địa hình) Đối với phạm vi của ảnh xám, người ta thường lấy tập hợp các số nguyên từ 0 đến 255 Một cao nguyên hoặc vùng phẳng của giá trị xám h là thành phần cấp độ của hình ảnh, được coi là biểu đồ có giá trị, tức là, một thành phần được kết nối của các pixel có giá trị xám không đổi h Ngưỡng của f ở cấp h là

 Khoảng cách đo đạc

Đặt A ⊆ , với E = Rd hoặc  = Zd và a, b hai điểm trong A Khoảng cách trắc địa dA(a, b) giữa a và b trong A là độ dài đường đi tối thiểu trong số tất cả các đường trong A từ a đến b (trong trường hợp liên tục, đọc là 'infimum' thay cho 'tối

thiểu') Nếu B là tập con của A, xác định d A (a, B) = MIN b∈B (d A (a, b)). Đặt B⊆A được phân vùng trong k thành phần được kết nối Bi, i = 1, , k Vùng ảnh hưởng trắc địa của tập Bi trong A được định nghĩa là

Đặt B⊆A Tập hợp IZA(B) là sự kết hợp của các vùng ảnh hưởng trắc địa của các kết nối các thành phần của B, tức là:

 Định nghĩa biến đổi watershed

Trong phần này giới thiệu các định nghĩa về biến đổi watershed, có thể được xem như là một khái quát hóa bộ xương theo vùng ảnh hưởng (SKIZ) thành hình ảnh giá trị xám Chúng ta bắt đầu với trường hợp liên tục, theo sau là hai định nghĩa cho trường hợp kỹ thuật số, định nghĩa thuật toán của Vincent & Soille và định nghĩa theo khoảng cách địa hình của Meyer

Định nghĩa Watershed trong trường hợp liên tục

Một định nghĩa watershed cho trường hợp liên tục có thể dựa trên các hàm khoảng cách Tùy theo hàm khoảng cách được sử dụng (xem 2.3.1), người ta có thể

đi đến các định nghĩa khác nhau

Giả sử rằng hình ảnh f là một phần tử của không gian C (D) của các hàm

thực hai lần liên tục khác nhau trên miền D được kết nối với chỉ các điểm quan

trọng riêng biệt Sau đó, khoảng cách địa hình giữa các điểm p và q trong D được

xác định bởi

trong đó điểm cực đại nằm trên tất cả các đường dẫn (đường cong trơn tru)  bên

trong D với γ(0) = p, γ(1) = q Khoảng cách địa hình giữa một điểm p ∈ D và tập A

⊆ D được xác định là Tf(p, A) = MINa∈ATf (p, a) Đường đi có Tf – là khoảng cách ngắn nhất giữa p còn q là đường có độ dốc lớn nhất Điều này thúc đẩy định nghĩa nghiêm ngặt sau đây về biến đổi đầu nguồn

Definition 2.1 (Watershed transform)

Đặt f ∈ C (D) có cực tiểu {mk} k∈I, đối với một số bộ chỉ số I Miền lưu vực CB (mi) của một cực tiểu mi được định nghĩa là tập hợp các điểm x ∈ D có địa hình gần với mi hơn đến bất kỳ cực tiểu mj khu vực khác

watershed của f là tập hợp các điểm không thuộc bất kỳ vùng lưu vực nào:

(2.7)

Đặt W là một số nhãn, W I watershed transform của f là ánh xạ : D → I{W},

sao cho λ (p) = i nếu pCB(m i) và λ (p) = W nếu p ∈ Wshed (f)

Vì vậy, watershed transform của f gán nhãn cho các điểm của D, sao cho (i) các

miền lưu vực khác nhau được gắn nhãn duy nhất và (ii) một nhãn đặc biệt W được gán cho tất cả các điểm của watershed (lưu vực) f

Định nghĩa 2.2: Watershed trường hợp rời rạc

Một vấn đề phát sinh đối với hình ảnh kỹ thuật số là sự xuất hiện của các cao nguyên, tức là các vùng có giá trị xám không đổi, có thể mở rộng trên các vùng hình ảnh lớn Các cao nguyên như vậy tạo thành một khó khăn khi cố gắng mở rộng định nghĩa lưu vực (watershed) liên tục dựa trên khoảng cách địa hình đến các hình ảnh rời rạc Hiệu ứng không nhắm mục tiêu này cũng là một trở ngại lớn cho việc thực hiện song song các thuật toán đầu nguồn

Một số thuật toán sẽ tự động tính toán mức watershed transform theo cấp độ, trong đó mỗi cấp tạo thành một hình ảnh nhị phân mà SKIZ được tính toán

Hình 2.19 Watershed transform trên lưới ô vuông, cho các kết nối khác nhau

(a): hình ảnh gốc (cực tiểu được in đậm); (b - c): kết quả theo độ ngâm vào nước (Định nghĩa 2.2); (d) - (e): kết quả theo khoảng cách địa hình (Định nghĩa 2.1)

 Các phương pháp biến đổi Watershed [6]

Chủ yếu có ba phương pháp để thực hiện watershed:

+ Phương pháp chuyển đổi khoảng cách,

+ Phương pháp Gradient,

+ Phương pháp kiểm soát đánh dấu

Cụ thể:

 Phương pháp biến đổi khoảng cách (DT xem 2.3.1)

+ Phương pháp Gradient: Biên độ gradient được sử dụng để xử lý trước

một ảnh xám trước khi sử dụng biến đổi watershed để phân vùng Biên độ gradient

có các giá trị pixel cao dọc theo các biên của đối tượng và các giá trị pixel thấp ở những nơi khác Biến đổi watershed sẽ cho kết quả các đường sườn watershed dọc theo các cạnh biên của đối tượng Có một vấn đề của phân vùng quá mức khi phân vùng theo phương pháp watershed là có các đường viền không mong muốn do nhiễu gây ra trong phương pháp này (xem hình 2.20 Phân vùng quá mức) Khi sử dụng phương pháp Gradient quá trình phân vùng được thực hiện thành hai bước riêng biệt: đầu tiên phát hiện các cạnh chính của hình ảnh được xử lý và sau đó tính toán watershed của gradient đã được phát hiện

 Phương pháp kiểm soát đánh dấu:

Các watersheds được tách riêng với nhau Biến đổi watershed phân tách hoàn toàn một hình ảnh và do đó gán từng pixel cho một vùng hoặc một watershed Với

dữ liệu hình ảnh y tế có nhiều nhiễu, một số lượng lớn các vùng nhỏ phát sinh Điều này được gọi là vấn đề về phân vùng quá mức - “over-segmentation” Phương pháp kiểm soát đánh dấu sẽ khắc phục được hạn chế này

Hình 2.20 Phân vùng quá mức do nhiễu khi áp dụng cho một lát cắt trục của hình ảnh CT Ảnh cuối: các lưu vực riêng lẻ (individual basins) được hợp nhất

để tạo thành các vùng lớn hơn liên tiếp

2.3.3 Phối hợp biến đổi Watershed và biến đổi khoảng cách

Sử dụng biến đổi Watershed chúng ta có thể thực hiện phân vùng ảnh khi kết hợp biến đổi khoảng cách chúng ta sẽ thu được kết quả phân vùng và các đối tượng được tách rời sử dụng cho mục đích đếm

Thuật toán biến đổi Watershed và biến đổi khoảng cách

Trên hình 2.21 là thuật toán biến đổi Watershed và biến đổi khoảng cách có thể ứng dụng cho nhiều trường hợp tách đối tượng dính nhau Giải thích thuật toán:

BEGIN

1 Mở ảnh có sẵn hoặc thu ảnh từ cameta

Ảnh chứa các đối tượng cần đếm có thể là ảnh màu hoặc ảnh xám Để chuyến ảnh màu sang ảnh nhị phân trước hết chúng ta chuyển nó sang ảnh xám

2 Chuyển sang ảnh binary

Nếu ảnh trong file là ảnh binarry thì không cần phải thực hiện bước này

3 Dùng toán tử mở loại các điểm trắng nhỏ

Trong ảnh nhị phân có thể có những điểm trắng nhỏ Để không bị sai kết quả khi tính toán chúng ta loại những điểm ảnh trắng nhỏ này bằng toán tử

opening Việc loại điểm trắng nhỏ cỡ bao nhiêu pixel do chúng ta tự quyết định, thường là nhỏ hơn diện tích cơ bản của đối tượng đơn cần đếm một số  nào đó

4 Dùng toán tử đóng loại các lỗ nhỏ màu đen trong ảnh đối tượng (vùng màu trắng)

Trong nhóm ảnh đối tượng (trắng trên nền đen) có thể có những lỗ đen nhỏ Dùng toán tử đóngđể lấp đầy các lỗ đen này

5 Thực hiện phép trừ nền để tách vùng quan tâm khỏi ảnh chung

6 Gắn nhãn nền và các cùng không phải nền

7 Thực hiện biến đổi watershed

END