1 Sinh viên: Đỗ Thanh Thủy – CT1102 LỜI CẢM ƠN Trước hết em xin chân thành cảm ơn các thầy cô giáo trong khoa công nghệ thông tin trường đại học dân lập Hải Phòng đã trang bị những kiến thức cơ bản cần thiết để em thực hiện đề tài của mình. Đặc biệt em xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới thầy giáo hướng dẫn Ths. Ngô Trường Giang đã tận tình hướng dẫn, chỉ bảo và tạo mọi điều kiện thuận lợi giúp em trong quá trình làm đồ án tốt nghiệp. Trong quá trình thực hiện đồ án tốt nghiệp, mặc dù đã cố gắng hết sức xong do trình độ còn hạn chế, nội dung đề tài còn quá mới mẻ và khó với em nên khó tránh khỏi những sai sót trong quá trình tiếp nhận kiến thức. Vì vậy, em rất mong nhận được sự thông cảm, chỉ dẫn, giúp đỡ của các thầy cô và sự góp ý bạn bè. Một lần nữa em xin chân thành cảm ơn ! Hải Phòng, ngày……tháng…….năm……. Sinh viên Đỗ Thanh Thủy. 2 Sinh viên: Đỗ Thanh Thủy – CT1102 MỤC LỤC MỞ ĐẦU . 4 DANH MỤC HÌNH VẼ . 6 CHƢƠNG 1: TỔNG QUAN VỀ XỬ LÝ ẢNH . 7 1.1 Các khái niệm cơ bản trong xử lý ảnh 7 1.1.1 Xử lý ảnh là gì . 7 1.1.2 Ảnh và điểm ảnh . 7 1.1.3 Quan hệ giữa các điểm ảnh . 8 1.1.4 Mức xám của ảnh 8 1.1.5 Độ phân giải 9 1.2 Các phép toán cơ bản trên ảnh nhị phân . 9 1.2.1 Các phép toán logic . 9 1.2.2 Các phép toán hình thái học 10 1.3 Các giai đoạn trong xử lý ảnh . 16 1.4 Một số ứng dụng cơ bản . 18 CHƢƠNG 2: TỔNG QUAN VỀ PHÂN ĐOẠN ẢNH 20 2.1 Khái niệm phân đoạn ảnh . 20 2.2 Các hướng tiếp cận trong phân đoạn ảnh . 20 2.2.1 Phân đoạn dựa vào ngưỡng . 20 2.2.2 Phân đoạn dựa theo đường biên 22 2.2.3 Phân đoạn theo miền đồng nhất 26 CHƢƠNG 3: PHÂN ĐOẠN ẢNH DỰA TRÊN RWR . 28 3 Sinh viên: Đỗ Thanh Thủy – CT1102 3.1 Giới thiệu 28 3.2 Random Walker Restart (RWR) . 30 3.3 Phương pháp phân đoạn dựa trên RWR . 34 3.3.1 Mô hình đồ thị . 35 3.3.2 Học 36 3.3.3 Phân đoạn 38 CHƢƠNG 4: CÀI ĐẶT THỬ NGHIỆM . 40 4.1 Môi trường cài đặt 40 4.2 Chương trình thực nghiệm 40 4.2.1 Kết quả phân đoạn ảnh sử dụng RWR 40 4.2.2 So sánh kết quả phân đoạn bằng RWR với một số phương pháp khác. 41 KẾT LUẬN . 45 TÀI LIỆU THAM KHẢO . 46 4 Sinh viên: Đỗ Thanh Thủy – CT1102 MỞ ĐẦU Xử lý ảnh (XLA) là một trong những chuyên ngành quan trọng và lâu đời của Công nghệ thông tin. XLA được áp dụng trong nhiều lĩnh khác nhau như y học, vật lý, hoá hoc, tìm kiếm tội phạm,… Mục đích chung của việc XLA thường là: (1) xử lý ảnh ban đầu để có được một bức ảnh mới theo một yêu cầu cụ thể; (2) phân tích ảnh để thu được các thông tin đặc trưng trên ảnh nhằm hỗ trợ cho việc phân loại và nhận biết ảnh; (3) phân đoạn ảnh (image segmentation) để nhận diện được các thành phần trong ảnh nhằm hiểu được kết cấu của bức ảnh ở mức độ cao hơn. Để xử lý được một bức ảnh thì phải trải qua nhiều bước, nhưng bước quan trọng và khó khăn nhất đó là phân đoạn ảnh. Nếu bước phân đoạn ảnh không tốt thì dẫn đến việc nhận diện sai lầm về các đối tượng có trong ảnh. Trong khoảng 30 năm trở lại đây đã có rất nhiều các thuật toán được đề xuất để giải quyết bài toán phân đoạn ảnh. Các thuật toán hầu hết đều dựa vào hai thuộc tính quan trọng của mỗi điểm ảnh so với các điểm lân cận của nó, đó là: sự khác (dissimilarity) và giống nhau (similarity). Các phương pháp dựa trên sự khác nhau của các điểm ảnh được gọi là các phương pháp biên (boundary-based methods), còn các phương pháp dựa trên sự giống nhau của các điểm ảnh được gọi là phương pháp miền (region-based methods). Tuy nhiên, cho đến nay các thuật toán theo cả hai hướng này đều vẫn chưa cho kết quả phân đoạn tốt, vì cả hai loại phương pháp này đều chỉ nắm bắt được các thuộc tính cục bộ (local) của ảnh. Do đó, trong thời gian gần đây, việc tìm ra các thuật toán nắm bắt được các thuộc tính toàn cục (global) của bức ảnh đã trở thành một xu hướng. Mục đích chính của em là nắm được tổng quan về xử lý ảnh số, nắm được các hướng tiếp cận chính trong phân đoạn ảnh và cài đặt thử nghiệm một vài thuật toán phân đoạn ảnh. Vấn đề mấu chốt trong đồ án này là em tập trung tìm hiểu và trình bày thêm một phương pháp được đánh giá là hiệu quả hơn các phương pháp trước đây, khắc phục được hai khó khăn quan trọng trong ảnh tự nhiên là bài toán đường biên yếu và kết cấu yếu. Phương pháp này dựa vào việc coi một bức ảnh như một đồ thị có trọng số. Sau khi tính xác suất trạng thái ổn định của mỗi điểm ảnh bằng cách sử dụng RWR, chúng ta có thể ước lượng khả năng phân tách và cuối cùng gán nhãn vào mỗi điểm ảnh. 5 Sinh viên: Đỗ Thanh Thủy – CT1102 Ngoài phần mở đầu và kết luận, đồ án được chia làm 4 chương, cụ thể nội dung các chương như sau: Chương 1: Tổng quan về xử lý ảnh Chương 2: Phân đoạn ảnh và các hướng tiếp cận trong phân đoạn ảnh. Chương 3: Tìm hiểu phương pháp phân đoạn ảnh RWR (Random Walker Restart). Chương 4: Cài đặt thử nghiệm thuật toán phân đoạn ảnh dựa trên RWR. 6 Sinh viên: Đỗ Thanh Thủy – CT1102 DANH MỤC HÌNH VẼ Hình 1.1. Hình minh họa các phép toán trên ảnh nhị phân . 10 Hình 1.2. Hiệu quả của thao tác nhị phân đơn giản trên một ảnh nhỏ 11 Hình 1.3. A dãn bởi B 12 Hình 1.4. Dãn mất điểm ảnh . 12 Hình 1.5. Dãn ảnh sử dụng phần tử cấu trúc . 13 Hình 1.6. Phép co nhị phân . 13 Hình 1.7. Sử dụng phép toán mở . 15 Hình 1.8. Phép đóng . 15 Hình 1.9. Phép đóng với độ sâu lớn 16 Hình 1.10. Các giai đoạn chính trong xử lý ảnh 16 Hình 2.1. Đường biên lý tưởng . 23 Hình 2.2. Đường biên bậc thang . 23 Hình 2.3. Đường biên thực . 24 Hinh 3.1 Phân đoạn đơn nhãn 30 Hình 3.2. Kết quả phân đoạn 38 Hình 4.1. Một ví dụ về sự thay đổi xác suất trạng thái ổn định r theo xác suất khởi động lại c 40 Hình 4.2. Một ví dụ về phân đoạn đối với sự biến đổi của các xác suất khởi động lại c trong ảnh tự nhiên 41 Hình 4.3. So sánh thuật toán GC, RW, RWR cho việc tìm kiếm đường biên yếu . 42 Hình 4.4. So sánh phân đoạn kết cấu giữa các thuật toán GC, RW, RWR . 43 Hình 4.5. So sánh thuật toán GC, RW, RWR trên ảnh tự nhiên . 44 7 Sinh viên: Đỗ Thanh Thủy – CT1102 CHƢƠNG 1: TỔNG QUAN VỀ XỬ LÝ ẢNH 1.1 Các khái niệm cơ bản trong xử lý ảnh 1.1.1 Xử lý ảnh là gì Quá trình xử lý ảnh được xem như là quá trình thao tác ảnh đầu vào nhằm cho kết quả mong muốn. Kết quả đầu ra của một quá trình xử lý ảnh có thể là một ảnh tốt hơn hoặc một kết luận. Mục tiêu của xử lý ảnh có thể chia làm ba hướng như sau: - Xử lý ảnh ban đầu để có được ảnh mới theo một yêu cầu xác định (Ví dụ như ảnh mờ cần xử lý để được ảnh rõ hơn). - Phân tích ảnh để thu được các thông tin đặc trưng giúp cho việc phân loại, nhận biết ảnh (Ví dụ phân tích ảnh vân tay để trích chọn đặc trưng vân tay). - Hiểu ảnh đầu vào để có những mô tả về ảnh ở mức cao hơn (Ví dụ từ một ảnh tai nạn giao thông có thể phác họa hiện trường tai nạn). 1.1.2 Ảnh và điểm ảnh Ảnh tự nhiên là ảnh liên tục về không gian và độ sáng. Để xử lý bằng máy tính (số), ảnh cần phải được số hóa. Số hóa là sự biến đổi gần đúng một ảnh liên tục thành một tập điểm phù hợp với ảnh thật về trí (không gian) và độ sáng (mức xám). Khoảng cách giữa các điểm ảnh được thiết lập sao cho mắt người không phân biệt được ranh giới giữa chúng. Mỗi một điểm như vậy gọi là điểm ảnh (PEL: Picture Elememt) hay gọi tắt là Pixel. Trong khuôn khổ ảnh hai chiều, mỗi pixel tương ứng với cặp tọa độ (x, y). Điểm ảnh (pixel) là một phần tử của ảnh số tại tọa độ (x, y) với độ xám hoặc màu nhất định. Kích thước và khoảng cách giữa các điểm ảnh được chọn thích hợp sao cho mắt người cảm nhận được sự liên tục về không gian và mức xám của ảnh số gần như ảnh thật. Mỗi phần tử trong ma trận được gọi là phần tử ảnh. Ảnh được xem như tập hợp các điểm ảnh. 8 Sinh viên: Đỗ Thanh Thủy – CT1102 1.1.3 Quan hệ giữa các điểm ảnh 1.1.3.1 Các lân cận của điểm ảnh Giả sử một ảnh số được biểu diễn bằng hàm f(x, y), p và q là cặp điểm ảnh có quan hệ với nhau, điểm ảnh p có tọa độ (x, y). Định nghĩa các lân cận của điểm ảnh. - Lân cận 4 của p kí hiệu N 4 (p): N 4 (p) = {(x-1, y); (x, y-1); (x, y+1); (x+1, y)} - Lân cận chéo của p kí hiệu N p (p): N p (p) = {(x+1, y+1); (x+1, y-1); (x-1, y+1); (x-1, y-1)} - Lân cận 8 của p kí hiệu N 8 (p): N 8 (p) = N 4 (p) + N p (p) 1.1.3.2 Các mối liên kết điểm ảnh Các mối liên kết được sử dụng để xác định giới hạn của đối tượng hoặc xác định vùng trong một ảnh. Một liên kết được đặc trưng bởi tính liền kề giữa các điểm và mức xám của chúng. Có ba loại liên kết: - Liên kết 4: Hai điểm ảnh p và q được gọi là liên kết 4 nếu q thuộc N 4 (p) - Liên kết 8: Hai điểm ảnh p và q được gọi là liên kết 8 nếu q thuộc N 8 (p) - Liên kết m (liên kết hỗn hợp): Hai điểm ảnh p và q được gọi là liên kết hỗn hợp nếu q thuộc N 4 (p) hoặc q thuộc N 8 (p) 1.1.3.3 Đo khoảng cách giữa các điểm ảnh Khoảng cách D(p, q) giữa hai điểm ảnh p tọa độ (x, y), q tọa độ (s, t) là hàm khoảng cách (Distance) nếu: - D(p, q) ≥ 0 (Với D(p, q)=0 khi và chỉ khi p=q) - D(p, q) = D(q, p) - D(p, z) ≤ D(p, q) + D(q, z); z là một điểm ảnh khác. Khoảng cách Euclide giữa hai điểm ảnh p(x, y) và q(s, t) được định nghĩa như sau: D e (p, q) = [(x - s) 2 + (y - t) 2 ] 1/2 1.1.4 Mức xám của ảnh Mức xám của điểm ảnh là cường độ sáng của nó được gán bằng giá trị số tại điểm đó. 9 Sinh viên: Đỗ Thanh Thủy – CT1102 Các thang giá trị mức xám thông thường là: 16, 32, 64, 128, 256 (Mức 256 là mức phổ dụng nhất vì máy tính dùng 1 byte (8 bit) để biểu diễn mức xám. Mức xám dùng 1 byte biểu diễn: 2 8 =256, tức là từ 0 đến 255) Ảnh đen trắng là ảnh có hai màu đen và trắng. Nếu phân mức đen trắng thành L mức, sử dụng số bit B để mã hóa mức đen trắng (hay mức xám) thì L được xác định: L=2B. Nếu L=2, B=1 nghĩa là chỉ có 2 mức 0 và 1. Ảnh dùng hai mức 0 và 1 để biểu diễn mức xám gọi là ảnh nhị phân. Mức 1 ứng với màu sáng còn mức 0 ứng với màu tối. Nếu L lớn hơn 2 đó là ảnh đa cấp xám. Như vậy ảnh nhị phân mỗi điểm ảnh được mã hóa trên 1 bit, còn ảnh 256 mức mỗi điểm ảnh được mã hóa trên 8 bit. Ảnh đen trắng nếu dùng 8 bit (1 byte) để biểu diễn mức xám số mỗi mức xám được biểu diễn dưới dạng một số nguyên nằm trong khoảng từ 0 đến 255, mức 0 biểu diễn cho cường độ đen nhất và mức 255 biểu diễn cho cường độ sáng nhất. Ảnh màu: là ảnh tổ hợp từ 3 màu cơ bản đỏ (Red), lục (Green), lam (Blue). Để biểu diễn cho một điểm ảnh màu dùng 3 byte để mô tả 24 bit màu 2 8*3 =2 24 ≈ 16,7 triệu màu. 1.1.5 Độ phân giải Độ phân giải (Resolution) của ảnh là mật độ điểm ảnh được ấn định trên ảnh số khi hiển thị. Như vậy khoảng cách giữa các điểm ảnh được chọn sao cho mắt người vẫn thấy được sự liên tục của ảnh. Việc lựa chọn khoảng cách thích hợp tạo nên một mật độ phân bổ, đó chính là độ phân giải và được phân bố theo trục x và y trong không gian hai chiều. 1.2 Các phép toán cơ bản trên ảnh nhị phân 1.2.1 Các phép toán logic Hình 1.1 dưới đây minh họa những thao tác nói trên với giá trị nhị phân “1” có màu đen, còn giá trị nhị phân “0” có màu trắng. 10 Sinh viên: Đỗ Thanh Thủy – CT1102 Hình 1.1. Hình minh họa các phép toán trên ảnh nhị phân Trong hình 1.1: hình (a) và (b) là ảnh ban đầu; (c) phép NOT (b); (d) phép OR (a,b); (e) phép AND (a,b). 1.2.2 Các phép toán hình thái học Hình thái (morphology) có nghĩa là “hình thức và cấu trúc của một đối tượng”, hoặc là cách sắp xếp mối quan hệ bên trong giữa các phần của đối tượng. Hình thái có liên quan đến hình dạng, và hình thái số là một cách để mô tả hoặc phân tích hình dạng của một đối tượng số. Những thao tác hình thái nhị phân được xây dựng trên ảnh chỉ có 2 mức xám 0 và 1, “0” ứng với màu trắng, “1” ứng với màu đen. Trước hết, để bắt đầu, ta hãy xem hình 1.2a. Tập hợp các điểm ảnh đen tạo nên đối tượng ảnh hình vuông và trong hình 1.2b, đối tượng ảnh cũng là hình vuông nhưng là hình vuông lớn hơn so với hình 1.2a một điểm ảnh về mọi phía, nghĩa là thay mọi lân cận trắng của các điểm ảnh trong hình 1.2a thành các điểm ảnh đen. Đối tượng trong hình 1.2b cũng được thao tác tương tự, tức là hình 1.2b được tăng thêm một điểm ảnh về mọi phía. Thao tác đó có thể coi như một phép dãn đơn giản, phép dãn một điểm ảnh về mọi phía. Việc dãn đó có thể được thực hiện cho đến khi toàn bộ ảnh được thay bằng các điểm ảnh đen. Do vậy, đối tượng ảnh trong hình 1.2a có thể được viết lại là{(3, 3) (3, 4) (4, 3) (4,4)}, với điểm (a) Ảnh a (b) Ảnh b (c) (d) (e)