Xây dựng mô hình ba chiều của trường ĐHQG hà nội bằng máy quay cầm tay và các ứng dụng trong mô hình ba chiều này (báo c

Đối với kĩ thuật đối sánh dựa trên miền, Moravec 1989 đề nahị các toán từ liên quan đến cực đại địa phương của sự thay đồi hướng trong một cửa sô xung quanh một điếm.. Đối với kĩ thuật đ

XÂY DỤNG MÔ HÌNH BA CHIÈU CỦA TRƯỜNG ĐHQG HÀ NỘI BẰNG MÁY QUAY CẦM TAY

VÀ CÁC ỨNG DỤNG TRONG MÔ HÌNH BA CHIÈU NÀY

(BUIDING 3D MODEL OF THE HANOI NATIONAL UNIVERSITY

WITH HAND-HELD CAMERA AND APPLICATIONS OF THIS 3D MODEL) ( Báo cáo tổng họp đề tài nghiên cứu khoa học cấp Đại học quốc gia

do Trường Đại học Công nghệ quản lý )

Mã số: QC.05.02 Chủ nhiệm đề tài: Tiến sĩ Bùi Thế Duy

-PHIÉƯ ĐĂNG KÝ KÉT QUẢ NGHIÊN c ử u KH - CN

Tên đê tài: X â y d ự n g m ô hình ba chiêu của Đ H Q G H à N ộ i băng m áy quay câm tay

và các ứ ng d ụ n g trong mô hình ba chiều này.

Mã số: QC.05,02

C ơ quan quản lý đê tài: Đại học Quôc gia Hà Nội

Địa chỉ: 144, đường Xuân Thuỷ c ầ u Giấy - Hà Nội

Điện thoại: 8340564

C ơ quan chủ trì đề tài: Trường Đại học Công nghệ, Đại học Quôc gia Hà Nội

Địa chỉ: 144, dường Xuân Thuý c ầ u Giấy - Hà Nội

Điện thoại: 7547810

Tông chi phí thực chi: 30.000.000 VNĐ

(từ ngân sách nghiên cứu khoa học của nhà nước cấp cho Đ HQ G H N )

Thòi gian nghiên cứu: 12 tháng

Thòi gian bắt đầu: 01/07/2005

o Ts Nmiyễn Việt Hà, Bộ môn Công nghệ phần mềm, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội

o Ths Dào Minh Thư Bộ môn Mạng và Truyền thông máy tính Trường Đại học

Cô nu nghệ Dại học Quôc nia Mà Nội.

o Ths Ma I hị Chàu Bộ mòn Khoa học Máy tinh Trương Dại học Công nghệ Đại

học Quốc gia H à Nội.

o CN Đồ M inh Phương, Bộ môn Mạng và Truyền ĩhông máy tính Trường Đại học Công nghệ Đại học Quốc gia Hà Nội

Sô đãng ký đê tài

Ngày

Sô chứng nhận đăng ký K Q N C

Ngày

^Ẹ ảô-m -Ạ^ Phỏ biến rộngjãj_ /

ât -B Phổ biến hạn chế

c Bào mật

Tóm tắt kết quả nghiên cứu

a Kết quả về khoa học (những đóng góp của đề tài, các công trinh khoa học công bố)

• 02 bài báo tại hội nghị quốc tế

The D uy Bui (2006) Applying AI techniques for transferring 3D facial animation

In: Proceedings o f ICTACS2006, August 2006.

Trung Kien Dang, M Worring (2006) A Normalization Technique for 3D

Reconstruction from Video Sequences In: Proceedings o f A S C I Conference.

Lommel, Belgium

• 01 bài báo tại tạp chí Đại học Quôc gia

Trung Kien Dang and The Duy Bui (2006) Toward building 3D model o f Vietnam

National university from video sequences VNU Journal o f Science.

• 01 báo cáo khoa học tại hội nghị trong nước

M a Thị Châu (2005) Dựng mô hình 3 chiều từ ánh chụp Báo cáo tại Hội nghị toàn quốc lần II: ứ n g dụng toán học, 12-2005

b Kết quả phục vụ thực tế (các sản phẩm công nghệ, khả năng áp dụng thực tế)

• Bộ eône cụ trợ giúp mô hình ba chiều từ anh cho trước

c Kết quà đào tạo (số lượng sinh viên, học viên cao học nghiên cứu sinh làm việc trong

các ứng dụng khác”, luận văn thạc sỹ Trường Đại học Côna nghệ 2005

Nguyễn Thu Hà, “Nghiên cứu các mô hinh mặt và các kỹ thuật chuvên động” , luận văn thạc sỹ Trườne Đại học Công nghệ 2006

• 02 khóa luận cử nhân CNTT

N guyễn Thị Thanh Nga, "Giao tiếp naười - máy với khuôn mặt hoạt hình”, khóa iuận tốt nghiệp, Trường Đại học Công nghệ 2006

Lê Q uang Binh, “Nghiên cứu đánh giá sự mô phong cám xúc cho các nhàn vặt ao", khóa luận tốt nghiệp Trường Đại học Côna nghệ 2006

d Kết qua nâng cao tiềm lực khoa học (nâng cao trình độ cán bộ và tảng cường trang thiết bị cho đơn vị)

Nâng cao năng lưc chuyên môn cùa cán bộ bộ môn vê các lĩnh vực xứ lý anh, thực tại

ảo và thực tại trộn

Kiến nghị về quy mô và đối t uọn g áp dụng kết quả nghiên cứu:

Đe nghị được tích hợp và thừ nghiệm các sản phẩm của đề tài vào các hệ thống thực tại ao

và thực tại trộn đê tạo môi trường nahiên cứu được hỗ trợ đề phát triển du lịch ào trên các

mô hình 3D

Chức U I Chu n h i ệ m đê t à i ị 4Ĩ ,.

chù tri đẽ tái đánh giá chính thức quan K đẻ tài

Ký ten

Donn dâu

H à N ội - 2 0 0 6

MỤC LỤC

MỤC L Ụ C 5

DAN H MỤC BẢ N G BIÊU HÌNH V Ẽ 6

C H Ư Ơ N G 1: GIỚI T H I Ệ U 7

1.1 Bổi cảnh và mục đích của đề t à i 7

1.2 Nội dung nghiên c ứ u 8

1.3 Cấu trúc của báo c á o 8

CHƯƠNG 2: MỘT SÓ x u HƯỚNG LIÊN QUAN ĐÉN VIỆC XÁY DựNG CÁC MÕ HÌNH 3 CH IÊU TỪ CÁC BỬC ẢNH 2 C H IỀ U 9

C H Ư Ơ N G 3: X Â Y D ự N G CÁC MÔ HÌNH BA CHIÊU BẦNG M ÁY QUAY CẢM T A Y 12

3.1 Các kĩ thuật trong bài toán dựng mô hình 3 ch iề u 12

3.1.1 Qui trình dựng mô hình 3 chiều 12

3.1.2 Trích chọn đặc t r ư n g 15

3.1.3 Bài toán đối sá n h 17

3.1.4 Tìm ma Irận cư ban F 23

3.1.5 Chinh sứa a n h 25

3.1.6 Khôi phục độ sâu 27

3.2 M ô hình bộ cônạ cụ dựng mô hình 3 chiều từ cập á n h 29

3.2.1 Đ iếm nóc S U S A N 29

3.2.2 Đối sánh điểm RÓC S U S A N 32

3.2.3 Thuật toán tính ma trận cơ ban sứ dụng R A N S A C 36

3.2.4 Chinh sưa anh báne phương pháp chuyên đôi san2 tọa độ c ự c 37

3.2.5 Xây dự n s anh chinh s ử a 39

3.2.6 Đổi sánh miền dựa vào cứa sồ tương q u a n 42

3.2.7 Thuật toán tam d á c tối ưu tính độ sâu cho một cặp điêm anh đối sánh 46 3.3 Một số két q u a 52

Cl II ONG 4:XẢY Dl.'KCi ÚNCì D tíN G DỤ’A TRẼN MÔ HÌNH BA CHIÊU CUA ĐẠ] 11ỌC Q U Ỏ C G I A 54

4.1 ứ i m dụnu du lịch ao trên mô hình ba chiêu cua đại học quốc a ia 54

4.2 Ú n lì đụntì hoạt họa cho các nhân vật a o 56

C H Ư Ơ N G 5: K ÉT L U Ậ N 59

TÀI LIỆU T H A M K H Ả O 60

Tài liệu Tiếng A n h : 60

Mã nguồn và công cụ hỗ trợ: 62

DANH MỤC BẢNG BIỂU HÌNH VẼ Hình 3.1 Qui trình dựng mô hình 3 chiều từ chuỗi các ành đâu v ào 12

Hình 3.2 Độ chênh lệch và mối quan hệ với độ s â u 14

Hình 3.3 Dựng mô hình 3 chiều từ cặp a n h 15

Hình 3.4 Đối sánh á n h 18

Hình 3.5 So sánh một số thuật toán đối sánh dựa trôn m iề n 21

Hình 3.6 Tìm điểm tương ứng x ’ của X qua mặt phăng 7r 24

Hìnli 3.7 Ràng buộc epipolar 26

Hình 3.8 Chinh sửa ả n h 27

Hình 3.9 Mối liên hệ giữa độ chênh lệch và độ s â u 28

Hình 3.13 Đối sánh không đối x ứ n g 35

11ình 3.19 Biếu diễn dối sánh giữa các cặp điểm của ảnh trái và p h ả i 44

Hình 3.20 Khoániì cách tới đường cpipolar nhỏ nhất 46

CHƯƠNG 1: GIỚI THIỆU

1.1 Bối cảnh và mục đích của đề tài

Hiện nay trên thế giới, các mô hình ba chiều đang nhận được nhiều sự quan tâm từ các nhà nghiên cứu Khả năng ứng dụng cùa các mô hình ba chiều là rat to lớn, nhât

là trong việc tạo ra các môi trường ảo Mô hình ba chiều của một bảo tàng có thê giúp người sử dụng máy tính đi tham quan bảo tàng một cách “ảo" chù bằng cách ngồi trước máy tính và bấm chuột Nhân viên bảo vệ cua một trường đại học có thế

đi rà soát các phòng học một cách "ảo’' khi chi cần ngồi trước máy tính Đây là kêt quá của việc trộn hiện thực (thông tin từ các máy quay an ninh cố định) với mô hình

ba chiều ào Đế xây dựng được các mô hình ba chiều, một phương pháp truyên thống là sử dụng nhàn viên kỹ thuật xây dựntỉ bàng tay các mô hình trên máy, sau

dó ghép thêm dử liệu ảnh nền Tuy nhiên phươno pháp này đòi hỏi công sức cua người lao dộng rất cao Với khoảng 5 nhân viên kỹ thuật, có thê tốn từ 3-6 tháng đê xây dựng một mô hình ba chiều Khi cần thay dồi, lại đòi hỏi công sức lao động đê sưa chữa mỏ hình hoặc thậm chí làm lại từ đầu M ột công nghệ mới đang được nghiên cứ là sứ dụng các dữ liệu từ một máy quay cầm tay đẻ tạo nên các mô hình

ba chiều một cách tự động

Cách liếp cận dựa trên àtih hay dữ liệu từ máy quay câm tay có rât nhiêu ưu điẻm Cảnh cần mỏ hình hóa dược quay ở các khung nhìn khác nhau Mối quan hệ giữa các dữ liệu dầu vào đưọ'0 tính toán tự động từ thông tin lẩy được trực tiếp cua ánh thông qua các thuật toán Do vậy không cần đến các so do khung cành, hay các thu tục hiệu chinh thiết bị bànc tay như các kĩ thuật truyền thốne nữa Bên cạnh đó cách tiếp cận dựa trên ánh này lại rất linh hoạt ơ chỗ rất dễ dàng mô hình đối tượne có kích cữ nhỏ cũn ti nhu mô hình một khung cành rộng lớn

Hiện tại tron tỉ nước, hầu như chưa có mô hình ba chiều nào được triển khai Nội đuntí imhiên cửu cua đề tài tập t run li vào việc triên khai các nghiên cứu về phân tích

\ ư K anh đo họa máv tinh dè tạo nên các mô hình ba chiêu một cách tự dộng, chính

xác Đ ồng thời nghiên cứu các ứng dụng trong lĩnh vực thực tại ao (virtual reality)

và thực tại trộn (mixed reality) trong mô hình ba chiều này

Mục tiêu cúa đề tài là phát triển phương pháp xây dim e mô hinh ba chiêu cua

ĐH Q G Hà Nội Từ đó đưa ra phương pháp chung để xây dựng các mô hình ba chiều khác Đồng thời phát triển các ứng dụng trong mô hình ba chiều này như tham quan ĐHQ G ảo hệ thống an ninh ĐHQ G dựa trên côim nghệ thực tại trộn, và đào tạo điện tứ

1.2 Nội dung nghiên cứu

- Xây dựng các mô hình ba chiều bàng máy quay cầm tay: Dựa trên các phân tích

xử lý ánh thu được liên tục từ các máv quay cầm tay tạo ra các mô hình 3 chiều và các anh bề mặt Sử dụng đồ họa ba chiều đè tái tạo các mô hình này trên màn hình máy tính

- Xây dụng một số ứng dụng thực tại ảo và thực tại trộn dựa trên mô hình 3 chiêu cua Đại học Quốc Gia Hà Nội: Xây dựng ứng dụng phục vụ tham quan Đại học Quốc Gia trực tuyển; Xây dựng ứng dụng hoạt họa các nhân vật ao trong các mỏ hình 3D

1.3 Cấu trúc của báo cáo

- Chương 1: Giới thiệu chung về các mô hình 3 chiều và công nghệ thực tại ảo, thực

tại trộn

- Chirơnu 2: Một số xu hưórm 1 lẽn quan đèn việc xây dựnc các IT1Ô hình ba chiêu từ các bức anh hai chiêu

- Chưonu 3: Xây dựng các mô hỉnh ba chiều bàng máy quay cam tay

- ChưoTìU 4: Xây đự n c ửne dụnu dựa trẽn mô hình 3 chiều của ĐHQ G

- Cliưonu 5: Két luận

CHƯƠNG 2: MỘT SỐ xu HƯỚNG LIÊN QUAN ĐÉN VIỆC XÂY DỰNG CÁC MỔ HÌNH 3 CHIÈU TỪ CÁC BỨC ẢNH 2 CHIỀU

Đô hoạ 3 chiêu được nghiên cứu ở các trường đại học từ những năm 1970 và được thương mại hoá khi Hollywood chú ý đến nhũng nghiên cứu này vào nhữnti năm

1980 [10] Hình ảnh chuyển động lúc sơ khai là nghành công nghiệp xa xì và chi được sử dụng hạn chê đôi với các công cụ tài chính Củng với sự phát triên cua các gói phân mêm chuấn cùa mô hình hoá và chuyển động, 3 chiều dần xuất hiện trong công nghệ truyền hình và các video chuyên nghiệp Hay nói cách khác, nghệ thuật 3 chiều dã tim dược chồ đửnu trong các dịch vụ đa phương tiện

Việc sử dụng mô hình 3 chiều cho mục đích hiền thị ngày càng trờ nên quan trọng

N hũng năm vừa qua, trong lĩnh vực thị giác máy, người ta chủ trọng nhiều đến vấn

đề diều khiên và điều hướng robot, tuy nhiên gần đây, hướng quan tâm đã có sự thay đôi Nmrừi ta chú trọn li nhiều đến vấn đề tương tác và hiển thị Các mỏ hình 3 chiều cỏ tính chân thục cao là thành phần không thế thiếu khi mô phone và hiên thị

sự vật sự kiện Dồ họa 3 chiều trái rộng trên nhiều ứng dụng như trong trò chơi diện tử, cône nghiệp làm phim, trình chiếu dối tượng trong thực tại trộn phục vụ cho y té quân sụ hàng không, giáo dục Trong trò chơi điện tư, đồ hoạ 3 chiều thực sự bộc lộ đặc tính ưu việt của nó đáp ứng nhu cầu, thị hiếu khách hàng Chất lượng đồ ho ụ cùng như kha năng đáp ứng thời gian thực cua các ứne dụna 3 chiêu thay đổi nhanh chóng do sự thay đổi chóng mặt của các thiết bị phần cứng cũng như công ntỉhệ Tiếp đó, là sự bùng nổ của các ứng dụng 3 chiều trên Internet Do vậy,

dồ hoạ 3 chiều đã ngày càng trừ nên quen thuộc

Mon 3 thập ki qua mô hình hoá và chuyên độnu 3 chiêu được chuân hoá trong cac phần mỏm tlurorm mại Maya 3Dstudio Max, Softimage hay Lightwave [27] là

I ll ume Hỏi ứ n u d ụ n u đ i ể n h ình d ư ợ c SU' dụníĩ t ro n g e i á o dục c ủ n g n h ư c ô n g n g h ệ 3

chiều Tất ca nhữntì íỉói ửnti dụnu này đêu tuưim tự hoặc liên quan đến các kĩ năng cua nyliệ thuật đồ họa truyền thong nhưng áp dụng trong môi trường kT thuật số: mô

hình hoá tương tự như nghệ thuật điêu khắc, textunng liên quan đến kĩ thuật vẽ hoặc minh hoạ.

Một hạn che lớn nhất cùa các kĩ thuật dựng mô hình 3 chiều truyền thống là giá thành cao khi m à người ta vẫn phải thao tác thủ công và sừ dụng các thiêt bị chuyên dụng Các thiết bị dùng cho thiết kế và hiển thị đồ họa như máy quét laze, màn hình hiển thị và các thiết bị số hoá khác là các thiết bị đắt tiền, yêu câu sự cân trọng khi

sư dụng, sự phức tạp khi điều khiển Do vậy nụười ta tiến hành “mềm hóa" trong dựng mô hình 3 chiều Các thuật toán đưọ-c áp dụng nhiêu hơn trong việc lây thông tin 3 chiều của dổi tượng, các nguồn dữ liệu để lấy thông tin 3 chiêu cũng phong phú hơn

Khôi phục lại thông tin 3 chiều sứ dụng camera cầm tay trong khi thiếu thông tin vê môi trường chụp anh (camcra, ánh sáng, ) là một thử thách lớn Bởi vì, khi sứ dụng camera cầm tay, vị trí và hướng quay của camera rât tự do Do vậy, các khung nhìn cùa các anh cũng tự do Tuy nhiên, nếu dựng mô hình 3 chiều từ ảnh 2 chiều thành công thì ý Iighìa của nó rất lớn, bởi vì, thiết bị phần cứng rẻ tiên và san có Ban đầu người ta tiến hành đối sánh dựa trên sự quan sát Các điếm đối sánh tương ứim dưới đạnu các điếm diều khiên được lựa chọn cân có sụ tương tác với con noirởi Do vậy tiêu tốn thêm thời gian đồn ú thời số lượne các điểm đối sánh khôntỉ nhiều Một hướng giải quyết khác là người ta điều khiên môi trường chụp anh: Vi

dụ, gán cam era ơ một vị trí cố định rồi cho đối tượng cần chụp lẻn bàn xoay hay gắn nhiều camera cổ định xung quanh đối tượng cân chụp như vậy anh thu nhận dược có các i»óc độ khác nhau và xác định được các tâm chiếu, các thông số trontỉ/ntíoài cua camera Iihầni phục vụ tốt hon cho quá trình khôi phục điêm 3 chiêu Tuy nhiên vứi cách này ta lại phải tiêu tôn thời gian và thu tục đê hiêu chinh camera

Tron*’ nliừim năm uần đây nmrừi ta quan tàm đên việc lâ\ thône tin 3 chiêu từ các

kluiiiu nhìn khỏne dược hiệu chinh (imcalihratcd n e w ) Cac kĩ thuật lự hiệu chinh

chiếm phần lớn thòi man [9.18,12], các phưưne pháp này bất nẹuồn từ hình học

epipolar và trifocal tensor [15,26] nhờ đó các điểm đối sánh tương ứng được Tự động tính toán dễ dàng hon.

Thông tin 3 chiêu được trích chọn từ ảnh yêu cầu rất ít sự tương tác với người dùng Dựng mô hình 3 chiều từ ảnh là phương pháp phát triển dưới sự kết hợp cùa đồ họa, thị giác máy và nhiếp ảnh Con người thu nhận thông tin 3 chiều nhờ sự quan sát đối tượng bàng hai mắt hay nói cách khác hai khung nhìn khác nhau Trong lĩnh vực thị giác máy, các nhà nghiên cứu đã cố gắng rất nhiều trong việc cung cấp khả năng

“quan sát” tương tự con người cho máy tính Ban đầu, họ hướng tới ngành robot và

tự động hóa nhằm mục đích cho phép robot tự diều hướng khi đi qua môi trường mói Gần đây hướng nghiên cứu dịch chuyển sang hiển thị trực quan và giao tiếp đồng thời có sụ kết hợp nhiều hơn với lĩnh vực đồ họa Một trong những moi quan tấm lón nhất của các nhà nghiên cứu là cung cấp các thuật toán để có thể tự động lấy được thông tin từ chuỗi các ảnh Mười năm trở lại đây, người ta thường nhấn mạnh đến hình học đa ảnh đa khung nhìn [15] và cho phép nhiều cách tiếp cận linh hoạt tronti việc lấy thônc tin 3 chiều từ các ảnh khác nhau Thực tể hướne hiên thị trực quan dã phát triền từ trước nhưng dưới một ngữ cảnh khác, dựa trên nghệ thuật nhiếp ánh Nứa cuối thế kì 19 các ảnh chụp đã được sử dụna lâv thông tin 3 chiều

để tạo ban dồ, đo đạc các công trinh

Lấy thỏne, tin 3 chiều từ các ảnh 2 chiều thu hút ngày càng nhiều sự quan tâm của các nhà nghiên cứu Đ iều đó một phần là do yêu cầu của các kỉ thuật này trong các ứng dụng tăng lên như trong các lĩnh vực bao tồn cô vật, phân tích hiện trường phạm tội, thiết kế kiến trúc, xử lý phim, trò chơi 3 ch iều B ê n cạnh đó, phần cứng

đồ họa có giá thành hạ cùng là yếu tố góp phần thúc đây sự phát triên các phương pháp cù nu như kĩ thuật mô hình hoá và dựng lại mô hình 3 chiêu Bài toán dựng mô hình 3 chiều lừ chuồi các anh dầu vào là bài toán xây dựne thông tin 3 chiều từ thôiiLỉ tin cua các anh 2 chiều Một cách toán học câu trúc 3 chiều được dựng lại từ các phép chiếu 2 chiều Bên cạnh đó các anh đâu vào lại là các anh texture tự nhiên nhát do vậy cấu trúc 3 chiều đạt dược rắt hiệu quà

CHƯƠNG 3: XÂY DỰNG CÁC MỒ HÌNH BA CHIÈU BÀNG MÁY QUAY CẦM TAỸ

3.1 Các k ĩ thuật trong bài toán dựng mô hình 3 chiều

từ đó tính ra ma trận F

Đầu ticn cần xác định xem đặc trưng của ảnh nên lựa chọn ở dạng điểm, đường thản11 bicn, đưừnụ cong hay miền Loại đặc trưng nào được lựa chọn phụ thuộc nhiều yếu tố tron tí đó phụ thuộc vào việc lựa chọn kĩ thuật đối sánh ở bước sau Sau khi biết đặc trưng cần đùníỉ, chúng ta tiến hành xác định các đặc trung đó Các toán

tứ diintỉ đê trích chọn đặc trirniỉ khác nhau cũng phụ thuộc vào các kĩ thuật đối sảnh

3 chiều

Đối với kĩ thuật đối sánh dựa trên miền, Moravec (1989) đề nahị các toán từ liên quan đến cực đại địa phương của sự thay đồi hướng trong một cửa sô xung quanh một điếm Đối với kĩ thuật đối sánh dựa trên đặc trưng, một số toán tử được quan tâm là đạo hàm, phép nhân cuộn các toán tứ về cường độ các mức xám.

a Đối sánh thành phần cơ bán gồm 2 loại:

■ Các thuật toán dựa trên miền (area-based): Các điểm hay các khối anh được

coi như thành phần gốc Khi dối sánh các thành phần gốc người ta sư dụng cường độ diêm ánh

■ Các thuật toán dựa vào đặc trưng ựeciture- based)' Các đặc trưng được sư

dụng như là các thành phần cơ bán Việc so sánh được tiến hành trên các dặc trưng này

Đôi với hệ thống hiển thị của con người, mồi mắt cung cấp một ảnh 2 chiều của đối tượng quan sát Hai mắt ở hai vị trí khác nhau do đó sinh ra hai ảnh khác nhau Như vậv cùng một điềm quan sát nhưng ảnh của nó lại ờ hai vị trí khác nhau trong hai

ánh Sự khác biệt về vị trí này gọi là độ chênh lệch (disparity) Độ chênh lệch là

khái niệm quan trọng trong thị giác lập thô liên quan đến độ sâu cua anh (hình 3.2)

Độ chênh lệch ít thì đối tượng quan sát nhò đồng nghĩa với việc dôi tượng ơ xa và ngược lại Do vậy, nếu thêm một số thông tin như tiêu cự camera f và khoảng cách giữa 2 camera ta có thể khôi phục được độ sâu cùa ảnh Tùy thuộc vào sô lượng thông tin đàu vào mà thông tin 3 chiều đầu ra có thể là kết qua của phép chiếu, biên đổi aíììn, biến đối metric hay biến đổi ơclit

Hình 3.2 Độ chênh lệch và mối quan hệ với độ sâu

D Q u i t r ì n h d ự n g m ô h ì n h 2 c h i ề u tù c ặ p ả n h đ ầ u v à o

Với bài loàn dựnu mô hình 3 chiều từ hai anh dầu vào chi tiết cua 3 bước nêu trên dược bieu cliẽn ỏ mô hình hình 3.3

đườim cone bicn, tuy thuộc vào dặc diêm và dộ phức tạp khi eiai quyêt bai toán

mà lụa chọn các dặc trưng cho phù hợp

Các đặc trưng là các vị trí trong ảnh mà tại đó các giác quan cua con người tập trung nhiêu nhât (perceptually interesting) Trong xử lý ành và thị giác máy, trích chọn

đặc trưng là quá trinh xử lý làm cho các mẫu ban đầu được biến đổi thành các mẫu mới dễ dàng nhận dạng hon Các đặc trưng thườne chứa các thông tin về mức xám, kết cấu, đường nét hoặc nội dung của ảnh

Trích chọn đặc trưng có từ rất sớm trong lĩnh vực nghiên cứu thị giác máy và có rất nhiều ứng dụng, trong đó, 3 hướng ứng dụng quan trọng nhất đó là: Đăng kí ánh

{image registration) [13], nhận dạng khuôn mặt và theo dấu chuyền động Đăng kí

ảnh là bài loán liên quan đến việc tim sự tươniỉ ứne giữa hai hav nhiều anh ờ các

khung nhìn khác nhau hoặc ơ các thời điêm khác nhau và là bước đâu tiên trong nhiều kĩ thuật xứ ]ý ảnh như lập thể hình học, trộn ânh và các ứng dụng liên quan đến dối sánh mẫu Các dặc trưng nôi bật của ảnh là yêu tô quan trọng đê đăng kí ánh thành công Các dặc trung phải mang tính bất biến với các phép quay và các biến dạng hình học của anh Trong trường họp nhận dạng khuôn mặt các đặc trưng lại là các vị trí mô tá các vị trí nổi bật cùa đường nét khuôn mặt như măt, mũi,

m iệng, Theo dấu ảnh là hướng ứng dụng thứ ba, hiện nay hướng ứng dụng này thu hút dược rất nhiều sự quan tâm của cộng đồng các nhà khoa học nghiên círu tron” lình vực chuyên độ n ” 3 chiều Khi đoi tượne, chuyển độne cần xác định xem các thành phẩn cua đối tượng tại vị trí mới như thê nào

B T r í c h c h ọ n đ ặ c t r ư n g t r o n g b à i t o á n d ự n g m ô h ì n h 3 c h i ề u

Để tiến hành dựmi mô hình 3 chiều cho các điêm trong ảnh môi liên hệ giữa các anh phai dirợc chi rõ để biết được một điềm thuộc ảnh bên này sẽ tương ứng với diêm náo thuộc anh còn lại Tuy nhiên, việc so sánh mọi điềm anh thuộc một ảnh với tất ca các diC'in thuộc ảnh còn lại đề tìm ra môi liên hệ giữa các ảnh là điều không tưứnu nếu chưa qua xử lý bời độ phức tạp quá lớn Tronơ các ảnh thực, có rất nhiều diêm, miền anh 111anu tính chât dôi sánh tôt hơn những điêm và miền khác

Có nlũnm đi em anh mà độ thay dôi cườne độ xám cua miên lân cận rất lớn do vậy tạo ra sir khác biệt với các diêm xung quanh Việc tim kiêm nhữne điêm đối sánh

tôt hay những điểm quan tâm, là nhiệm vụ lựa chọn các điểm có sự khác biệt với những điếm khác Sự tương ứng giữa các đặc trưng cua hai anh sẽ được tính toán nhờ các thú tục đối sánh ở các bước sau Sự tương ứng này phán ánh mối liên hệ giữa các ảnh Trong các thuật toán dựng mô hình 3 chiều từ các ảnh, các điềm góc của các đối tượng trong ảnh là những điểm có nhiều khả năng tìm được điêm tương ứng với chúng trên ảnh còn lại.

Đã có rất nhiều nghiên cứu và thuật toán được đưa ra về vấn đề phát hiện điêm góc

Ban đâu, các góc dược phát hiện nhờ vào "độ nhọn" (sharp) cua đường biên: biên

của đối tượng được lưu dưới dạng mã xích, góc được phát hiện thông qua việc tìm kiếm những vị trí trên biên bị "uốn" một cách đáng kề Kỹ thuật phát hiện góc này rất phức lạp và phái triển khai trên nhiều bước Sau đó, L Kitchen [7] đà đề xuất một phương pháp đê cô lập diêm góc dựa vào một sô phép toán trên gradient, phương pháp này không phức lạp như kĩ thuật dựa vào độ nhọn nêu trên Wang và Brady [6] dùng khái niệm dộ cong của các dường cong di qua một điếm đế phát hiện góc Moravec [4.5] dề xuất hàm phát hiện góc dựa trên việc dùng một cửa sô đặt trên ảnh và xác định độ thay đổi trung bình cường độ xám khi dịch chuyến cứa

sổ này theo bon hưóníi Harris và Stephens [1] cái tiến phương pháp của Moravec

sử dụnií đạo hàm bậc nhất Tuy nhiên, các phương pháp trên lại rất nhạy cám với

nhiễu và phụ thuộc vào dạo hàm Phương pháp SUSAN (Smallest Univalue

Segment Assim ilating Nucleus) [21] do Smith và Brady đê xuât khône phụ thuộc

vào công thức tính đạo hàm mà dựa trên khái niệm miên U SA N ( ưnivalue Segment

Assimilating Nucleus) Tronu một anh số miền u s AN đạt diện tích nho nhất khi hạt

nhân cua nó trùng với điêm cóc Phương pháp SUSA N không nhạy cảm đối với nhiễu, và dề dàng thực hiện

3.1.3 Bài t o á n đối s á n h

Đối sánh ánh 1Ì1 công việc tìm sự tương ứng giữa hai hay nhiều ánh (hình 3.4).P| ’ và

p 2' cùnu là ánh cùa p, trontỊ khi Q i ’ và Q i' cùng là ánh của ọ Tìm mối quan hệ

oiũa các anh dầu vào là một lĩnh vực khó trong thị 2Íác máy đặc biệt khi các ánh

Đ A I H C C c u c c TRUNG T - f / T h C

3 ! A H A N Ó 3- T!N t h ư v i ê n

P T / ì H O

đâu vào không có ràng buộc Trong vòng 15 năm qua đã có rất nhiều nghiên cứu xung quanh vấn đề này.

Hình 3.4 Đối sánh ảnh

Có nhiều loại ràng buộc, tuy nhiên trong một thuật toán, một phương pháp giải không thể thoả mãn hết các ràng buộc đưa ra Dưới đây là một số ràng buộc của bài toán đối sánh

Ràng buõc hình h o c : (i) Ràng buộc epiloplar: với cặp điếm tương ứng (x, x ’) thì x ’

phái nằm trên đường epipolar của X và ngược l ạ i N hờ ràng buộc này không gian tìm kiêm khi đôi sánh giảm từ hai chiêu xuống 1 chiều thông qua quá trinh chình

sửa ảnh (ii) Ràng buộc về sự hiên thị: vật có bị che khuất bởi vật khác hay không,

vật có nằm trong cửa sổ hiển thị hay không, hay vật có n ằm trong tầm nhìn hay không

Ràng bitôc vât lý : thê hiện cách các mô hình đối tượng, khung cảnh khi có sự tương

tác với ánh sáng

Ràng ỉntôc duy nhẩv Mỗi một điểm thuộc ảnh thứ nhất chỉ có duy nhất một điêm

đối sánh tương ứnu duy nhất trên ảnh thứ hai và ngược lại

nhắt, Cị, thuộc anh thứ hai N( C| i) , và N ( c2j) tương ứng là lân cận cúa C|j và c2j

d ịk e N (c] ) và (lv 6 N \cĩ j ) sao cho vị trí tương đối của d lk với C|, tương tự quan hệ

giữa d 2i với c2j

Theo một khảo sát năm 1988 [2], các nhà nghiên cứu thông thường sử dụng kết hợp các ràng buộc nêu trên Tuy nhiên, bản báo cáo khảo sát cũng chì ra rang không có một kĩ thuật, thuật toán nào tối ưu và có thể giải quyết hết được tất cả cảc ràng buộc Mồi cách tiếp cận khác nhau thỉ sử dụne một độ đo nào đó và cũng có nhũng hạn chế cùa nó Việc đối sánh với các ánh chụp sứ dụng camera tự do được chia làm hai loại chính [29]: Đối sánh dựa trên miền và đối sánh dựa vào đặc trưng

Đổi sánh dưa trên m iền: trong cách tiếp cận này các thuật toán sư dụng độ đo độ

tương tự của miền ánh trong qua trình tính sự tương ứng

Dổi sánh dưa vào các đăc trưng: thực hiện việc đối sánh dựa trên các tham số mức

cao hơn dó là các dặc trưng cùa ảnh, những thuật toán này được phân loại tiểp dựa vào các loại đặc trưng:

4- Đối sánh dựa vào biên (Edge-string based)

4- Đối sánh dựa vào góc (Corner based)

i- Đối sánh dựa vào kết call ( Texture region based)

Trong qui trình dựnụ mô hình 3 chiều từ các ảnh bao £ồm ca hai loại đối sánh trên Đối sánh đặc trưng được sư dụng trước đê tim ra mối liên hệ giữa các anh và được

áp dụng trong quá trình tiền xứ lý để tính ra ma trận cơ bán F Trong bước này chi một lượng ít các cặp điềm cua hai ánh được đối sánh N gược lại, đối sánh dựa trên miền sè sinh ra một bàn đồ “dày dặc” các cặp điềm tương ứng tại bước đổi sánh

A Đổi sánh dựa trên miền

Cho 2 ánh chụp cùng một canh Anh càng ít bị co dãn thì việc tính độ tương tự giữahai anh càim dễ dàng N eu ánh dược chia thành các miên nho hơn thì với mồi mộtmiền nho việc tim miền nho tuơniỉ ứng với nó ơ anh khác cũng dễ dàng hơn Do vậy, tron tỉ các kì thuật đối sánh miên, anh được chia thành các miên con hay các

khôi, một độ đo độ tirơng tự được đưa ra đê đánh giá mức độ tương tự giữa các miên con cùa hai anh Việc sử dụng độ đo tương tự nào quyết định đến sự thành công của các kĩ thuật đối sánh dựa trên miền Độ đo độ tương tự bắt nguồn từ cường

độ mức xám của ánh là một giải pháp tốt trong thử nghiệm Các thuật toán thuộc dạng này luôn cho một bản đồ dày đặc các cặp điểm đối sánh, từ đó, độ sâu được tính cho tất cả các điểm ảnh ở trong cảnh

Có rất nhiều thuật toán về đối sánh miền, bảng 2.2 dưới đây tóm tắt một số thuật toán Phillippe Leclercq và John Morris thực hiện một số thừ nghiệm đề tiến hành

so sánh các thuật toán này [11] Theo đánh giá này, thuật toán P2P cho kết quả tốt nhất, các thuật toán C o rrl, Corr2, SSD và SAD cho kết quà khá tốt với các mức độ nhiều khác nhau, trong khi đó thuật toán Census cho ti lệ lỗi cao khi tính độ chênh lệch

P2P: Pixel-to-Pixel “Đ ộng” (Dynamic) [Birchíĩeld và Tomasi 1998]

Bciiìiỉ 2.2 Một sổ thuật toán đôi sánh dựa trên miền

Hình 3.5 So sánh một số thuật toán đối sánh dựa trên miền

Hình 3.5 là dồ thị biểu thị kết quả so sánh một số thuật toán đối sánh dựa trên miền

Mặc dù, thuật toán SSD, SAD, Corrl và C o ư 2 có kết quá không tốt bằng P2P nhưng việc triển khai các thuật toán này lại dễ dàng hơn so với P2P nên các thuật toán này vân được dùng phô biên

B Đối sánh dựa vào đặc trưng

Các đặc trưng thông thường có các thuộc tính sau: tính duy nhất, tính lặp lại và có ý nghĩa vật lý Ưu điểm khi sử dụng kĩ thuật đối sánh dựa vào đặc trưng là các biểu diễn dựa trên đặc trưng cung cấp sự linh hoạt tính toán cho người lập trình Sự linh hoạt thể hiện ỏ' chỗ, các ràng buộc toán học được áp dụng rõ ràng, rành mạch cho cấu trúc dữ liệu Khi so sảnh với đổi sánh dựa trên miên, các kĩ thuật đôi sánh dựa vào dặc trưng chi cho một lượng ít cặp điểm đối sánh kết qua, nhung chính xác hon

và dáng tin cậy hơn

Trong cách tiếp cận đối sánh dựa vào đặc trưng, đầu tiên cặp anh được xử lý để lấy

ra các đặc trưng Sau đó xử lý đối sánh trên các đặc trưne này Một câu hòi được đặt

ra là loại đặc tnniíỊ nào SỪ được sử dụng đê đoi s á n h ? Đ ường biên, góc, đoạn thẳng,

đường cong là những đặc trưng sừ dụng tốt khi có sự thay đồi phép chiếu phối cành,

do vậy được sử dụng rộng rãi trong đối sánh Biên và góc dễ trong khâu trích chọn nhưng khi đối sánh lại hay gặp hiện tượng nuốt ảnh Trong khi đường thẳng và đường cong ít xảy ra hiện tượng nuốt ảnh nhưng lại mất thêm thời gian để trích chọn

Hầu hết các hệ thống đối sánh dựa trên đặc trưng không chi giới hạn ở các kiêu đặc trưng cụ thế mà kết hợp các dạng đặc trưng lại với nhau N hư hệ thống đối sánh Weng đưa ra nãm 1988 kết hợp độ trù mật, các đường biên, các góc Trong khi hệ thống của Lim và Bin (1987) lại sử dụng sự phân cấp các đặc trưng thay đổi từ các đường biên, đường cong tới các mặt

Dưới đây là một số kiểu đặc trưng dùng cho đối sánh:

D u o n g biên: Có rất nhiều toán tử dùng để tìm các đường biên trong một ảnh như toán tử Candy, Laplace

dưừntí, biên trong ánh), hướng cục bộ, độ trù mật của hai bên biên

Góc: Phương pháp tìm điếm góc sớm nhất có ]ẽ là cua Beaudet (1978) có tên gọi DET Nlũrnu, toán tứ phát hiện góc được công bố trong những năm 1980 gồm có: các toán tử cùa Dreshler và Nagel (1982), Kitchen và Rosenfeld (1982), Zuniga và Haralick (1983), Harris (1 9 8 8 ) Toán tử phát hiện góc SU SA N là 1 trong những toán tử được sử dụng phô biến vì tính đơn giản và hiệu quả

Thuộc linh cùa góc dùng đề đối sánh cho các điểm góc có thê là tọa độ của góc hay

dạng cua góc (dạnii chữ Y, L hay A )

Đoạn tilling: Đê trích chọn ra các đoạn thăng trong anh có thẻ áp dụng một trong nluìno toán tư dò hiên Các đoạn thăng dược hình thành băng cách hòa trộn các thao lác trên các đ ườn tì biên dựa trên một số tiêu chuân về khoang cách, độ tương tự Một số thuật toán tim đườim thăng dà dược công bô như thuật toán cùa Nevatia và Babu (1980), Fishier và Bolles (1983), Weiss và Boldt (1986)

Thuộc tính của đường thẳng dùng cho đối sánh: tọa độ điểm đầu điểm cuối, trung

điểm, hướng cúa đường thẳng

Đ u ò ìig cong: Đối sánh các đường cong không được sừ dụng rộng rãi vì trích chọn các đường cong rất khó Deriche và Faugeras thông báo về toán từ phát hiện đườngcong (1990) là một trong số rất ít nghiên cứu về đường cong

Đ u ò ìig trò n , E lip, đ a giác: Những đặc trưng này thường xuất hiện ờ cảnh chụp trong nhà

Thuộc tinh dùng dê đổi sánh có thể là diện tích, tọa độ tâm.

trong đề tài thuộc loại đối sánh góc và có 2 bước chính sau đây:

4- Tìm ra tập c các cặp đối sánh ứng cử viên từ 2 tập các điếm góc của 2 ành sử dụng cứa so tương quan

4- Tìm ra tập D các cặp đối sánh tốt nhất từ tập c dùng thu tục phục hồi, nói

3 1.4 T ì m m a t rậ n co bản F

A M a t r ậ n c o b ả n F

Ma trận cơ ban F là biêu diễn đại so cùa hình học epipolar và được tính tư các cặp dối sánh (x ,x ’) Ràng buộc epipolar biểu diễn mối quan hệ giữa một điêm trong cặp điềm đối sánh với đườnơ epipolar tương ứng cùa nó Điêm đối sánh x ’ trên anh thứ

2 của điếm X trên ánh thử nhất chi nằm trên đường epipolar tương ứng ]’ của X.

VI—> /

Phép ánh xạ từ diêm tỏi đường nêu trên được biểu diền bới ma trận cơ bàn F Phép

á nh x ạ t ừ m ộ t d i ê m X t r o n g m ộ t a n h tới e p i p o l a r r t ư ơ n g ứ n g trên a n h c ò n lại g ô m 2

bước Đầu tiên điềm X được ánh xạ đến một điểm x' nào đó trên đường V cua anh

thử 2 Đicm \ ' này là một troim nhừim ửnu cu viên dối sánh cua X Bước thứ hai đưòim epipolar r dược xác định thòng qua x ’ vã diêm epipoplc e \

Bước 1: r ì m điêm x \ quan sát hình 3.6, mặt phẳng n không đi qua 2 tâm

camera c và C ’ Một tia chiếu đi qua tâm chiếu thứ nhất c và điềm X gặp mặt

phăng 71 tại diêm X Tia chiêu đi qua tâm chiêu 2 C ’ và điêm X giao với mặt

phăng ảnh 2 tại x \ X và x ’ là ảnh của điểm 3 chiều X Với một tập X, điểm ảnh

trê n ả n h t h ứ n h ấ t, q u a c á c p h é p c h iế u q u a m ặ t p h ẳ n g 71 đ ư ợ c m ộ t tậ p X tư ơ n g

ứng Phép ánh xạ như vậy có được thông qua ma trận đồng hình cùa mặt

phăng H /T của n , do vậy X = H

Hình 3.6 Tìm điểm tương ứng x' của X qua mặt phắng n

B u ó c 2: X â y d ự n g đưò'ng ep ip o la r r / - e x X - ịe J( r mặt khác V - H x

do đó

/ - [t, 'j H 7 x = Fx

Trong đó định nghĩa F = [e j / / T là ma trận cơ bản.

(Result 8.3 - tr 225) [15] Ma trận cơ ban F thoa mãn điều kiện sau:

trong đó ( x , \ ’) là cặp điếm đối sánh trên hai anh

Một số thuật toán được đề cập đến trong cuốn sách của Hartley [15] như: Thuật toán 8 điém được chuẩn hóa, thuật toán tối thiêu lỗi đại số, thuật toán tối thiêu lỗi hình học Gold Standard và thuật toán tính F sư dựng RAN $ AC

Trong cuôn sách, Hartley cũng nêu ra việc đánh giá một số thuật toán thông qua thực nghiệm Việc đánh giá được tiến hành trên 3 thuật toán đầu tiên Một vài kết luận được đưa ra [15]:

4- Hai thuật toán sau kết quà không có mấy sự khác biệt

4- Đê tính toán được nhanh nên sử dụng thuật toán 8 điêm được chuân hóa Thuật toán này nếu được áp dụng là bước ước lượng đầu tiên trong các thuật toán khác thì cho kết qua rất tốt

4- Đê đạt kết quả chính xác như mong muốn, nên sử dụng thuật toán tối thiểu lỗi đại số

•4- Đê đạt được kết quà tốt nhất với giả thiết nhiễu phân phối theo hàm Gaussian thì sử dụng thuật toán Gold Standard

Đồng thời trong cuốn sách Hartley cũng đề xuất thuật toán sử dụng RA NSA C với một so đặc diem sau:

i- Chi cần lấy mẫu 7 cặp điếm dối sánh tương ứng đê tính F Thuật toán sẽ tự

động tính ra ma trận hạng 2 chứ không cần xử lý như trong thuật toán 8 diêm

4- Một lượng lớn các mẫu cặp điểm đối sánh được gọi đến nhàm đưa ra kết qua

có độ chính xác cao

3 1.5 C h ỉ n h s ử a á n h

Đê dựng được mô hình 3 chiều, tắt cả các cặp ánh tương úng trong hai ảnh gốc phai được tìm ra N hư vậy xét một điềm X trong ảnh thứ nhất ta phải tìm được điêm x' tương ứng trone ành thứ hai, từ đó đi tìm điểm 3 chiều X của X và x \ Tuy nhiên, khi dà biết điểm X việc tìm kiếm x' trong toàn bộ anh hai thì không hiệu qua Chinh sửa anh cỏ tác dụnu làm giám khò nu RÌan tìm kiếm x ‘ từ 2 chiều xuống 1 chiều

Như trình bày ơ trên, cho cặp điểm tương ứng (p p ‘) thi p và p' phai thoa màn ràng

buộc epiplar (hình 3.7) c 'ho trước anh hên trái ỉ, điủni p 3 chiêu có diêm anh p trên

vậy điêm tương ứng p ’ thuộc ảnh của đường thẳng nối p và c nêu trên Hay nói cách khác p ’ thuộc r A nh được chỉnh sửa sao cho tất cà các epipolar đều nàm ngang Do vậy x 2 được tìm bằng cách quét trên các đuờng nằm ngang Không gian tìm kiêm của X2 đã rút từ 2 chiều sang I chiều Hầu hết các thuật toán đối sánh toàn

bộ ảnh đêu thực hiện trên ảnh đã được chỉnh sửa nhằm giảm khône gian tìm kiếm xuống 1 chiều

Hình 3.7 Ràne buộc epipolarVậy nhiệm vụ cua chỉnh sưa anh là biến đôi ảnh sao cho các đườne, epipolar song song với nhau theo chiều ngang (hình 3.8) Nhiều phương pháp chinh sửa ánh đã

được biết đến Phương pháp chính sứa anh phăng (pla n a r rectification) [16,17]

dùng một biến đồi tuyến tính đơn trên mỗi ảnh đầu vào, xoay các camera sao cho các mặt phẳng ảnh giốnơ nhau Phương pháp này đơn giàn, nhanh chóng và bao toàn một số đặc trung cùa ảnh như các đuờne thăng Tuy nhiên, phương pháp này

có thể cho anh kết quả quá lớn bị bóp méo và không “đó n g ” {unbounded) Kĩ thuật chinh sưa anh trục (cylindrical rectification) [20] sư dụng các biển đổi riêng biệt

cho mồi đưừng epipolar T in nhiên kĩ thuật này quá phức tạp và các toán tư cân dược t í n h toán tro nu k h ô n ” man 3 chiều Các thuật toán chinh sưa anh khác nhau

được dưa ra troim các bài eianu (Ayache and Lustman 1991; Fusiello el al 2000;

Hartly 1999' Robert ct al 1995; Mulligan and Kanillidis 2000; Isgro and Trucco

1999) H ầ u hết các thuật t o án đ ề u SƯ d ụ n g p h c p b i ến đôi t h u â n nhất

Đề tài này sử dụng phương pháp đề xuất bời Marc Pollefeys [8] Biến đôi hai ảnh sao cho các đường epipolar của hai ảnh trùng nhau Sau đó tiến hành biến đổi ảnh sang tọa độ cực sao cho các đường epipolar song song với nhau và song song với đường cơ bản.

A F '

Hình 3.8 Chinh sứa ánh

3 1.6 K h ô i p h ụ c đ ộ sâu

Độ chênh lệch

Độ lệch thị giác (vision disparity)-, là sự khác biệt giũa hai ánh trên võng mạc cua

mát khi quan sát đối tượng Điều này xay ra vì hai mat ơ vị trí khác nhau cho nên mặc dù quan sát cùng một đổi tượng nhưng mất trái không thu nhận cùng một thông tin như mất phải [24]

Biin dò chcnh lệch của iinh sau khi chỉnh sửa:

Chính sưa ánh tạo ra các anh mới có các đường epipolar song song với nhau và son<> song với đường cơ ban dựa trên ràng buộc epipolar Tiên hành đỏi sánh trẽn ánh chinh sửa làm cho không gian tìm kiếm diêm đối sánh giam từ 2 chiều xuống 1 chiêu

Nêu mi(ui,Vi) thuộc ảnh thứ nhất, thì điểm tương ứng trên anh thứ hai là m-)(u-),Vi), tuy nhiên, đỏi với cặp ảnh đã được chỉnh sửa, với mi(U[,V|) thi điểm đối sánh tương ứng sẽ là m 2 ( u 2 , V i ) Đ ộ chênh lệch d được định nghĩa như sau d=ui-ui(hình 3.9).

L là độ dài cùa đường cơ bản cc\ z là độ sâu của điểm 3 chiều (khoảng cách tinh

từ điêm 3 chiêu đên đường cơ bản) f là tiêu cự cùa camera (khoảng cách từ mặt phăng ảnh dên đường cơ bán) Hai mặt phăng ảnh song song với đường cơ ban vi ảnh đã được chỉnh sứa

Dựa vào các quan hệ hình học của các đại lượng nêu trên, ta có được mối liên hệ giữa độ sâu và độ chênh lệch theo công thức toán học sau:

Z = L

Tuy nhiên nếu sử dụng công thức này trong tính toán độ sâu thỉ ta cần biết đại lượng L độ dài của đường cơ bản Hay nói cách khác biết vị trí của hai camera khi chụp 2 ánh đầu vào

r**-Hình 3.9 Mối liên hệ giữa độ chênh lệch và độ sâu

Điém 3 chiều có thề tính được thông qua phép chiếu ngược lại từ hai điêm ảnh qua

2 tàm chiếu c và c \ Giao điềm cua hai tia chiếu này là điêm 3 chiều cân tim Dầu

kl iòm' bict cỉirợc đ ộ dài cua d ư ờ i m c ơ ban, nlurng các ma trận camera lại t hê hiện các phép chicu n ‘’Liợc Các thuật toán tam giác tận dụng môi quan hệ giữa các anh

thê hiện ở m a trận F, tìm ra các ma trận camera từ đó tìm ra điểm 3 chiều thông qua các phép biến đối.

3.2 Mô hình bộ công cụ dựng mô hình 3 chiều từ cặp ảnh

Đê có được một bộ công cụ hoàn chỉnh, chúng tôi lựa chọn mồi bước trong qui trình tông thê một kĩ thuật đê triên khai và áp dụng dựa vào một số ưu điêm cùa chúng về

độ phức tạp, thời gian tính toán cũng như độ chính xác đã được phân tích phần trên Các kĩ thuật được lựa chọn kết họp lại với nhau và được biểu diễn bời mô hình sau:

Hình 3.10 Mô hình bộ công cụ dựng lấy thông tin 3 chiêu từ cặp anh

Các phần tiếp theo của chương 3 sẽ đi sâu vào nghiên cửu từng kĩ thuật cũng như thuật toán được lựa chọn trong mô hình để triến khai

3 2.1 Đ i ể m g ó c S U S A N

Đề tìm ra các cạnh và góc cua một đối tượng, ta sư dụng một mặt nạ hình tròn

(circular mask) và tâm hình tròn được coi như hạt nhân (nueìeits) cùa mặt nạ Xét

một đối tượng hình chữ nhật màu đen trên nền trắng: Mặt nạ hình tròn có rơi vào 5

vị trí như sau (hình 3.11)

T h u ậ t toán tam giác tôi uu

ầ. 1_ U H u _ I _J

>

Hình 3.11 M ặt nạ hình tròn và vị trí tương đối so với đối tượng

Điêm dang xét là điêm mà ta cân quan tâm xem có phải là điêm đặc trưng hay không và tại dó ta dặt hạt nhân cùa mặt nạ hình tròn Một miền ảnh đang xét là miền

nằm trong vùng mặt nạ Miên USAN ( Uỉùvalue Segment Assimilating Nucleus) là

miền bao gồm các điểm ánh thuộc miền ảnh đang xét sao cho mỗi điểm ánh đều có

độ sáng giống với độ sáng của điểm tại vị trí hạt nhân

Miền U SAN manii rất nhiều thông tin quan trọng vê trúc cua miền anh xung quanh điểm đang xét M iền U SAN đạt diện tích cực đại khi hạt nhân nằm sâu tronií miền đồng nhắt cua ảnh Khi miền USAN tiến tới 1/2 diện tích cực đại này thì hạt nhân tiến dần tới biên cùa đối tượng Diện tích miền U SA N càng nho đi thi vị trí hạt nhàn cùa mặt nạ càng tiến tới sóc cua đổi tượne Dựa vào miên USAN tim ra các điếm uỏc SUSAN

M ộ t a n h đ ầ u v à o đ ư ợ c XU' lý đ ê đ ư a ra m i ề n U SAN c h o t ừ n g d i ê m anh từ t h ô n g tin

của các miền IISAN tìm ra nhữne điểm góc gần góc hoặc thuộc biên đỏi tượng Càn« gần tới diêm uỏc số 1 ironic điểm anh cua miền USAN càng giam

Đối với cách tiep cận phát hiện góc này, rỏ ràng không cần tính đến độ biên đôi mức xám hoặc xót don giám nhiễu cua anh trước khi tiến hanh trích chọn đặc trưng

Các điêm góc được dùng dưới dạng các điểm đặc trưng phài thoả màn một số Y ê u

cầu sau:

’4»' Tât cả các điêm góc phải được phát hiện.

‘4- Không điểm góc nào phát hiện ra bị lỗi

i- Các điếm góc phải được định vị tổt

■4- Các điểm góc phải được dùng hiệu quả

Thuât toán tim điểm góc SUSAN

Phát hiện điểm góc SU SA N sử dụng mặt nạ hình tròn có bán kính 3.4 điềm ảnh toàn bộ mặt nạ chứa 37 điểm ảnh Mặt nạ được đặt sao cho hạt nhân trùng với mỗi điếm ảnh đang xét, cường độ mức xám cùa mỗi điểm ảnh trong mặt nạ được so sánh với cường độ mức xám của điểm ảnh tại vị trí hạt nhân theo công thức sau:

trong dó r0 là vị trí cùa hạt nhân, r là vị tri bát kì trong mặt nạ, l ự - ị là cương dỏ

mức xám của điêm ảnh tại vị trí r Sau đó ta tính tône sau:

( -> \

V t

là số tượim điểm ánh trong, miền USAN Lấy giá trị ngưỡng g = 11 mj, 2 Anh

nối rõ các điếm S ió c đạt dược nhờ việc so sánh giá trị n với ngưỡng g

Bước tiêp theo, lọc bớt các điêm ảnh có khả năng dẫn đến phát hiện điềm góc bị sai.Cuôi cùng, lây ra các điêm góc bàng cách chọn những điểm có giá trị R lớn hơn 0.

Chênh lệch độ sáng giữa các điểm ảnh nẳm trong mặt nạ với điềm ành tại vị trí hạt nhân tính theo phương trinh 3.4 sẽ làm cho thuật toán ổn định và cho kết quả tốt hơn

[PT 3.4]

khoảng cách từ trọng tàm tới hạt nhân

5 Tim ra điếm góc bang việc loại bỏ những điêm có R=0

B áng 3.1 Tóm tái thuật toán tìm điãm góc S i 'SAN

3.2.2 Đối s á n h đ i ể m g óc S Ư S A N

A T ì m l âp ứ n g CU' vi ên

Đối với một điểm eóc Ci trên ánh 1 nhiệm vụ đưa ra là tim các ứng cư viên đỏi sánh với Ci trong một miền có khá năng cua ảnh 2 Hai ánh đầu vào chụp chung một canh nên điểm góc tương ứng cùa một đối tượnu trên 2 anh không lệch nhau quá xa Do vậy các ứ n g cử v i ê n đố i s á n h c u a C] có k h ả n ă n g n h ất sẽ t h u ộ c v ù n g x u n g q u a n h vị

trí có cùng toạ độ với C| trên anh hai VỚI d i ê m góc c ] cho trước trên anh ! cứa sô

t ìm k i ế m ( 2 d u+ 1 ) x ( 2 d v+ l ) đ ư ợ c đặt tại vị trí sao c h o t â m c ử a sô t r ù n g với toạ độ c u a

C| trên anh 2 Định niihĩa cưa sô tương quan lá cưa sổ có kích cờ (2n+l)x(2m-M)

T r ô n a n h 1 c u n s o t ư c n i ^ CỊUÍÌI1 c o l u m tọ 1 C| c o d i n h , t r c n íinh — Cưci s o t ư ơ n ì i CỊUcin

d ị c h c h u y ê n [ r ò n CÍ1C d i ô m LÍOC c-i t h u ộ c CLici s o l i m k i c n i ( h m h 1.12), t u đ o t i m r a

Hình 3.12 Cửa sổ tim kiếm và cưa sỏ tương quanGiá tương quan nhận các tiiá trị trona đoạn [-1,1], nêu nhận giá trị -1 hai cưa sò tương quan hoàn toàn khác nhau, ngược lại nhận giá trị 1 hai cưa sô tương quan hoàn toàn siỏnu nhau.

C| và C; tạo t h à n h một c ặ p d ối s án h ứ n g c ư viên nếu giá t ư ơ n g q u a n c u a c h ú n g lớn

hơn một ngưởng nào đó Theo Zhengyou Zhang [23] ngưỡng so sánh ơ đây là 0.8 với lựa chọn n=m=7, du và d s tương ứng là 1/4 chiều rộng va chiều cao cua anh

N hư vậy, đôi với môi điêm góc thuộc ảnh thứ nhất có một tập các ứng cừ viên đối sánh thuộc ảnh thứ hai, tập này có thể rỗng Ngược lại mỗi điểm góc thuộc ánh thứ

2 cũng có một tập các điểm ứng cử viên đối sánh thuộc ảnh thứ nhất

B Tim tân các căn dối sánh tương ứng

Từ tập các ứng cứ viên đối sánh phái tim ra tập các cập ứng cư viên tốt nhất Kĩ thuật được dùng ở khâu này là kĩ thuật phục hồi: Loại bỏ nhũng cặp ứng cừ viên tồi nhờ vào các ràng buộc duy nhất và liên tục

Đê dám bảo ràng buộc duy nhất, mỗi thủ tục đều được tính trẽn hai anh Hay nói cách khác là đối vị trí ánh 1 và 2 cho nhau trong các thù tục

Ràng buộc liên tục được thể hiện một cách toán học dưới dạng công thức độ tin cậy đối sánh SM:

Moi quan hệ tương tự vê vị trí cùa các cặp đối sánh ứng cừ viên là dựa trên khoảng cách.

Đọ đo S M không đôi xứng SM(C|j,C2j) # SM(c2j,C]j), điều này xảy ra vi một điểm có the co nhiêu ứng cử viên đôi sánh Trong hình 3.13, C ] | và C p cùng là ứng cừ viên đối sánh của c2|

Hình 3.13 Đối sánh không đối xúng

Nêu một vài điểm (lu e N(cu) có cùng giá tương quan lớn nhất với cùng một điếm

d 2l e Af(c,; ) thì chỉ những điểm có giá trị lớn nhất mới được giữ lại.

Hàm năng lượng biêu diễn tống độ tin cậy dối sánh được tính như sau:

Thu tục phục hồi:

Repeat

Tính dộ tin cậy của mỗi cặp ửna cử viên đôi sánh

Cập nhật lại các cặp đối sánh bằng cách tối thiêu hóa hàm năng lượng

} Until hàm năn? lượng hội tụ

BơììỸi 3.2 Thu lục tìm ra cặp đỏi sánh tôi nhát.

3 2 3 I h u ậ t t oán tính ma trận cơ bản s ử d ụ n g R A N S A C

M a t r ậ n F t ừ 7 cặ p điểm đối sánh: Khi chi có 7 cặp điềm đối sánh, dựa váo ràng

b u ộ c e p i o l a r ta t h à n h l ập đ ư ợ c p h ư ơ n g trình A f = 0 A là m a t rận 7 x 9 có h ạ n g 7

Lời giải cho phương trình t rên là không gian 2 chiều có dạng aFl + ( l - ữ ) f 2, trong

đó a là biên hệ sô co dãn M a trận F{ và F2 là ma trận tưone ứng với phân từ sinh /, và / , của không gian rỗng phải (right null space - Phụ lục D) của A Mặt khác, det F = 0 do vậy aFt + (l ~ a ) f 2 = 0 từ đó tính dược a

Độ đo k h o ả n g cách d L: Cho một ma trận F dược tính từ 7 mẫu RANSAC, d L đo

mức độ gần nhau cùa cặp điểm đối sánh thôa mãn hình học epipolar Tối thiểu một

h à m g iá n à o d ó c ó th ê là m ộ t lựa c h ọ n c ù a ( i .

Một số lượng No các cặp dối sánh dầu vào, đẩu ra của thuật toán là ma trận F phù

hợp nhất với các cặp đối sánh nêu trên Đe được ma trận F phù hợp 100% với tât ca

No cặp đầu vào là điều không tưởng Do vậy, trong quá trình triền khai thuật toán

có thêm bước lựa chọn số lượng mẫu N (phụ lục C) trong số No đê cho kêt qua F

được tốt nhất Dưới đây mô tà thuật toán tính ma trận cơ bàn sư dụng RANSAC:

Bài toán: Tính ma trận cơ bản F từ cặp ảnh đầu vào

Thuật toán:

1 Tinh diếm ứim cử viên đôi sánh (3.2.2.A)

2 Tính các cập điểm đối sánh (3.2.2.B)

3 LíÓ'C lượnt’ RANSA C: lặp lại cho N mâu

• Lựa chọn ngẫu nhiên 7 mẫu tương ứng đế tính mà trận cơ bàn F Kết qua

c ỏ thố c ó từ 1 đ c n 3 giãi pháp

• Tính klioanc cách </, cho mỗi cặp đôi sánh

• Tính lượntỉ diem dối sánh iiìlier phù hợp với F vừa tinh được

• Nêu có nhiêu hơn 1 giải pháp, lấy giải pháp với inlier lớn nhất.

4 Tính lại mà trận F cho tât cà các cặp đối sánh được coi là inlier bang cách tối thiếu hóa hàm giá

Banịỉ 3.3 Thuật toán SU' dụng RANSAC

3 2.4 C h ỉ n h s ứ a ả nh b à n g p h ư ơ n g pháp c h u y ển đổi s a n g tọa độ cực

Ràng buộc epipolar thể hiện mối quan hệ giữa 2 điểm anh đối sánh được thể hiện qua phương trình sau:

m ' F iji - 0

trong dó m ’ và m là toạ độ thuần nhất cua cặp điểm anh đối sánh trên hai anh F là

m a trận CO' ban D ư ờ n g e p i p o l a r cua đ i ế m m d ư ợ c h iế u d i ễn bới p h ư ơ n g trinh

/ ~ Fm và nuưọc lại diêm m ’ có tlưừniỉ cpipolar như sail / - Fm

a Các đường cpipolar định hưởng

Hình học chiếu định hướng [14] phân biệt diem trước và sau camera Phân anh mà nhìn thấy dược phai là điểm trước camcra Điều này thề hiện bàng công thức toán

học như sau: khi dựng lại diêm 3 chiều theo cônư thức Ảm - PX thi hệ sô Ằ phai

dương

K h á i n i ệ m về h ì n h h ọ c c hi ế u đ ị n h h ư ớ n e đ ư ợ c áp d ụ n g t r on g h ì n h học e p i po l ar n h ư

sau: Một điêm trong một ảnh chi lựa chọn các khả năng đối sánh với nó trên nưa đường epipolar của anh khác chứ không phai toàn bộ đường này (hinh 3.14) M và

N là 2 điểm 3 chiều cùng tlniộc một mặt phăng epipolar n (mặt phăng qua tâm

camera c và ( " ) va tạo thanh cặp diêm đối sánh m <-> III và n <-> n Nêu cặp diêm

đối sánh không thuộc cùniĩ phía của dường cơ ban C C ’ thi diêm 3 chiêu sẽ năm sau camera và khônu hiên thị, trong hình minh họa đó là điêm N

Hình 3.14 Hình học chiếu định hướng,

b Ma trận dồng hình lương thích H và ma trận cơ ban F

Các ma trận đồng hình II ánh xạ giữa các diêm ảnh 1)1 <-> III Nhữntỉ ma trận đỏng

hình này được áp dụng trong chinh sửa anh phăng đê tạo ra các đường epipolar song song hoặc trùng nhau Tuy nhiên như đã biết, phương pháp chinh sửa ánh phăng

k h ô n g h i ệ u q u á, d o v ậ y chì các m a t rận đ ồ n g h ì n h t ư ơ n g t hí ch m ớ i xét đ ế n ơ đà y , đó

là các ma trận dồim hình chi tạo ra các đucmg thăng trùng nhau

Cho trước ma trận cơ bản F và các cặp đối sánh m lìì ma trận đồng hinh tương

thích H sẽ biến đồi m "thành một điểm Htn nàm trên đường epipolar Fm Như vậy,

áp dụnu ma trận đ ồ n e hình tương thích cho tất cả các điêm anh tương đương với

vi ệc đ ị n h n u h ì a c ặ p ả n h m ó i có cá c đ ư ờ n g e p i p o l a r t r ù n g n h a u và d o đó c ù n g có

chilli'1 diem epipole He = c va !ỉ ư H dược xác định t h ô n g qua ma trận cơ

Xác đinh ma trận đông hình tương thích: Xác định ma trận H từ ma trận cơ ban F

sao cho khoáng cách từ điểm m, tới điềm Hm, là nhỏ nhất:

tiến hành thông qua việc biến đối các điểm ánh từ toạ độ phăng hai chiều sang toạ

độ cực Ảnh kết quà thu được gồm các điềm có 2 thành phần toạ độ, y biểu diền