Ứng dụng các kỹ thuật xử lý ảnh trong điều khiển robot

Mục tiêu của quá trình xử lý này là đưa ra các thông tin của môi trường được sử dụng trong quá trình điều khiển các loại robot di động nói chung.. Trong luận văn này, tác giả sẽ trình bà

VƯƠNG NGỌC DŨNG

ỨNG DỤNG CÁC KỸ THUẬT XỬ LÝ ẢNH

TRONG ĐIỀU KHIỂN ROBOT

CHUYÊN NGÀNH: CHẾ TẠO MÁY MÃ SỐ NGÀNH: 2.01.00

LUẬN VĂN THẠC SĨ

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH

-[\ -

Cán bộ hướng dẫn khoa học: TS NGUYỄN VĂN GIÁP ………

………

………

………

………

Cán bộ chấm nhận xét 1: ………

………

………

………

………

Cán bộ chấm nhận xét 2: ………

………

………

………

………

Luận văn thạc sĩ được bảo vệ tại HỘI ĐỒNG CHẤM LUẬN VĂN THẠC SĨ TRƯỜNG ĐẠI HỌC BÁCH KHOA, ngày …….…… tháng ………… năm ………

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ và tên học viên: VƯƠNG NGỌC DŨNG Phái : Nam

I TÊN ĐỀ TÀI: ỨNG DỤNG CÁC KỸ THUẬT XỬ LÝ ẢNH TRONG ĐIỀU KHIỂN ROBOT

II NHIỆM VỤ VÀ NỘI DUNG:

1 Phần lý thuyết:

• Nghiên cứu quá trình hiệu chuẩn (calibration) camera

• Nghiên cứu quá trình thu nhận thông tin 3D từ hệ hai camera

• Nghiên cứu ứng dụng kết quả này bằng cách kết hợp kỹ thuật truyền nhận không dây vào quá trình điều khiển robot

2 Phần thực nghiệm:

• Xây dựng phần mềm hỗ trợ quá trình hiệu chuẩn camera

• Xây dựng phần mềm thu nhận thông tin 3D từ hệ hai camera

• Xây dựng 01 phần mềm minh hoạt

III NGÀY GIAO NHIỆM VỤ: Ngày 20 tháng 1 năm 2005

IV NGÀY HOÀN THÀNH NHIỆM VỤ: Ngày tháng năm 2005

V HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: TS NGUYỄN VĂN GIÁP

CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM NGÀNH BM QUẢN LÝ CHUYÊN NGÀNH

Nội dung và đề cương luận văn thạc sĩ đã được Hội Đồng Chuyên Ngành thông qua

Ngày Tháng Năm 2005

TRƯỞNG PHÒNG QLKH-SĐH CHỦ NHIỆM NGÀNH

TÓM TẮT

Thu nhận thông tin từ môi trường, là một trong những phần tử bắt buộc đối với các hệ thống tự động nói chung Đề tài này đề cập đến các lý thuyết sử dụng camera như một loại cảm biến chính để nhận biết vị trí tương đối của camera trong môi trường làm việc Lý thuyết trên được hiện thực thông qua việc xây dựng một bộ phần mềm hỗ trợ quá trình xử lý các thông tin từ hệ hai camera Mục tiêu của quá trình xử lý này là đưa ra các thông tin của môi trường được sử dụng trong quá trình điều khiển các loại robot di động nói chung

ABSTRACT

Extracting useful information form working space is one of the most important modules of the automatic systems This thesis will mention some of the main steps from 2D stereo pictures to 3D points representing physical features in the world, as well as the relationship between two different images of the same scene The purpose of this thesis is, to create some useful information of the local surrounding of a robot using stereo vision The aim is to provide means for obstacle avoidance and local path planning of the mobile robot in general

LỜI CẢM ƠN

Có được kết quả ngày hôm nay chính là nhờ vào sự dạy dỗ của Cha Mẹ, sự hướng dẫn tận tình của các Thầy Cô và cả sự động viên của bạn bè Vì vậy, đầu tiên tôi xin cảm ơn Cha Mẹ rất nhiều vì nếu không có sự giúp đỡ, động viên của Cha Mẹ, chắc chắn tôi sẽ không có kết quả như ngày hôm nay

Tôi xin trân trọng cảm ơn toàn thể Quý Thầy Cô ở Khoa Cơ Khí cũng như

ở trường Đại Học Bách Khoa đã tận tình dạy dỗ cung cấp cho tôi những kiến thức

cơ bản trong suốt quá trình học

Tôi xin chân thành cảm ơn Thầy Nguyễn Văn Giáp đã gợi ý và hướng dẫn rất tận tình trong quá trình thực hiện đề tài

Tôi cũng xin chân thành cảm ơn Thầy Trần Nguyên Duy Phương đã góp ý, giúp đỡ tôi rất nhiều trong quá trình làm luận văn

Tôi chân thành bày tỏ lòng biết ơn đến quý Thầy Cô là Chủ tịch, Phản biện và Uûy viên Hội đồng đã dành nhiều thời gian quý báu để nhận xét và tham gia Hội đồng chấm Luận văn

TP Hồ Chí Minh, ngày 30 tháng 06 năm 2005 Học viên thực hiện

Vương Ngọc Dũng

LỜI NÓI ĐẦU

Cơ khí chính xác - Tự động hóa – Robot là một trong những lĩnh vực hiện đang được xã hội Việt Nam rất quan tâm nói riêng và của thế giới nói chung Sản phẩm của những lĩnh vực này rất đa dạng và là sự tích hợp về công nghệ của nhiều ngành khác nhau Được sự gợi ý của Thầy TS Nguyễn Văn Giáp và các anh chị đồng nghiệp, tác giả đã quyết tâm thử sức ở một hướng nghiên cứu đang được chú ý ở trong và ngoài nước, đó là sự kết hợp giữa robot và computer vision với đề tài “Nghiên cứu kết hợp kỹ thuật thị giác (vision) và truyền nhận không dây (wireless) trong nhiệm vụ dẫn đường cho robot”

Trong luận văn này, tác giả sẽ trình bày tóm tắt lý thuyết liên quan đến các kỹ thuật xử lý các thông tin nhận được từ camera và sử dụng các kết quả thu được để hỗ trợ việc điều khiển robot nói chung Đồng thời, xây dựng và phát triển một bộ thư viện bằng ngôn ngữ Visual C++ nhằm khảo sát kết quả nghiên cứu

Dù đã hết sức cố gắng nhưng những thiếu sót là không thể tránh khỏi Tác giả rất mong nhận được sự góp ý chân tình của quý Thầy Cô và bạn bè để có thể hoàn thiện thêm kiến thức của mình

TP Hồ Chí Minh, ngày 30 tháng 06 năm 2005

MỤC LỤC

LỜI CẢM ƠN i

MỤC LỤC ii

LỜI NÓI ĐẦU Chương 1: TỔNG QUAN 1.1 HAI BÀI TOÁN CỦA ROBOT DI ĐỘNG 1.1.1 Bài toán toàn cục 2

1.1.2 Bài toán cục bộ 6

1.2 CÁC YÊU CẦU ĐỐI VỚI ROBOT DI ĐỘNG 10

1.3 MỤC TIÊU ĐỀ TÀI 11

Chương 2: CƠ SỞ LÝ THUYẾT 2.1 HIỆU CHUẨN CAMERA 2.1.1 Tổng quan 14

2.1.2 Các hệ tọa độ 15

2.1.3 Phương pháp hiệu chuẩn của Zhengyou Zhang 20

2.1.4 Thực nghiệm và kết quả 26

2.1.5 Kết luận 31

2.2 HỆ THỐNG THỊ GIÁC

2.2.1 Hệ thống Stereo

2.2.1.1 Các vấn đề cơ bản của hệ thống stereo 32

2.2.1.2 Mô hình hệ thống stereo 32

2.2.2 Các mối quan hệ cơ bản của hệ thống stereo 2.2.2.1 Điểm và đường Epipolar tương ứng 37

2.2.2.2 Trật tự các điểm trên đường Epipolar 38

2.2.2.3 Ma trận E 39

2.2.2.4 Ma trận F 41

Chương 3: TÍNH TỌA ĐỘ 3D 3.1 ĐẶT VẤN ĐỀ 43

3.2 TÍNH TOÁN CÁC THÔNG SỐ 3.2.1 Tính tiêu cự f 45

3.2.2 Tính b và D 45

3.3 BÀI TOÁN TÌM ĐIỂM LIÊN HỢP 3.3.1 Phương pháp phát hiện cạnh 51

3.3.2 Phương pháp tương quan vùng 52

3.4 KẾT LUẬN

Chương 4: ỨNG DỤNG CỦA HỆ THỐNG STEREO

4.1 THIẾT KẾ HỆ THỐNG STEREO DÙNG CHO ROBOT DI ĐỘNG

4.1.1 Ý tưởng thiết kế 55

4.1.2 Mô hình hiện thực 55

4.2 MỘT SỐ ỨNG DỤNG

4.2.1 Hỗ trợ quá trình điều khiển robot từ xa 58

4.2.1.2 Đặt bài toán

4.2.1.3 Hiện thực hai modun điều khiển

4.2.2 Tái cấu trúc hoạt động của robot tự hành 63

4.2.2.2 Đặt bài toán

4.2.2.3 Hiện thực hai modun xử lý

Chương 5: KẾT LUẬN

5.1 NHỮNG VẤN ĐỀ ĐÃ THỰC HIỆN 66

5.2 NHỮNG VẤN ĐỀ CHƯA GIẢI QUYẾT VÀ HƯỚNG PHÁT TRIỂN

TRONG TƯƠNG LAI 67

BÀI BÁO 69

TÀI LIỆU THAM KHẢO 70

PHỤ LỤC A

PHỤ LỤC B

Chương 1

TỔNG QUAN

Chương này sẽ tập trung vào việc thống kê tình hình nghiên cứu về lĩnh vực robot thị giác (robot vision) trong và ngoài nước cũng như những nghiên cứu liên quan Để làm rõ hơn tầm quan trọng của hệ thống vision trong việc điều khiển các robot di động nói chung (nói cách khác là sự cần thiết của nội dung nghiên cứu), phần đầu chương sẽ trình bày các yêu cầu của hai loại bài toán điều khiển robot di động là điều khiển trong môi trường toàn cục và môi trường cục bộ

1.1 HAI BÀI TOÁN CỦA ROBOT DI ĐỘNG

Robot di động là một trong những lĩnh vực đã được nghiên cứu từ lâu Tuy nhiên, đây vẫn là một lĩnh vực còn nhiều thách thức đối với con người do tính bất định của môi trường Như chúng ta đã biết, môi trường hoạt động thực là một môi trường chứa đựng nhiều thông tin khác nhau và những thông tin này có thể gây lầm lẫn

Về cơ bản, ta có thể chia bài toán điều khiển robot di động ra làm hai loại

theo tính chất thu nhận môi trường hoạt động của robot là bài toán toàn cục và

bài toán cục bộ [4]

1.1.1 BÀI TOÁN TOÀN CỤC

Khái niệm: là bài toán điều khiển robot di động khi thông tin về vị trí của robot di động trong môi trường là có thể biết được Ví dụ, vị trí của một tàu đi biển có thể được xác định bằng vệ tinh chụp từ không gian bên ngoài trái đất

Lúc này, tàu biển có thể được cân nhắc như một robot di động tự hành khi tàu hoạt động trong chế độ tự động

Tính chất của bài toán:

¾ Bài toán này thường có tính qui mô do việc lấy thông tin tổng quát về

vị trí một đối tượng trong môi trường đa phần không dễ xác định (mặc dù là vẫn có thể có được, vệ tinh ngày nay có khả năng chụp ảnh một đối tượng chính xác tới decimet) nên việc nghiên cứu là không dễ dàng

¾ Do có thể biết được các thông tin cần thiết về môi trường, nên việc giải quyết bài toán này thường có kết quả tối ưu (tương đối) Ví dụ, đường di chuyển của robot là ngắn nhất, …

H1.1 Mô hình bài toán toàn cục

Một số đề tài đã và đang được nghiên cứu [4]:

¾ Tự động điều khiển máy cày sử dụng GPS (Automatic Steering of

Farm Vehicles Using GPS) của trường Đại học Stanford [23] (hình H1.2a)

¾ Robot Nomad của trường Đại học Carnegie-Mellon (năm 1990) (hình H1.3)

o Được chế tạo nhằm mục tiêu thám hiểm Nam cực

o Sử dụng hệ thống định vị vệ tinh để xác định vị trí của máy cày

o Bộ vi xử lý xử lý thông tin: MC68HC11

o Phương pháp điều khiển: điều khiển

vòng kín (hình 1.2b)

o Kết quả: sai số nhỏ hơn 2.5cm sau một đường chạy

H1.2 Automatic Steering of Farm Vehicles Using GPS a)

b)

o Được trang bị hệ thống GPS, hệ thống stereo với panoramic camera, hệ thống cảm biến laser

o Được trang bị 4 máy tính, khối lượng 725 Kg, kích thước xấp xỉ 2.4mx2.4m

¾ SoccerBot: các robot giống nhau được chia làm 2 đội, camera được gắn phía trên đỉnh của sân để người lập trình điều khiển robot có thể biết được vị trí của các robot trên sân (xem hình H1.4)

¾ …

H1.3 NOMAD robot

H1.4 SoccerBot

1.1.2 BÀI TOÁN CỤC BỘ

Khái niệm: là bài toán điều khiển robot di động khi thông tin về vị trí của robot di động trong môi trường là không biết trước Có thể lấy ví dụ điển hình là robot hút bụi hoạt động trong phòng Rõ ràng là robot có thể di chuyển và tránh các vật cản trong phòng nhưng để di chuyển từ điểm A đến điểm B nào đó trong phòng theo đường đi ngắn nhất thì robot không thể làm được Cũng vậy, trong quá trình hoạt động, robot có thể di chuyển vào một chỗ nào đó và không thể ra được (như di chuyển vào các vùng lõm, những lối đi tắt đường và không ra được)

Tính chất của bài toán:

¾ Tính thực tiễn: mặc dù cho đến thời điểm hiện tại, giải pháp lý thuyết cho loại robot này vẫn đang trong giai đoạn phát triển, nhưng đây vẫn

là một lĩnh vực hấp dẫn đối với các nhà nghiên cứu vì thông tin về

môi trường làm việc của robot không phải lúc nào cũng được biết trước

¾ Tính đa dạng: ứng dụng thực tiễn của loại này rất đa dạng như robot tự hành làm việc trong gia đình (robot hút bụi, robot làm việc trong bệnh viện, …) Các robot thám hiểm là một trong những ví dụ điển hình khác (vì môi trường thám hiểm là chưa biết trước)

Một số đề tài đã và đang được nghiên cứu:

¾ Robot Asimo của hãng Honda (hình H1.5):

o Khối lượng: 54 Kg, có thể di chuyển với tốc độ 3 km/giờ

o Được trang bị hệ thống vision thông qua 2 camera ở hai mắt Có thể tái lập môi trường làm việc, tránh vật cản, nhận dạng đối tượng (khuôn mặt), phân tích chuyển động…

¾ Robot AIBOs của hãng Sony (hình H1.6):

o CMOS camera: 176x144, 25fps

H1.5 ASIMO

o Có thể phân đoạn (segmentation) hình ảnh nhận được theo màu sắc; có thể nhận dạng khuôn mặt…

¾ Đề tài “An Affective Mobile Robot

Educator with a Full-time Job” của

trường Đại học Carnegie Mellon: Robot

hướng dẫn làm việc trong viện bảo tàng

lịch sử (xem H1.7)

H1.6 AIBO

H1.7 Mellon University

H1.8 RHINO

¾ The mobile robot RHINO (H1.8) của đại

học Bonn – Đức: Robot được thiết kế để

hoạt động trong nhà, có khả năng xử lý

các thông tin nhận được thời gian thực, có

khả năng xây dựng bản đồ cục bộ, có khả

năng tránh vật cản [22]

¾ Đề tài: “Stereo-Based Obstacle

Avoidance in Indoor Environments

with Active Sensor Recalibration”

(xem H1.9) của Đại học Johns

Hopkins: được trang bị 2 camera,

có khả năng mô hình hóa các vật

cản và tránh vật cản cục bộ [24]

¾ Nghiên cứu thiết kế camera Crane phục vụ cho việc quay phim (Bộ môn Điều Khiển Tự Động-Khoa Cơ Khí)

¾ Nghiên cứu thiết kế và chế tạo mô hình điều khiển bám đối tượng di động bằng 1 camera số (Bộ môn Điều Khiển Tự Động khoa Cơ Khí)

¾ Luận văn Đại học của một số sinh viên do tác giả hướng dẫn

¾ …

H1.9 Mellon University

1.2 CÁC YÊU CẦU ĐỐI VỚI ROBOT DI ĐỘNG

Rõ ràng là để giải quyết hai bài toán trên thì việc việc thu nhận thông

tin của môi trường đều hết sức quan trọng Để hiểu rõ tầm quan trọng này, ta

hãy xem xét những yêu cầu mà một robot trong tương lai cần phải có để trở nên thông minh hơn như sau [4]:

9 Khả năng tác động (manipulation): là khả năng tác động, tương tác với đối tượng khác

9 Khả năng di chuyển (movement): là khả năng di chuyển một cách an toàn (như khả năng tránh vật cản)

9 Khả năng lái (navigation): là khả năng xác định vị trí

9 Khả năng xác định (identification): là khả năng xác định và nhận dạng đối tượng

9 Khả năng tương tác (interactive): là khả năng giao tiếp, tương tác với con người một cách dễ dàng

Dễ thấy, ba thuộc tính cuối (khả năng lái, xác định và tương tác) của

robot nói chung chỉ có thể có được một cách rõ ràng và đầy đủ khi ta trang bị

thêm hệ thống thị giác (vision system)

Cụ thể, trong bài toán toàn cục, hệ thống thị giác được trang bị sẽ cung cấp hình ảnh toàn cục của robot di động trong môi trường hoạt động (ví dụ như trong hệ thống SoccerBot nêu trên hay phức tạp hơn là hình chụp các thiết bị di động từ vệ tinh) Có nhiều vấn đề cần phải giải quyết ở bài toán toàn cục này (như xác định đường di chuyển tối ưu, phối hợp hoạt động giữa các thiết bị di

động,…) tuy nhiên đề tài không nghiên cứu vào nhánh này mà sẽ tập trung

chủ yếu vào bài toán cục bộ vì tính thực tế như đã trình bày ở phần trên

Trong bài toán cục bộ, hệ thống thị giác sẽ được trang bị trực tiếp trên

robot di động nhằm hỗ trợ cho quá trình hoạt động của robot Có nhiều thông

tin về môi trường có thể rút ra từ hệ thống có trang bị vision, một trong những thông tin cần phải biết nhất trước khi tiến hành phân tích hay tương tác với đối

tượng là thông tin về vị trí và khoảng cách đến đối tượng Thông tin này giúp

robot ra quyết định những hoạt động của mình như di chuyển sao cho không va chạm với các đối tượng khác hay tái cấu trúc (reconstruction) đối tượng đang

tiến hành tương tác [4] (xem H1.10)

1.4 MỤC TIÊU CỦA ĐỀ TÀI

Hiện nay, việc kết hợp các kỹ thuật thị giác vào lĩnh vực điều khiển robot

di động đang là một trong những hướng phát triển đang rất được quan tâm trên thế giới Ta có thể thấy điều này thông qua việc rất nhiều phòng thí nghiệm về robot thị giác đang được hình thành tại các trường đại học và công ty lớn như

Intel, Microsoft,… Tại Việt Nam, những nghiên cứu về vấn đề này vẫn còn rất ít

vì nhiều lý do mà một trong số đó là tài chính Vì vậy, với mong muốn các thế hệ robot di động được phát triển tiếp theo tại Việt Nam sẽ ngày càng linh hoạt

và thông minh hơn, tác giả đã thực hiện đề tài “Nghiên cứu kết hợp kỹ thuật thị giác (vision) và truyền nhận không dây (wireless) trong nhiệm vụ dẫn đường cho robot” với mục tiêu và nội dung như sau:

Mục tiêu: “nghiên cứu và phát triển một hệ thống stereo có thể sử

dụng cho các robot di động hoạt động trong nhà hoặc công sở với giá thành thấp”

Nội dung thực hiện:

¾ Nghiên cứu và chọn lựa phương pháp hiệu chuẩn (calibration)

camera phù hợp với mục tiêu của đề tài

¾ Nghiên cứu phương pháp dùng hệ hai camera (hệ thống stereo) để

xác định tọa độ của đối tượng bằng phương pháp tam giác thụ

động (phụ lục B)

¾ Thiết kế một hệ thống stereo có thể trang bị cho các robot di động như mục tiêu đề tài nêu ra với hai yêu cầu:

o Có tính di động cao

o Giá thành thấp

¾ Xây dựng bộ thư viện hỗ trợ quá trình điều khiển và xử lý thông tin

của hệ thống stereo nêu trên nhằm phục vụ cho quá trình điều

khiển robot di động

Nội dung các chương tiếp theo sẽ được trình bày lần lượt theo trình tự sau:

¾ Thiết kế phần cứng cho hệ thống stereo như mục tiêu đề ra

¾ Trình bày một số ứng dụng cụ thể của hệ thống stereo mà đề tài thiết kế để hỗ trợ việc điều khiển robot tự hành

Chương 2

CƠ SỞ LÝ THUYẾT

Trước khi tiến hành tính toán thông tin từ hệ thống stereo, ta cần phải xác định các thông tin về từng camera được dùng trong hệ thống Cụ thể là ta cần phải biết các thông tin sau:

Thông tin về từng camera: thông qua quá trình hiệu chuẩn camera

Thông tin về vị trí của hệ camera đang sử dụng: thông qua việc tính toán các dữ liệu từ quá trình hiệu chuẩn

2.1 HIỆU CHUẨN CAMERA (CAMERA CALIBRATION)

Phần này trình bày một trong những bước cơ bản trong các ứng dụng thu thập và xử lý dữ liệu sử dụng camera, đó là quá trình xác định các thông số nội và ngoại của camera (camera calibration) [18][19][20][21]

2.1.1 TỔNG QUAN

Camera về cơ bản là một thiết bị chuyển đổi thông tin về môi trường thực (thông tin ba chiều) thành thông tin được lưu trữ dưới dạng dữ liệu hai chiều Do đó, nếu chỉ sử dụng một camera ta sẽ nhận được thông tin có liên quan đến toạ độ dưới dạng phương trình tham số Để có được thông tin ba chiều của môi trường, người ta thường sử dụng một hệ ít nhất là hai camera Đối với hệ nhiều camera này, các thông số nội và ngoại là những thông số cần đựơc xác định nhằm phục vụ mục đích tái lập thông tin ba chiều của môi trường Trong phạm vi của nghiên cứu này, phương pháp xác định các thông số của hệ camera thông qua thông số của từng camera được ứng dụng Có nhiều kỹ thuật calibration cho

camera được nghiên cứu trong những năm gần nay, chúng được phân chia thành hai nhóm sau ([18]):

- Photogrammetric calibration: nhóm này được thực hiện bằng cách quan sát một đối tượng mà các kích thước 3D của nó đã biết với độ chính xác rất cao Đối tượng thường là hai hay ba mặt phẳng trực giao với nhau, đôi khi là một mặt phẳng được tịnh tiến những khoảng cách nhất định Phương pháp thuộc nhóm này đòi hòi sự tỷ mỉ nhưng cho kết quả khá chính xác

- Self-calibration: nhóm này không sử dụng đối tượng calibration Bằng cách dịch chuyển camera trong một không gian bất biến ta sẽ có được hai phương trình liên quan đến các thông số camera Đối với camera có thông số nội cố định ta chỉ cần ba lần dịch chuyển là đủ để xác định cả thông số ngoại và thông số nội Phương pháp này rất linh hoạt nhưng lại chưa hoàn chỉnh

Nội dung chủ yếu của chương này sẽ tập trung vào việc nghiên cứu và khảo sát phương pháp calibration do Zhengyou Zhang đưa ra [18] Tác giả chọn

phương pháp này vì mục tiêu của hệ thống stereo mà đề tài xây dựng là nhằm

hỗ trợ việc điều khiển robot di động Phương pháp này hiện đang được sử dụng

rộng rãi vì tính đơn giản và hiệu quả của nó

2.1.2 CÁC HỆ TỌA ĐỘ

Về cơ bản, phương pháp này sử dụng bốn hệ tọa độ sau, xem H2.1:

- Hệ tọa độ thực: là hệ tọa độ trong không gian thực, cho biết toạ độ 3D của một điểm bất kỳ

- Hệ tọa độ ảnh: là hệ tọa độ gắn ở góc trái trên của sensor thu nhận ảnh

- Hệ tọa độ pixel: là hệ tọa độ gắn ở góc trái trên của ảnh thu nhận được,

đơn vị của hệ toạ độ này là pixel

Giả sử trong không gian thực ta có điểm ( )T

a a

a y z x

P= , , thuộc một đối tượng nào đó Gọi ( )u, v là tọa độ tương ứng của điểm P trên ảnh thu được tương ứng

Rõ ràng, giữa ( )T

a a

a y z

x , , và ( )u, v phải có một mối quan hệ toán học nào đó

Để xác định hệ phương trình mô tả mối tương quan đó, xét phương trình chuyển

đổi tọa độ của cùng một điểm trong hai hệ tọa độ không gian khác nhau:

0 1

H2.1 Các hệ tọa dộ

yz yy yx

xz xy xx

r r r

r r r

r r r

R đuợc gọi là ma trận quay còn p0 là vectơ tịnh tiến

với điểm P0 là gốc của hệ tọa độ thứ nhất trong hệ tọa độ thứ hai

Nếu gọi tọa độ của P trong hệ tọa độ camera là:

( )T

c c c

c x y z

Ta có: p c =R(p a −T) Ở đây T là vectơ tịnh tiến của phép biến đổi giữa

hai hệ tọa độ trên

Xét mặt phẳng song song với hai trục z c và x c như hình vẽ (H2.2) ở dưới ta

m

Gọi m là ảnh của P trên mặt phẳng ảnh, còn O’ là điểm chính principal

point (giao của trục chính camera với mặt phẳng ảnh), ta có:

Gọi ( )u, v và (u0, v0) lần lượt là tọa độ của m và ' O trong hệ tọa độ pixel

Gọi s x và s y lần lượt là các hệ số thể hiện sự chuyển đổi giữa đơn vị pixel và

đơn vị độ dài thật thì tọa độ của 'P và 'O trong hệ tọa độ ảnh lần lượt là

(s u s v)

m , và O'(s u ,s v ) thế thì:

f u

c c x

f v

c c y

x

z y

x v s f

u s

f

W V U

1 0 0 0

O c : gốc của hệ tọa độ camera và cũng là tâm chiếu

u

v

A

H2.2 Mặt phẳng x c O c z c

0

0

v s f

u s

f

A

y x

Công thức (2-9) là công thức được viết trong tọa độ không gian 3 chiều, vì

việc giảm đi một chiều (từ 3D xuống 2D) nên dễ thấy sẽ có nhiều điểm trong

không gian thực (3D) sẽ có cùng 1 điểm ảnh (2D) nên để thuận tiện cho quá

trình tính toán, ta chuyển sang hệ tọa độ thuần nhất (homogenous coordinates)

và công thức (2-9) có thể được viết lại như sau p c = A[ ]RT P w (2-10)

Đây là công thức biểu diễn toàn bộ mối quan hệ giữa các tọa độ thực và

tọa độ ảnh ở dạng pixel

Nói tóm lại, camera calibration chính là quá trình đi tìm:

- Ma trận R và vectơ T : thông số ngoại

- Ma trận A: thông số nội

2.1.3 PHƯƠNG PHÁP HIỆU CHUẨN CỦA ZHENGYOU ZHANG

Nội dung sau đây là sơ lược phương pháp hiệu chuẩn được đưa ra bởi

Zhengyou Zhang [18] Phương pháp Zhengyou Zhang được chọn để tìm các

thông số của camera trong phần calibration này

Một điểm 2D được biểu diễn dưới dạng [ ]T

v u

m= , , còn một điểm 3D được biểu diễn bởi [ ]T

Z Y X

M = , , Nếu gọi ^x là vectơ có thêm 1 vào thành phần cuối cùng thì:

[ ]T

v u

m^= , ,1

Z Y X

Trong mô hình camera pinhole mối quan hệ giữa một điểm M và ảnh m

của nó được biểu diễn như sau ([18]):

Trong đó:

- s là một hệ số tỷ lệ bất kỳ

- R , t tương ứng là ma trận quay và vectơ tịnh tiến của hệ tọa độ thực so

với hệ tọa độ camera Đây là thông số ngoại

- A là ma trận thông số nội của camera

0

v

u c

α

Với (u0, v0) là tọa độ của điểm chính (principal point), α và β là các hệ

số tỷ lệ theo hai trục u và v , c là thông số thể hiện độ nghiêng của hai trục ảnh

(thông thường thì hệ số này bằng 0 )

Không mất tính tổng quát ta giả sử rằng mẫu phẳng trong hệ tọa độ thực có

0 1

2 1 3

2

X t r r A Y X

t r r r A v

u

Vì Z =0 nên ta có thể xem: [ ] [T ]T

Y X Z

Y X

M^= , , ,1 = , ,1 , như vậy mối quan

hệ giữa M và m được biểu diễn như sau:

h A A

2 1 2

1 1

Công thức (2-13), (2-14) là công thức căn bản để ta có thể tính được các

thông số nội của camera

23 22 21

13 12 11 1

B B B

B B B

B B B A

1

2

2 0 2

2

2 0 0 2 0 2

2 0 0 2

2 0 0

2 0 2

2 0 0 2

2 2 2 2

2 0 0 2

2

ββ

α

ββ

βα

ββ

α

ββ

βαβ

α

βα

ββ

αα

v u

cv v

u cv c u

cv

v u

cv c c

c

u cv c

(2-15)

Rõ ràng B là ma trận đối xứng, do đó ta chỉ cần 6 thông số để xác định B

Vì vậy, ta định nghĩa một vectơ b như sau:

B B B B B B

Gọi h i là cột thứ i của ma trận H :

i i i

i h h h h

3 2

1, ,

j i j i j i j i j i j i j i j i j i

ij h h h h h h h h h h h h h h h h h h

v

3 3 3 2 2 3 3 1 1 3 2 2 1 2 2 1 1

1 , + , , + , + ,

suy ra:

b v Bh

Trong đó V là ma trận 2n×6

Nếu n lớn hơn hoặc bằng 3 thì nói chung, phương trình (2-19) có nghiệm b

là duy nhất

Sau khi tính được b ta sẽ tính được ma trận thông số nội A và các thông số

ngoại của camera

Tuy nhiên trước khi giải phương trình (2-19) ta phải đi tính ma trận V tức là

xác định mối quan hệ H giữa mẫu và ảnh của nó

Đây chính là công thức để xác định H (nghĩa là tính được V) Trong thực tế

chúng ta không nhận được chính xác mối quan hệ trên do ảnh hưởng của nhiễu

Giả sử rằng ảnh m^i được lọc bởi lọc Gauss với trung vị bằng 0 và ma trận tương

quan Wi Như vậy ta có thể xác định H bằng cách cực tiểu hàm sau:

i

i i i T i

T i T i T i

M h

M h M h m

với h i là các cột của ma trận H [5]

Trong thực tế, giả sử 2

s

W i = đối với mọi i Điều này hợp lý vì các điểm

được rút ra một cách độc lập Trong trường hợp này vấn đề trên trở thành bài

toán cực tiểu phi tuyến của:

x= 1 , 2 , 3 thì phương trình sm^i=HM^i được biểu diễn như

sau

0 0

uM M

M

T i

T i T i

T T T

Với mỗi ảnh có n điểm thì ta sẽ có được n mối quan hệ như trên và ta có

hệ phương trình:

0

=

Trong đó L là ma trận 2n×9

Giải phương trình (2-25) ta sẽ nhận được các giá trị ban đầu của h i, sau đó

tìm cực tiểu của (2-23) để có được ma trận H chính xác hơn

Sau khi biết các giá trị của H ta sẽ tính được ma trận V bằng công thức

j i j i j i j i j i j i j i j i j i

ij h h h h h h h h h h h h h h h h h h

v

3 3 3 2 2 3 3 1 1 3 2 2 1 2 2 1 1

λ

βα

λβ

λαλ

2 13 0 0

2 12

2 12 22 11 11 11

11

23 11 13 12 0 2 13 33

2 12 22 11

23 11 13 12 0

B cv u

B c

B B B B B

B

B B B B v B B

B B B

B B B B v

Như vậy, các thông số ngoại ứng với mỗi ảnh có thể được tính như sau:

1 1

2 1

2 1

3 1

h A

1 1

/1/

1 A− h = A− h

=

Trên đây chỉ trình bày các bước cơ bản cần phải được tính toán khi tiến

hành calibration theo phương pháp của Zhengyou Zhang Để kết quả calibration

có thể sử dụng được ta còn phải tiến hành hiệu chỉnh kết quả này bằng cách lưu

ý thêm kết quả hai hệ số biến dạng k1 và k2 [18]

Gọi ( )u, v là tọa độ pixel lý tưởng của ảnh (bỏ qua hệ số biến dạng) và

(u ' v, ') là tọa độ pixel thật tương ứng Tương tự gọi ( )x, y và (x ' y, ') lần lượt là

các tọa độ lý tưởng và tọa độ thực của ảnh trên mặt phẳng ảnh Như vậy ta có

mối quan hệ giữa tọa độ lý tưởng và tọa độ thực như sau:

2 2 2 1

trong đó k1 và k2 là các hệ số biến dạng chính (theo tài liệu [18])

Mà ta lại có:

''' u0 x cy

'' v0 y

Do đó ta được:

( ) [ ( ) ( 2 2)2]

2 2 2 1 0

( ) [ ( ) ( 2 2)2]

2 2 2 1 0

Rõ ràng ta luôn mong muốn nhận được các hệ số k1 và k2càng nhỏ càng

tốt

2.1.4 THỰC NGHIỆM VÀ KẾT QUẢ

Dựa trên các cơ sở lý thuyết nêu trên, tác giả có hiện thực một phần mềm

dùng để xác định các thông số nội của camera như sau :

1 Cấu hình máy thực nghiệm

a AMD DURON 950MHz, 256MB RAM, OS: WindowXP

b Bộ công cụ phát triển: Visual C++ 6.0, Intel Image Library, Open

Source Computer Vision Library

2 Thiết bị thu nhận ảnh: Creative Webcam Pro PD1030DV

3 Kích thước của đối tượng calibation:

a Mẫu hiệu chuẩn có thể là bất cứ mặt phẳng nào có lưu trữ thông tin

về vị trí (như điểm, các ô vuông riêng rẽ, các dấu chéo đặt cách nhau một khoảng cách xác định) Thông tin về vị trí phải được lưu trữ trong một mảng (array) trong lớp CCamera Để cho đơn giản, ta

chọn mẫu có dạng như (hình 2.3) Như vậy các điểm cần được đánh

dấu chính là các góc (giao giữa các ô vuông) Như vậy để biết các thông tin về vị trí, ta chỉ cần biết kích thước của một ô vuông

b Dạng mẫu: 6×8 ô vuông

c Kích thước một ô: 25×25

4 Lưu đồ các bước tiến hành calibration theo phương pháp Zhengyou Zhang:

a Thu nhận ảnh và tìm các góc (corner)

b Cập nhật vào hệ phương trình (2-16)

c Tiến hành giải hệ (2-25) để xác định H

d Xác định V , giải hệ (2-20) để xác định b

e Từ b suy ra B và xác định A theo công thức trong [18]

5 Giao diện phần mềm như sau:

a Sử dụng chương trình:

i Kết nối camera muốn sử dụng với máy tính

ii Chạy phần mềm, lựa chọn camera muốn hiệu chuẩn trong hộp thoại

H2.3 Mẫu dùng để calibration

iii Hướng mẫu hiệu chuẩn (H2.3) trước camera Nhấn SpaceBar

để bắt ảnh Chương trình sẽ tự tính toán tọa độ của các góc và hiển thị trên cửa sổ CAMERA

iv Xoay hoặc dời mẫu đến các vị trí khác nhau và lặp lại bước iii Một lưu ý khi thực hiện di chuyển mẫu là ta nên chọn các

vị trí của mẫu sao cho chúng không đồng phẳng và góc

H2.5 Aûnh thu được và kết quả xác định tọa độ giao điểm của các ô vuông

H2.4 Hộp thoại cho phép lựa chọn camera muốn hiệu chuẩn

xoay giữa hai lần liên tiếp bé hơn 45 o để có được kết quả hiệu chuẩn tốt nhất

v Phương pháp của Zhengyou Zhang đưa ra cần tối thiểu hai ảnh Tuy nhiên, theo kết quả thực nghiệm của tác giả, ta nên thu nhận nhiều ảnh hơn để kết hiệu chuẩn được chính xác Kết quả của quá trình hiệu chuẩn được hiển thị trên cửa sổ DISPLAY

6 Kết quả trung bình thu được sau 50 lần lấy mẫu:

[ ]0.0 =412.47583

M M[ ]0.1 =0.0000000 M[ ]0.2 =158.788413[ ]1.0 =0.0000000

M M[ ]1.1 =417.01379 M[ ]1.2 =103.9473267[ ]2.0 =0.0000000

M M[ ]2.1 =0.0000000 M[ ]2.2 =1.0000000 Hệ số biến dạng:

Đường thẳng bị biến dạng thành đường cong (trước)

Khử biến dang (sau)

H2.7 Aûnh thu được trước và sau khi khử biến dạng

Kết quả cho thấy các thông tin có được từ quá trình calibration theo phương pháp Zhengyou Zhang là đủ chính xác để có thể tiến hành phân tích ảnh

ở các bước tiếp theo

2.1.5 KẾT LUẬN

Quá trình calibration được trình bày ở trên là một trong những bước cơ bản để có thể sử dụng camera trong mục đích thu nhận thông tin 3D từ môi trường thực Phương pháp mà Zhengyou Zhang đưa ra có ưu điểm là các bước thực hiện đơn giản và linh hoạt nhưng vẫn đảm bảo được yêu cầu về độ chính xác [18] để thu nhận thông tin 3D cho robot di động