Kết hợp chỉnh ảnh và kỹ thuật 3d vision xác định độ sâu đối tượng bằng 2 camera điện tử

Những ứng dụng của nó trong xã hội ngày nay như camera giám sát hành trình, camera dùng trong những hệ thống giữ xe thông minh, mắt robot… Để tiếp nối những ứng dụng trên, đề tài này thự

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP.HCM

-

NGUYỄN THÀNH GIAO

KẾT HỢP HIỆU CHỈNH ẢNH VÀ KỸ THUẬT 3D VISION XÁC ĐỊNH ĐỘ SÂU ĐỐI TƯỢNG

BẰNG 2 CAMERA ĐIỆN TỬ

LUẬN VĂN THẠC SĨ

Chuyên ngành: Công nghệ thông tin

Mã số ngành: 60480201

TP HỒ CHÍ MINH, tháng 09/2015

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP.HCM

-

NGUYỄN THÀNH GIAO

KẾT HỢP HIỆU CHỈNH ẢNH VÀ KỸ THUẬT 3D VISION XÁC ĐỊNH ĐỘ SÂU ĐỐI TƯỢNG

Chủ tịch Hội đồng đánh giá LV

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP HCM

Cán bộ hướng dẫn khoa học : Tiến sĩ Lê Mạnh Hải

(Ghi rõ họ, tên, học hàm, học vị và chữ ký)

Luận văn Thạc sĩ được bảo vệ tại Trường Đại học Công nghệ TP HCM ngày 17 tháng 10 năm 2015

Thành phần Hội đồng đánh giá Luận văn Thạc sĩ gồm:

(Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ Luận văn Thạc sĩ)

Xác nhận của Chủ tịch Hội đồng đánh giá Luận sau khi Luận văn đã được sửa chữa (nếu có)

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ tên học viên: Nguyễn Thành Giao Giới tính: Nam

Ngày, tháng, năm sinh: 10-01-1983 Nơi sinh: Long An

Chuyên ngành: Công nghệ thông tin MSHV:1341860038

I- Tên đề tài:

Kết hợp hiệu chỉnh ảnh và kỹ thuật 3D Vision xác định độ sâu đối tượng bằng 2

camera điện tử

II- Nhiệm vụ và nội dung:

Nhiệm vụ: Thu hai ảnh từ hai camera, tìm những điểm tương ứng từ hai hình thu được,

dựng những điểm tương ứng đó thành điểm 3D Từ đó rút trích độ sâu đối tượng

III- Ngày giao nhiệm vụ: (Ngày bắt đầu thực hiện LV ghi trong QĐ giao đề tài)

IV- Ngày hoàn thành nhiệm vụ: 15 – 08 – 2015

V- Cán bộ hướng dẫn: (Ghi rõ học hàm, học vị, họ, tên)

Tiến sĩ: Lê Mạnh Hải

CÁN BỘ HƯỚNG DẪN KHOA QUẢN LÝ CHUYÊN NGÀNH

(Họ tên và chữ ký) (Họ tên và chữ ký)

LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi Các số liệu, kết quả nêu trong Luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác

Tôi xin cam đoan rằng mọi sự giúp đỡ cho việc thực hiện Luận văn này

đã được cảm ơn và các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc

Học viên thực hiện Luận văn

(Ký và ghi rõ họ tên)

Nguyễn Thành Giao

LỜI CẢM ƠN

Tôi xin gởi lời cảm ơn đến phòng sau đại học, các quý thầy cô của trường Đại Học Công Nghệ Tp HCM đã trang bị tri thức tạo điều kiện thuận lợi nhất trong suốt quá trình học tập và thực hiện luận văn này

Mặc dù đã hết sức nổ lực, song do thời gian và kinh nghiệm nghiên cứu khoa học có hạn chế nên không thể tránh khỏi những thiếu sót Em mong nhận được sự góp ý của các thầy cô và các bạn để luận văn được tốt hơn

Qua luân văn này em xin chân thành cám ơn: TS Lê Mạnh Hải đã tận tình giúp đỡ, động viên, định hướng, hướng dẫn em nghiên cứu hoàn thành luận văn này

Tp Hồ Chí Minh 09/2015 Người viết luận văn

Nguyễn Thành Giao

TÓM TẮT

Đo độ sâu đối tượng hay thị giác máy tính đã góp phần không nhỏ vào việc

hổ trợ con người trong việc quản lý từ xa, tiết kiệm cho chúng ta một số chi phí đáng kể Những ứng dụng của nó trong xã hội ngày nay như camera giám sát hành trình, camera dùng trong những hệ thống giữ xe thông minh, mắt robot…

Để tiếp nối những ứng dụng trên, đề tài này thực hiện ứng dụng tìm độ sâu đối tượng một bằng 2 camera điện tử Hệ thống này sẽ hỗ trợ con người trong việc xác định độ sâu đối tượng tự động thay vì bằng cách thủ công thông thường đặc biệt những nơi rất xa, hiểm trở con người rất khó tiếp xúc được

Mục đích luận văn này ngoài việc tính độ sâu đối tượng, còn giúp ta đi sâu vào lĩnh vực xử lý ảnh, đặc biệt là ứng dụng camera vào những ứng dụng thực tế

Kết quả thực nghiệm được phân tích để đánh giá tính chính xác của hệ thống trong các điều kiện kiểm thử khác nhau

ABSTRACT

Measure the depth of the object or computer vision has contributed significantly to the support people to manage remotely, saving us a significant cost The application of it in today's society, such as surveillance cameras journey, the camera used in intelligent parking systems, robotic eyes

To follow up the application on, the subject application implementation find objects an equal depth by two camera This system will assist people in determining the depth of the object automatically instead of manually common especially those far away, very difficult craggy human touch

The aim of this thesis in addition to depth object properties, and helps us to

go deeper into the field of image processing, particularly camera applications in the real application

The experimental results were analyzed to assess the accuracy of the systems

in the different test conditions

MỤC LỤC

CHƯƠNG 1: TỔNG QUAN VỀ ĐO ĐỘ SÂU

1.1 Các nghiên cứu cùng lĩnh vực 5

1.1.1 Cơ sở lý thuyết 5

1.1.2 Ứng dụng 6

1.2 Tổng quan về xử lý ảnh 8

1.2.1 Giới thiệu chung 8

1.2.2 Các giai đoạn của quá trình xử lý ảnh 9

1.3 Một số khái niệm liên quan 9

1.3.1 Phần tử ảnh 9

1.3.2 Mức xám 9

1.3.3 Ảnh 9

1.4 Phương pháp lọc nhiễu 11

1.4.1 Lọc trung bình(mean filter) 12

1.4.2 Lọc trung vị (Median Filter) 13

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ QUY TRÌNH ĐO ĐỘ SÂU 2.1 Tổng quan 15

2.2 Mô hình camera 16

2.2.1 Mô hình Pinhole camera 16

2.2.2 Tâm chiếu 16

2.2.3 Điểm chính 18

2.2.4 Xoay và dịch Camera 19

2.2.5 Ma trận hiệu chỉnh camera 20

2.3 Một số thuật toán dùng trong đo độ sâu 21

2.3.1 Hình học epipolar 21

2.3.2 Thuật toán 8 điểm 23

2.3.3 Thuật toán tam giác (Triangulation) 24

2.4 Quy trình xác định độ sâu 26

2.4.1 Mô hình c ủa hệ thống tìm độ sâu đối tượng 26

2.4.1.1 Calibration camera (tìm thông số bên trong camera) 26

2.4.1.2 Thu ảnh từ 2 camera 29

2.4.1.3 Tiền xử lý ảnh 30

2.4.2 Xác định những điểm 3D trên đối tượng 30

2.4.2.1 Tìm điểm tương ứng trên đối tượng 30

2.4.2.2 Tìm ma trận cơ bản 31

2.4.2.3 Dựng điểm 3D của đối tượng 34

2.4.3 Xác định độ sâu đối tượng 35

2.4.3.1 Tìm biên của đối tượng 35

2.4.3.2 Rút trích độ sâu đối tượng 37

CHƯƠNG 3: THỰC NGHIỆM 3.1 Mô hình thực hiện 39

3.2 Xác định thông số K 39

3.3 Kết quả thực nghiệm 40

CHƯƠNG 4: KẾT LUẬN 4.1 Kết luận 44

4.2 Đóng góp của luận 44

4.3 Giới hạn luận văn 44

4.4 Hướng phát triển 45

Bảng 3.1 Bảng kết quả thực thực nghiệm với khoảng cách 30cm

Bảng 3.2 Bảng kết quả thực thực nghiệm với khoảng cách 100cm

Hình 2.2 Mô hình hoạt động của pinhole camera

Hình 2.3 Mô hình tâm chiếu

Hình 2.4 Mô hình của xoay và dịch

Hình 2.5 Độ xiên của pixel

Hình 2.6 Mô hình của hình học epipolar

Hình 2.7 Mô hình thuật toán tam giác

Hình 2.8 Mô hình với 4 điểm tương đồng

Hình 2.9 Mô hình tìm độ sâu đối tượng

Hình 2.10 Bảng chessboards

Hình 2.11 Cấu trúc file xml tính thông số K1 (camera 1) Hình 2.12 Cấu trúc file xml tính thông số K2 (camera 2) Hình 2.13 Mô hình dựng điểm 3D

Hình 2.14 Mô tả camera bởi 2 tâm C và C’ và mặt phẳng ảnh, điểm

trong không gian X và 2 ảnh x và x’ trong cùng mặt phẳngHình 2.15 –

a) và b)

Mô tả điểm tương ứng và đường epipolar

Hình 2.16 Sự ánh xạ giữa điểm tương ứng để tìm ma trận cơ bản

Hình 2.17 Dựng điểm 3D

Hình 2.18 Xác định độ sâu đối tượng

Hình 2.19 Nội dung tập dữ liệu huấn luyện đã được open CV xây dựng Hình 2.20 Mô hình rút trích độ sâu

Hình 3.1 Mô hình 2 camera thực nghiệm

Hình 3.2 Hình chụp chess board để thực nghiệm

Hình 3.3 Kết quả thực nghiệm

Biểu đồ

Biểu đồ 3.1 Biểu đồ thể hiện kết quả đo được với khoảng cách 30 cm Biểu đồ 3.2 Biểu đồ thể hiện kết quả đo được với khoảng cách 100 cm Biểu đồ 3.3 So sánh kết quả của khoảng cách 30 cm và 100 cm

LỜI NÓI ĐẦU

Thị giác máy tính ngày nay hỗ trợ con người rất nhiều như: trong việc giám sát

từ xa, nhận dạng đối tượng, hỗ trợ đưa ra quyết định… Giúp con nguời tiết kiệm thời gian và chi phí Cùng với sự phát triển của khoa học kỹ thuật, ứng dụng của khoa học kỹ thuật ngày càng rộng rãi trong nhiều lĩnh vực, nhất là trong ứng dụng liên quan tới xử lý ảnh và những hệ thống thông minh

Không dừng lại ở đó, camera điện tử ra đời nó đáp ứng được nhu cầu thực tiễn cuộc sống giúp chúng ta quan sát và điều hành công việc từ xa

Với những ứng dụng ngày càng rộng rãi của hệ thống thông minh trong đó việc làm sau hạn chế tối đa sự ảnh hưởng của yếu tố môi trường ảnh hưởng tới độ chính xác của hệ thống là vấn đề đang rất được quan tâm Chính vì những lý do trên

em đã quyết định chọn đề tài “Xác định độ sâu đối tượng bằng 2 camera điện tử” Với mục đích tìm hiểu về xử lý ảnh và thị giác máy tính để tìm độ sâu đối tượng

TỔNG QUAN

Xác định độ sâu đối tượng nói riêng hay thị giác máy tính nói chung biến máy tính không chỉ dừng ở lại việc tính toán, truy cập internet, chơi game mà còn là cánh tay đắc lực hỗ trợ con người trong việc quan sát điều khiển từ xa… Ví

dụ bằng mắt thường không thể nào biết được chính xác chúng bao xa, khoảng cách

từ vật này đến vật kia là bao nhiêu, thậm chí chúng nặng bao nhiêu, vận tốc bao nhiêu Không dừng lại ở đó, bằng nhiều camera ta có thể biến một đối tượng từ 2D sang 3D từ đó chúng ta có thể biết được tọa độ của một đối tượng trong không gian

3 chiều

Xác định độ sâu đối tượng đã được nghiên cứu và ứng dụng rộng rải trên thế giới và có rất nhiều nghiên cứu được công bố trong đó R Hartley and A Zisserman[1] – phát hành năm 2004 trình bày về geometry of multiple views trong thị giác máy tính bằng từ hai hình, ba hình hay n hình 2D từ đó tìm ra được điểm trong không gian 3D

Dựa trên nền tảng đó một số hệ thống thông minh ra đời như: hệ thống stereo camera, hệ thống kinect Hoạt động của nó giống như hai mắt của con người nhưng ở đây là thay bằng hai camera số và hệ thống này tính toán được khoảng cách giữa các đối tượng, chuyển đổi đối tượng thu được thành đối tượng 3D

Hệ thống stereo này đòi hỏi hai camera phải đặt cố định và phải song song với nhau như thế thì khó quan sát được các vật ở xa và rất gần Khi có nhu cầu đặt hai camera ở xa thì rất khó canh chỉnh song song và đo khoảng cách giữa hai camera

Trong đề tài này nghiên cứu và cải tiến những nhược điểm trên như hai camera không cần đặt song song và không cần đo khoảng cách giữa hai camera, nhưng làm sao hai camera phải cùng hướng vào đối tượng là có thể tính độ sâu của đối tượng đó

Với đề tài này tìm hiểu nghiên cứu để làm sao có thể xử lý được các hạn chế trên để nhằm góp phần vào phát triển ứng dụng khoa học kỹ thuật Ngành thị giác máy tính đã và đang ứng dụng trong các lĩnh vực sau:

+ Điều kiển tự động (dây chuyền sản xuất, robot…)

+ Hệ thống giám sát (an ninh, chống cháy…)

+ Hệ thống nhận diện, theo dõi (nhận diện khuôn mặt, theo dõi hoạt động) + Dùng trong quân sự (hệ thống phòng không, đưa ra tọa độ đối tượng cần

Luận văn gồm 5 chương với nội dung như sau:

Chương 1: Tổng quan về đo độ sâu

Trong chương này trình bày các nghiên cứu cùng lĩnh vực và các nghiên cứu liên quan đến luận văn này Trình bày các công trình nghiên cứu đang có và tồn tại những khuyến điểm đang cần giải quyết

Chương 2: Cơ sở lý thuyết và quy trình xác định độ sâu đối tượng

Trình bày tổng quan về mô hình camera và hình học phép chiếu Mô hình này là tiền đề được dùng trong xử lý ảnh Trình bày các kỹ thuật và thuật toán điển hình dùng để xác định độ sâu đối tượng đặt biệt là hình học epipolar là tiền đề để dựng đối tượng từ 2 D sang đối 3D trong không gian 3 chiều

Trình bày trình tự các bước để xác định độ sâu đối tượng, từ xây dựng mô hình đến thuật toán bằng mã giả để tính độ sâu đối tượng

CHƯƠNG 1 TỔNG QUAN VỀ ĐO ĐỘ SÂU 1.1 Các nghiên cứu cùng lĩnh vực

1.1.1 Cơ sở lý thuyết

Xác định độ sâu đối tượng có rất nhiều bài báo công trình nghiên cứu đã công

bố, ở đây trình bày một số bày báo tiêu biểu là tiền đề trong thị giác máy tính, xử lý ảnh

Trước tiên nói đến đó là R Hartley và A Zisserman[1] – phát hành năm 2004 trình bày về cơ sở hình học trong nhiều ảnh và cụ thể là từ 2 hình, 3 hình hay n hình 2D từ đó tìm ra được điểm trong không gian 3D hay là dựng một đối tượng từ 2D sang 3D trong không gian 3 chiều

Richard Szeliski [2] với thuật toán và ứng dụng trong thị giác máy tính quyển sách này trình bày khá chi tiết về những thuật toán và ứng dụng trong xử lý ảnh và thị giác máy tính

Hình 1.1 Các nghiên cứu liên quan [2]

Bài báo của Atonio torralba và Aude Oliva [4] trình bày về tính độ sâu đối tượng

từ cấu trúc ảnh công bố tháng 9 năm 2002 Bài báo này trình bày về xác định độ sâu đối tượng bằng cấu trúc của ảnh mà không đòi hỏi cấu trúc điểm 3D của đối tượng cần tính độ sâu

Bài báo của Ashraf Anwar Fahmy [5] xác định độ định độ sâu đối tượng bằng stereo vision và Uncalibrated Rectification công bố tháng 4 năm 2013 Trong bài báo này tác giả trình bày về độ sâu đối tượng dùng kỹ thuật stereo và cơ sở để thực hiện là hình học phép chiếu Tìm những điểm tương ứng trên hai hình và dựng điểm 3D trên đối tượng Vấn đề chưa tốt của xác định độ sâu trong bài báo này là xác định điểm tương ứng trên hai hình

1.1.2 Ứng dụng

Về mặt ứng dụng thì có một số ứng dụng được phát triển bởi thị giác máy tính và thông dụng với người dùng hiện nay như: Hệ thống Kinect, Hệ thống stereo camera…Những hệ thống này đều dùng 2 camera để xử lý

Hệ thống Kinect là thiết thị cảm ứng ngoại vị thu chuyển động trực tiếp và xử lý 3D đối tượng Trong lĩnh vực game thì người chơi game có thể điều khiển và tương tác với máy mà không cần tay cầm điều khiển mà dùng bằng cử chỉ hành động như hình 1.2 bên dưới

Hình 1.2 Hệ thống Kinect

Hệ thống stereo camera là thiết bị thu ảnh 3D hoặc thu phim 3D Về cơ bản, stereo camera giống như máy ảnh hoặc máy quay phim chuyên dụng khác nhưng có

2 camera mắc song song như hình 1.3 bên dưới Hai camera của một stereo được sử dụng để lấy hai hình ảnh trong một ảnh 3D

Hình 1.3 Hệ thống stereo camera

Hoạt động của stereo camera là các chi tiết được thu vào hai tấm ảnh qua hai ống kính của camera cùng một lúc Hình 1.4 bên dưới thể hiện hoạt động của một stereo camera

Như vậy trong lĩnh vực thị giác máy tính đã giải quyết nhiều vấn đề trong thực tiễn cuộc sống Nhưng với bài toán xác định độ sâu đối tượng với đối tượng đang chuyển động với vận tốc cao, hay vật ở rất xa là bài toán đang được quan tâm Luận văn này nghiên cứu về đo độ sâu đối tượng với 2 camera bất đồng bộ nhằm góp phần vào giải quyết vấn đề đang quan tâm là độ chính xác của việc đo độ sâu đối tượng

Hình 1.4 Hoạt động của camera

1.2 Tổng quan về xử lý ảnh

1.2.1 Giới thiệu chung

Nhận dạng và xử lý ảnh là một trong những lĩnh vực có nhiều ứng dụng trong thực tiễn như: hệ thống tin địa lý, quân sự, y học…

Cụ thể xử lý ảnh có rất nhiều ứng dụng như:

- Làm nổi các ảnh trong y học

- Khôi phục lại các ảnh do tác động của môi trường

- Ứng dụng trong hệ thống thông minh

A: Điểm ảnh của đối tượng Z: Độ sâu của đối tượng X1,X2: 2 điểm ảnh tương ứng

trên 2 hình trái và phải

f: Tiêu cự camera C1,C2: Tâm 2 camera b: Khoảng cách 2 camera

1.2.2 Các giai đoạn của quá trình xử lý ảnh

Nhận dạng và xử lý ảnh bao gồm các giai đoạn chính:

o Giai đoạn biến đổi ảnh hay làm đẹp ảnh: Trong giai đoạn này ảnh của đối tượng trong tự nhiên được thu lại thành ảnh số (số hóa để lưu trữ và

và xử lý trong máy tính) Sau đó ảnh được biến đổi để nâng cao chất lượng ảnh nhằm thu được nhiều thông tin hơn, có thể quan sát bằng mắt

o Giai đoạn nhận dạng mẫu: Hệ thống sẽ xử lý để đưa ra các đặc trưng của ảnh hay các đối tượng trong ảnh Sau đó hệ thống sẽ đánh giá nội dung ảnh hoặc nhận biết các mẫu trong ảnh

1.3 Một số khái niệm liên quan

1.3.1 Phần tử ảnh

Ảnh trong tự nhiên là những tín hiệu liên tục về không gian và giá trị độ sáng Để có thể lưu trữ và biểu diễn ảnh bằng máy tính, con người phải tiến hành biến đổi các tín hiệu liên tục đó thành một số hữu hạn các tín hiệu rời rạc thông qua quá trình lượng tử hóa và lấy mẫu thành phần giá trị độ sáng

Một phần tử ảnh: Là một giá trị biểu diễn cho mức xám hay cường độ ảnh tại một vị trí sau khi đã biến đổi ảnh thành một số hữu hạn các tín hiệu rời rạc

1.3.2 Mức xám

Là kết quả của sự biến đổi tương ứng giá trị độ sáng của một điểm ảnh với một giá trị số nguyên dương Tùy thuộc vào số giá trị biểu diễn mức xám mà mỗi điểm ảnh sẽ được biểu diễn trên 1, 4, 8, 24 hay 32 bit Số lượng bit biểu diễn mức xám càng lớn thì chất lượng ảnh càng cao sẽ tốn dung lượng bộ nhớ nhiều hơn để lưu trữ và cần một hệ thống mạnh hơn để xử lý

1.3.3 Ảnh

Là một tập hợp hữu hạn các điểm ảnh kề nhau Ảnh thường được biểu diễn bằng một ma trận hai chiều, mỗi phần tử của ma trận tương ứng với một điểm ảnh

Ảnh nhị phân (đen trắng): Là ảnh có giá trị được biểu diễn bằng 1 bit (giá

trị 0 hoặc 1)

Ví dụ biểu diễn ảnh nhị phân:

Bảng 1.1 Biểu diễn ảnh nhị phân

Ảnh màu: Thông thường, ảnh màu được tạo nên từ 3 ảnh xám đối với màu

đỏ (RED), xánh lá cây (Green), xanh lam (blue) Tất cả các màu trong tự nhiên đều

có thể được tổng hợp từ 3 thành phần màu trên theo các tỷ lệ khác nhau

Ví dụ về biểu diễn ảnh màu

Ma trận biểu thức mức xám của thành phần Red:

Bảng 1.3 Biểu diễn mức xám của thành phần Red

sẽ giúp cho các công đoạn sau tiến hành được dễ dàng hơn

Có nhiều loại nhiễu khác nhau (nhiễu sạn, nhiễu cộng, nhiễu nhân…) và cũng có nhiều phương pháp lọc nhiễu khác nhau Tuy nhiên, từng loại nhiễu mà chúng ta sử

dụng phương pháp lọc nhiễu nào cho phù hợp vì không phải một phương pháp có thể lọc được hết tất cả các loại nhiễu Ví dụ, có phương pháp lọc tốt đối với loại nhiễu sạn nhưng lại không có đối với những vùng nhiễu rộng, lớn

Hiện nay có rất nhiều phương pháp lọc nhiễu, dưới đây là một số phương pháp lọc nhiễu phổ biến như:

- Lọc trung bình

- Lọc trung vị 1.4.1 Lọc trung bình(mean filter)

Cho dãy x1, x2, … xn khi đó trung bình của dãy ký hiệu AV x( n )được định nghĩa

1.4.2 Lọc trung vị (Median Filter)

Cho dãy x1, x2, … xn đơn điệu tăng (giảm) Khi đó trung vị của dãy ký hiệu là

Giả sử ta có ảnh I ngưỡng  cửa sổ W(P) và điểm ảnh P

Khi đó kỹ thuật lọc trung vị phụ thuộc không gian bao gồm các bước cơ bản sau

- Tìm trung vị

I q q( ) | w( )P Med P( )

- Gán giá trị

( ) | ( ) ( )( )

Hình 2.1 Mô hình camera [6]

Khoảng cách từ điểm đến mặt phẳng ảnh chính là độ dài tiêu cự Điều này được thấy trong hình trên: f chính là focal length, Z là khoảng cách từ camera đến đối tượng, X là chiều dài đối tượng, x là ảnh của đối tượng trên mặt phẳng ảnh

2.2 Mô hình camera

2.2.1 Mô hình Pinhole camera

Hình 2.2 Mô hình hoạt động của pinhole camera[6]

Duới mô hình pinhole camera, một điểm trong không gian với tọa độ

( , , )T

C  X Y Z ánh xạ tới điểm trên mặt phẳng ảnh nơi một đường nối các điểm C tới tâm chiếu hợp tại mặt phẳng ảnh Điều này thể hiện ở hình trên, chúng ta có thể tính được điểm ( , , ) X Y Z Tlà ánh xạ tới điểm ( fX Z fY Z f / , / , )Ttrên mặt phẳng ảnh Để đơn giản ta có thể tóm gọn như sau [1]

( , , ) X Y Z T ( fX Z fY Z / , / )T (2.1) Tâm của hình chiếu gọi là tâm camera Nó được biết như là tâm thị giác Các đường thẳng từ tâm camera vuông góc với mặt phẳng ảnh gọi là trục chính của camera, và các điểm mà tại trục chính này giao tại mặt phẳng ảnh thì gọi là điểm ảnh chính Các mặt phẳng đi qua tâm camera song song với mặt phẳng ảnh gọi là mặt phẳng chính

2.2.2 Tâm chiếu

Nếu các điểm ảnh được biểu diễn bằng vector thuần nhất, thì tâm chiếu rất đơn giản

là thể hiện như một ánh xạ tuyến tính giữa các tọa độ đồng nhất của chúng Từ (2.1) trên ta có thể biểu diễn bằng ma trận nhân như sau [1]:

(2.4)

Hình 2.3 Mô hình tâm chiếu

Hình 2.3 thể hiện hiện hệ thống tọa độ của ảnh (x y, ) và camera (xcam, ycam)

 

( , ,1) | 0

Pdiag f f I