Xây dựng phần mềm đo cặp ảnh mô hình đơn

Tuy nhiên giá thành các phần mềm này tương đối đắt, việc sử dụng phần mềm đòi hỏi người dùng phải có kiến thức khá sâu về chuyên ngànhbởi trong quy trình xử lý, việc trích chọn các điểm

MỤC LỤC

MỞ ĐẦU 2

CHƯƠNG I : CƠ SỞ LÝ THUYẾT ĐO ẢNH 4

1.1 Các khái niệm cơ bản 5

1.2 Định hướng trong 9

1.2.1 Hệ tọa độ pixel và hệ tọa độ ảnh 10

1.3 Các mô hình biến dạng 13

1.4 Quy trình đo cặp ảnh mô hình đơn 15

1.4.1 Đo các mấu ảnh 16

1.4.2 Xác định tâm ảnh 17

1.4.3 Đo ảnh 18

CHƯƠNG II : CÁC PHƯƠNG PHÁP KHỚP ẢNH SỐ 19

2.1.Trích chọn đặc trưng 19

2.1.1 Toán tử Moravec 25

2.1.2 Toán tử Haris/Plessey 26

2.1.3 Toán tử Forstner 31

2.1.4 SIFT – Scale Invariant Feature Transform của David Lowe 33

2.1.5 Đánh giá chung 36

2.2 Khớp ảnh theo vùng giá trị độ xám 37

2.2.1 Khớp đối sánh tương quan (Normalized Cross Correlation ) 39

2.2.2 Khớp bình phương nhỏ nhất 40

2.3 Khớp theo đặc trưng 45

2.3.1 Khớp hai tập đặc trưng điểm 45

CHƯƠNG III: XÂY DỰNG CHƯƠNG TRÌNH 52

ĐO CẶP ẢNH MÔ HÌNH ĐƠN 52

3.1 Lựa chọn mô hình khớp ảnh hàng không 52

3.1.1 Đánh giá 52

3.1.2 Kết luận 53

3.2 Thiết kế thuật toán khớp tự động 54

3.2.1 Khớp trên ảnh gốc 54

3.2.2 Khớp sử dụng tháp ảnh Gauss 56

3.3 Đo cặp ảnh mô hình đơn 58

3.4 Xây dựng chương trình 59

3.4.1 Thiết kế chương trình 59

3.4.2 Giới thiệu chương trình 61

3.4.3 Hình ảnh kết quả chương trình đạt được 63

KẾT LUẬN VÀ KIẾN NGHỊ 72

TÀI LIỆU THAM KHẢO 73

MỞ ĐẦU

Ngày nay ảnh hàng không và ảnh vệ tinh ngày càng được ứng dụng rộng rãitrong các lĩnh vực kinh tế, xã hội, nghiên cứu khoa học, đặc biệt trong công tácthiết kế thành lập bản đồ Với sự ra đời công nghệ kĩ thuật số, khái niệm bản đồ số

đã trở nên quen thuộc, ảnh chụp kỹ thuật số đã dần thay thế cho ảnh phim truyềnthống và trở thành đầu vào trực tiếp cho quy trình thành lập bản đồ số Đó chính làcác ảnh thu được từ bay chụp hàng không và vệ tinh

Hiện nay trên thế giới có rất nhiều các hãng phần mềm nổi tiếng cung cấpcác phần mềm chuyên dụng về phân tích, xử lý, đo vẽ ảnh hàng không, ảnh viễnthám, xây dựng cơ sở dữ liệu bản đồ số… như ARCGIS (ESRI); Mapping Office,Microstation (INTERGRAPH); Envi (Research System Inc); Mapinfo, MapExtrem( MapInfo), ImageStation™ của Z/I Imaging, Match-T và Match-AT của Inpho,Phodis của Zeiss Ở Việt Nam, các phần mềm này đã và đang được khai thác, sửdụng trong lĩnh vực thành lập bản đồ nói riêng và trong các lĩnh vực phát triển kinh

tế, quân sự nói chung Tuy nhiên giá thành các phần mềm này tương đối đắt, việc

sử dụng phần mềm đòi hỏi người dùng phải có kiến thức khá sâu về chuyên ngànhbởi trong quy trình xử lý, việc trích chọn các điểm đặc trưng nhằm phục vụ choviệc xác định các điểm khống chế trên ảnh chụp từ vệ tinh hay ảnh hàng không,việc định hướng ảnh cũng như nắn, khớp ảnh trong quy trình sản xuất dữ liệu bản

đồ vẫn còn thực hiện theo phương pháp thủ công do đó mất nhiều công sức và thờigian

Đo ảnh là một phương pháp khoa học xác định các kích thước hình học, tọa

độ của đối tượng trên hoặc gần bề mặt trái đất dựa trên các cặp ảnh chụp từ trênkhông hoặc trên mặt đất

Ứng dụng đo ảnh để xây dựng mô hình số địa hình và bản đồ địa hình làphương pháp hiệu quả và kinh tế so với các phương pháp đo đạc mặt đất Cùng với

phương pháp viễn thám nó được xem là duy nhất đối với việc nghiên cứu nhữngkhu vực mà con người không tiếp cận được Ngoài ra đo ảnh còn được ứng dụngtrong quân sự để xác định vị trí đóng quân, hướng hành quân của đối phương.

Vấn đề đặt ra cần phải xây dựng ứng dụng đo ảnh đảm bảo độ chính xác, tiết

kiệm thời gian và dễ dàng sử dụng Xuất phát từ ý tưởng này tôi đã chọn đề tài “ Xây dựng phần mềm đo cặp ảnh mô hình đơn” Mục tiêu của đề tài là xây dựng

thành công ứng dụng đo cặp ảnh mô hình đơn

Bố cục của đề tài:

- Chương I với tiêu đề Cơ sở lý thuyết đo ảnh đơn sẽ giới thiệu về các khái

niệm trong đo ảnh

- Chương II với tiêu đề Các phương pháp khớp ảnh số sẽ giới thiệu các

phương pháp trích chọn đặc trưng và khớp ảnh số

- Chương III với tiêu đề Xây dựng chương trình đo cặp ảnh mô hình đơn

sẽ trình bày công việc xây dựng chương trình

-Kết luận và kiến nghị.

Trong quá trình nghiên cứu đề tài, bản thân tôi đã nhận được sự hướng dẫnnhiệt tình của thầy giáo bộ môn trắc địa bản đồ Tôi xin gửi lời cảm ơn chân thànhtới thầy vì những giúp đỡ tận tình trên

Người thực hiện

CHƯƠNG I : CƠ SỞ LÝ THUYẾT ĐO ẢNH

Bay chụp ảnh hàng không kết hợp đo vẽ ảnh là một trong những giải pháp tối

ưu cho bài toán xây dựng bản đồ địa hình hay địa hình 3D tỷ lệ lớn trên diện rộngmột khu vực bề mặt cụ thể nào đó, đặc biệt ở những nơi mà con người khó tiếp cậnnhư: đồi núi, biên giới, núi lửa hay bề mặt hành tinh khác

Trước khi triển khai bay chụp công tác lập phương án kỹ thuật được tiếnhành dựa trên thông số kỹ thuật của hệ thống bay chụp như: loại máy bay, loại máyảnh – máy ảnh phim hay máy ảnh số, có tích hợp bộ định vị quán tính(IMU) xácđịnh tọa độ tâm ảnh hay không, khoảng cách tiêu cự, góc mở của máy chụp ảnh,kích thước phim hay kích thước bộ cảm biến thu ảnh số

Các tham số của địa hình như: Độ cao trung bình khu vực bay chụp, số điểmkhống chế có sẵn trên thực địa ; Thông số thời tiết; Tỷ lệ bản đồ cần thành lập.Phương án kỹ thuật được tính toán sao cho chi phí sản xuất thấp mà vẫn thỏa mãncác yêu cầu về độ chính xác Các ảnh chụp được bố trí thành khối theo các dải

Các ảnh có độ phủ chồng xếp nhau để tạo hiệu ứng lập thể giữa những ảnhnối tiếp nhau và giữa các dải ảnh Sau bay chụp các ảnh sẽ được xử lý nội nghiệptrên các trạm đo vẽ ảnh: Các máy tính chuyên dụng được trang bị phần mềm xử lý

và đo vẽ ảnh số kết hợp điều khiển chuột chuyên dụng, kính nhìn lập thể 3D, mànhình phân cực

1.1 Các khái niệm cơ bản

 Khái niệm ảnh đo

Các ảnh được dùng vào mục đích đo đạc được gọi là ảnh đo Ảnh đo là hình ảnhthu được của các đối tượng đo theo nguyên lý phép chiếu xuyên tâm Ảnh đo lànguồn gốc thông tin gốc của đối tượng đo phục vụ cho quá trình đo đạc trongphương pháp đo ảnh

Tuy nhiên khái niệm này chỉ có ý nghĩa hình học đơn thuần Trên thực tế, ảnh

đo là kết quả tổng hợp của quá trình tạo hình quang học (qua một hệ thống thấukính chất lượng cao) hoặc quá trình quét ảnh điện-từ và được ghi nhận lại trên vậtliệu ảnh (phim mềm hoặc phim cứng) theo nguyên lý cơ bản của phép chiếu xuyêntâm

Vì vậy ảnh đo mang những tính chất cơ bản sau:

- Nội dung của ảnh đo phản ánh trung thực các chi tiết bề mặt của đối tượng(như địa hình địa vật trên mặt đất) nhưng chưa thể hiện đúng và đầy đủ theoyêu cầu của nội dung bản đồ Trong khái niệm của thông tin học, ảnh đo lànguồn thông tin cơ bản của đối tượng đo thu nhận được trong thời điểm chụpảnh Chúng sẽ được khai thác tùy theo mục đích khác nhau trong quá trình

xử lý sau này

- Mức độ chi tiết và khả năng đo đạc của ảnh đo phụ thuộc vào điều kiện vàphương thức chụp ảnh như: điều kiện khớ tượng, thiết bị chụp ảnh,vật liệuảnh, kỹ thuật chụp ảnh,…

- Ảnh đo chỉ là nguồn thụng tin ban đầu nờn khụng thể trực tiếp sử dụng nhưnhững kết quả đo khỏc vỡ:

 Quan hệ tọa độ giữa cỏc điểm trờn ảnh và cỏc điểm tương ứng trờn mặtđất là quan hệ phối cảnh của phộp chiếu xuyờn tõm, chứ khụng phảiquan hệ chiếu thẳng như bản đồ

 Tỷ lệ của cỏc hỡnh ảnh trờn ảnh khụng thống nhất như trờn bản đồ, dođặc điểm của quỏ trỡnh chụp ảnh (ảnh nghiờng và địa hỡnh lồi lừm)

 Cỏc hỡnh ảnh trờn ảnh khụng chớnh xỏc về vị trớ và bị biến dạng donhiều nguyờn nhõn gõy ra (quy luật chiếu hỡnh, vị trớ ảnh chụp, …)

Vỡ vậy, muốn sử dụng ảnh đo cho cỏc mục đớch đo đạc, trước hết cần nghiờncứu cỏc quy luật tạo hỡnh về hỡnh học, quang học và húa học của ảnh đo

Mặt đất G

 Các yếu tố hình học cơ bản của ảnh đo

- Mặt phẳng E gọi là mặt phẳng vật

- Mặt P gọi là mặt phẳng ảnh Trong trường hợp chung, mặt P có một

góc nghiêng bất kỳ ỏ đối với mặt phẳng vật E góc ỏ gọi là gócnghiêng của ảnh

- Điểm S gọi là tâm chụp hay tâm chiếu Vị trí của S đối với mặt P được

xác định theo tiêu cự của máy chụp ảnh sao cho thỏa mãn điều kiện :

- Giao tuyến giữa mặt phẳng ảnh P với mặt phẳng vật E được gọi là

đường nằm ngang hay gọi là trục chụp TT

- Từ tâm chụp S kẻ đường vuông góc xuống mặt phẳng ảnh P và giao

điểm của chúng được gọi là điểm chính ảnh o So được gọi là tia sáng chính

- Từ tâm chụp S kẻ đường vuông góc SN xuống mặt phẳng vật E và

giao điểm của nó với mặt phẳng ảnh được gọi là điểm đáy ảnh n

- Trong mặt phẳng W từ tâm chụp S kẻ đường phân giác của góc oSn

( oSn=α), giao điểm của nó với mặt P được gọi là α), giao điểm của nó với mặt P được gọi là ), giao điểm của nó với mặt P được gọi là điểm đẳng giác c

- Trong mặt W từ tâm chụp S kẻ đường song song với mặt phẳng E,

giao điểm của nó với mặt P được gọi là điểm tụ chính I

- Trong mặt phẳng ảnh P qua I kẻ đường song song với đường nằm

ngang TT sẽ có đường chân trời h i h i .

- Trong mặt phẳng ảnh P qua điểm chính ảnh o kẻ đường song song với

đường nằm ngang TT sẽ có đường nằm ngang chính h o h o .

- Cũng trong mặt phẳng ảnh P qua điểm đẳng giác c kẻ đường thẳng

song song với trục chụp TT sẽ có đường đẳng tỷ lệ h c h c .

- Khoảng cách từ tâm chụp S đến mặt phẳng vật E theo đường dây dọi

được gọi là độ cao chụp ảnh: SN=α), giao điểm của nó với mặt P được gọi là H

H1.2 Các yếu tố hình học cơ bản của ảnh đo

H

v

nc

o

vN

C

V

( α/2) fk

ho

ho hi hi

 Thuộc tính hình học ảnh số

Kích thước và hình dạng những phần tử ảnh là những thuộc tính hình học cơbản một ảnh số Kích thước pixel (hoặc độ phân giải) là một trong những nhân tốảnh hưởng đến độ chính xác các phép đo

Trước hết, để có thể đoán nhận một đối tượng trên ảnh, đối tượng phải baotrùm lên 2-3 pixel Để có được cái nhìn tổng quan xem cần độ chi tiết đến mức nào

để có thể đoán nhận ảnh, khoảng cách lấy mẫu theo thực địa (ground sampledistance - gsd) được tính toán Chính bằng kích thước mặt đất của pixel và có thểđược tính bằng cách nhân kích thước pixel với tỷ lệ ảnh Những thí nghiệm chothấy rằng độ chính xác khoảng 1/2 - 1/3 pixel là có thể được đạt được với phép đobằng tay Phép đo tự động các điểm khống chế được đánh dấu trên thực địa là 1/5pixel Trong những ứng dụng gần đây nhất, độ chính xác đạt tới 1/1000 pixel đượcnhắc đến, phụ thuộc vào mục đích và kỹ thuật được áp dụng

Hình dạng pixel là một tham số khác đóng vai trò trong các phép tính toánvới một ảnh số Hình vuông là dạng thường sử dụng cho lưới ảnh Pixel hình chữnhật được biến tấu từ pixel hình vuông bằng việc mô tả tỷ lệ cạnh - đó là tỷ lệ giữachiều rộng pixel và chiều dài pixel Các sensor với mắt lưới lục giác cũng tồn tạinhưng không được dùng trong máy chụp ảnh hàng không hoặc các máy quét phục

vụ đo ảnh

Kích thước pixel cùng với độ phân giải hình học quyết định số lượng dữ liệuchứa đựng trên ảnh Ảnh lớn có thể làm chậm lại các quá trình xử lý

1.2 Định hướng trong

Trong ảnh đo các tham số định hướng trong (tọa độ điểm chính ảnh, tiêu cự

và méo hình kính vật), tham số định hướng ngoài (tọa độ mặt đất điểm tâm ảnh vàcác góc xoay ảnh) phải được tính toán trước khi sử dụng ảnh cho những việc như

đo vẽ bản đồ hoặc tạo ảnh trực giao

1.2.1 Hệ tọa độ pixel và hệ tọa độ ảnh

Hệ tọa độ pixel (Op xpyp) là hệ tọa độ vuông góc trong đó gốc của hệ đượcđặt ở góc trái trên của ảnh và đơn vị là pixel

Hệ tọa độ ảnh (Oxy) là hệ tọa độ vuông góc mà thông thường có gốc tạiđiểm chính ảnh và đơn vị là mm hoặc m

Mối quan hệ giữa hệ tọa độ pixel và hệ tọa độ ảnh được biểu diễn theo hìnhsau:

H1.4 Quan hệ giữa tọa độ ảnh và tọa độ pixel

 Chuyển đổi giữa hệ tọa độ pixel sang hệ tọa độ ảnh và ngược lại

Trên ma trận ảnh số, loại toạ độ đầu tiên có thể đo được chính là toạ độ trong

hệ pixel, hay gọi tắt là toạ độ pixel Hệ toạ độ này có điểm gốc nằm ở góc trêntrái của ảnh, đơn vị là pixel Hệ toạ độ này không thể sử dụng trong các bài toánchuyển đổi sang hệ toạ độ mặt đất, cần phải chuyển về hệ toạ độ mm có gốcnằm ở điểm chính ảnh, trong lý lịch máy ảnh đây là điểm PPA (Principle Point

of Auto Collimation)

H1.5 Hệ tọa độ pixel và hệ tọa độ ảnh (máy ảnh RC-30)

- Bài toán chuyển hệ tọa độ ảnh sang hệ tọa độ pixel

xp =α), giao điểm của nó với mặt P được gọi là a0’ + a1’*(x-xo) + a2’*(y-yo)

yp =α), giao điểm của nó với mặt P được gọi là b0’ + b1’*(x-xo) + b2’*(y-yo)

- Bài toán chuyển đổi hệ tọa độ pixel sang hệ tọa độ ảnh (dựa trên mô hìnhphép biến đổi affine bậc 1)

x =α), giao điểm của nó với mặt P được gọi là xo + a0 + a1*xp + a2*yp

y =α), giao điểm của nó với mặt P được gọi là yo + b0 + b1*xp + b2*yp

Trong đó: x, y………… toạ độ ảnh trong hệ đo ảnh

x o ,y o …………toạ độ điểm chính ảnh.

x p , y p ………….toạ độ ảnh trong hệ pixel.

a 0 , b 0 ……… các tham số dịch chuyển.

a 1 , a 2 , b 1 , b 2 … các hệ số của ma trận biến đổi.

Áp dụng bài toán bình sai gián tiếp, với các giá trị gần đúng a0 =α), giao điểm của nó với mặt P được gọi là b0 =α), giao điểm của nó với mặt P được gọi là a1

=α), giao điểm của nó với mặt P được gọi là a2 =α), giao điểm của nó với mặt P được gọi là b1 =α), giao điểm của nó với mặt P được gọi là b2 =α), giao điểm của nó với mặt P được gọi là 0, tại mỗi điểm mấu khung i (i=α), giao điểm của nó với mặt P được gọi là 18), ta lập được 2phương trình số hiệu chỉnh:

vxi =α), giao điểm của nó với mặt P được gọi là dao + xpi*da1 + ypi*da2 + lxi

vyi =α), giao điểm của nó với mặt P được gọi là dbo + xpi*db1 + ypi*db2 + ly

( 1.1)

(1.2)

(1.3)

Trong đó:

lxi =α), giao điểm của nó với mặt P được gọi là xo - xi

lyi =α), giao điểm của nó với mặt P được gọi là yo - yi

XT (1x6) =α), giao điểm của nó với mặt P được gọi là (dao da1 da2 dbo db1 db2)

LT (1x16) =α), giao điểm của nó với mặt P được gọi là (lx1 ly1 … lx8 ly8)

A(16x6) =α), giao điểm của nó với mặt P được gọi là

Giải hệ phương trình chuẩn:

X =α), giao điểm của nó với mặt P được gọi là -N-1 M (1.8)

Ta thu được 6 thông số định hướng trong a0, b0, a1, a2, b1, b2

1.3 Các mô hình biến dạng

Quá trình bay chụp thì ống kính của máy chụp thường gây ra cho bức ảnhnhững biến dạng Các biến dạng này sẽ gây ảnh hưởng đến ánh xạ bản đồ cũng nhưcác quá trình hiệu chỉnh ảnh Tuy nhiên những biến dạng về ống kính có thể hiệuchỉnh bằng việc áp dụng thuật toán phù hợp cho tấm ảnh số

Biến dạng này là không thể tránh khỏi vì quá trình chụp ảnh ở trên độ cao nhấtđịnh chính vì vậy góc rộng ống kính khá lớn điều này khiến cho các biến dạng cũngảnh hưởng đáng kể tới bức ảnh chụp

Biến dạng ống kính có thể chia làm hai loại:

- Biến dạng xuyên tâm

- Biến dạng tiếp tuyến

Biến dạng xuyên tâm được biết đến như là kết quả phát sinh do ống kính trongkhi đó biến dạng tiếp tuyến được phát sinh từ quá trình lắp ráp máy ảnh Chính vìvậy biến dạng tiếp tuyến thường không được đưa vào trong tính toán hiệu chỉnhbiến dạng

Chúng ta bắt đầu với biến dạng xuyên tâm Ảnh chụp từ các ống kính của máyảnh thường làm sai lệch vị trí của các pixel ở xa tâm ảnh Chính vì vậy sẽ gây racho tấm ảnh hiệu ứng “phồng” hoăc “lõm” như trong hình minh họa:

H1.6 Minh họa biến dạng ống kính

Nguyên nhân của biến dạng xuyên tâm đó chính là quá trình thu nhận hìnhảnh trên mặt phẳng ảnh những tia xa tâm ống kính bị bẻ cong hơn so với những tiagần ống kính

H1.7 Minh họa ảnh đối tượng qua ống kính máy ảnh

Đối với biến dạng xuyên tâm thì có biến dạng bằng 0 tại tâm ảnh và tăng dầnkhi ta di chuyển về biên ảnh Trong thực tế biến dạng này là biến dạng nhỏ việckhai triển chuỗi Taylor quanh bán kính r có thể tới bậc 3 là đủ

Ta có vị trí xuyên tâm của đối tượng được mô tả theo phương trình:

xcorrected =α), giao điểm của nó với mặt P được gọi là x(1 + k1r + k2r2 + k3r3)

ycorrected =α), giao điểm của nó với mặt P được gọi là y(1 + k1r + k2r2 + k3r3)hoặc:

xcorrected =α), giao điểm của nó với mặt P được gọi là x(1 + k1r2 + k2r4 + k3r6)

ycorrected =α), giao điểm của nó với mặt P được gọi là y(1 + k1r2 + k2r4 + k3r6)

(1.9)

(1.10)

Còn đối với biến dạng tiếp tuyến là biến dạng lớn gây ra do nhà sản xuất ốngkính không song song với mặt phẳng ảnh Phương trình biến dạng tiếp tuyến đượcbiểu thị bằng việc thêm vào hai tham số p1 và p2:

xcorrected =α), giao điểm của nó với mặt P được gọi là x + (2p1y + p2(r2 + 2x2) )

ycorrected =α), giao điểm của nó với mặt P được gọi là y + (2p2x + p1(r2 + 2y2))

1.4 Quy trình đo cặp ảnh mô hình đơn

H1.8 Quy trình đo cặp ảnh mô hình đơn

(1.11)

1.4.1 Đo các mấu ảnh

Công việc đầu tiên cần tiến hành trong quy trình đo cặp ảnh mô hình đơn đóchính là đo các mấu ảnh Để giải quyết được vấn đề này thì có 2 phương phápthường được sử dụng đó chính là phương pháp thủ công và phương pháp tự động

- Đối với phương pháp thủ công thì kỹ thuật viên sẽ trình tự trích các mấuảnh trên 2 ảnh

- Đối với phương pháp tự động thì dựa vào mẫu của mấu ảnh thì chươngtrình sẽ tự động dò tìm ra các mấu ảnh

Với các máy ảnh quang học chụp phim trên mặt phẳng đặt phim ảnh có khắccác mấu chuẩn(Fiducial marks) Các mấu chuẩn này được thiết kế sao cho giao củachúng tạo với tia đi qua tâm chụp một góc 90 độ Nói cách khác tâm ảnh chính làgiao của các mấu chuẩn Xác định tâm ảnh là một bước bẳt buộc để làm cơ sở tínhtoán các tọa độ của các điểm đo trên ảnh Với mỗi loại máy ảnh thì các mấu chuẩnnày có hình dạng đặc thù riêng

H1.9 Hình minh họa mấu ảnh

Ta có phương trình đường thẳng có dạng:

y - y0 =α), giao điểm của nó với mặt P được gọi là a(x-x0) (1.12)

y =α), giao điểm của nó với mặt P được gọi là ax+b (1.13)

Trong đó: b =α), giao điểm của nó với mặt P được gọi là y0 – ax0

Thế tọa độ các điểm mấu ảnh vào phương trình (1.12) ta có phương trình củacác đường thẳng:

13: y= y3−y1

x3−x1 x +¿)24: y= y4−y2

x4−x2 x+¿)

57: y= y7−y5

x7−x5 x+¿)68: y= y8−y6

x8−x6 x+¿)Giao điểm của các cặp đường thẳng sẽ được tính bằng việc giải hệ phươngtrình

Và tọa độ của điểm chính ảnh sẽ được tính

x =α), giao điểm của nó với mặt P được gọi là x g 1+x g 2

2 y =α), giao điểm của nó với mặt P được gọi là y g 1+y2

2 (1.14)Trong đó (xg1,yg1) và (xg2,yg2) lần lượt là tọa độ của các giao điểm đã tìmđược

Trong quá trình xác định điểm chính ảnh dựa vào các mấu chuẩn thì ta cũngđồng thời thực hiện xác định các thông số định hướng ảnh để tính các tham số phục

vụ quá trình chuyển đổi từ tọa độ pixel sang tọa độ ảnh

CHƯƠNG II : CÁC PHƯƠNG PHÁP KHỚP ẢNH SỐ

Để phục vụ cho quá trình đo vẽ cặp ảnh mô hình đơn thì một khâu quantrọng không thể thiếu đó chính là khớp ảnh Như chúng ta được biết cho đến nay cóhai phương pháp khớp ảnh cơ bản đó là:

 Khớp ảnh theo vùng giá trị độ xám

- Khớp đối sánh tương quan

- Khớp bình phương nhỏ nhất

 Khớp ảnh theo đặc trưng

- Khớp ảnh theo đặc trưng điểm

- Khớp ảnh theo đặc trưng đường

- Khớp ảnh theo đặc trưng vùng

2.1.Trích chọn đặc trưng

Quá trình bay chụp ảnh hàng không ta sẽ thu được các ảnh mà giữa chúng có

độ phủ chồng lên nhau, hay nói cách khác cùng một đối tượng sẽ được xuất hiệntrên hai ảnh liền kề nhau, tức là có một mối liên hệ giữa hai ảnh phủ chồng lênnhau đó Và từ mối ràng buộc này mà ta có thể định hướng tương đối giữa các cặpảnh, từ đó xây dựng mô hình lập thể phục vụ cho công tác đo đạc trong phòng, liênkết các dải bay để phục vụ cho công tác tăng dày khống chế

Các đối tượng cùng xuất hiện trên hai ảnh gọi là các cặp điểm ảnh cùng tên

và vấn đề đặt ra ở đây là làm thế nào ta có thể tìm ra được các cặp điểm ảnh đó.Trước hết, để giải quyết vấn đề này ta phải tìm ra được trên mỗi ảnh các điểm đặctrưng của mình, từ đó khớp các điểm này với nhau tức là tìm ra các cặp điểm tươngứng biểu diễn cùng một đối tượng trên hai ảnh Một phương pháp thông thường là

so sánh từng pixel trong hai ảnh có chi phí rất đắt trong đa số các ứng dụng Có một

phương pháp khác tối ưu hơn đó là dựa vào các điểm đặc trưng trên ảnh Các

điểm này sẽ được xác định vị trí bằng các thuật toán dò tìm điểm đặc trưng, sau đó

ta sử dụng chúng để tìm ra mối liên hệ giữa các ảnh Phương pháp này làm giảmđáng kể thời gian yêu cầu tính toán.

Có nhiều thuật toán dò tìm điểm đặc trưng khác nhau được đưa ra tương ứngvới các cách định nghĩa điểm đặc trưng khác nhau

Thuật ngữ điểm đặc trưng trong bài viết này được coi là “góc”, là một điểmhoặc một vùng nhỏ và có tích chất khác biệt lớn về giá trị độ xám hoặc màu sắc Vềmặt trực quan nó cho phép ta dễ dàng phát hiện trong một khung nhìn nào đó

H2.1 Đặc trưng góc

Các điểm đặc trưng (hay được biết đến là các góc) thường xuất hiện bởi sựkhông liên tục về mặt hình học như là giao của các cạnh, tức là các góc, hoặc làmột phần nhỏ nổi bật của bề mặt địa hình (texture), các hình đốm tròn (blob) Cácđiểm góc của ảnh là điểm có độ cong bậc cao hay giao của các cạnh(trong toán họcthì góc là giao của các cạnh nhưng trong thực tế các cạnh cắt nhau không phải nhưtrong toán học mà nó có độ cong nhất định) Góc là một đặc trưng trên ảnh, tại vịtrí của nó có sự thay đổi lớn về giá trị mức xám lớn theo cả 2 hướng x, y Tức làđạo hàm theo fx, fy đều đủ lớn Và để đánh giá xem một điểm có là điểm đặc trưnghay không người ta đưa ra một đại lượng gọi là trị đáp ứng góc (corner response) R

và góc sẽ là một cực đại địa phương của những R này

H2.2 Mô tả các dạng đặc trưng

Để xác định các điểm đặc trưng sử dụng các toán tử phát hiện đặc trưng

Yêu cầu đối với toán tử phát hiện góc là:

 Phát hiện được tất cả các điểm góc

 Không có điểm nào sai

 Các điểm góc phải được định vị tốt

 Toán tử phải có độ ổn định cao

 Ít chịu ảnh hưởng của nhiễu

Hiệu quả tính toán (độ phức tạp của thuật toán)

H2.3 Minh họa khả năng định vị theo thứ tự tốt và kém

Hai khung hình liên tiếp sẽ rất giống nhau nhưng có thể nó sẽ bị biến đổi vềcách sắp xếp hình học, độ sáng hoặc điểm nhìn Một bộ phát hiện góc mà ít bị ảnhhưởng của những sự biến đổi này ta nói nó là có tỉ lệ lặp hay độ ổn định cao

H2.4 Minh họa bộ phát hiện góc tìm sai một góc sau phép quay,

tỉ lệ lặp 2/3

Trong thực tế, nhiễu là không thể tránh khỏi đối với mọi ứng dụng, do đómột bộ phát hiện góc cần phải ít bị ảnh hưởng của nhiễu Tức là không nhận dạngnhầm nhiễu thành góc và nhiễu phải ít ảnh hưởng nhất tới khả năng định vị của bộphát hiện

Có nhiều quá trình yêu cầu phải xử lí thời gian thực do vậy bộ phát hiện góccần phải có hiệu quả tính toán cao Thường thì những ứng dụng như vậy sẽ lựachọn các bộ phát hiện góc đơn giản (dễ bị tác động của nhiễu hoặc thiếu chính xác)

để tối ưu hóa thời gian tìm ra góc

Các thuật toán phát hiện góc hiện nay sử dụng phổ biến các toán tử Moravec,Harris/Pressey, Forstner đều có những bước chung sau đây:

 Áp dụng toán tử góc: Bước này chính là đọc ảnh đầu vào, kết hợp với

một số tham số riêng của mỗi toán tử khác nhau Đối với mỗi pixeltrong ảnh đầu vào, toán tử góc sẽ được áp dụng để tìm ra đại lượng đogóc cho mỗi pixel Đại lượng này đơn giản chỉ là một số thực để toán

tử góc xác định xem nó có phải là một góc hay không Các thuật toán

này khác nhau ở chỗ cách tính ra đại lượng đo lường góc đó, còn tất cảđều xem xét những pixel trong phạm vi một cửa sổ nhỏ đặt tâm ở pixelđang được tính độ đo góc Đầu ra của bước này gọi là: cornernessmap, tạm dịch là bản đồ góc Khi tất cả các pixel trong ảnh đều được

áp dụng toán tử góc để tính đại lượng đo góc, ta thu được bản đồ góc

có cùng chiều như ảnh đầu vào và có thể dùng làm thay thế ảnh đầuvào để tính toán trong suốt quá trình

 Ngưỡng của bản đồ góc: Các toán tử phát hiện góc định nghĩa góc là

cực đại địa phương trong bản đồ góc Tuy nhiên, sẽ có nhiều cực đạiđịa phương mà nó có độ đo góc tương đối nhỏ và không phải là gócthật Vậy để tránh việc coi những điểm đó là góc, bản đồ góc phải đưa

ra một ngưỡng chung Tất cả các giá trị trong bản đồ góc mà nhỏ hơnngưỡng đều bị gán giá trị bằng 0 Việc lựa chọn ngưỡng tùy thuộc vàoứng dụng và nó thường đòi hỏi kinh nghiệm bằng cách thử sai.Ngưỡng này cần phải thiết lập đủ cao để loại bỏ được tất cả các gócsai và chỉ giữ lại những góc đúng Và do đó để đạt được hiệu quả tốtnhất thì thường phải dựa trên yêu cầu của ứng dụng

 Non-maximal Suppression (NMS – Loại bỏ cái không phải cực đại):

bản đồ góc chỉ chứa những giá trị khác 0 xung quanh cực đại địaphương, điều này cần thiết để đánh dấu nó như là một điểm góc Đểđịnh vị cực đại địa phương, phương thức NMS được áp dụng Đối vớimỗi điểm trong ngưỡng bản đồ góc, NMS sẽ gán giá trị đo góc củađiểm này bằng 0 nếu giá trị góc đó không lớn hơn tất cả giá trị góc củatất cả các điểm nằm trong một phạm vi nào đó quanh nó (tức là nếunhư nó không phải là giá trị lớn nhất trong một phạm vi nào đó) Saukhi thực hiện NMS, những giá trị còn lại khác 0 trong bản đồ góc thìtương ứng với nó chính là điểm góc cần tìm

Trong tất cả các toán tử (trừ SIFT) chúng ta đều thấy có một bước gọi là NonMaximal Suppress – Loại bỏ những điểm không phải là cực đại, tức là tìm ra điểm

có đáp ứng góc cực đại trong một lân cận (cửa sổ) với kích thước nhất định (cực trịđịa phương), và các điểm cực đại này phải thỏa mãn điều kiện lớn hơn một ngưỡngcho trước, và điểm nào đáp ứng được các điều kiện trên thì nó là điểm “corner” màchúng ta cần tìm

H2.5 Lưu đồ toán tử phát hiện góc

2.1.1 Toán tử Moravec

Toán tử này được phát triển bởi Hans P Moravec vào năm 1977 Ông địnhnghĩa điểm đặc trưng là điểm (vùng khác biệt) mà ở đó có giá trị biến thiên lớntheo các hướng

 Ý tưởng:

Để đo lường được tính chất khác biệt Moravec dựa vào một cửa sổ trượt kíchthước nxn (thường là 3x3, 5x5, 7x7), đặt tâm cửa sổ tại điểm đang xét, sau đó tínhtổng độ lệch bình phương giữa giá trị mức xám tại mỗi điểm trên cửa sổ dịch theocác hướng so với giá trị trung bình trên cửa sổ gốc Trên cơ sở giá trị này để tìm rađược điểm đặc trưng

H2.6 Minh họa thuật toán Moravec

2.1.2 Toán tử Haris/Plessey

 Cơ sở toán học

Như trên đã giới thiệu, góc là điểm mà tại đó có sự biến thiên lớn theo tất cảcác hướng (hướng x, hướng y), như giao của các cạnh Nhưng trong thực tế góckhông phải là một điểm rõ ràng (như hình a) và do vậy mà ta cần một phương phápđánh giá xấp xỉ (bình phương nhỏ nhất)

Trong đó: Ix, Iy là đạo hàm riêng phần bậc nhất theo hướng x và y

Thế phương trình (2.2) vào (2.1) và sử dụng khai triển Taylor mở rộng:

f(x, y) ≈ f(x, y) + u.fx(x, y) + v.fy(x, y)

Ta được:

Hay viết ở dạng ma trận:

=α), giao điểm của nó với mặt P được gọi là [Δxx Δxy] C(x, y) [Δxx Δxy] (2.6)

E(Δxx , Δxy) có hình dạng là ellip sai số

E(Δxx , Δxy) có dạng xTC x ,trong trường hợp ma trận C 2 chiều thì E có biểudiễn hình học là một ellip, ở đây ta thấy C là ma trận 2 chiều đối xứng không âm,nên các trục của ellip E là hướng của các vector riêng của C và chiều dài các trục tỉ

lệ nghịch với giá trị riêng tương ứng (tỉ lệ nghịch đảo với căn của giá trị riêng)

H2.8 Elip E

Ma trận C(x, y) biểu diễn kết cấu giá trị của vùng lân cận Gọi λ1, λ2 là 2 giátrị riêng của ma trận C, giá trị riêng này đặc trưng cho tính bất biến với phép quaycủa C, xét 3 trường hợp:

 Nếu cả 2 giá trị này đều nhỏ, thì hàm tự tương quan biểu diễn mặt phẳng,vùng ảnh này có giá trị xấp xỉ hằng số, sự thay đổi giữa các điểm ảnh là rấtnhỏ

 Nếu một trong 2 giá trị λ1, hoặc λ2 lớn và giá trị còn lại nhỏ thì hàm tự tươngquan sẽ có dạng đường gờ (ví dụ như cạnh), nếu sự thay đổi giá trị mức xámtheo 1 hướng nhỏ còn theo hướng trực giao với hướng đó lại thay đổi lớn thì

đó là cạnh

 Nếu cả 2 giá trị đều cao, hàm tự tương quan có hình dạng một điểm (góc) khi

sự thay đổi giá trị mức xám trên mọi hướng đều lớn

H2.9 Elip ma trận kết cấu cục bộ

Đầu ra: tìm các điểm đặc trưng trên ảnh

- Xác định ma trận H đối với mỗi pixel

H (x,y) =α), giao điểm của nó với mặt P được gọi là [S x 2 S xy

S xy S y2]

- Tính hệ số phản hồi góc tại mỗi pixel

R =α), giao điểm của nó với mặt P được gọi là Det (H) – k * (Trace (H ))2

Với: Det (H) =α), giao điểm của nó với mặt P được gọi là ¿* S y 2 ) – ¿* S xy)

Trace (H) =α), giao điểm của nó với mặt P được gọi là (S x2+S y2¿ ¿2

- So sánh ngưỡng với R.Thực hiện tính cực trị cục bộ NMS

- Đưa ra kết quả tập đặc trưng

 Đánh giá thuật toán:

- Khi giá trị k lớn R nhỏ, do đó phát hiện được ít điểm góc hơn

- Khi giá trị k lớn R lớn, do đó phát hiện được nhiều điểm góc hơn

- Giá trị ngưỡng Rngưỡnglà giá trị do người dùng nhập vào, vì đối với mỗi ảnh cóđặc điểm khác nhau do đó không thể có một ngưỡng chung cho tất cả cáctrường hợp

Ưu điểm:

 Toán tử Haris khá ổn định đối với phép quay và dịch ảnh, vì nó đánh giá dựatrên các giá trị riêng, các hướng của vector riêng trong ma trận tự tương quanđối xứng không âm là trực giao, chính là các trục x, y

 Có sự ổn định khi thay đổi cường độ sáng của ảnh

 Độ phức tạp tính toán thấp

H2.11 Mô tả tính chất bất biến với phép xoay

Nhược điểm

Bởi vì các điểm đặc trưng mới chỉ tìm dựa trên giá trị riêng của ma trận tựtương quan, chưa tính đến các yếu tố khác như hướng hay độ co dãn nên toán tửnày:

 Không bất biến với phép co dãn ảnh (scale)

 Không bất biến khi độ tương phản lớn

H2.12 Không bất biến phép tỉ lệ

Trong ảnh trên ta thấy đối với ảnh có tỉ lệ lớn thì hình bên trái cho ta hìnhảnh của một cạnh, nhưng cũng ảnh đó với tỉ lệ nhỏ thì lại cho ta thấy hình ảnh củamột góc

2.1.3 Toán tử Forstner.

Toán tử này được đề xuất năm 1987 bởi Forster và Gylch, được sử dụngrộng rãi trong nhiều lĩnh vực liên quan đến phân tích ảnh trong suốt 2 thập kỉ vàhiện giờ nó vẫn được sử dụng trong một số ứng dụng xây dựng lại mô hình đốitượng 3D

Về mặt toán học, toán tử này cũng dựa trên việc tính toán hàm tương quan,đánh giá qua kích thước của elip sai số: một điểm được coi là góc khi ellip sai sốđặt tâm tại điểm đó đáp ứng 2 yêu cầu sau:

- Ellip gần với một hình tròn

- Ellip phải đủ nhỏ

 Thuật toán

Đầu vào: ảnh, ngưỡng đánh giá, kích thước cửa sổ trượt d

Đầu ra: tìm các điểm đặc trưng trên ảnh

B1 Tiến hành lọc Gauss với độ lệch chuẩn δ đối với ảnh

B2 Tính đạo hàm riêng phần bậc nhất theo hai hướng x, y.

B3 Đối với mỗi pixel P (x, y) trong d x d hàng xóm (cửa sổ trượt dxd):

Tính các đại lượng:

Với : q - đặc trưng cho kích thước ellip sai số tại điểm đang xét, và theo thựcnghiệm thì 0.5 ≤ q≤ 0.75 cho kết quả tốt

w - thể hiện cho "độ tròn " của ellip:

- Nếu ellip sai số dẹt, như thế thì điểm đang xét sẽ nằm trên cạnh chứkhông phải là góc

- Nếu ellip sai số lớn thể hiện một khu vực mà không có sự biến thiên lớn

về mức xám

- Nếu q đủ nhỏ, ellip lúc này sẽ là một hình tròn, thì đó chính là góc

Để phát hiện ra ellip sai số gần giống với hình tròn và có kích thước đủ nhỏthì ta cần đưa ra một giá trị ngưỡng gọi là qminvà wmin

B4 So sánh q với ngưỡng qmin và wmin

w={q ,∧q>q min và w> w min

0,∧tr ư ờnghợp khác

Nếu q ¿ qmin thì lưu giá trị lưu lại điểm đó và giá trị w tương ứng với nó qmin

và wmin thường nằm trong khoảng:

wmin ¿[0.5,1.5]∗ ´w (w´là giá trị trung bình của w trên toàn ảnh)

qmin =α), giao điểm của nó với mặt P được gọi là [0.5, 0.75]

B5 Thực hiện Non Maximal Suppress tương tự như trong Haris, tìm ra điểm có

giá trị w lớn nhất thì tương ứng là góc cần tìm

2.1.4 SIFT – Scale Invariant Feature Transform của David Lowe.

Các toán tử trên có một hạn chế lớn là đều bị ảnh hưởng bởi phép co dãn ảnh(scale) vì nó mới chỉ đánh giá sự biến thiên trên 2 chiều x, y mà chưa tính đến sựthay đổi của tỉ lệ ảnh và vấn đề này đã được giải quyết trong thuật toán SIFT

Tư tưởng chính: Phương pháp này phát hiện ra các điểm đặc trưng trên ảnh,các điểm này phải là các điểm bất biến với phép quay, phép tỉ lệ, thay đổi cường độsáng, độ tương phản và thay đổi điểm nhìn Biểu diễn mỗi điểm thành một vectorđặc trưng, hay mỗi điểm có một bộ mô tả đặc trưng riêng Ta thấy SIFT gồm 2bước cơ bản: phát hiện và mô tả (Detector và Descriptor)

 Thuật toán tổng quát

H2.13 Lưu đồ thuật toán SIFT

- Xây dựng không gian tỉ lệ (Constructing space scale)

Để xây dựng một không gian tỉ lệ ta sử dụng hàm phân bố Gauss Một khônggian tỉ lệ được định nghĩa là một hàm L(x, y,σ), hàm này được tạo bằng cách nhântích chập một hàm phân bố Gauss G(x, y, σ )với ảnh đầu vào I(x, y)

L(x, y, σ)=α), giao điểm của nó với mặt P được gọi là G (x, y,σ )*I(x, y) (2.7)

Trong đó: G(x, y, σ)=α), giao điểm của nó với mặt P được gọi là 1

- Xác định tọa độ của điểm DOG cực trị

Để tìm được tọa độ các điểm này sử dụng chuỗi Taylor mở rộng (tới đạohàm bậc 2)

Tính cực trị hàm bằng cách cho đạo hàm bằng 0 giải ra nghiệm

Và thay nghiệm vào tính:

Và để loại bỏ những cực trị có độ tương phản thấp ta so sánh |D( ^x )| với một giátrị ngưỡng (theo thực nghiệm là 0.03) nếu |D( ^x )| nhỏ hơn ngưỡng này thì ta loại bỏ(chú ý trước đó ta phải co ảnh về trong khoảng [0, 1])

(2.9)

(2.10)

(2.11)

(2.12)

- Khử cạnh

Hàm DoG rất nhạy với những điểm dọc theo cạnh (các điểm nằm trên cạnh),ngay cả vị trí đó là đỉnh rất yếu, nên dễ bị ảnh hưởng bởi nhiễu Một đỉnh gọi làyếu trong hàm DoG sẽ có độ cong cơ bản lớn theo hướng cạnh và nhỏ theo hướngtrực giao với cạnh Và để tính toán độ cong cơ bản, ta sử dụng ma trận Hessian2x2, tính ma trận này tại vị trí và hệ số tỉ lệ của mỗi keypoint

Tính các đại lượng:

Giả sử α=α), giao điểm của nó với mặt P được gọi là rβ thỡ ta cú:

Tỉ số (r +1)2

r sẽ đạt giá trị nhỏ nhất khi α=α), giao điểm của nó với mặt P được gọi là β , và nó tỉ lệ thuận với r Do đó, để

kiểm tra tỉ số của độ cong cơ bản xem có nhỏ hơn một giá trị ngưỡng r nào đó haykhông ta chỉ cần kiểm tra:

Theo thực nghiêm thì người ta thường lấy r=α), giao điểm của nó với mặt P được gọi là 10

Với những điểm không đáp ứng được điều kiện trên thì ta sẽ loại bỏ

- Tính hướng cho keypoint

Những keypoint ta tìm được ở trên có đặc điểm là bất biến với phép co dãn tỉ

lệ, nhưng chúng chưa đảm bảo bất biến về hướng Do đó, ta sẽ phải tính và gán một

(2.13)

(2.14)

(2.15)

(2.16)

hướng thích hợp cho mỗi keypoint, bộ mô tả keypoint sẽ được biểu diễn liên quantới hướng này và điều này sẽ đảm bảo tính chất bất biến đối với phép quay ảnh.

Đối với mỗi ảnh L(x, y) tức là ảnh đã được làm mờ ta tính độ lớn gradient(m(x, y)) và hướng θ(x, y) cho mỗi điểm như sau:

- Xây dựng bộ mô tả cho các keypoint

Bộ mô tả các keypoint chính là biểu diễn các đặc trưng của keypoint, và mỗikeypoint khác nhau sẽ có một bộ mô tả khác nhau Trong các bước trên ta đã tìmđược vị trí, tỉ lệ và hướng cho mỗi keypoint Những tham số này là bất biến củakeypoint, tức là những tham số đặc trưng của chúng Bước tiếp theo là tính toán bộ

mô tả cho vùng ảnh cục bộ - vùng mà có độ khác biệt lớn cũng như là tạo ra sự bấtbiến đối với các tác động khác như sự thay đổi về độ chiếu sáng hay là điểm nhìn

 Đánh giá thuật toán

Đây là một thuật toán rất mạnh, nó xây dựng ảnh thành một không gian tỉ lệ(scale space) có 3 chiều (x, y,σ) do đó nó có thể tìm ra được những điểm bất biếnkhông chỉ với phép quay, thay đổi cường độ sáng mà còn bất biến với phép co dãn

tỉ lệ Tuy vậy việc thực hiện nó rất phức tạp so với các phương pháp trên do yêucầu về điểm đặc trưng là phải bất biến với cả phép co dãn ảnh

2.1.5 Đánh giá chung

Qua các toán tử trích chọn đặc trưng thì tùy từng yêu cầu của ứng dụng màlựa chọn toán tử phù hợp sao cho cân bằng giữa tốc độ xử lý và độ chính xác củakết quả

(2.17)