Nghiên cứu phương pháp phân lớp bằng mạng RBF

Chương 1: KIẾN THỨC CHUẨN BỊ1.1 Nội suy dữ liệu rời rạc: Trong nhiều vấn đề khoa học kỹ thuật cần giải bài toán: Cho tập dữ liệu gồm các kết quả đo đạc và vị trí thu được những kết quả

HỌC VIỆN KỸ THUẬT QUÂN SỰ KHOA CÔNG NGHỆ THÔNG TIN

Nghiên cứu phương pháp phân lớp bằng mạng RBF

Học viên : LÊ ANH TUẤN

MSSV : 11870268

Chương 1: KIẾN THỨC CHUẨN BỊ

1.1

Nội suy dữ liệu rời rạc:

Trong nhiều vấn đề khoa học kỹ thuật cần giải bài toán: Cho tập dữ liệu (gồm các kết quả đo đạc và vị trí thu được những kết quả đó), yêu cầu tìm một quy tắc cho phép suy diễn thông tin từ những kết quả đã có Vì vậy ta mong muốn tìm một hàm “đủ tốt” phù hợp với tập dữ liệu đã có Có nhiều cách để quyết định thế nào là tốt và một trong các tiêu chuẩn là muốn hàm xấp xỉ có giá trị chính xác với những kết quả đo đạc được tại những vị trí đã cho - Đáp ứng tiêu chuẩn này gọi là bài toán nội suy Và nếu những vị trí

mà đã cho kết quả đo đạc không nằm trên một lưới chuẩn thì tiến trình trên gọi là nội suy

dữ liệu rời rạc Chính xác hơn ta có:

Bài toán 1.1 Cho tập dữ liệu (x j,y j, j  1 , ,n với x j R y j R

s



 , Tìm một hàm (lien tục) P j thỏa mãn :

P f j  j,  1 , , (1.1)

Ý tưởng chung để giải quyết bài toán nội suy là tìm hàm P f dưới dạng tổ hợp tuyến tính của hệ hàm cơ sở {B k}n

k 1 , nghĩa là :



, 1

(1.2)

Từ đó , thay điều kiện (1.1) dẫn đến việc giải hệ phương trình đại số tuyến tính để xác định các hệ số n

k k

{  :

Trong đó AjkB k(x j); j,k  1 , ,n:c (c1, ,c n) ;y  (y1, ,y n)

Bài toán 1.1 sẽ được đặt đúng, nghĩa là tồn tại và duy nhất nghiệm, khi và chỉ khi ma

trận A không suy biến.

Trong trường hợp một chiều, ta luôn xây dựng được đa thức nội suy bậc n - 1 cho n điểm nội suy phân biệt tùy ý Tuy nhiên khi s > 2, ta có kết quả phủ định sau:

Định lý 1.1 (Mairhuber-Curtis) Nếu  R s , s > 2 chứa một điểm trong thì trong 

không tồn tại không gian Haar các hàm liên tục, trừ trường hợp không gian một chiều.

Trong đó, không gian Haar được định nghĩa như sau:

Định nghĩa 1.1 Cho không gian hàm tuyến tính hữu hạn chiều B C( ) Gọi {B1,B2,

, B n } là một cơ sở của B Khi đó B được gọi là không gian Haar trên  nếu det(A) 

0 với mọi tập các điểm phân biệt {x, x 2 , , x n } .

Ở đây ma trận A là ma trận được xây dựng bởi A Jk = B k(x j); j, k = 1, , n.

Sự tồn tại của không gian Haar đảm bảo tính khả nghịch của ma trận nội suy, nghĩa là

tồn tại duy nhất nghiệm của bài toán nội suy 1.1 Không gian các đa thức một biến bậc n

-1 chính là không gian Haar n chiều với tập dữ liệu (xj, yj), j = -1, , n, x j  R, y j  R Cơ

sở chính tắc của không gian này là{ B1 = 1, B2 = x, B 3 = x2, , B n = x n-1 }.

Định lý trên cho thấy, để giải quyết bài toán nội suy dữ liệu rời rạc trong không gian nhiều chiều chúng ta không thể xây dựng trước tập các hàm cơ sở không phụ thuộc dữ

liệu Để giải quyết vấn đề không suy biến của ma trận A, ta cần một phương pháp khác để

xây dựng hàm nội suy Thay vì sử dụng biểu diễn tuyến tính thông qua một hệ hàm cơ sở không phụ thuộc dữ liệu, ta biểu diễn tuyến tính thông qua một hàm đơn phụ thuộc dữ liệu đã cho, có tính khoảng cách, đối xứng với tâm nào đó của dữ liệu tương ứng Phương pháp này được đề xuất bởi R.L Hardy năm 1971 và được gọi là phương pháp hàm cở sở bán kính

1.2.

Ma trận và hàm xác định dương:

Định nghĩa 1.2 Ma trận giá trị thực, đối xứng A được gọi là nửa xác định dương nếu

dạng toàn phương tương ứng là không âm:

 



n

j

n

k

jk

k

j c A

c

Với c = (c 1 , ,c n ) T Nếu dấu bằng chỉ xảy ra khi và chỉ khi c = (0, ,0) T thì ma trận A được gọi là xác định dương.

Tính chất quan trọng của ma trận xác định dương là nó có tất cả các giá trị riêng đều dương và không suy biến

Nếu hệ hàm cơ sở {Bk}n

k 1 trong khai triển (1.2) làm cho ma trận nội suy xác định dương thì bài toán nội suy được đặt đúng Hàm xác định dương được định nghĩa như sau:

Định nghĩa 1.3 Hàm liên tục  : R s



 R là xác định đương khi và chỉ khi nó là hàm chẵn và thỏa mãn:

 





n

j

n

k

k j k

c

0 ) (

với mọi n điểm đôi một khác nhau x, , x n R s và c = ( c1, , c n )  R n

Hàm  gọi là xác định dương chặt nếu dấu bằng của (1.5) xảy ra khi và chỉ khi c = (0, ,0) T

Từ định nghĩa 1.3 và tính chất của ma trận xác định dương ta thấy, có thể sử dụng các

hàm xác định dương chặt B k =  (x - x k) làm hệ hàm cơ sở,

và khi đó ta có:









n k

k k

p

1

) (

)

Ma trận nội suy trở thành:

Tuy nhiên giải bài toán nội suy sẽ trở nên khó khăn trong không gian nhiều chiều Do

đó, thay vì sử dụng hàm đa biến  (x) (độ phức tạp sẽ tăng lên theo số chiều), chỉ làm

việc với hàm một biến  cho tất cả số chiều s.

cách từ đối số đến một điểm (gọi là tâm) cho trước

với

Một số hàm bán kính:

 Hàm đa thức:

 Khoảng cách:

1.4.

Hàm cơ sở bán kính:

Định nghĩa 1.4 Hàm  : R s



 R được gọi là hàm bán kính nếu tồn tại hàm một biến  : [0,+  )  R thỏa mãn:

Với r = x và . là một chuẩn nào đó trong R s (thường dùng chuẩnEuclidean) Hàm

 tương ứng gọi là hàm cơ sở bán kính Ta nói hàm  là xác định dương (chặt) khi và

chỉ khi hàm  là xác định dương (chặt).

1.5.

Hàm xác định dương và đơn điệu hoàn toàn:

Trong phần này trình bày kết quả quan trọng xây dựng một số hàm bán kính thỏa mãn tính khả nghịch của ma trận nội suy tương ứng, dựa trên tính chất của hàm đơn điệu hoàn toàn

Định nghĩa 1.5 Hàm  C (R >0 ) được gọi là đơn điệu hoàn toàn khi và chỉ khi

(-1) 1 (t)

với mọi l = 0,1, , với mọi t.

Việc xây dựng hàm bán kính xác định dương thông qua hàm đơn điệu hoàn toàn dựa vào kết quả sau, được đưa ra bởi Schoenberg năm 1938

Định lý 1.2 Cho  : R+   R là hàm liên tục đơn điệu hoàn toàn Khi đó với mọi

tập điểm hữu hạn phân biệt từng đôi một (x1, x2, , xn) Rs hàm bán kính  (x) =  (r2),

r = x là hàm xác định dương.

Ví dụ 1.1

Xét hàm  (t) = e t với   0 Ta có: (- 1) 1 l) (t)  ( ) 1e t  0



là đơn điệu hoàn toàn Do đó hàm Gaussian (GA)  (r)=e -r2 có thể sử dụng làm hàm

cơ sở bán kính đảm bảo tính xác định dương của ma trận nội suy

Tương tự, hàm  (t) = (t + 2

 )   ,  ,  > 0 cũng là hàm đơn điệu hoàn toàn Hàm

cơ sở bán kính  (r) = (r 2 + 2

 )   , ,  > 0 được gọi là hàm Inverse Multiquadric (IMQ)

Theo định nghĩa hàm đơn điệu hoàn toàn, ta có  (t)  0,  ‘(t) 0, Tuy nhiên nếu có  ' đơn điệu hoàn toàn ( ' (t)  0,  ” (t)  0, ) ta vẫn có thể sử dụng được

hàm  đảm bảo ma trận không suy biến

Định lý 1.3 Cho  C [0,+ ) là hàm thỏa mãn  ' đơn điệu hoàn toàn, khác hằng số Giả sử thêm rằng  (0)  0 Khi đó ma trận nội suy không suy biến với  (x)

=  ( x ) =  (r 2 ).

Trong trường hợp tổng quát, nếu với giả thiết yếu hơn về tính đơn điệu hoàn toàn của

 , nghĩa là  k , k > 1 là hàm đơn điệu hoàn toàn thì cần các điều kiện nào để sử dụng

được  (theo định nghĩa ma trận nội suy tương ứng không suy biến)? Vấn đề này đã được Micchelli (1986) nghiên cứu và đưa ra những kết quả quan trọng về hàm xác định dương có điều kiện

1.6.

Định nghĩa 1.6 Hàm  : R s



 R được gọi là xác định dương có điều kiện

bậc m nếu  

n j

n k

1 1 c j c k (x j - x k )  0 c R n thỏa mãn:

 













n

j

m s j

c

1

1

,

0 (đa thức thuộc không gian các đa thức s biến có bậc

< m - 1) Nếu đẳng thức chỉ xảy ra với c = 0 thì  gọi là xác định dương chặt có điều kiện.

Điều quan trọng là có thể sử dụng hàm xác định dương có điều kiện bậc m để nội suy

nếu ta cộng vào biểu thức (1.6) một đa thức đa biến bậc (m -l) triệt tiêu trên tập dữ liệu đã

cho Cụ thể, hàm nội suy với độ chính xác đa thức được cho dưới dạng:

(1.10)

với các ký hiệu đa chỉ số: 







8 1

8

0,

i i

s x x

x 1  2 

2

1

Khi thay điều kiện nội suy ta được hệ phương trình Ac = y Để xác định

hệ số của p(x) ta sử dụng các điều kiện n c x m

j j







Ví dụ 1.2

Xây dựng hàm nội suy trong không gian 2 chiều với tập dữ liệu cho trước

n j j j j

j y f x y

x , ), ( , )} 1

{(  , sử dụng hàm xác định dương có điều kiện bậc 2 ta được:

( 1 1 2 )

trong đó p(x,y) là đa thức hai biến bậc 1 triệt tiêu tại các điểm nội suy,

Cho (1.12) thỏa điều kiện nội suy được hệ:

Để xác định các hệ số a l ,a 2 ,a 3 sử dụng (1.11), được thêm ba điều kiện sau:

Vậy ta được hệ n + 3 phương trình n + 3 ẩn Từ đó có thể tìm được P f (x,y).

Trong trường hợp tổng quát, bài toán (1.10) sẽ dẫn tới hệ đại số tuyến tính sau:

Trong đó:

 

 x k x j n k j P x j

A ( (  )) , 1;  , j = 1, 2, , n; d là ma trận các hệ số của p(x)

Việc xây dựng cấu trúc cụ thể của các hàm bán kính xác định dương có điều kiện 

(x) =  (r) dựa trên định lý:

Định lý 1.4 Cho  là hàm liên tục và thỏa mãn   r

dr

r d

k

k k

, ) (

đơn điệu hoàn toàn khác hằng số Khi đó, hàm  (x) =  (||x||) =  (r 2 ) là hàm xác định dương chặt bậc k.

Ví dụ 1.3

Vì vậy:

là hàm đơn điệu hoàn toàn Hơn

nữa, với mọi m, m    ,(- 1)mp(m)(r) cũng là hàm đơn điệu hoàn toàn Vì vậy, hàm bán

kính Multiquadric (MQ) tổng quát là xác định dương chặt có

điều kiện bậc m, m    .

vì vậy là hàm đơn điệu hoàn toàn Hơn nữa, với mọi m, 







 2

m

hàm (-1)mm (r) cũng là hàm đơn điệu hoàn toàn Vì vậy, hàm Năng lượng

là hàm xác định dương chặt có điều kiện

bậc m, m2.

3 Hàm Thin plates spline (TPS) (r) = (- 1) k+1 r 2k lnr, k N

Là các hàm xác định dương chặt có điều kiện bậc m > k+1 Thật vậy: Xét hàm  (r) = (-

1) k + l (r) k lnr Khi đó, đào hàm cấp l, l k của  (r) là:  1(r) = (-1)k+1k(k - 1) (k - l +1)r

k-l lnr + p l (r), trong đó p l (r) là đa thức bậc k - l Vì vậy, đạo hàm cấp k sẽ là: (k)(r) = (—

1)k+1k! lnr +C, và đạo hàm cấp k + 1 là  (k+1) (r)= (-1)k+1

r

k!

, là hàm đơn điệu hoàn

toàn trên (0,) Do đó, hàm  (r) = (-1)k+1r2k lnr = ( )

2

1 2

r

 là hàm xác định dương chặt

có điều kiện bậc m > k + 1.

1.7.

Cho hàm mẫu Franke như sau:

Cho trước tập giá trị zij = f(x,yi); i, j = 1, ,n, trong đó (xi,yj)  [0,1]2 là

tập điểm nội suy Để đơn giản, chúng tôi chọn tập điểm nội suy là lưới đều trên miền

[0,1]2 và tập tâm trùng với tập điểm nội suy.

Xây dựng hàm nội suy P j =    

n j

k

c  Trong đó u k = (x,y)  Tập điểm tâm,  được chọn là hàm IMQ

Cho thỏa mãn điều kiện nội suy ta được hệ n2 phương trình, n2 ẩn Kết quả trong một số lưới được cho trong bảng 1.1, với các sai số được định nghĩa như sau :

- Sai số tương đối :

- Sai số lớn nhất :

Bảng 1.1 Sai số nội suy hàm Frank với s = 3

Sai số tương đối Sai số lớn nhất Sai số tương đối Sai số lớn nhất

7 x 7 1.211536e-002 8.600572e-002 1.260168e-002 8.722025e-002

10 x 10 1.685702e-003 1.122684e-002 2.241647e-003 1.548224e-002

13 x 13 4.226489e-004 2.856954e-003 4.470312e-004 2.756763e-003

17 x 17 3.761833e-005 3.703740e-004 4.168475e-005 4.447710e-004

20 x 20 4.346574e-006 7.352464e-005 5.739650e-006 6.316986e-005

Chương 2 : ỨNG DỤNG HÀM RBF VÀO BÀI TOÁN KHÔI PHỤC VÀ BIỂU

DIỄN CÁC ĐỐI TƯỢNG 3D

2.1 Mở đầu.

Ngày nay với sự phát triển mạnh mẽ của công nghệ thông tin, con người đã ứng dụng những thành tựu của nó trong rất nhiều lĩnh vực khác nhau Máy tính đã trở thành một công cụ hỗ trợ đắc lực cho con người trong việc xử lý dữ liệu một cách nhanh chóng và chính xác

Đồ họa máy tính là một lĩnh vực của khoa học máy tính nghiên cứu các phương pháp

và kỹ thuật biểu diễn và thao tác các dữ liệu số hóa của các vật thể trong thực tế Lĩnh vực này được phát triển dựa trên nền tảng của hình học họa hình, hình học tính toán, hình học vi phân cùng nhiều kiến thức toán học của đại số và giải tích, cũng như các thành tựu của phần cứng máy tính

Trong đồ họa máy tính bài toán khôi phục và biểu diễn các đối tượng 3D là một trong các bài toán cơ bản Công cụ quan trọng để giải quyết bài toán này là lý thuyết nội suy hàm số nhiều biến Để nội suy hàm số từ một tập điểm đã biết thông thường người ta sử dụng các hàm ghép trơn (spline) và các biến dạng của nó Từ khoảng hai chục năm nay người ta đã và đang phát triển một kỹ thuật nội suy mới có độ chính xác cao Đó là nội suy bởi hàm cơ sở bán kính (radial basis functions) viết tắt là RBF Phương pháp nội suy này đã được sử dụng trong nhiều lĩnh vực của CNTT như xử lý tín hiệu, xử lý ảnh và lý thuyết điều khiển Một số phần mềm về hàm RBF và các ứng dụng cũng đã được phát triển

2.2 Bài toán khôi phục và biểu diễn các đối tượng 3D

Khôi phục đối tượng 3D đã trở thành một nhu cầu cần thiết trong các lĩnh vực khác nhau như: Tạo ảnh trong y học, các ứng dụng mỹ thuật, thiết kế sản phẩm, tạo nguyên mẫu nhanh và trong các phạm vi khác Việc tạo mô hình 3D bằng phương pháp thủ công tốn nhiều thời gian và do vậy chi phí sẽ đắt đỏ Vì lý do đó, các kỹ thuật đã và đang tiếp tục được nghiên cứu, các kỹ thuật này cho phép khôi phục tự động các đối tượng 3D Các

kỹ thuật này có thể chia thành 2 phương pháp: phương pháp chủ động và phương pháp bị động Nhược điểm của các phương pháp chủ động là quá trình khôi phục có thể trở thành một công trình ngân sách cao Vì lý do đó, cách tiếp cận được giới thiệu thuộc về các phương pháp bị động, nó yêu cầu ít thiết bị hơn và có thể áp dụng một cách tổng quát hơn

Các phương pháp khôi phục các đối tượng 3D truyền thống không thực hiện tốt ở hai hướng:

- Thứ nhất: Chúng không thể xử lý các trường hợp có độ phức tạp cao được tìm thấy trong tự nhiên (Ví dụ: các bộ phận của con người hay các ảnh cực nhỏ của mô)

- Thứ hai: Chúng không đưa dữ liệu bề mặt vào một định dạng làm cho gọn và thích hợp để mô phỏng, hiển thị hoặc định vị

Có 5 trường hợp khôi phục các đối tượng 3D Trường hợp đầu tiên là với các ảnh được chụp bằng máy ảnh không định cỡ, làm việc với loại ảnh này có thể khôi phục lại đối tượng so sánh với các phép biến đổi ảnh xạ Hai là, khôi phục từ các máy ảnh định cỡ làm việc với loại ảnh này có thể khôi phục lại đối tượng so sánh với các phép biến đổi đồng dạng Ba là, các thuộc tính đại số của các hàm đa tuyến tính và các lý tưởng phát sinh bởi chúng được nghiên cứu Trường hợp thứ tư sử dụng kỹ thuật khôi phục Ơ-clít khi một số thông tin của các máy ảnh được đưa ra Trường hợp cuối cùng là khôi phục một ảnh của một đối tượng hoặc bản vẽ nét được biết tới là mảnh 2 chiều