Luận văn thạc sĩ phát hiện và loại bỏ tấm nền màn hình bị nứt trong công Đoạn gia Áp và liên kết tấm nền dựa trên công nghệ học sâu

"Tôm tắt nội dung luận văn Nội dụng của hiện văn trình bảy về việc phát hiện tâm nền man hình bị rút trong công đoạn gia áp và liên kết tắm nên tại nhá máy Samsung Display Việt Nam.. phẩ

TRƯỜNG ĐẠI HOC BACH KHOA HA NOI

LUAN VAN THAC Si

Phát hiện và loại bỏ tấm nền màn hình bị

nút trong công đoạn gia áp và liên kết tắm

nền dựa trên công nghệ học sâu

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập - Tự đo— Hạnh phúc

BẢN XÁC NHẠN CHÍNH SỬA LUẬN VĂN THẠC SĨ

Ho va tén tác giả luận văn : TRỊNH TỶ TRUNG

TÐể tài luận văn: Phát hiện và loại bỏ tắm nên màn hình bị mứt trong công đoạn gia áp và lên kết tâm nên dựa trên công nghệ hoc sâu

Chuyên ngành: Kỹ thuật Cơ điện tử

DE TAT LU

: Phát hiện và loại bỏ tam nén man hinh bi mit trong

in két tim nén dựa trên công nghệ học sâu

Tên dễ tải (Gếng Viet):

công đoạn gia áp và

LOT CAM ON

Em xin chan thanh cém on ‘hay giáo, Tiến sĩ Nguyễn Thành Hùng, người đã

“hưởng dẫn tận tình cho em trong suốt thời gian tìm hiểu, nghiên cứu vả hoàn thành luận văn này từ lý thuyết đến việc ứng đụng trong sản xuất Sự hưởng dan tan tinh của thầy đã giúp em có thêm nhiều kiến thức liên quan đến xử lý ảnh và ứng dung

trong thục tế mỗi trường công nghiệp

sư các bạn dễ luận văn của em hoàn thiện hơn

Tìm xin chân thành cảm ơn!

"Tôm tắt nội dung luận văn Nội dụng của hiện văn trình bảy về việc phát hiện tâm nền man hình bị rút trong công đoạn gia áp và liên kết tắm nên tại nhá máy Samsung Display Việt Nam Mục đích: Giảm thiếu một cách tối đa lỗi liên quan đến vỡ tâm nên nhằm giâm

hát sinh chỉ phí sản xuất, tối đa hóa lợi nhuận, giảm giả thành sản phẩm

Mục tiêu luận văn thực hiện: Phát hiện vớt nứt — dưa ra cảnh bho: Sir dung

1.1.2 Cau tao ca man hình LCD

1.1.3 Thanh phan cia man hinh tinh thé lng

1.1.4 Giới tiệu về công đoạn gia áp và liên kế nên (OT.B) 6

1.2 _ Tổng quan về vết nứt trên tâm nên và các lỗi phát sinh trong công đoạn

1.2.2 Tổng quan về vết nứt trong công đoạn gia áp và lên kết tâm

Các tuyên nhân gây vỡ, tới tắm nên LCD - 7 Tổng quan vẻ thị giác máy tỉnh vả xử lý ảnh se, TÔ

1.3.2 Giới tuệ ly an - - - 18

1.4.3 Những vẫn đề cơ bản trong xử lý ảnh se T4 1.3.4 Các thành phan cơ bản của hệ thông xử lý ánh - 17

2.1.3 Phương pháp Running Gaussian ayerage 22 2.1.4 Phương pháp mô hình gausian hễn hợp (GMIM) 28

2.2.1 Biến đổi Laplacian của Œaussisn ecocseeesca 24

2⁄23 Định thức Hessian 25

2.2.4 Phép lại giữa toán ti Laplacian va định thức của toán tử

2.2.5 Phát hiện đổi tượng theo vi sai thích nghỉ với biển đổi aflne 26

23 Phương pháp AI, học máy và học sâu (AI, Mactone Tce

23.20 Fast CNN woccccccecseessssssssstesssissseise ssi seo 8

3.1 Xây dựng thuật toán xứ lý ảnh àăă eo 8

3.1.1 Giới thiệu ảnh thu được từ hệ thống _— -

3.2 Phát hiện lợn độ điểm mark và xác định tọa độ chân điện cực 40

3.4 Quá trình học sâu và phải hiện vết nứt - 42

3.4.1 Khái mậm Neural Network eo 42

4.1 Tỉmh toán thiết kế hệ thống cơ khí àocsereeeseaa S8

4.1.3 Lựa chọn các bộ phận của hệ thông kiểm tra tắm nên S9

4.2.1 Thuật toán diều khiển cơ cấu chấp hành se Š 4.2.2 Xây dựng hệ thống phần cứng so, -

DANH MUC HINH VE

1 Câu trúc mân hình tỉnh thể lông không cân nguằn sáng, 5

2 Công doan gia áp và liên kết trong nhà mây sân xuất miền hình LCD „6

4 Lãi vỡ từ nguyên liệu đân vào 7

516i v6 glas từ công đoạn đón PO

6 Vỡ tâm nền dơ lỗi dị vật gia áp và Lien kết

7 Một số đị vặt ảnh hưởng đến gia áp và liên kết tắm nên

§ Các bước cơ bản trong xứ lý ảnh Hư

9 So dé phân tích & xử lý ánh Lưu đỏ thông tin giữa các chối 13

5 Phương pháp phát hiện các hộp có định cho một của số 3x3 [30]

6 Câu trúc của R-ECN [11]

7 Hình ảnh trực quan khi ROI trừng vải đổi lượng |12 31

8 Hình ảnh trực quan khi ROI không trủng với đối tượng [12

9 Một vi dụ vé YOLO [31]

10 Chu tric ofa VOTO [14]

1] So sénh gitta SSD vá YOLO [14], cac eo _-

13 Một số ví dn vé két quả của Mask R-CNN [10] - 35

1 8ơ đỗ lắp đặt hệ thống xử lý ảnh

2 Sơ đề thuật toàn của chương trình kiểm tra và loại bố tâm nén NG

3 Tlinh anh camera thu được chụp trên tâm nên

4 Thông số tọa độ và kích thước theo từng chân điện cục lâm nên

5 Hình ánh điểm mark tâm nên sau khi xác định được tọa độ

€ Hình ảnh chân Leađ được xác định thông qua thông số nhà sản xuất 42

8 Quá trình training va nhận điện dối tượng dựa vào rượng CNW 44

9 Anh man biéu dién dudi dang tensor [20] - 46

19 Max pooling layer v6i size (3,3), stride 1, padding — 0

20 Sau khi pooling layer (252) [21] -

23 Chân điện cực được đành số theo thứ tự —- 3⁄4 Kết quả phát hiện tâm nên bị vỡ sau quá tình bonding 58 san mn phim 56

25 Kết quả thử nghiệm với panel vỡ sử dụng yolo Irairing, - 36

1 Hình ảnh thực tế camera lincar scan lắp trên thiết bị kiểm tra 5Ô

2 Camera Cognex sit dung align tam nén sone 60

3 Các thành phản tiêu chuẩn của hệ thông Camera a In Sign 5100 60

4 So dé Mip dit mang ha tang trong wha may véi camera Tn-Sigh Coguex

6TC điều khiến thiết bị kiểm ta vỡ lắm miền

7 Hình ảnh camera Linearscan TELEDYNE DALSA

8 Sơ đề lắp ráp cơ cầu kiểm tra trong dây chuyển sẵn xuất

9 Sơ đồ thuật toán điều khiến cơ câu chấp hành

10 Hệ thống thu té trong thiét bi OLB

11 Giao diện Auto của chương trình

DANH MUC BANG BIEU

Bang 2 1 : 5o sánh các phương pháp phát hiện đối tương trong học sâu

Tảng 4 1 Kết quả kiểm chứng khả năng bắt vết nút theo model

Bảng 4 2 Tý lệ phát hiện chính xác vết nứt trong 10 ngày

36

69

Danh tir ngữ tiếng anh dũng trong luận văn

Orgame TIaph-Emutling Thode

Image Representation Điều điển ảnh

Tmage Reoognition and Interpretation | Nhận đạng và nội suy ảnh Q

L lượng và sân lượng đáp ứng

cho như câu của người tiêu dùng Ngành công nghiệp điện tử với vai trò sản xuất tâm xiên màn hình hiển thị, một lĩnh vực sản xuất mới tại thị trường Việt Nam cũng không, ngoại lê Với việc cung cấp ra thị trương hàng triệu sản phẩm mỗi năm, thiết bị cũng cân phải đáp ủng tiêu chuẩn chất lượng cũng như việc vận hành liên tục dé dam bao Tăng suất Trong quả trình sẵn xuất không thể tránh khỏi việc xuất hiện lỗi trên sản phẩm Vậy câu hỏi dược dặt ra là làm thể nào đễ loại bỏ các sản phẩm lỗi đó ra khỏi dây chuyên, phát hiện kịp thời những sản phẩm lỗi để không để lọt đến tay khách

hang

'Việc kiểm soát được lệ lỗi trong quá trình sân xuất sẽ giúp giảm thiếu chỉ phi

di rắt nhiều, giúp tăng tỉnh cạnh tranh của sân phẩm dược sản xuất trong nước và nâng, cao trình độ kỹ thuật của nhân lực sản xuất lên một cách đáng kẻ

Do đặc thủ chất liệu của tâm nên màn hinh LCD str dung bing tim kinh (glass) niên việc nứi, vỡ là điều hoàn toàn có thể xây ra do tính chât nguyên vậL Hệu Việc kiểm soát được chất lượng, của tâm nên trong quá trinh sản xuất hảng loạt có vai trỏ rất quan trong trong việc nâng cao giá trị thương hiệu Qua đỏ có thế kiểm soát được lỗi hàng loạt kiểm soát dược do lỗi vỡ gây ra tại bể mặt gia áp và liên kết làm ảnh hướng đến cáo sản phẩm hoàn toán bình thường phía sau

Công nghệ xử lý ảnh là hướng nghiên cứu đang phát triển trong việc phát hiện

và xử lý cũng như kiếm soát lỗi Trang đó việc phát hiện và loại bỗ những tâm nên có

vết nút hay vỡ trước khi dựa vào sản xuất đóng vai trỏ quan trọng Thông qua hink

thúc kiểm soát hình ảnh trong thời gian thục bằng cách sử dụng camera có độ phân

giải mao kết hợp với thuật loán xú lý lin hiệu hình ánh, phương pháp học sâu Deep

leamning dẻ phân tích, cho ra kết quả xác minh, tự dộng kiểm tra lỗi và phán dinh sin

phẩm giúp hướng tới việc kiểm soát hoàn toàn được tỉ lệ lỗi công doan, nang cao năng, lực sản xuất của thiết bị,

-Mục dích nghiên cứu

Mục địch nghiên cửu cúa luận văn “Phát hiện và loại bỏ tắm nên bị nứt trong

công đoạn gia áp và liên kết dựa trên công nghệ học sâu (Công ty TNHH Samsung Display Việt Nam)” ứng đụng thuật toàn xử lý ảnh kết hợp công nghệ học sâu dẻ phát

hiện và loại bỏ những sản phẩm không đạt chất lượng ngay tử đầu vào công đoạn gia

ap va hén kat

Đôi tượng nghiên cứu

Đôi tượng nghiêu cửu của luận văn là Lâm nên trước khi được đưa vào công doạn gia áp và liên kết trong dây chuyển khép ki của nhà máy sản xuất màn hình

LCD sử đụng công nghệ học sâu

Phương pháp nghiên cứu

Nghiên cứu lý thuyết kết hợp với thực nghiệm, sử dụng các thuật toán liên quan đến xử lý ảnh kết hợp với kết quả thục nghiệm

Nội dung cửa luận văn

Luan vin bao gồm 5 chương:

- _ Xây dựng thuật toán xử lý ảnh

~ Quá trình học sâu và phát hiện vết nứt

« Chương 4:

- Pinh toán thiết kế hệ thông cơ khi, lựa chợn các linh kiện phù hợp

tà

- Tinh toan vi tri lip dit Camera, đèn chiều sáng

-_ Xây dụng thuật toán điều khiển toàn bộ hệ thông phát hiện vét nứt trên tâm nên và loại bỏ các sản phẩm lỗi

- Méhinh hé thing

« Chương 5:

-_ Kết quả thực nghiệm

- Đánh giá hiệu quả của giải pháp,

Trong luận văn, các kết quả được chọn lọc, phân tích, kế thừa những thành quả

1ghiên cứu đỡ có dễ sử đụng trong thuật toán ofng rửư là phương pháp phát hiện lỗi trên sản phẩm

Luận văn có sử dụng các phản mềm bỗ trợ cho cổng vie: Visual studio 2017, Ms

Office, Python 3.8.2, Anaconda, để thực hiện nghiên cúu để ra

CHUONG E TONG QUAN VE BE TAI

Chương này trình bay những cơ sở lý thuyết liên quan đến công nghé man hình LCD cơ bản và những nguyên nhân gây ra vết nứt hay vỡ, cũng như là lý thuyết về

nứt trên

thị giác máy lính và công nghệ học sâu Phần 1 trình bảy tông quan về

tắm nên Thần 2 trình bảy về thị giáo máy tính về công nghệ học sâu

1.1 Giới thiệu về công nghệ LCD va công đoạn gia áp và liên kết ấm nền

1.1.1 Tổng quan về màn hình LCD

Man hinh tinh thé ling hay LCD (Liquid erystal display) là loại thiết bị hiển thị câu tạo bởi các tế bảo (các điểm ảnh) chữa tình thể lỏng có khá nẵng thay đổi tính phân cực của ánh sáng và đo đó thay đổi cường độ ánh sáng truyền qua khi kết hợp với các kính lọc phân cực LỚP có ưu điểm là phẳng, cho hình ảnh sáng, chân thật và tiết

kiệm năng lượng

1.12 Cấu tạo của mản hình LCD

Có hai kiểu cấu tạo màn hình tình thể lông chính, khác nhau ở thiết kế nguồn sáng, Trong kiểu thứ nhất, ánh sảng được phảt7a từ một đèn nên, có võ số phương phân cực

nh cáo ánh sảng tự nhiên Ảnh sáng nảy được cho lọt qua lớp kính lọc phân cực thứ

nhất, trở thành ảnh sang phân cực phẳng chí cỏ phương thẳng dứng Anh sang phan cực phẳng này được tiếp tục cho truyền qua tắm thủy tỉnh vả lớp điện cự trong suốt

để đến lớp lình thể lỏng Sau đó, chúng tiếp tục đi tới kính lọc phân cục thứ lai; có phương phân cực vuông góo với kinh lọc thử nhất, rồi đi tới mắt người quan sát Kiểu,

ân hình này thường áp dụng cho màn hình màu ở máy tính hay TV Đề tạo ra máu

sắc, lớp ngoài cùng, ước khi ảnh sảng đi ra đến unải người, có kinh lọc mải.

‘Tim glass “Bộ lọc theo chiều đọc

Hinh 1.1 Cầu tạo màn hình tình thể lông dùng nguồn sáng

Ở loại mản hình tính thê lỏng thứ hai, chúng sử dụng ảnh sáng tự nhiên đi vào từ

mặt trên và có gương phản xạ nằm sau, đội ảnh sáng nảy lại cho người xem Đây là

câu tạo thường gặp ở các loại màn hình tỉnh thể lỏng đen trắng trong các thiết bị bỏ túi Do không cân nguồn sảng nên chúng tiết kiệm năng lượng

Đinh ngăn tâm LCD

<p Rnceeuk eieais

Hình 1 1 Cdu trite man hinh tinh thé long khéng cần nguồn sáng

1.1.3 Thanh phan của màn hình tỉnh thể lỏng

Màn hình tỉnh thể lỏng cỏ nhiều lớp nhưng được chia làm hai phần chính:

~_ Phần tạo ảnh sáng nên: cỏ chức năng tạo ra nguồn ánh sáng trắng chiều từ phia sau (Backlight) chiéu qua tam LCD dé soi sang hình ảnh mau

- TamLCD là nơi mà các điểm mâu được diéu khién dé cho anh sảng xuyên qua

nhiêu hay ít, từ đỏ tái tạo lại ánh sảng của hình ảnh lúc ban đầu

Tắm LCD là nơi tạo lên hình ảnh mâu chủng được cầu tạo từ các lớp như sau:

- Mang phan cue phia trên

- Tam CF (Day la tam điện cực chung)

- Lop LC (Lyquied Crystal) - Lop tinh the long

- Tam TFT (Thin Film Transistor) - Cac Transistor mang méng

- Mang phan cue phia dudi

Phân tạo ảnh sáng nên, bao gồm các lớp:

- Lăng kính - đây là lớp tăng cường độ ánh sáng lên 1.5 đến 1,8 lần

~ Lớp khuếch tán ảnh sáng - lớp này tập trung ánh sáng thu được từ sau lớp dẫn

sảng

- Tam dan sang - truyền ánh sảng từ một phía ra khắp màn hình

~ _ Lớp phân xạ - phản xạ toàn bộ ảnh sáng về phía trước

~_ Đền cao áp - tạo ánh sảng nên cho màn hình

1.1.4 Giới thiệu về công đoạn gia áp và liên kết tấm nền (OLB)

Là một trong những công đoạn quan trong trong quả trình sản xuât mản hình LCD (Liquid crystal display), công đoạn gia áp và liên kết có nhiệm vụ kết nổi phần FPCB

với màn hình tỉnh thể lỏng thông qua TABIC nhờ quả trình Gia áp vả liên kết sử dụng

nhiệt độ cao ở một thời gian nhất định

Hình 1 2 Công đoạn gia áp và liên kết trong nhà máy sản xuất màn hình LCD

1.2 Téng quan về vết nứt trên tắm nền vả các lỗi phát sinh trong công đoạn gia

áp và liên kết tâm nền

1.2.1 Tổng quan về vết nứt trong công đoạn gia áp và liên kết tắm nền

Do đặc trưng của tắm nẻn LCD là làm bằng kính nên trường hợp bị nút hay vỡ là

điều hoàn toản có thê xảy ra Vẫn đẻ nứt vỡ xảy ra do nhiều nguyên nhân nhưng đôi với bắt cử lý do gi, khi tâm nền đã vỡ thì sẽ bị loại bỏ khỏi dây chuyên sản xuất va

đem đi tiêu hủy

Việc có thể phát hiện vet mit bằng các biện pháp sử dụng công nghệ có thé

thay thể được con người sẽ làm giảm chỉ phi và nhân công lao động dân đến nâng cao năng suất và giảm giá thành sản phẩm

—&_

Hình 1 3 Một số hình ảnh vỡ của tắm nên 1.2.2 Các nguyên nhân gây vỡ, nứt tấm nền LCD

1.2.2.1 Vỡ từ nguyên liệu đầu vào

Trước khi tâm nên được đưa vào kết nổi giữa bảng mạch và tâm nên thì đã phải trải qua công đoạn hình thành nên tâm nên Sau khi tâm nên được hoàn thành sản

xuất thì tiến hành di chuyển qua công đoạn tiếp theo

H111 1111111117)

Hình 1 4 Lỗi vỡ từ nguyên liệu đầu vào

x

Sau khi tam glass duoc san xuất ra thi sẽ di chuyên đến nha may dé dan tam phim hién thi va két ndi gitta glass voi bang mach dé tâm nên cỏ thẻ hiển thì được hình anh thông qua bộ điều khiên Trường hợp nguyên liệu trước khi đưa vào công đoạn đã xảy

ra vỡ, nút, chipping thì được gọi là vỡ từ nguyên liệu đầu vào Việc kiểm soát tâm nên

từ đầu vảo này rất quan trọng Nêu không kiểm soát được việc nảy thì sẽ gây ra lãng phi nguyên vật liệu cho tâm nên hỏng, bên cạnh đỏ khi đưa vảo sản xuất, tâm nên nay

có thể vỡ và đề lại dị vật trên thiết bị, sẽ gây lỗi vỡ hàng loạt cho các tâm nên sau mà không thê kiểm soát được

1.2.2.2 Vẽ từ công đoạn đản POL

Trước công đoạn gia áp và liên kết( kết nói giữa tảm nên và bảng mạch) lả công đoạn dan tam POL lên hai bên bẻ mặt glass Công đoạn dản POL cũng đã cỏ những biên pháp nhật định đề kiểm soát được việc tâm nên vỡ do trong quá trình sản xuất

+ văn chưa được kiêm soát

Tuy nhiên bê mặt sử dụng cho quả trình gia áp và liên

triệt để, có thể đề lọt lỗi vỡ tâm nên, mini vỡ hay lỗi chipping xuống công đoạn gia

áp và liên kết

_ Mình 1 5 Lỗi vỡ glasa tir cong doan dén POL

Tuy nhiên, việc xây ra nút, vỡ hay chipping be mat tam nên tại công đoạn dán

ĐPOL hoàn toàn không có tỉnh chất phát sinh hảng loạt như công đoạn gia áp và liên

kết tắm nên Ở công đoạn dán tắm phân cực ánh sảng (tâm POL) nảy, bê mặt tâm nền

bằng kinh được dán bởi hai lớp phân cực ảnh sảng trước (CF glass) và sau (TFT glass)

Mỗi tam nên sẽ được gói gọn bằng hai lớp phân cực nảy nên sẽ không đề lại di vat tai

bề mặt dân mỗi khi phát sinh lỗi nứt vỡ Thay vào đó, khi một tắm nên bị dán hư hỏng

do định dị vật, nó hoàn toàn có thê rework trở lại công đoạn đề tiếp tục dán thêm một lần nữa trước khi di chuyên den công đoạn gia áp vả liên kết tâm nên

Do tính chất mỗi công đoạn khác nhau nên việc xảy ra nứt vỡ cũng khác nhau

“Trong luận văn này, ta chỉ quan tâm đến lối nứt, vỡ hàng loạt tại công đoạn gia áp

1.2.2.3 Dj vat nằm trên tắm glass gây lỗi trong quá trình gia áp và liên kết

Việc kiểm soát dị vật bám đính, tích tụ trên bề mặt tắm nên cũng võ củng quan trong, nó sẽ ảnh hưởng trực tiếp đến quả trình kết nói giữa tâm g]ass với bảng mạch Hay đơn giản là từ việc dị vật bám dinh trên bẻ mặt, khi gia áp và liên kết sẽ gây vỡ tâm nên Những thành phần thủy tỉnh vỡ từ tắm nên nảy sẽ dính lại trén backup va gây vỡ hảng loạt các tâm nên sau đỏ, gây phát sinh lỗi công đoạn và chỉ phí nguyên

Hình 1 7 Một số dị vật ảnh hưởng đến gia áp và liên kết tắm nên

1.3 Téng quan vé thi

jac may tinh va xir ly anh

1.3.1 Tổng quan về thị giác máy tính

Thị giác máy tính (computer vision) là một lĩnh vực bao gém các phương pháp thu nhận, xử lý ảnh kỹ thuật sổ, phân tích và nhận đạng các hình ảnh và, nói chung là

dit ligu đa chiều từ thể giới thực dé cho ra các thông tín số hoặc biểu tượng, ví dụ trong các dang quyết định Việc phát triển lĩnh vực này có bối cảnh từ việc sao chép các khả năng thị giác cơn người bởi sự nhận điện và hiểu biết một hình ảnh rnang tính diện tử Sự nhận điện hình ảnh có thể xem là việc giải quyết vẫn đề của các biểu tượng,

thông tin từ dữ liệu hình ảnh qua cách đửng các mnô hình được xây dựng với sự giứp

đỡ của các ngành lý thuyết học, thông kê, vật lý và hình học Thị giác máy tính cfmp, được mô tả là sự tổng thể của một đải rộng các quá trinh tự động và tích hợp và các

thể hiện cho các nhận thức thị giáo

Thị giác máy tỉnh là một mồn họe khoa học liên quan đến lý thuyết đẳng sau các

thể thống nhân lạo có trích xuất các thông tin từ các hình ảnh Dữ liệu hình ảnh có thể

nhiều dạng, chẳng hạn như chuỗi video, các cảnh từ đa camera, hay dữ liệu đa chiều

từ máy quét y học Thị giác may tính con la métimén học kỹ thuật, trong đó tìm kiếm:

việc áp dụng các mô hình và các lý thuyết cho việc xây dụng các hệ thông thị giác may tinh

Các lĩnh vực can của thị giác máy tính bao gồm tải cầu trúc cảnh, đỏ tìm sự kiện, theo đối video, nhận điện bố cục đổi tượng, học, chỉ mục, đánh giá chuyên động và phục hồi ảnh

1.3.2 Giới thiệu về xứ lý ảnh

Xữ lý ảnh là một lĩnh vực mang tỉnh khoa hợc và công nghệ Mó là một ngành

khoa học mới mẻ so với nhiều ngành khoa học khác nhưng tốc độ phát triển của nó Tắt nhanh, kích thích gác Irung tâm nghiên cứu, ứng dụng, đặc biệt là máy tỉnh chuyên

dụng riêng chơ nó

Xử lý ảnh là môn học liên quan đến nhiều lĩnh vực vá cân nhiều kiến thức cơ sở kháo Đầu tiên phải kế đến Xử lý tín hiệu số là một mến học hết sure co ban cho xử lý

10

tín hiệu chung, các khai nigm vé tich chp, cac bién déi Fourier, bién doi Laplace, cdc

bộ lọc hữu hạn Thứ bai, các công cụ toán như Dại số tuyến tính, xác suất, thông kê Một số kiến thứ cân thiết như Trị tuệ nhân tao, Mạng nơ ron nhân tao cing duoc dé

cập trong quá trình phân tich và nhận dạng ảnh:

Để dễ tưởng tượng, xét các bước cản thiết trong xử lý ảnh Đâu tiền, ảnh tự nhiên

từ thể giới ngoài được thu nhận ca các thiết bị thu (như Camera, máy chựp ảnh)

Trude day, anh thu qua Camera là các ảnh tương tự (loại Camera ống kiểu OCTR) Gan day, voi sy phát triển của cỏng nghệ, ảnh máu hoặc đen trắng dược lây ra từ Camera, sau đẻ nó được chuyển trực tiếp thành ảnh số tạo thuận lợi cho xử lý tiếp theo (May anh số hiện nay là một thí dụ gần gũi) Mặt khác, ảnh cũng có thể tiếp nhận tử vệ tính; có thể quét tử ánh chụp bằng máy quét ảnh

So 48 nay bao gềm các thành phân sau:

« Phan thu nbn anh (Image Acquisition)

Ảnh có thể nhận qua camera mau hoặc đen trắng Thường ảnh nhận qua carnera

là ãnh tương tự (loại camera ông chuẩn CCTR với tản số 1/25, mỗi ảnh 25 đêng),

cũng có loại camera đã số hoá (như loại TỚD — Change Coupled Devioe) là loại

photodiot tạo cường độ sáng tại mỗi điềm ảnh

Camera thường đừng là loại quét đông ; ảnh tạo ra có dạng hai chiều Chất lượng

xuột ảnh thu nhận được phụ thuộc vào thiết bị thu, vào môi trường (ảnh sáng, phong,

cảnh)

«Tin xr ly (Image Processing)

Sau bộ thu nhận, ánh có thể nhiễu độ tương phần thắp nên cần đưa vào bộ tiên

xử lý để nâng cao chất lượng Chức nắng chính của bộ tiên xử lý là lọc nh

nông

độ tương phản để làm ánh rỡ hơn, nét hơn

«_ Phân đoạn (Segmentation) hay phan ving anh

Phan vùng ảnh là tách một ảnh đâu vào thành các vùng thành phân đề biếu diễn

phân tích, nhận đang ảnh

« Biéu điển anh (Image Representation)

Đâu ra ảnh sau phân đoạn chúa các điểm ảnh của vùng ảnh (ảnh đã phân đoạn)

cộng với mã liên kết với các vùng lận cận Việc biển đối các số hiệu này thành

dạng thích hợp là cần thiết cho xử lý tiếp theo bằng máy tỉnh Việc chọn các tỉnh

chat dé thế hiện ảnh gọi là trích chọn đặc trưng (T'eatrre Selection) gắn với việc tách các dặc tính của ảnh dưới dạng các thông tin dịnh lượng hoặc làm cơ sở dễ

phân biệt lớp đối tượng này với đổi tượng khác trong phạm vị ánh nhận được œ- Nhận dang và nội suy anh (image Recognilion and Tnterprelation)

Thận đụng ảnh là quả trình xác dịnh ảnh Quá trinh này thường thú được bằng, cách so sánh với mẫu chuân đã được học (hoặc lưu) tử trước Nội suy lá phản đoán theo ý nghĩa trên cơ sở nhận dạng Theo lý thuyết về nhận đạng, các mã hình toán đọc về ảnh được phản theo høi loại nhận dạng ảnh cơ bản

- Nhận dạng theo tham số

- Nhận dạng theo cầu trúc

Một số dối tượng nhận dựng khá phổ biển hiện nay đăng được áp dụng trong khoa

học vả công nghệ là: nhận dạng ký tự (chữ im, chữ viết tay, chữ ký điện tử), nhận dạng, văn bản (Text), nhận đạng vân tay, nhận đạng mã vạch, nhận dang mặt người

« Cơsở trị thức (Knowlcdee Basc)

Như dã nói ở trên, ảnh là một dỗi tượng khá phức tạp vẻ dường nét, độ sáng, tôi, dung lượng điểm ảnh, môi rường đề thu ảnh phong phú kéo theo nhiễu Trong

nhiều khẩu xử lý và phân tích ảnh ngoài việc đơn giân hóa các phương pháp toán

lọc dâm bão tiên lợi cho xử lý, người ta mong muốn bắt chước quy trình tiếp nhận

và xử lý ảnh theo cách của con người Trong các bước xử lý đó, nhiều khâu hiện

œ Môtả (biểu điễn ảnh)

Từ Hình 1.9, ảnh sau khi số hoá sẽ được lưn vào bộ nhớ, hoặc chuyến sang các

khâu liếp theo để phân Lịch Nếu lưu trữ ảnh trực tiếp từ các ảnh thô, đòi hỏi dung lượng bộ nhớ cục lớn vá không hiệu quá theo quan điểm ứng dụng và công nghệ

tả (biểu điển) lại (hay đơn gid ba ma hoa)

Thông thường, gác ảnh thô đó được đề

theo các đặc diễm của ảnh được gọi là các đặc trưng anh (Image Features) như tiến anh (Boundary), ving anh (Region) Một số phương pháp biểu điễn thường đùng,

» Biểu diễn bằng mã chạy (Run-T.ength Code)

» Biểu diện bằng 1nã xích (Chame -C7ode)

số gần như ảnh thật Mỗi phần tử trong ma trận được gọi lá một phần tử ánh

1.3.3.2 Độ phân giải cúa ðnh

Định nghĩa: Dộ phân giải (Resohition) của ảnh là mật độ điểm ảnh được ấn định trên tuội ảnh số được hiển thị

Theo đính nghĩa, khoảng cách pitta cáo điểm ảnh phải được chọn sao cho mắt người van thay dược sự liên tục của ảnh Việc lựa chọn khoảng cách thích hợp tạo

nén mét mat dé phan bố, đỏ chính là độ phân giải và được phân bổ theo trục x và y

trong không gian hai chiều

Anh den trắng: là ảnh có hai màu den, trắng (khỏng chứa màu khác) với mức xám

ở các điểm ảnh có thê khác nhau

Ảnh nhị phân: ảnh chỉ có 2 mức đen trắng phân biệt tức đùng 1 bít mồ tã 21 mức khác nhau Nói cách khác: mỗi điểm ảnh của ảnh nhị phân chỉ có thể là 0 hoặc 1

14

Ảnh màu: trong khuôn khô lý thuyết ba màu (Red, Blue, Green) dé tao nén thé

giới màu, người ta thường dùng 3 byte để mô tả mức mau, khi đỏ các giá trị mảu:

2 = 16.7 triệu mảu

1.3.3.4 Dinh nghia anh sé

Ảnh số là tập hợp các điểm ảnh với mức xảm phủ hợp dùng đề mô tả ảnh gần với

ảnh thật

1.3.3.5 Quan hệ giữa các điềm anh

Một ảnh sỏ giả sử được biểu diễn bằng ham f(x, y) Tap con cac điểm ảnh là S; cặp điểm ảnh có quan hệ với nhau ký hiệu là p, q Chúng ta nêu một số các khái niệm sau Các lân cận của điểm anh (Image Neighbors)

~ Giả sử có điềm ảnh p tại toa độ (x, y) p có 4 diem lân cận gần nhật theo chiêu đứng và ngang (có thê coi như lân cận 4 hướng chính: Đông, Tây, Nam, Bắc)

Hình 1 10 Lân cận các điêm ảnh của tọa độ (x;y)

~ Các lần cận chéo: Các điểm lân cận chéo N,( P) (Co thé coi lin can chéo 1a 4 hướng: Đông-Nam, Đông-Bắc, Tay-Nam, Tay-Bac)

15

Np) Ly se Ly-Dea-Ly Lite-Ly-L} 2)

= Tap kéthop: N,(p)—,(p} 1 N,(p) là tập hợp 8 lần ofn diém anh p

- Chi y: Néu (x, y) nim 6 bién (mép) anh; một số điếm sẽ nằm ngoài ảnh

Các mỗi liên kết điểm ảnh

Các mi liên kết được sử đựng để xác định giới bạn (Boundaries) ciia đối tượng

vật thẻ hoặc xác dịnh vùng trong rnột ảnh Một liên kết được đặc trưng bởi tính liễn

kẻ giữa các điểm vá mức xảm của chúng

Giả sử V là tập các giá trị mức xám Một ảnh có các giá trị cường độ sáng từ thang xrức xảm lừ 32 đến 64 được mỏ tã như sau: V £32, 33, , 63, 64}

Có 3 loại liên kết

-_ Tiêu kết 4: Hai điểm ảnh p và q được nói là liên kết 4 với các giá trị cường đỗ

sảng V ndn q nằm trơng môi cáo lần cận của p, tức q thuộc Ñ,(P}

-_ Liên kết8: Hai điểm ảnh p và q nằm trong một cáo lân cân 8 của p, tứo q thuộc

®o khoáng cách giữa các điểm nh

Dinh nghĩa: Khoăng cách D(p, q) giữa hai điểm ánh p toa độ (x, v}, q toa độ (s, t)

là hàm khoảng cách (Distance) hoặc Metrie nếu:

1 D(p,g) >0 (Với D(p,q)=0 nêu và chỉ nêu p=q )

2 Dip.g)= Diap)

3 DGA <D&p.q) | D(q.2):; 7 la.mdt diém anh khac

16

Khoảng cách Euclide: Khoảng cách Buclide gita hai diém anh p(x, y) va a(s, 1) được định nghĩa như sau:

ÐAma)=[x~=sŸ 40-8] aS

Khoang cach khéi: Khoang cach D, (p,q) được gọi là khoảng cách khối đồ

thi (Cily- Block Distance) va duge xde dinh nhu sau:

Khoảng cách D(P,đ) còn gợi là khoảng cách bản cỡ (Chess-Tioard Distance)

giữa điểm ánh p, q được xác dịnh như sau:

Dylp.q)— maxx shy) as)

gồm các đầu do (thu nhận ảnh), bộ số hóa ; máy tính số, Bộ hiển thị, Bộ nhớ

Các thành phan nay không nhắc lại ở dây (dọc thêm giao trinh cau tric may

1.3.5.1 Biển đẫi duh (Image Transform)

Trong xử lý ảnh do số điểm ảnh lớn các lính Loan nhiều (độ phức tấp tính toán

cao) đòi hỏi dụng lượng bộ nhớ lớn, thời gian tính toán lâu Các phương pháp khoa

hoc kinh điển áp đụng cho xứ lý ảnh hâu hết khó khả thi Người ta sử đựng các phép toán Lương đương hoặc biến đổi sang miền xử lý khác để đễ tinh ton Sau kha xi ly

dễ dang hon được thục hiện, dùng biến đổi ngược để đưa về miễn xác định ban đầu, các biến đổi thường gặp trong xử lý ảnh gồm

- Biến đối Fourier, Cosin, Sin

- Biển đối (mô tả) ảnh bắng tích chập, tích Kronecker

- Các biến đổi khác như KL, (Karhumen Loeve), Hađamard

1.3.5.3 Phân tích ảnh

Phân tích ảnh liên quan đến việc xác định các độ đo định lượng của | anh dé dua

xa một mô tả dây đủ về ảnh

18

Quả trình phân tích ảnh thực chất bao gêm nhiễu công đoạn nhỏ Trước hết là công việc tăng cường ảnh để nâng cao chất lượng ảnh, giai đoạn tiếp theo là phát hiện

các đặc tính như phát hiện biên, phân vùng ảnh, trích chọn các đặc tính v.v

1.3.5.3 Tăng cường ảnh — khôi phục ñnh

Tăng cường ảnh là một bước quan trọng tạo tiên để cho xử lý ảnh Nó gồm các

*kỹ thuật như: lọc độ tương phản, khử nhiễu, nỗi màu

Phân ving 1a bude then chốt trong xử lý ảnh Giai đoạn này nhằm phân tích ánh

thành những thành phân cô tính chất nào đó dựa theo biên hay các vùng liên (hông,

Tiêu chuẩn đẻ xác dinh cáo vùng Hên thông có thể là mức xảm, củng màu hay dộ

tương phản

1.3.5.6 Nhận dang dink

Thận đạng ảnh là quá trình liên quan đến các rô tá đổi Lượng muà người la muôn

đặc tả nó, Quá trinh nhận dạng thường đi sau quả trình trích chọn các đặc Hnh chủ yêu của đổi tượng Có hai kiểu mô tả đối tượng:

Mô tã tham số (nhận dang theo thar số)

_Mö tá theo câu trúc (nhận dạng theo cầu trúc),

Trên thực lễ người ta

dỗi tượng khác nhau như: nhận đạng ãnh vân tay, nhận dang chữ viết

áp dụng kỹ thuật nhận dạng khá thành công với nhiều

1.3.%7 Nên ảnh

Đữ liệu ảnh cũng, như các dữ liệu khác cần phải lưu trữ hay truyền di trên mạng,

xả lượng thông tin đề biêu điễn cho một ảnh là rất lớn Do đó làm giảm lượng thông tin hay nén đữ liệu lâ một nhu câu cân thiết

Nến đữ liệu là quả trình làm giấm lượng thông tín “ dự thừa” rong dữ liệu gốc và do

vậy lượng thông tin thu được sau khi nén thường nhỏ hơn dữ liệu gốc rất nhiều

Tết luận: Việc xử lý lỗi vỡ tâm nên có thể áp dụng bằng phương thức xử lý hình ảnh thu được từ sản phẩm Qua đó, bằng các phương, pháp xử lý ảnh, tiểu hành lựa chon phương pháp phủ hợp nhất để có thể giải quyết bài toán mứt vỡ trang công đoạn gia

áp và liên kết lâm nên

CHƯƠNG II: CạC PHƯƠNG PHạP XỬ LÝ ẨNH Vá LỰA CHỌN

Nội dung trong chương II trớnh bỏy vẻ một số phương phõp xử lý ảnh hiện nay Qua đụ so sõnh những mớ, nhược điểm của từng phương phõp vỏ lựa chọn phương,

phõp xử lý ảnh phủ hợp với điều kiện lọi toỏn phõt hiện vỏ loại bỏ tấm nởn bị vũ trong cừng đoạn gia õp võ liởn kết tắm nền LCD

2.1 Phuong phõp tõch nờn (Background subtraction)

Phương phõp tõch cảnh nởn (Tiếng Anh: Background subtraction) [1] hay đờ thờ

goi phuong phõp phõt hiện tiờn cảnh (Tiếng Anh: foreground detection) 1a một kỹ thuật trong lĩnh vực xử lý ảnh vỏ thị giõc mõy tợnh khi mỏ tiởn cảnh (foreground) sẽ

được tõch ra cho những bước xứ lý tiếp theo (vợ đụ như nhận dang dời tượng, nhận dạng cứ chợ, chuyển động, vv) Thừng thường những vỳng õnh quan tóm sẽ thuộc

vũng tiởn cảnh của bức ảnh, vớ vóy việc tõch cảnh nền hiệu quả vỏ chợnh xõc giỷp cho cõc hệ thống nỏy đạt được sự ờn dink va tinh nhanh chồng, Sau bước tiền xử lý, cõc bước xử lý tiếp theo sẽ sử dụng kỹ thuật tõch nởn nỏy Tõch cảnh nởn dược ứng dựng

rộng rọi trong nhiều lĩnh vực như carnera giõm sõt, nhận dạng đổi tượng, nhận đạng,

cử chỉ đụi tượng, giao thừng đẻ theo dửi lưu lượng xe với cõc phương phõp tiếp cận:

như:

2.1.1 Phương phõp frame diffirencing

Trong tất cả cõc phương phõp baokground subtraction thi phương phõp Frame Diffcreneing dược xem lả phương phõp đơn giản nhất Chỉ phợ tỉnh toõn thắp, tốc độ thực thị thuật toỏn nhanh Tuy nhiởn kết quõ đạt được khi ta õp dụng thuật toõn nảy lỏ tương đối thấp

Trong đụ:

- Tui: frame anh thứ t~1

- Fy: frame ant thie bk

- th: ngưỡng dược chọn Độ chợnh xõc của thuật toõn phụ thuộc vỏo giõ trị

ngưỡng nỏy

2.1.2 Phương phap loc trung binh Mean filter

Lo va Velastin trong [2| dễ xuất sử đụng giá trị trung, bình của n frame cuối cùng làm mô hình nẻn Bước đầu tiên của phương pháp Median là xây dựng ra mô hình

backpround qua quả trinh học trên n ftame Giá trị pixel tại vị trí Éc, y) của mã hình

background duge xây dựng bing cach chon za gid ui ung vị của n frame lai vi tri (x, w)

Giá trị trưng vị được xác định bằng cách sau:

Ví đụ, với một dãy frame từ là tới lữ„, ta xét pixel ớ vị trí ặx, y) thi cdc gid tri Lex, y),

Tá, y), , Fa(<,y) sẽ lạo thành một dây giá trị của pixel (x, y) ứng với tùng Írame ảnh

- Bude đầu tiên ta xắp xếp đấy pixel nảy theo thử tự tăng din

- Giá trị trung vị chỉnh la phản tử năm chính giữa của đãy pixel đã sắp xép thử

ar

San khi đã xây đựng được mô hình background theo phương pháp trên thì những bước

sau được thực hiện ương tự như thuật toàn Runruing Average

3.1.3 Phương pháp Running Gaussian average

'Erong phương pháp frame differencing đã đẻ cập ở trên Do việc xác định các đối

tượng chỉ dựa vào sự khác biệt ở hai Êame liên tiếp nhau Do vậy độ chính xác của

thuật toán tương đối thấp Để khắc phục nhược điểm này thì phương pháp Rurriing

Average để ra hướng giải quyết là xây dựng nên mô hình backgrotmd Wren et aL [3]

đã đề xuất mô hình hóa background độc lập tại mỗi vị trí pixel (1ÿ) Giá trị pixel lại vị tri (x,y) cda mé hinh background nay được tính bằng cách lấy trung bình cộng của tất

cA cde gid ti pixel tai vị tri Éx,y) của nframe đã học

Trong đổ:

- BG, y): gia tri pixel tai vi tri (x, y) clia mé hinh background

-_ TiỘ, y}: giá tri pixel tai vị wi (x, y) eda frame thiri

ty là

tượng foreground duoc thực hiện bằng cách so sánh từng &ame ảnh với mô hình

Tưackground Dựa vào giá trị của ngưỡng đã được chọn trước lương tự rửư phương

phap frame differencing,

1.1.4 Phương pháp mê hình gausian hỗn hop (GMM)

Phương pháp nay do Wren, Azarbayejani, Darrell, Pentland [3] dua ra vao nim

1997 Phương pháp mày dặt một phân phối đaussian lên sự biển thiên giá trị của mỗi

pixel trong đoạn video Ví dụ, với một dãy ñame từ E: tới Fa, ta xét pixel d vi tri (x, y) thi các giá trị Fax, y), Pax, y), ., TuỐx,y) sẽ tạo thành một đấy giá trị cửa pixel (x, y) ứng với từng rame ảnh Bằng cách tính trung binh và phương sai của diy pixel nay

ta xác định duge pixel background (giá trị trưng bình) và ngướng (độ lệch nhân với

mét hang số nảo đó),

đi = ae(F — &)? + (1— @)* of 2.6)

Những pixel nào có giá trị nào thỏa |F — | > th thi duve xom 18 foreground, th cé

thé chon bang ke

2.2 Phương phap Template Matching

Template matching |4| la mét ki thuat xi ly hinh aoh dign to dé tim 1 hinh anh

nhỏ trong 1 bức ảnh lớn sao cho ving anh nay giống với ảnh mẫu (template) nhất, Template matching cỏ thế ứng đụng trong sân xuất để quân lý chất lượng sản phẩm, dùng để diễu khiểu mobile robot, hoặc dễ tìm ra các canh của 1 bức ảnh Những thử

thách lớn nhật trong phương pháp Template Matching là: tìm sự ăn khớp, phát hiện

các biến đổi trong hình ảnh về mặt ánh sáng, mâu niên, xáo trên nên ảnh và thay đối

tý lệ của ảnh gỗo

Các phương pháp tiếp cận phương pháp Template Matching:

2.2.4 Biến đổi Iapbacian của Gaussian

Một trong những bộ phát Hiện blob đầu tiêu và cũng phổ biến nhất được dựa trên Laplacian of Gaussian (LoG) Cho một hình anh dau vao f (x, y), hình ảnh

nay được nhân ma trận tế hợp chập với 1 nhân Gaussian

và kết quả hoàn toàn ngược lại với các đồm màu sáng có kích thước tương lự Một

cách đơn giản để có được một bộ phát hiện I3lob đa tỷ lệ với việc lựa chọn tý lệ tự

động được xem xét các phép tính Laplacian theo tỷ lệ chuẩn hóa

Để phát hiện tỷ lệ không gian lớn nhấtnhó nhất, đỏ lá các điểm ma Hin Ivot 16

lớn nhất/nhã nhật của phép tính Laplacian W/2„„E trơng ứng với không pian và tỷ

lệ (Limdeberg 1994, 1998) Đo đó, khú cho một hình ảnh dẫu vào hai chiều rời rạc

f(x,y) va 3 chidéu rời rạc với tỷ lệ không gian L(x,y,t) được tính toán va một điểm

24

được coi là một đốm sáng (tối) nếu giả trị tại diễm này lớn hơn (hoặc nhỏ hơn) giá trị của tắt cä 26 điểm liên kể nó Do đó, việc lựa chọn đồng thời các điểm cần quan

tâm (#,ÿ)và tỷ lệ Ê được thực hiện theo công thức,

(8,9, = aramaxmimacal„uo((Exml)x,y,t))- (2.10) Cáo thuộc tỉnh dựa trên sự lựa chọn tỷ lệ của phép biến đổi Laplaeian và các phương pháp đò tìm điểm cân quan tâm có quy mô chặt chẽ khác được phân tích chi tiét trong (Lindeberg 2013a) |5] Trong (Lindeberg 2013a, 2015) nó dược thể hiện rằng tên tại các bộ tìm kiếm điểm quan tâm trong không gian khác, chẳng han như yêu tổ quyết định của biển đối Hessian, hoạt động tốt hơn so với toán tử Laplacian hoa xắp xi khác biệt của Gaussians cho phủ hợp dựa trên hình ảnh bằng,

cách sử đụng bộ mô tả hình ảnh như SIET

3.22 Phuong phap sai eh Gaussian

Tử thực tế là các đại diện không gian quy mô L(x,y,Ð đáp ứng các phương, trình khuếch tán

đạL= TP?L 2 10)

No tuan theo dinh luat Laplacian cia phép bién ddi Gausian V 2 L (x, y, 1) cũng

có thể được tính toán như là trường hợp giới hạn của sự khách biệt giữa lai

Gausian hình ảnh đã được làm min(đại điện quy mô trong không gian)

rmbt) & p0G,yà +RQ=Lœyï) C12)

Trong lý thuyết về thị giác máy, cách tiếp cận ray được gọi là sư khác biết của Gaussians(DoG) [3én cạnh các kỸ thuật nhỏ, tuy nhiên phép biến đổi nảy là trong ban chất tương tự như Laplacian và có thể được xem như là xâp xi của các phép biến đổi Laplacian,

2.23 Định thức Hessian

Bang việc xem xét quyết dịnh quy mé-chuin hoá của Hessian, cũng dược gọi là phép biển đổi Monge-Ampère [6]

tạ oi

detByormt = tUagebyy — Ty) (2.13) Trong đó H1 là ma trận Hessian của đại điện không gian quy mô Ï, và sau đó phát

“hiện quy mô-không gian Miaxima của nba điều hành nảy, một trong những nhận được

xmột máy đỏ blob khác biệt đơn giản với lựa chọn quy mô tự động mmả cũng đáp ứng

với yêu tâm ( Lindebog 1994, 1998) [7|

(8,ÿ,) = argmaslacale„((đeLH,rmE)(x,y,t)) (14) Các biob điểm (x ^, y ^) và vảy t^ cũng được xác định từ một định nghĩa vi phân

hoạt động dẫn đến mô tả blob là biển thể với các bản dịch, phép quay va rescalings

trong miễn hình ảnh Trang điều kiện lựa chọn quy mô, cáo đếm màu được xác định

từ quy mô-không gian cực đoạn của các yêu tổ quyết của Hessian (DoH) cũng có quy

mô lựa chọn tết hơn một chút thuộc tính theo biến déi khéng Duclidean afin hon so

với các nhà điều hành 1.aplacian thường được sử dụng (T.indeberg 1994, 1998, 201 5)

[7] trong hình thức dơn giân hỏa, yếu tố quyết định quy mô của Hessian tính từ Haar wavelets được sử dụng như là nhá điều hành điểm quan tâm co ban trong mé t4 SURE’ (hay etal 2006) để phủ hợp với hình ảnh và nhận dang đối tượng

1.2.4 Phép lai giữa toán tử Laplacian và định thức của toán tử Hessian

Một nhà điều hành lai giữa Laplacian vả các vêu tố quyết định của các máy phat

hiện các blob 1Tessian [8] oũng đã được để xuất, trong đó lụa chọn khêng gian được

tiên hành bởi quyết định cửa c

ela chon Hessian và quy mô được thực hiện với quy

xuô-chuẩn héa Laplacian (Mikolajezyk và Schmid 2004) [8]

Œ,?) = argmaxiocal, „((đetHL)(3,y,1))

18) Ê= argmaxminlocalu((ErmL)(8, 9,Ê 3) (2.16)

2.2.5 Phat hién déitugng theo vi sai thich nghi viri bién dai affine

M6 ta blob thu duge tir cae may dé blob vai lya chọn quy mô tự déng la bat bién dé địch, quay và rescalings thống nhất trong miễn không gian Tuy nhiên, hình ảnh tạo thánh đầu vào cho hệ thông Lâm nhìn máy Lính, cũng tùy thuộc vào sự biển đạng phối cảnh Dễ có được mô tá blob mạnh mẽ hơn đề biển đôi quan điểm, một phương pháp

26

tự nhiên là dễ đưa ra mét may do blob la bat bién dé bién đổi afin Trong thực tế, các điểm quan tâm bất biến afin có thê thu được bằng cách áp đụng thích ứng với hành

dang afin 46 mé ta blob, noi hinh dang eta hat nhan lam min 14 lap lại đế phủ hợp, với cầu trúc hình ảnh địa phương xung quanh blb, hoặc tương đương một hình ảnh

dia phuong Patch 1a vao Warped trong khi hình đạng của hạt nhân làm mịn vẫn còn

rotationally déi ximg (Lindsberg va Garding 1997; 2000 baumberg, Mikola)

Trong lĩnh vục AI có một nhánh nghiền cứ về khả năng tụ học của máy tính được

gọi la hac may (machine learning) Hiện nay có rất nhiều định nghĩa về học máy, nhưng ở đây ta có thể hiểu là kĩ thuật máy tính có thể tự học mà không cản cải đặt các lệnh quyết định Thưởng một chương trình máy tính cần các quy tắc, luật lệ để có thể thục thì dược một lác vụ nào đó Các ví đụ ở dây có thể là từ hệ thống phân loại

(classification) thư ráo (sparn email), hay dự đoán xu hướng giá cá nhà đất tại một khu

vue nao do (regression), Hoe may 18 phuong pháp nối sự quan hệ giữa thuộc tĩnh

cac tap đữ liệu với nhau tử đỏ dưa ra đự doan

Một nhành của học máy ma trong thời gian sẵn dây có bước nhảy vọt và dang

được ưa chuộng đó là Học sâu (Deep Learning) Học sẵu là kĩ thuật sử đụng các trạng,

1iợ-rơm (reural melwerk) tương lự các nơ-rơn não người để xây dựng hệ thông học máy, Kết quả của việc này đã mở ra ngành công nghiếp mới vẻ trí tuệ nhân tao, kết quả đự đoán của mạng nơ ren thân kinh nêu được huận luyện đủ tốt sẽ cho ra kết quả

tôi hơm nền so vor md hinh eda machine learning

Các thuật toán tìm kiếm đối tượng trong học sâu bao gồm:

2.3.1 Region-based Convolutional Network (R-CNN)

Các mô hình đầu tiên bắt dau với phương pháp tim kiểm khu việc vả thực hiện phân loại Trong R-CNN, phương pháp tìm kiếm chọn lọc được phát triển bởi J.R.R Uijlings (2012) là phương pháp thay thể cho tìm kiểm toản điện trong ảnh đề tìm vị trí đối tượng, Các khu vực nhận dang được hợp nhất theo nhiều không gian mau và

số liêu tương tự Đâu ra lả một số các đẻ xuất khu vực chứa một đối tượng bằng cách

Hình 2 1 Mạng Region-based Convolutional Network [21]

Các mô hình R-CNN tốt nhất đã đạt được điểm số 62,4% mAP so với bộ dữ liệu thử nghiệm PASCAL VOC 2012, và điểm số 31,4 % mAP so với bộ đữ liệu

ImageNet2013

2.3.2 Fast R-CNN

Mục dich ctia Fast R-CNN do R Girshick (2015) [9] phat trién la dé giam mic tiêu thụ liên quan đến số lượng lớn các mô hình can thiết để phân tích tất cả các khu

Linear Regression for bounding box offsets

Các mô hinh Fast R-CNN da dat được điểm s6 70% cho bé dit ligu PASCAL VOC

2007, 68.8% cho bộ đữ liệu PASCAL VOC 2010 va 68,4% cho bé dit ligu PASCAL

Hình 2 3 Cầu trúc của Fast R-CNN [9]

2.3.3 Faster R-CNN

Các khu vực đẻ xuất được phát hiện với phương pháp tìm kiếm chon loc van can thiết trong mô hình trước đó 8 Ren (2016) [10] đã giới thiệu mạng đẻ xuất khu vực

29