HỆ THỐNG KIỂM TRA LỖI TRÊN BOARD MẠCH ĐIỆN TỬ

Một trongnhững phương pháp hiệu quả được ứng dụng trong việc này là sử dụng công nghệ xử lý hình ảnh.. Ngày nay xử lý ảnh đã được áp dụng rất rộng rãi trong đời sống như: photoshop,nén ả

BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THỰC PHẨM TP HCM

KHOA CÔNG NGHỆ ĐIỆN – ĐIỆN TỬ

🙣🙣🙣 NH

KHÓA LUẬN TỐT NGHIỆP

HỆ THỐNG KIỂM TRA LỖI TRÊN BOARD MẠCH

ĐIỆN TỬ

GVHD:

SVTH : Lớp : MSSV :

TP HỒ CHÍ MINH, THÁNG 9 NĂM 202

BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THỰC PHẨM TP HCM

KHOA CÔNG NGHỆ ĐIỆN – ĐIỆN TỬ

🙣🙣🙣 H

KHÓA LUẬN TỐT NGHIỆP

HỆ THỐNG KIỂM TRA LỖI TRÊN BOARD MẠCH

ĐIỆN TỬ

GVHD:

SVTH : Lớp : MSSV :

TP HỒ CHÍ MINH, THÁNG 9 NĂM 2021

NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN

TP Hồ Chí Minh, ngày… tháng… năm 2021

Giáo viên hướng dẫn

i

NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN

TP Hồ Chí Minh, ngày… tháng… năm 2021

Giáo viên phản biện

ii

LỜI CẢM ƠN

Để hoàn thành khóa luận tốt nghiệp, trước hết em xin gửi đến quý thầy, cô giáotrong Khoa Điện-Điện tử, trường Đại học Công nghiệp Thực phẩm TP Hồ Chí Minhlời cảm ơn chân thành Đặc biệt, em xin gửi đến Cô Trần Thị Như Hà, người đã tậntình hướng dẫn, giúp đỡ em hoàn thành khóa luận tốt nghiệp này lời cảm ơn sâu sắcnhất

Trong quá trình tìm hiểu đề tài, với kiến thức còn hạn hẹp nên không tránh khỏinhững thiếu sót Em rất mong nhận được sự đóng góp ý kiến của quý thầy cô trongkhoa để em học thêm được nhiều kinh nghiệm và sẽ hoàn thành tốt hơn

Sau cùng, em kính chúc quý thầy cô thật dồi dào sức khỏe, luôn tràn đầy nhiệthuyết và thành công trong sự nghiệp cao quý

TP Hồ Chí Minh, ngày 22 tháng 9 năm 2021

Sinh viên thực hiện

Huỳnh Quốc Khải

iii

TÓM TẮT KHÓA LUẬN

Công cuộc phát triển khoa học công nghệ ngày càng diễn ra mạnh mẽ và tự độnghóa là một phần thiết yếu của hiện tại và trong tương lai Hiện nay việc con người sửdụng các thiết bị điện tử thì không ngừng gia tăng Theo thống kê cho thấy, số lượngthiết bị IoT trên toàn thế giới đang tăng vọt Ước tính sẽ có hơn 75 tỷ thiết bị IoT đượclắp đặt vào năm 2025, gấp 5 lần so với năm 2015 Đây là thị trường lớn, là cơ hội chocác doanh nghiệp tham gia xây dựng các sản phẩm IoT sáng tạo Tuy nhiên trong quátrình sản xuất, việc kiểm tra các mạch điện cho thiết bị IOT còn có nhiều bất cập Vì

đa số đều sử dụng con người để kiểm tra các thiết bị mạch, kiểm tra thiếu sót linh kiện.Cách này cho thấy hạn chế về các mặt như vẫn cần có nhân công xử lý tại địa điểm đó,

dễ xảy ra sai sót, xử lý chậm chạp, không linh hoạt

Theo như tìm hiểu, em thấy rằng trên thế giới người ta đã sử dụng các hệ thốngnhận dạng, kiểm soát linh kiện, bảng mạch bằng Camera rất phổ biến Một trongnhững phương pháp hiệu quả được ứng dụng trong việc này là sử dụng công nghệ xử

lý hình ảnh Cùng với sự tò mò, hào hứng với vấn đề này cũng như nhận thấy côngnghệ kiểm tra thiết bị mạch tự động tại Việt Nam đang rất có tiềm năng nên em đãchọn và nghiên cứu đề tài “Hệ thống kiểm tra lỗi trên board mạch điện tử” làm đề tàinghiên cứu tốt nghiệp của mình

MỤC LỤ

iv

NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN i

NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN ii

LỜI CẢM ƠN iii

TÓM TẮT KHÓA LUẬN iv

MỤC LỤC v

DANH MỤC BẢNG BIỂU v

DANH MỤC HÌNH ẢNH vi

CHƯƠNG 1: TỔNG QUAN VỀ ĐỀ TÀI 1

1.1 Đặt vấn đề 1

1.2 Các phương pháp kiểm tra bảng mạch 1

1.2.2 Phương pháp truyền thống 1

1.2.2 Một số phần mềm có đang được sử dụng ở nhà máy để kiểm tra các linh kiện, mạch điện 2

1.3 Mục tiêu đề tài 4

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 5

2.1 Nghiên cứu tổng quan về công nghệ xử lý ảnh 5

2.1.1 Ảnh số và điểm ảnh 5

2.1.2 Độ phân giải của ảnh 6

2.2 Đối tượng nhận diện 12

2.4.2 Camera 14

2.2.3 Nhôm định hình tạo khung đồ gá cho camera 14

2.2.4 Bộ nguồn cho đèn 15

2.2.5 Nguồn sáng 16

2.2.6 Đồ gá mạch 16

2.3 Thư viện và ngôn ngữ lập trình 16

2.3.1 Giới thiệu về thư viện OpenCV 16

2.3.2 Ngôn ngữ lập trình 18

2.3.3 Thu nhận ảnh 18

CHƯƠNG 3: CƠ SỞ THỰC HIỆN 19

v

3.1 Sơ đồ nguyên lý và lưu đồ thuật toán của hệ thống 19

3.2 Chuyển đổi sang ảnh xám 21

3.3 Xử lý nhiễu 22

3.3 Chuyển ảnh xám về dạng nhị phân 23

3.4 Chương trình cắt vùng ROI 24

3.4.1 Thuật toán SUFT 25

3.4.3 FLANN(Fast Library for Approximate Nearest Neighbors) 25

3.4.4 Giải thuật tìm kiếm vùng ROI dùng Feature Matching 25

3.5 Xử các vùng cần phân tích trên ảnh 26

3.5.1 Contour 27

3.5.2 Phân đoạn ảnh dùng HSV 27

3.5.3 Vùng số 1,2,3- Kiểm tra tụ điện, nút nhấn 28

3.5.4 Vùng 4,5 Kiểm tra led và điện trở 29

CHƯƠNG 4: KẾT QUẢ THỰC NGHIỆM 31

4.1 Kết quả phần cứng của hệ thống 31

4.2 Xây dựng chương trình cho hệ thống kiểm tra mạch 32

4.3 Giao diện của hệ thống 34

4.4 Kết quả kiểm tra 35

CHƯƠNG 5 KẾT LUẬN VÀ ĐỊNH HƯỚNG ĐỀ TÀI 37

5.1 Kết quả đạt được 37

5.2 Hạn chế 37

5.3 Kết luận 37

5.4 Hướng phát triển đề tài 37

TÀI LIỆU THAM KHẢO 39

PHỤ LỤC 40

vi

DANH MỤC BẢNG BI

Bảng 4 1 Kết quả kiểm tra các bảng mạch 100 lần 40Bảng 4 2 Một số mẫu kiểm tra cụ thể 40

vii

DANH MỤC HÌNH ẢNHY

Hình 2 1 Phân tích ảnh màu 6

Hình 2 2 Phân tích ảnh theo điểm ảnh 6

Hình 2 3 Độ phân giải của ảnh 7

Hình 2 4 Màu ảnh 7

Hình 2 5 Các bước thu nhận ảnh 8

Hình 2 6 Một số ví dụ về ảnh số 9

Hình 2 7 Xử lý ảnh 9

Hình 2 8 Giảm nhiễu 10

Hình 2 9 Điều chỉnh độ tương phản 11

Hình 2 10 Tìm cạnh 11

Hình 2 11 Nén ảnh 12

Hình 2 12 Phân vùng 12

Hình 2 13 Khôi phục ảnh 13

Hình 2 14 Bảng mạch cần kiểm tra trong bài toán 13

Hình 2 15 Các vùng cần kiểm tra của bảng mạch 14

Hình 2 16 Kích thước bảng mạch 14

Hình 2 17 Camera được sử dụng trong ứng dụng kiểm tra 15

Hình 2 18 Camera được sử dụng trong ứng dụng kiểm tra 15

Hình 2 19 Nhôm định hình 16

Hình 2 20 Đèn hộp làm nguồn chiếu sáng được thiết kế bằng Solidwork 17

Hình 2 21 Đèn hộp làm nguồn chiếu sáng 17

Hình 2 22 Đồ gá bo mạch để kiểm tra 18

Hình 2 23 Thư viện Open CV 18

Hình 2 24 Ngôn ngữ lập trình C# 20

Y Hình 3 1 Sơ đồ nguyên lý của hệ thống 21

Hình 3 2 Lưu đồ thuật toán của hệ thống 22

viii

Hình 3 3 Ảnh đầu vào 23

Hình 3 4 Ảnh chuyển về mức xám 24

Hình 3 5 Lọc trung vị 25

Hình 3 6 Vùng keypoint 27

Hình 3 7 Chia vùng keypoint thành khu vực con 27

Hình 3 8 Biểu diễn keypoint của khu vực con 28

Hình 3 9 Các hướng của Haar-wavelet 28

Hình 3 10 Feature vector 29

Hình 3 11 Lưu đồ giải thuật tìm kiếm vùng ROI 30

Hình 3 12 Hình qua kênh màu RGB 31

Hình 3 13 Lenna trong không gian màu HSV 32

Hình 3 14 Lưu đồ thuật toán kiểm tra vùng 1,2,3 33

Hình 3 15 Lưu đồ thuật toán kiểm tra vùng 4,5 34

YHình 3 1 Sơ đồ nguyên lý của hệ thốn Hình 3 2 Lưu đồ thuật toán của hệ thống 22

Hình 3 3 Ảnh đầu vào 23

Hình 3 4 Ảnh chuyển về mức xám 24

Hình 3 5 Lọc trung vị 25

Hình 3 6 Vùng keypoint 27

Hình 3 7 Chia vùng keypoint thành khu vực con 27

Hình 3 8 Biểu diễn keypoint của khu vực con 28

Hình 3 9 Các hướng của Haar-wavelet 28

Hình 3 10 Feature vector 29

Hình 3 11 Lưu đồ giải thuật tìm kiếm vùng ROI 30

Hình 3 12 Hình qua kênh màu RGB 31

Hình 3 13 Lenna trong không gian màu HSV 32

Hình 3 14 Lưu đồ thuật toán kiểm tra vùng 1,2,3 33

Hình 3 15 Lưu đồ thuật toán kiểm tra vùng 4,5 34

Y Hình 4 1 Mô hình phần cứng của hệ thống 36

ix

Hình 4 2 Tạo project mới 37

Hình 4 3 Chọn Windows Form App(.NET Framework) 37

Hình 4 4 Khởi tạo thông tin app 38

Hình 4 5 Giao diện với 1-ToolBox, 2-Giao diện chính, 3-Thông tin quản lý giao diện 38

Hình 4 6 Giao diện viết code cho ứng dụng 38

Hình 4 7 Giao diện chính của hệ thống 39

Hình 4 8 Kết quả kiểm tra hệ thống

Hình 5 1 Lỗi hở lỗ trên bảng mạch 43

Hình 5 2 Lỗi ngắn mạch 43

x

CHƯƠNG 1: TỔNG QUAN VỀ ĐỀ TÀI

1.1 Đặt vấn đề

Công nghệ xử lý ảnh là một phân ngành trong xử lý số tín hiệu với tín hiệu xử lý

là ảnh Đây là một phân ngành khoa học mới rất phát triển trong những năm gần đây

Xử lý ảnh gồm 4 lĩnh vực chính: xử lý nâng cao chất lượng ảnh, nhận dạng ảnh, nénảnh và truy vấn ảnh Sự phát triển của xử lý ảnh đem lại rất nhiều lợi ích cho cuộcsống của con người

Ngày nay xử lý ảnh đã được áp dụng rất rộng rãi trong đời sống như: photoshop,nén ảnh, nén video, nhận dạng biển số xe, nhận dạng khuôn mặt, nhận dạng chữ viết,

xử lý ảnh thiên văn, ảnh y tế, Trong công nghiệp thì công nghệ xử lý ảnh được ứngdụng phổ biến trong công đoạn kiểm tra sản phẩm, đảm bảo chất lượng đầu ra nhằmnâng cao chất lượng sản phẩm, bảo vệ uy tín, thương hiệu cho doanh nghiệp, tránhlãng phí sản phẩm lỗi và giảm thiểu nhiều chi phí khác do sự xuất hiện của hàng lỗigây ra

Cũng vì tính tò mò và mong muốn được khám phá, nâng cao chất lượng cho sảnphẩm mà sinh viên quyến định tiếp xúc với công nghệ xử lý ảnh và từ đó đã chọn đềtài “Kiểm tra lỗi trên board mạch điện tử dùng xử lí ảnh”

1.2 Các phương pháp kiểm tra bảng mạch

Các bảng mạch được sử dụng trong rất nhiều lĩnh vực khác nhau từ sản xuất, chếtạo, máy móc, thiết bị hiện đại đều chứa các bảng mạch điện tử Do đó việc kiểm tracác bảng mạch này trong quá trình sản xuất màng tính cấp thiết

1.2.2 Phương pháp truyền thống

Phương pháp truyền thống sử dụng đơn giản nhất chính là sức người Người kiểmsoát sẽ quan sát và thực hiện kiểm tra các bảng mạch ở khâu cuối cùng trong quá trìnhsản xuất bảng mạch Hàng ngày, từ một nhà máy có thể sản xuất ra hàng nghìn đếntrăm nghìn bảng mạch, nếu sử dụng sức người có thể tiêu tốn hàng ngàn nhân côngcho việc này

Hình 1 1 Phương pháp truyền thống

1.2.2 Một số phần mềm có đang được sử dụng ở nhà máy để kiểm tra các linh kiện, mạch điện

Tính năng nổi bật của phần mềm này là:

- Phần mềm sử dụng trí tuệ nhân tạo hoặc smart camera để kiểm tra

- Tự động hóa quá trình giám sát

- Dữ liệu và thông tin của quá trình kiểm tra bảng mạch được xem xét, giám sát theochức năng phân quyền của người dùng và được lưu trữ bảo mật tuyệt đối trên hệ thốngmáy chủ (server)

- Kết nối, trích xuất dữ liệu nhanh chóng

Ứng dụng phần mềm này cũng mang lại nhiều lợi ích cho doanh nghiệp, như quản

lý dễ dàng, nhanh chóng giúp tiết kiệm thời gian quản lý, giảm thiểu nguồn nhân lực khi thực hiện, tiết kiệm được chi phí quản lý của doanh nghiệp.Tính năng nổi bật của phần mềm:

- Quản lý hiệu quả các công việc kiểm tra

- Tất cả quá trình được kiểm tra tự động

- Việc dạy các lỗi dễ dàng mà không cần các yêu cầu am hiểu sâu về xử lý ảnh.

Hình 1 2 Sử dụng phần mềm

Về mặt công nghệ:

Công nghệ và thuật toán kiểm tra bảng mạch có hai vấn đề thiết yếu:

 Chất lượng của phần kiểm tra mạch với các thuật toán nhận dạng áp dụng của nó

 Chất lượng của công nghệ thu nhận hình ảnh, camera và xử lý ánh sáng

Sự tinh vi, thông minh của phần mềm nhận dạng và chất lượng của các thuật toán được áp dụng, kiến thức toán học quyết định khả năng của phần mềm nhận dạng Các thuật toán càng tốt thì chất lượng của phần mềm nhận dạng càng cao:

 Độ chính xác nhận dạng cao nhất có thể

 Tốc độ xử lý nhanh nhất có thể

 Khả năng xử lý trên nhiều loại biển nhất có thể

 Phạm vi chất lượng hình ảnh rộng nhất có thể xử lý

 Khả năng chống lại sự bóp méo dữ liệu đầu vào tốt nhất.

Có hai phần công nghệ then chốt của một thuật toán kiểm tra bảng mạch về cơ bản xácđịnh mức độ chất lượng của nó: Một công nhận dạng ký tự quang học thông minh mạnh mẽ và độ chính xác cao Một công nghệ cho phép phân tích cấu trúc phức tạp

Nguyên lý hoạt động: Phần mềm kiểm tra bảng mạch thường phải trải qua các bước:

Bước 1: Thuật toán sẽ xác định vị trí của bo mạch Nếu có bo mạch, nó phải được định

vị chính xác nhất có thể và sau đó trích xuất từ hình ảnh để xử lý thêm Sau khi bo mạch được định vị và trích xuất từ ảnh chụp, nó phải được chuyển đổi thành một dạng tiêu chuẩn hóa:

 Chuẩn hóa màu nền (độ tương phản và độ sáng được chuẩn hóa)

 Chuẩn hóa kích thước

 Hướng bo mạch đồng nhất

Bước 2: Tiến hành kiểm tra các vùng linh kiện đã dạy

Ưu điểm của Chương trình kiểm tra bo mạch:

Kiểm tra lỗi của bo mạch ở tốc độ cao, nhanh so với con người giúp tăng năng suất của nhà máy Ngoài ra có thể làm việc liên tục 24/24 ngoại trừ thời gian bảo dưỡng

1.3 Mục tiêu đề tài

Ứng dụng xử lý ảnh để hoàn thành được mục tiêu đề tài là: Có thể kiểm tra lỗi thiếu linh kiện trên bảng mạch 89S52

Sinh viên sau khi hoàn thành đề tài sẽ hiểu rõ hơn về các công đoạn xử lý ảnh

Sẽ nâng cao được kỹ năng lập trình, và trao dồi thêm kiến thức về ngôn ngữ lậptrình C khi kết hợp với opencv

Kích thích sự sáng tạo và đưa ra nhiều hướng giải quyết khi gặp vấn đề khó trongquá trình lập trình

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT

2.1 Nghiên cứu tổng quan về công nghệ xử lý ảnh

2.1.1 Ảnh số và điểm ảnh

Điểm ảnh (pixel) có vị trí (x,y) và có độ xám I (x,y) Ví dụ với ảnh trắng đen ta

sẽ có ví dụ sau:

Hình 2.1 Phân tích ảnh trắng đenVới ảnh màu ảnh ta hay nhìn thì mỗi điểm ảnh sẽ có 3 giá trị tương ứng với độsáng của các màu đỏ, xanh lục, xanh dương (RGB)

Ảnh số: " một hình ảnh có thể được định nghĩa là hàm hai chiều, f (x, y), trong đó x

và y là tọa độ không gian (mặt phẳng) và biên độ của f tại bất kỳ cặp tọa độ (x, y) nàođược gọi là cường độ hoặc mức độ màu xám của hình ảnh tại điểm đó Khi x, y và cácgiá trị cường độ của f đều là các đại lượng hữu hạn, rời rạc, chúng ta gọi hình ảnh làhình ảnh kỹ thuật số"

Hình 2 1 Phân tích ảnh màuHay có thể hiếu 1 cách đơn giản rằng "Ảnh số là số hóa làm cho một hình ảnh kỹ thuật

số trở thành một xấp xỉ của một cảnh thực"

Hình 2 2 Phân tích ảnh theo điểm ảnhĐiểm ảnh: "hình ảnh kỹ thuật số chứa một số lượng hữu hạn các hàng và cột của cácphần tử Mỗi phần tử được gọi là pixel "

2.1.2 Độ phân giải của ảnh

Độ phân giải: "độ phân giải là thước đo của chi tiết rõ ràng nhỏ nhất trong ảnh,được tính là số điểm (pixel) trên một đơn vị khoảng cách (dpi)"

Hình 2 3 Độ phân giải của ảnhNhư ảnh trên chúng ta thấy rằng tuy cùng kích thước nhưng độ phân giải khác nhau, và

độ phân giải càng thấp thì càng mờ

 Các định dạng phổ biển của ảnh

Các định dạng phổ biển của ảnh số bao gồm:

 1 giá trị trên điểm/pixel ( B&W hay Grayscale)

 3 giá trị trên điểm/pixel (Red, Green, Blue)

 4 giá trị trị trên điểm/pixel ( Red, Green, Blue, + “Alpha” or Opacity)

Hình 2 4 Màu ảnh Grayscale, RGB, RGBA

 Thu nhận ảnh

Các bước thu nhận ảnh được tổng quát như hình sau:

Ngoài ra, ảnh có thẻ được tạo ra từ việc thu nhận và biểu diễn lại các sóng khác (ngoàiánh sáng) Ví dụ: Siêu âm (ultrasound), tia X, tia gamma, sonar, sóng radio

 Xử lý ảnh

Xử lý ảnh là các thuật toán thay đổi hình ảnh đầu vào để tạo hình ảnh mới Đầu vào

là ảnh nguyên bản, đầu ra là ảnh đã được xử lý (phân ngưỡng, giảm nhiễu, điều chỉnh

độ tương phản, )

Hình 2 7 Xử lý ảnhCác chức năng của xử lý ảnh:

 Giảm nhiễu

Hiện tượng "Noise" ảnh hay còn gọi là nhiễu ảnh thường dễ dàng bắt gặp bằng mắtthường Nó khá giống với hiện tượng hạt nhiễu (Grain) trong ảnh film Đó là các đốmlấm tấm nhỏ xuất hiện trên những hình ảnh chụp trong vùng tối hoặc nơi có điều kiệnánh sáng thấp

Hình 2 8 Giảm nhiễu

 Độ tương phản

Độ tương phản là sự khác biệt về độ chói hoặc màu sắc giúp phân biệt đối tượng.Trong nhận thức trực quan về thế giới thực, độ tương phản được xác định bởi sự khácbiệt về màu sắc và độ sáng của đối tượng và các đối tượng khác trong cùng một trườngnhìn

Độ tương phản là một trong những yếu tố quan trọng nhất để đánh giá chất lượng củamột hình ảnh

Khi các vùng tối và sáng trong hình ảnh đó được hiển thị rõ ràng, cách khung cảnh sẽthể hiện rõ nét hơn

Hình 2 9 Điều chỉnh độ tương phản

 Tìm cạnh

Cạnh là tập hợp các pixel có tính chất tại pixel đó, những pixel lân cận theo mộthướng có sự thay đổi đột ngột về độ sáng Một cách đơn giản để xác định pixel cóphải là cạnh hay không là kiểm tra giá trị cường độ sáng tại pixel đó trừ đi giá trịcường độ sáng của pixel ở gần đó

Phát hiện cạnh là một kĩ thuật xử ảnh được sử dụng để tìm kiếm viền bao của của cácđối tượng trong ảnh Trong xử lý ảnh, việc kiếm việc thực chất là tìm những khu vực

bị mất liên tục về độ sáng

Phát hiện cạnh thường được sử dụng để phân vùng ảnh và trích xuất thông tin từ ảnhphục vụ cho các bài toán trong Thị giác máy và Học máy

Hình 2 10 Tìm cạnh

 Nén ảnh

Nén hình ảnh là một loại của nén dữ liệu được áp dụng cho hình ảnh kỹ thuật số, đểgiảm chi phí cho việc lưu trữ hoặc truyền tải Các thuật toán có thể tận dụng các đặcđiểm của thị giác và các thuộc tính thống kê của dữ liệu hình ảnh để cung cấp kết quảvượt trội so với các phương pháp nén dữ liệu chung được sử dụng cho các dữ liệu sốkhác

Hình 2 11 Nén ảnh

 Phân vùng

Trong lĩnh vực thị giác máy, phân vùng ảnh là một quá trình chia một bức ảnh sốthành nhiều phần khác nhau Mục tiêu của phân vùng ảnh là để đơn giản hóa và hoặcthay đổi biểu diễn của một tấm ảnh vào điều gì đó có ý nghĩa hơn và dễ dàng để phântích Phân vùng ảnh thường được sử dụng để xác định vị trí các đối tượng, đường biên(đường thẳng, cong,…) Hay nói cách khác phân vùng ảnh là một quá trình gán nhãncho mỗi điểm ảnh trong một bức ảnh, các điểm ảnh trong cùng một nhãn sẽ có nhữngđặc tính giống nhau về màu sắc, cường độ hoặc kết cấu của ảnh

Hình 2 12 Phân vùngKết quả của việc phân vùng ảnh là tập hợp các phân đoạn bao gồm có thể là toàn

bộ bức ảnh hoặc tập hợp các đường biên chiết xuất từ hình ảnh Các điểm ảnh trongcùng một vùng có đặc tính tương tự nhau về màu sắc, cường độ hoặc kết cấu Cácvùng lân cận thì khác nhau đáng kể về các đặc trưng trên

 Khôi phục ảnh

Ngoài ra xử lý ảnh còn có thể khôi phục lại những bức ảnh đã hỏng

Hình 2 13 Khôi phục ảnhTrong đồ án này, ứng dụng việc phát hiện cạnh của công nghệ xử lý ảnh vào phát hiệnđường biên để xác linh kiện điện tử cần tìm

2.2 Đối tượng nhận diện

Một số đặc điểm của bảng mạch có trong bài toán:

Màu sắc: Bảng mạch màu nâu được đặt trên nền trắng để kiểm tra Bao gồm nhiều linhkiện khác nhau như tụ điện, đèn led, nút bấm, điện trở…

Hình 2 14 Bảng mạch cần kiểm tra trong bài toán

 Các vùng kiểm tra:

Công việc đề xuất của đề tài này là thực hiện kiểm tra 5 vùng của bảng mạch 89S52

Hình 2 15 Các vùng cần kiểm tra của bảng mạch

- Vùng số 1: Kiểm tra có đủ 2 tụ điện hay không?

- Vùng số 2: Kiểm tra có đủ 5 tụ điện hay không?

- Vùng số 3: Kiểm tra có đủ 6 nút nhấn hay không?

- Vùng số 4: Kiểm tra điện trở đã đủ chưa, xếp ngay ngắn hay không?

- Vùng số 5: Kiểm tra số lượng led đã đủ hay chưa?

- Bảng mạch có kích thước 140 x110mm

- Chân đế có thể gắn được trên màng hình CRT và LCD.

Hình 2 16 Camera được sử dụng trong ứng dụng kiểm tra

2.2.3 Nhôm định hình tạo khung đồ gá cho camera

Nhôm là một kim loại mềm, nhẹ với màu trắng bạc ánh kim mờ, dễ uốn, dễ giacông trên máy móc Nhôm có khả năng chống ăn mòn cao và bền vững do có lớp ôxítbảo vệ, không nhiễm từ, không dễ cháy khi ở điều kiện bình thường

Hợp kim nhôm là hợp kim của nhôm với các nguyên tố khác (đồng, thiếc, magie,

…) Hợp kim nhôm sử dụng để sản xuất nhôm định hình là hợp kim nhôm 6063 và6061

Nhôm định hình là những loại nhôm đã trải qua quá trình xử lý kim loại, với mụcđích tận dụng và phát huy tối đa được các đặc tính vật lý chuyên biệt của loại vật liệunày, qua đó tạo điều kiện thuận lợi nhất cho các kỹ sư trong cả hai khâu thiết kế và sảnxuất

Ngoài những yêu cầu về cơ lý, Thanh nhôm định hình dùng trong xây dựng phảithỏa mãn các yêu cầu dung sai kích thước mặt cắt ngang (chiều rộng, chiều cao và

chiều dài) và đảm bảo các dung sai cho phép về góc sản phẩm, bán kính góc sản phẩm,

độ thẳng, độ cong bề mặt…

Hình 2 17 Nhôm định hìnhSản phẩm Nhôm định hình sau khi hoàn thành quá trình sản xuất được kiểm trachất lượng để đảm bảo các chức năng vật lý của nó không bị mất đi Từ những ưuđiểm về đặc tính, nhôm định hình được sử dụng để ứng dụng vào rất nhiều ngành,nhiều lĩnh vực khác nhau

Nhôm định hình dùng trong xây dựng yêu cầu phải có đủ tính năng công nghệ, độbền cơ lý, đảm bảo chống ăn mòn tốt, có khả năng xử lý được bề mặt, nhuộm màu, sơnbóng bề mặt, sơn tĩnh điện … Ngoài ra phải đảm bảo tính lắp ghép, tính chịu lực, tínhthẩm mỹ và tính kinh tế cao, phù hợp với kiến trúc hiện đại Nhôm định hình thườngđược sử dụng làm đồ gá và khung máy trong công nghiệp

2.2.4 Bộ nguồn cho đèn

Nguồn tổ ong 12V 5A là loại nguồn được sử dụng rộng rãi trong các thiết bị côngnghiệp và dân dụng Nguồn tổ ong 12V 5A này còn được gọi là nguồn một chiều 12Volt hay gọi cách khác là nguồn DC 12V

Nguồn tổ ong 12V 5A được thiết kế để chuyển đổi điện áp từ nguồn xoay chiều180V-240V thành nguồn một chiều 12VDC để cung cấp cho các thiết bị hoạt động.Trong công nghiệp Nguồn tổ ong thường được sử dụng để cấp nguồn cho một số thiết

bị của tủ điện

Trong đồ án này, em sử dụng nguồn tổ ong 12v5a cấp nguồn cho nguồn sáng choviệc kiểm tra

2.3 Thư viện và ngôn ngữ lập trình

2.3.1 Giới thiệu về thư viện OpenCV

OpenCV là một thư viện mã nguồn mở hàng đầu cho thị giác máy tính (computervision), xử lý ảnh và máy học (Machine Learning), và các tính năng tăng tốc GPUtrong thời gian hoạt động thực

OpenCV được phát hành theo giấy phép BSD, do đó nó hoàn toàn miễn phí cho cảhọc thuật và thương mại Nó có các interface C++, C, Python, Java và hỗ trợ trên các

hệ điều hành như Windows, Linux, Mac OS, IOS và Android OpenCv được thiết kế

để tính toán hiệu quả và với sự tập trung nhiều vào các ứng dụng thời gian thực Đượcviết tối ưu hóa C/C++, thư viện có thể tận dụng lợi thế xử lý đa lõi Được sử dụng trênkhắp thế giới, OpenCV có cộng đồng hơn 47 nghìn người dùng và số lượng tải vượtquá 6 triệu lần Phạm vi sử dụng từ nghệ thuật tương tác, cho đến lĩnh vực khai thác

mỏ, bản đồ trên web hoặc công nghệ robot

Hình 2 20 Thư viện Open CV

 Các ứng dụng của OpenCV

OpenCV được ứng dụng rộng rãi trong các ứng dụng bao gồm:

 Hình ảnh street view

 Kiểm tra và giám sát tự động

 Robot và xe hơi tự lái

 Phân tích hình ảnh y tế

 Tìm kiếm và phục hồi hình ảnh, video

 Phim - cấu trúc 3D chuyển động

 Chức năng của OpenCV

 Image/video I/O, xử lý, hiển thị (core, imgproc, highgui)

 Phát hiện vật thể (objdetect, features 2d, nonfree)

 Geometry-based monocular or stereo computer vision (calib3d, stitching,videostab)

 Computational photography (photo, video, superres)

 Machine learning & clustering (ml, flann)

 CUDA acceleration (GPU)

 Độ nét của các linh kiện

 Ánh sáng thu được trên bức ảnh quá sáng hoặc quá tối

 Ảnh chụp biển số bị thiếu, khuyết kí tự

 Ảnh chụp biển số không cân đối

CHƯƠNG 3: CƠ SỞ THỰC HIỆN

Tiền xử lý là quá trình chuẩn hóa dữ liệu vào, gồm các công việc như xử lý nhiễu, chuẩn hóa kích thước dữ liệu… Các bước mà đề tài thực hiện:

3.1 Sơ đồ nguyên lý và lưu đồ thuật toán của hệ thống

Mô hình hệ thống kiểm tra mạch bao gồm ba phần chính:

 Khối cảm biến: Phát hiện đối tượng khi tới vùng kiểm tra

 Khối Relay và động cơ

 Khối điều khiển

Hình 3 1 Sơ đồ nguyên lý của hệ thống Phía trên là sơ đồ nguyên lý mô tả cấu trúc của hệ thống, còn dưới đây là lưu đồthuật toán thể hiện nguyên lý hoạt động của hệ thống:

Ban đầu, cho băng tải chạy, khi cảm biến phát hiện có mạch đi qua thì băng tải dừng,cảm biến gửi tín hiệu báo có mạch tại vị trí camera, máy tính thực hiện phân tích mạch

và gửi tín hiệu về mạch điều khiển

 Nếu kết quả kiểm tra mạch OK thì cho băng tải chạy đưa mạch ra khay

 Nếu kết quả kiểm tra mạch lỗi thì băng tải chạy và dừng ở vùng chờ sau đó lấy mạch ra khỏi vị trí chờ.

Hình 3 2 Lưu đồ thuật toán của hệ thống

3.2 Chuyển đổi sang ảnh xám

Để tăng tính hiệu quả của hệ thống, ảnh màu RGB ban đầu được chuyển về ảnh

256 mức xám Việc sử dụng ảnh 256 mức xám không làm giảm đi tính đa năng củaứng dụng Trên thực tế, ảnh 256 mức xám vẫn được sử dụng nhiều, và nhiều thiết bịghi hình cũng có khả năng tự chuyển ảnh màu thành ảnh 256 mức xám Về lý thuyết,

để chuyển ảnh màu về mức xám ta chỉ cần nhân các giá trị màu của mỗi điểm ảnhvới một hệ số cho trước Ta có công thức:

O(x,y)= IR(x,y) * 0.287 + IG(x,y) * 0.599 + IB(x,y) * 0.114

(0.1)Với:

 x,y : tọa độ của điểm ảnh

 IR : thành phần màu đỏ tại màu I(x,y)

 IG : thành phần màu xanh lá tại màu I(x,y)

 IB : thành phần màu xanh dương tại màu I(x,y)

 O (x,y): màu đầu ra

 I (x,y): màu đầu vào

Hình 3 3 Ảnh đầu vào

Hình 3 4 Ảnh chuyển về mức xám

3.3 Xử lý nhiễu

Đề tài dùng bộ lọc trung vị để tiến hành xử lý nhiễu ở những bước đầu tiên Trước khi tiến hành ta phải lọc nhiễu xuất hiện trong vùng biển số để nâng cao độ chính xác của các quá trình xử lý tiếp theo Phần lớn ảnh giảm chất lượng là do bị tác động bởi nhiễu Nhiễu trong ảnh phát sinh do quá trình thu nhập ảnh, số hóa ảnh, hoặc trong quá trình truyền ảnh Ảnh nhiễu được mô hình bởi:

Với f(x,y) là điểm ảnh gốc, n(x,y) là thành phần nhiễu và g(x,y) là pixel bị nhiễu.Xác định được mô hình nhiễu thì có thể khôi phục được ảnh gốc

Lọc trung vị là một kĩ thuật lọc phi tuyến (non-linear) khá hiệu quả đối với hai loại nhiễu: nhiễu đốm (speckle noise) và nhiễu muối tiêu (salt-pepper noise) Kĩ thuật này

là một bước rất phổ biến trong xử lý ảnh Bộ lọc trung vị có hiệu quả hơn nhân chập khi mục đích là loại bỏ nhiễu và giữ nguyên đường biên bao quanh đối tượng

Ý tưởng chính của thuật toán lọc trung vị như sau: sử dụng một cửa sổ lọc (ma trận 3x3) quét qua lần lượt từng điểm ảnh của ảnh đầu vào Tại vị trí mỗi điểm ảnh lấygiá trị của các điểm ảnh tương ứng trong vùng 3x3 của ảnh gốc "lấp" vào ma trận