Nghiên cứu thiết kế và chế tạo bộ xử lý ảnh phân loại sản phẩm cho robot công nghiệp nachi MC20 01

Các sản phẩm của ngành cơ điện tử có ở khắp nơi từ thực tiễn đời sống như: máy ảnh kỹ thuật số, máy giặt, tủ lạnh, phương tiện giao thông… cho đến các loại máy móc phục vụ trong công ngh

1

LỜI CAM ĐOAN

Tôi xin cam đoan các số liệu và kết quả nêu trong Luận văn là trung thực và chưa được ai công bố trong bất kỳ một công trình nào khác Trừ các phần tham khảo đã được nêu rõ trong Luận văn

Tác giả

Khổng Minh

2

LỜI CẢM ƠN

Tác giả xin chân thành cảm ơn các thầy cô trong Viện Cơ khí Trường Đại học Bách Khoa Hà Nội cũng như các thầy cô đã tham gia giảng dạy cao học lớp cao học CĐT2013B đã tận tình giúp đỡ cho tác giả trong suốt thời gian vừa qua

Tác giả xin chân thành cảm ơn bạn bè đồng nghiệp bộ môn Cơ điện tử, các thầy trong Ban chủ nhiệm khoa Cơ khí Trường Đại học Công nghiệp Hà Nội

đã tạo điều kiện, giúp đỡ tác giả trong quá trình vừa học vừa công tác

Tác giả xin chân thành cảm ơn gia đình, các bạn sinh viên luôn là động lực, nguồn cảm hứng cho tác giả trong suốt quá trình công tác và học tập

Đặc biệt tác giả xin chân thành cảm ơn PGS.TS Tạ Duy Liêm đã trực tiếp

hướng dẫn tác giả hoàn thành luận văn này PGS.TS Tạ Duy Liêm đã trực tiếp định hướng, giúp đỡ cho tác giả trong suốt quá trình học tập Đại học cũng như Cao học tại Trường Đại học Bách Khoa Hà Nội Thầy không chỉ là người thầy mà còn là một nhà khoa học, một đồng nghiệp mà suốt đời tác giả biết

ơn và ngưỡng mộ

Tác giả

Khổng Minh

3

MỤC LỤC

LỜI CAM ĐOAN 1

LỜI CẢM ƠN 2

MỤC LỤC 3

HỆ THỐNG DANH MỤC BẢNG BIỂU 6

HỆ THỐNG DANH MỤC HÌNH VẼ 7

MỞ ĐẦU 10

1 Lý do chọn đề tài 10

2 Lịch sử nghiên cứu 11

3 Mục đích, đối tượng và phạm vi nghiên cứu của luận văn 11

3.1 Mục đích nghiên cứu 11

3.2 Đối tượng và phạm vi nghiên cứu 11

4 Tóm tắt những luận điểm cơ bản và đóng góp mới của tác giả 12

4.1 Những luận điểm cơ bản 12

4.2 Đóng góp mới của tác giả 12

5 Phương pháp nghiên cứu 13

CHƯƠNG I: TỔNG QUAN 14

1.1 Tổng quan cơ sở lý thuyết 14

1.1.1 Tổng quan lý thuyết xử lý ảnh 14

1.1.2 Thư viện OpenCV 22

1.1.3 Robot công nghiệp Nachi MC20-01 25

1.2 Tình hình nghiên cứu trong và ngoài nước 28

1.2.1 Tình hình nghiên cứu trong nước 28

1.2.2 Tình hình nghiên cứu ở nước ngoài 29

CHƯƠNG II: THIẾT KẾ VÀ CHẾ TẠO HỆ THỐNG 30

2.1 Xác định yêu cầu hệ thống, giới hạn các điều kiện biên 30

2.1.1 Yêu cầu hệ thống 30

2.1.2 Các điều kiện biên 30

2.2 Thiết kế và chế tạo hệ thống 31

2.2.1 Thiết kế tổng thể 31

4

2.2.2 Thiết kế phần mềm xử lý ảnh 33

2.2.3 Thiết kế và thi công mạch điều khiển 36

CHƯƠNG III: TÍCH HỢP HỆ THỐNG 49

3.1 Ghép nối bộ xử lý ảnh với robot công nghiệp Nachi MC 20 49

3.2 Mô hình hóa và mô phỏng hệ thống bằng phần mềm AX on Desk 52

3.2.1 Mô hình hóa không gian làm việc 52

3.2.2 Viết chương trình hoạt động cho robot trên phần mềm AX on Desk 54 3.2.3 Mô phỏng quá trình hoạt động của hệ thống 58

CHƯƠNG IV: ẾT QUẢ Đ NH GI 61

4.1 Kết quả của luận văn 61

4.1.1 Kết quả phần mềm xử lý ảnh 61

4.1.2 Kết quả của bộ phần cứng xử lý ảnh 65

4.2 Phân tích, đánh giá độ chính xác, mức độ đạt được của kết quả nghiên cứu, thực nghiệm 69

4.2.1 Các thí nghiệm kiểm tra chất lượng hệ thống 69

4.2.2 Đánh giá kết quả thí nghiệm 72

KẾT LUẬN 73

PHỤ LỤC……… 73

CODE CHƯƠNG TRÌNH……… ….73

PHẦN BÀI TẬP THỰC HÀNH 84

BÀI 1: THIẾT KẾ KHÔNG GIAN LÀM VIỆC CHO ROBOT 84

CÔNG NGHIỆP NACHI MC20-01 VỚI HỆ THỐNG XỬ LÝ ẢNH 84

1 Mục tiêu của bài thực hành: 84

2 Nội dung thực hành: 84

2.1 Xây dựng không gian làm việc cho robot công nghiệp Nachi MC20-01 bằng phần mềm Solidwork 84

2.1.1 Xây dựng các bàn gá 85

2.1.2 Xây dựng các khay chứa phôi 85

2.1.3 Xây dựng hộp chứa sản phẩm 86

2.1.4 Xây dựng băng tải 86

5

2.1.5 Xây dựng bệ robot 87

2.2 Thiết lập bản vẽ lắp không gian làm việc của robot 87

2.3 Xây dựng không gian làm việc cho robot công nghiệp trên phần mềm AX on Desk 88

2.3.1 Thiết lập không gian làm việc 88

2.3.2 Lựa chọn robot 90

BÀI 2: MÔ PHỎNG HOẠT ĐỘNG CỦA ROBOT CÔNG NGHIỆP NACHI MC20-01 VỚI HỆ THỐNG XỬ LÝ ẢNH BẰNG PHẦN MỀM AX ON DESK 92

1 Mục tiêu của bài thực hành: 92

2 Nội dung thực hành: 92

2.2 Viết chương trình chính 92

2.3 Viết các chương trình con 92

2.4 Giả lập tín hiệu đầu vào 93

2.5 Chạy chương trình mô phỏng 94

BÀI 3: VẬN HÀNH HỆ THỐNG XỬ LÝ ẢNH CHO ROBOT CÔNG NGHIỆP NACHI MC20-01……… 96

1 Mục tiêu của bài thực hành: 96

2 Nội dung thực hành: 96

2.1 Kiểm tra hệ thống trước khi vận hành 96

2.1.1 Kiểm tra robot trước khi bật nguồn điện chính 96

2.1.2 Kiểm tra vị trí của các công tắc, các nút điều khiển 96

2.1.3 Kiểm tra máy nén khí và máy biến áp 97

2.1.4 Kiểm tra băng tải 98

2.1.5 Kiểm tra phần mềm xử lý ảnh và bộ thu phát RF 99

2.2 Viết chương trình chính và chương trình con bằng bảng dạy học 99

2.2.1 Kết nối mạch RF với tủ điều khiển AX 99

2.2.2 Viết chương trình chính và chương trình con bằng bảng dạy học 99

Tài liệu tham khảo 103

6

HỆ THỐNG DANH MỤC BẢNG BIỂU

Bảng 1.1 Thông số kỹ thuật của Robot Nachi MC20-01 26 Bảng 2.1 Các linh kiện chính trong mạch phát RF 42 Bảng 2.2 Các linh kiện chính trong mạch thu RF 48 Bảng 3.1 Danh sách các chân tín hiệu đầu vàocủa bộ điều khiển AX 50 Bảng 3.2 Yêu cầu kỹ thuật tín hiệu I/O của bộ điều khiển AX 51 Bảng 4.1 Kết quả thí nghiệm bộ XLA với khoảng thu phát 2m 70 Bảng 4.2 Kết quả thí nghiệm bộ XLA với khoảng thu phát 10m 71

7

HỆ THỐNG DANH MỤC HÌNH VẼ

Hình 1.1 Quá trình xử lý ảnh 14

Hình 1.2 Các bước trong xử lý ảnh 14

Hình 1.3 Ảnh liên tục và ảnh số 16

Hình 1.4 Hiện tượng vỡ hạt 17

Hình 1.5 Độ phân giải của ảnh 17

Hình 1.6 Mức xám của ảnh 18

Hình 1.7 Độ nhạy sáng 18

Hình 1.8 Ảnh nhị phân và ảnh đen trắng 18

Hình 1.9 Lược đồ mức xám của ảnh 19

Hình 1.10 Không gian màu RGB 20

Hình 1.11 Không gian màu YUV 21

Hình 1.12 Không gian màu YCbCr 21

Hình 1.13 Không gian màu HSV 22

Hình 1.14 Kết nối tủ điều khiển với robot 27

Hình 1.15 Kết nối bảng điều khiển bằng tay với tủ điều khiển 27

Hình 1.16 Robot SCARA xử lý ảnh ĐHCN Hà Nội 28

Hình 1.17 Mobile Robot xử lý ảnh 28

ĐH Lạc Hồng 28

Hình 1.18 Công nghệ xử lý ảnh

áp dụng trong công nghiệp thực phẩm 29

Hình 1.19 Áp dụng công nghệ xử lý ảnh và robot công nghiệp

trong phân loại rác 29

Hình 1.20 Công nghệ xử lý ảnh trong phân loại sản phẩm 29

Hình 1.21 Công nghệ xử lý ảnh trong sản xuất rượu bia 29

Hình 2.1 Sơ đồ khối hệ thống 32

Hình 2.2 Giao diện phần mềm xử lý ảnh 34

8

Hình 2.3 Quá trình lấy ngưỡng màu 35

Hình 2.4 Mạch nguyên lý của mạch phát sóng RF 37

Hình 2.5 Vi điều khiển ATmega8 38

Hình 2.6 Khối reset và nạp ISP 39

Hình 2.7 Khối PL2303 39

Hình 2.8 Khối giao tiếp với module RF 40

Hình 2.9 Khối nguồn 41

Hình 2.10 Mạch in mạch phát sóng RF 41

Hình 2.11 Mạch phát sóng RF 42

Hình 2.12 Mạch nguyên lý của mạch thu sóng RF 43

Hình 2.13 Khối ghi dịch 74HC595 44

Hình 2.14 Khối ULN2803 45

Hình 2.15 Khối kết nối tín hiệu vào của robot 46

Hình 2.16 Mạch in mạch thu sóng RF 46

Hình 2.17 Mạch thu sóng RF 47

Hình 3.1 Vị trí các cổng I/O 49

Hình 3.2 Các chân I/O 50

Hình 3.3 Kết nối với cổng tín hiệu vào và lấy nguồn từ bộ điều khiển 52

Hình 3.4 Hình chiếu cạnh của không gian làm việc 53

Hình 3.5 Hình chiếu đứng của không gian làm việc 53

Hình 3.6 Hình chiếu trục đo của không gian làm việc 54

Hình 3.7 Cửa sổ Visual Program 55

Hình 3.8 Cửa sổ Visual Robot 56

Hình 3.9 Cửa sổ Visual I/O 57

Hình 3.10 Cửa sổ Visual TP 58

Hình 3.11 Vị trí ban đầu của robot 59

Hình 3.12 Robot tại vị trí chờ gắp phôi đã phân loại 59

9

Hình 3.13 Robot gắp phôi đã nhận diện 60

Hình 3.14 Robot thả phôi vào khay tương ứng 60

Hình 4.1 Nhận diện phôi tam giác vàng 62

Hình 4.2 Nhận diện phôi tròn đỏ 62

Hình 4.3 Nhận diện phôi tròn trắng 63

Hình 4.4 Nhận diện phôi tròn vàng 63

Hình 4.5 Nhận diện phôi vuông đỏ 64

Hình 4.6 Các chế độ lựa chọn phôi 64

Hình 4.7 Lấy các thông số màu sắc của phôi với các điều kiện ánh sáng khác nhau 65

Hình 4.8 Mạch nhận và phát tín hiệu RF trên máy tính 66

Hình 4.9 Mặt trước của mạch nhận và xử lý tín hiệu trên tủ điều khiển 67

Hình 4.10 Mặt sau của mạch nhận và xử lý tín hiệu trên tủ điều khiển 67

Hình 4.11 Bảng thao tác trên băng tải 68

10

MỞ ĐẦU

1 Lý do chọn đề tài

Năm 1969, lần đầu tiên khái niệm cơ điện tử được sử dụng tại Nhật Bản

So với các ngành khoa học kỹ thuật khác cơ điện tử còn rất non trẻ Tuy vẫn còn nhiều tranh cãi về khái niệm cơ điện tử nhưng nhìn chung cơ điện tử là

một ngành khoa học được tổ hợp chính từ ba lĩnh vực: cơ khí, điện tử và công nghệ thông tin Cùng với sự phát triển của các lĩnh vực này, cũng như những

ưu việt của mình, cơ điện tử ngày này đã phát triển mạnh mẽ Các sản phẩm của ngành cơ điện tử có ở khắp nơi từ thực tiễn đời sống như: máy ảnh kỹ thuật số, máy giặt, tủ lạnh, phương tiện giao thông… cho đến các loại máy móc phục vụ trong công nghiệp như: máy CNC, robot công nghiệp, hệ thống FMS và CIM…

Năm 2013, được đơn vị cử đi học cao học tại Đại học Bách Khoa Hà Nội chuyên ngành cơ điện tử, tác giả cũng rất băn khoăn trong việc chọn đề tài tốt nghiệp Bởi cơ điện tử là một ngành khoa học với kiến thức rất tổng hợp, sản phẩm rất đa dạng

Tuy nhiên kết hợp giữa chuyên môn của bản thân, sự định hướng phát triển của nhà trường đặc biệt là tư vấn của PGS.TS Tạ Duy Liêm tác giả đã chọn đề tài “Nghiên cứu thiết kế và chế tạo bộ xử lý ảnh phân loại sản phẩm cho robot công nghiệp Nachi MC20-01” làm đề tài tốt nghiệp của mình

Đề tài không những đáp ứng được định hướng nghiên cứu của bản thân tác giả mà còn xây dựng được cơ sở vật chất phục vụ đào tạo, nghiên cứu cho phòng thực hành cơ điện tử 3, trường Đại học Công nghiệp Hà Nội, nơi tác giả đang công tác

11

2 Lịch sử nghiên cứu

Trước khi thực hiện đề tài “Nghiên cứu thiết kế và chế tạo bộ xử lý ảnh phân loại sản phẩm cho robot công nghiệp Nachi MC20-01”, tác giả đã có thời gian phụ trách phòng thực hành robot công nghiệp từ năm 2010

Quá trình phụ trách phòng thực hành, ngoài việc hướng dẫn sinh viên vận hành sử dụng những khả năng sẵn có của robot, tác giả đã nghiên cứu theo hướng tích hợp các hệ thống ngoại vị cho của robot, nhằm mở rộng khả năng làm việc của nó

Xử lý ảnh là một hướng nghiên cứu khá thú vị Từ năm 2011, tác giả đã nghiên cứu hệ thống xử lý ảnh, bước đầu thiết kế và chế tạo thành công, xây dựng được mô hình học cụ là: Robot công nghiệp SCARA ba bậc tự do, phân loại sản phẩm theo màu sắc Đề tài là sản phẩm xử lý ảnh thứ hai tác giả nghiên cứu, thiết kế và chế tạo, với đề tài này tác giả thiên nhiều hơn theo hướng tích hợp hệ thống trong công nghiệp và xây dựng các bài thực hành, thí nghiệm phục vụ giảng dạy

3 Mục đích, đối tượng và phạm vi nghiên cứu của luận văn

3.1 Mục đích nghiên cứu

Luận văn nghiên cứu hai nội dung chính là công nghệ xử lý ảnh và khả năng tích hợp công nghệ xử lý ảnh trên robot công nghiệp Nachi MC 20 – 01 Trên cơ sở đó nhằm thiết kế, chế tạo bộ xử lý ảnh, tích hợp trên robot công nghiệp, thử nghiệm, đánh giá và xây dựng các bài thực hành, thí nghiệm tương ứng

3.2 Đối tượng và phạm vi nghiên cứu

Lý thuyết chung về công nghệ xử lý ảnh, các hàm, thuật toán của xử lý ảnh trong thư viện Open CV

Robot công nghiệp Nachi MC 20 – 01 các chuẩn giao tiếp và khả năng tích hợp hệ thống

12

4 Tóm tắt những luận điểm cơ bản và đóng góp mới của tác giả

4.1 Những luận điểm cơ bản

Thông qua quá trình thực hiện đề tài, tác giả tổng hợp được căn bản ý nghĩa của các hàm và thuật toán xử lý ảnh có trong thư viện Open CV

Tác giả cũng đã xây dựng được cơ bản phương pháp ứng dụng các hàm, thuật toán Open CV để xây dựng bộ phần mềm và phần cứng xử lý ảnh

4.2 Đóng góp mới của tác giả

Quá trình thực hiện luận văn tác giả đã nghiên cứu tương đối đầy đủ về lý thuyết xử lý ảnh, thư viện Open CV, các chuẩn giao tiếp trong công nghiệp, các phương pháp tích hợp hệ thống Trên cơ sở đó tác giả đã xây dựng trình

tự từ lý thuyết đến việc xây dựng phần cứng, tích hợp hệ thống, đánh giá kiểm nghiệm và đưa vào thực tiễn sử dụng

Luận văn sẽ là một tài liệu tham khảo có ích cho sinh viên, cán bộ kỹ thuật, nghiên cứu theo hướng tích hợp hệ thống cho tay máy robot công nghiệp có sẵn

Thông qua quá trình làm luận văn tác giả cũng đã xây dựng được bộ xử lý ảnh cơ bản tương đối hoàn trỉnh bao gồm: phần mềm xử lý ảnh, phần cứng xử

lý ảnh, bài thực hành phục vụ giảng dạy

Bộ xử lý ảnh tích hợp trên robot công nghiệp nếu mua từ nước ngoài, có giá thành từ vài ngàn đến hàng chục ngàn USD, khả năng nâng cấp, can thiệp sâu vào các hệ thống có sẵn này rất hạn chế Tác giả đã chế tạo thành công hệ thống xử lý ảnh với giá thành rẻ, có khả năng mở rộng, nâng cấp góp phần trong việc đáp ứng nhu cầu học tập và nghiên cứu trước mắt cũng như mở ra hướng phát triển sau này

13

5 Phương pháp nghiên cứu

Đây là một đề tài mang tính ứng dụng cao, khối lượng kiến thức lớn ở nhiều lĩnh vực Do đó tác giả kết hợp giữa hai phương pháp nghiên cứu lý thuyết và thực nghiệm

Về nghiên cứu lý thuyết:

- Nghiên cứu lý thuyết chung về xử lý ảnh

- Nghiên cứu các hàm, thuật toán trong thư viên Open CV

- Nghiên cứu về các chuẩn giao tiếp trên robot công nghiệp

Về thực nghiệm:

- Kết hợp các hàm, thuật toán khác nhau có trong Open CV, xây dựng phần mềm xử lý ảnh phân loại được các đối tượng như mong muốn; kiểm thử, lựa chọn các hàm, thuật toán thích hợp nhất

- Xây dựng phần cứng, thử nghiệm với các loại phôi có hình dáng, màu sắc khác nhau, trong các điều kiện ánh sáng khác nhau, trên cơ sở đó đánh giá ảnh hưởng của các tham số của hàm, thuật toán có sẵn trên Open CV Từ đó lựa chọn ra bộ tham số phù hợp nhất với điều kiện ánh sang cũng như thiết bị phần cứng của mình

14

CHƯƠNG I: TỔNG QUAN 1.1 Tổng quan cơ sở lý thuyết

1.1.1 Tổng quan lý thuyết xử lý ảnh

a Khái niệm xử lý ảnh

Từ những năm 20 của thế kỷ trước, những ứng dụng đầu tiên của công

nghệ xử lý ảnh ra đời Cùng với sự phát triển mạnh mẽ của khoa học kỹ thuật,

đặc biệt là khoa học máy tính, các ứng dụng của xử lý ảnh ngày càng đa dạng,

phong phú

Có thể kể ở đây một số những ứng dụng điển hình của xử lý ảnh: dự báo thời

tiết, y tế, phân loại sản phẩm, nhận dạng trong an ninh, quân sự… Để thực hiện

các ứng dụng đó thì hai nhiệm vụ cơ bản của xử lý ảnh là: nâng cao chất lượng

thông tin hình ảnh và xử lý số liệu cung cấp cho các quá trình khác

b Các bước xử lý ảnh

Thực chất của quá trình xử lý ảnh là quá trình tác động vào ảnh đầu vào để

đầu ra là ảnh tốt hơn, hoặc đưa ra các kết luận

Hình 1.1 Quá trình xử lý ảnh

Hình 1.1 mô tả quá trình xử lý ảnh một cách đơn giản Để có được chất

lượng ảnh tốt hơn hay đưa ra kết luận về ảnh đầu vào, quá trình xử lý ảnh phải

thực hiện qua các bước sau đây:

Hình 1.2 Các bước trong xử lý ảnh

15

Hình 1.2 mô tả các bước trong quá trình xử lý ảnh Cơ bản quá trình xử lý ảnh thực hiện qua năm bước: thu nhận ảnh, tiền xử lý ảnh, phân đoạn ảnh, biểu diễn và mô tả, cuối cùng là nhận dạng và nội suy, theo tài liệu [2]

Thu nhận ảnh: Quá trình tiếp nhận thông tin từ vật thể thông qua camera

màu hoặc trắng đen, ảnh thu nhận được có thể là ảnh tương tự hoặc ảnh số

Tiền xử lý ảnh: Sau bộ thu nhận, ảnh có thể nhiễu, độ tương phản thấp…

chức năng chính của bộ tiền xử lý là lọc nhiễu, nâng độ tương phản để làm ảnh rõ hơn, nét hơn

Phân đoạn ảnh: Là tách một ảnh đầu vào thành các vùng thành phần để phân

tích, nhận dạng ảnh

Biểu diễn ảnh: Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh

cộng với mã liên kết với các vùng lận cận Biểu diễn ảnh thực chất là việc biến đổi các số liệu này thành dạng thích hợp cho quá trình xử lý tiếp theo

Nhận dạng và nội suy ảnh: Nhận dạng ảnh là quá trình xác định ảnh Quá

trình này thường thu được bằng cách so sánh với mẫu chuẩn Nội suy là phán đoán theo ý nghĩa trên cơ sở nhận dạng

c Những khái niệm cơ bản của ảnh

Ảnh và điểm ảnh (pixel): Ảnh gốc là ảnh liên tục về không gian và độ sáng

Để xử lý bằng máy tính, ảnh cần phải được số hoá Số hoá ảnh là sự biến đổi gần đúng một ảnh liên tục thành một tập điểm phù hợp với ảnh thật về vị trí

và độ sáng

Với hình ảnh đƣợc chụp bằng máy ảnh số hoặc đã đƣợc số hóa, quan sát ở

độ phóng đại đủ lớn sẽ thấy rõ các pixel Hiện tƣợng này gọi là vỡ hạt

(pixelization) Hình 1.4 biểu diễn phóng đại hiện tƣợng vỡ hạt của một bức ảnh số Những ảnh càng có độ phân giải cao thì hiện tƣợng vỡ hạt càng ít và ngƣợc lại

17

Hình 1.4 Hiện tượng vỡ hạt

Độ phân giải của ảnh (Resolution):

Hình 1.5 Độ phân giải của ảnh

Độ phân giải ảnh là mật độ điểm ảnh được ấn định trên một ảnh số được hiển thị Số lượng điểm ảnh càng nhiều và càng nhỏ thì độ nét và chi tiết ảnh

sẽ càng cao Có 3 cách để biểu thị độ phân giải ảnh:

- Biểu thị bằng số lượng điểm ảnh theo chiều dọc và chiều ngang của ảnh (800x1200)

- Biểu thị bằng tổng số điểm ảnh trên một tấm ảnh (960.000 pixel)

- Biểu thị bằng số lượng điểm ảnh có trên 1 inch

Mức xám của ảnh (Grey level): Mức xám của điểm ảnh là cường độ sáng

của điểm ảnh đó được gán bằng các giá trị số Giá trị mức xám thông thường:

18

16, 32, 64, 128, 256 Giá trị của mức sáng càng cao thì ảnh càng sáng Hình 1.6 mô tả ba bức ảnh số và mức sáng tương ứng của mỗi bức ảnh

Hình 1.6 Mức xám của ảnh

Độ nhạy sáng: Là khả năng thu được thông tin về mức xám của cảm biến ánh

sáng Độ nhạy sáng cao thì có thể chụp được ảnh trong điều kiện ánh sáng thấp và tốc độ chuyển động nhanh

19

Như vậy, về mặt thông tin, ảnh đen trắng cho nhiều thông tin hơn ảnh nhị phân Với ảnh nhị phân, ở mỗi một điểm ảnh, mức xám chỉ có hai mức 0 (đen), 1(trắng, với ảnh đen trắng ở mỗi điểm ảnh, mức xám có thể có nhiều hơn hai mức

Lược đồ mức xám (Histogram): Lược đồ mức xám của một bức ảnh biểu thị

tần suất xuất hiện các mức xám tính theo đơn vị điểm ảnh Trục hoành là mức

xám còn trục tung số điểm ảnh

Hình 1.9 Lược đồ mức xám của ảnh

Khi một ảnh được cô đọng thành lược đồ mức xám thì tất cả các thông tin

về không gian đều bị loại bỏ Nó chỉ rõ số điểm ảnh có trong mỗi mức xám

nhưng không có thông tin nào về vị trí của điểm ảnh có trong bức ảnh đó

d Không gian màu trong xử lý ảnh

Không gian màu RGB: RGB là viết tắt của ba từ tiếng Anh: Red (màu đỏ),

Green (màu xanh lá), Blue (màu xanh dương)

20

Hình 1.10 Không gian màu RGB

Tại mỗi điểm ảnh, để phân biệt về màu sắc của điểm ảnh này với điểm ảnh khác, ba màu cơ bản trên được chia ra làm nhiều mức khác nhau trên ba trục tọa độ

Ví dụ, với ảnh RGB 8 bit, màu đen có giá trị là (0,0,0) màu trắng có giá trì

là (255,255,255), màu đỏ có giá trị là (255,0,0)…

Không gian màu YUV: Mô hình YUV qui định một không gian màu được

tạo bởi một độ sáng và hai thành phần màu YUV được sử dụng trong hệ thống phát sóng truyền hình theo chuẩn PAL, đây là chuẩn ở phần lớn các nước

Mô hình YUV giúp tạo ra màu đúng với nhận thức của con người hơn chuẩn RGB, là loại được dùng trong các thiết bị đồ hoạ máy tính Y đại diện cho thành phần độ sáng, U và V là đại diện cho các thành phần màu Các giá trị YUV đều xuất phát từ các nguồn RGB

Y = 0.299R + 0.587G + 0.114B

U = 0,492(B-Y)

V = 0,877(R-Y)

Hay dùng cách tính ma trận sau :

Hình 1.11 Không gian màu YUV

Không gian màu Y Cb Cr (JPEG)

Y = 0.299R + 0.587G + 0.114B

Cb = U/2 + 0,5

Cr = V/1,6 + 0,5

Hình 1.12 Không gian màu YCbCr

Không gian màu HSV (Hue-Saturation-Value)

Không gian màu HSV dựa trên các đặc tính: họ màu, độ thuần khiết, và độ sáng

22

Hình 1.13 Không gian màu HSV

Giá trị họ màu (Hue) chạy từ 0 đến 360°

Độ bão hòa màu (Saturation) là mức độ của thuần khiết của màu, có thể hiểu là có bao nhiêu màu trắng đƣợc thêm vào màu thuần khiết này Giá trị của

S nằm trong đoạn [0, 1], trong đó S = 1 là màu tinh khiết nhất, hoàn toàn không pha trắng Nói cách khác, S càng lớn thì màu càng tinh khiết, nguyên chất

Độ sáng của màu (Value): có giá trị dao động trong đoạn [0, 1], trong đó

V = 0 là hoàn toàn tối (đen), V = 1 là hoàn toàn sáng Nói cách khác, V càng lớn thì màu càng sáng

23

mềm xử ý ảnh, xây dựng mạch phần cứng, tích hợp vào robot Nachi MC20-01

Do đó tác giả lựa chọn việc sử dụng thư viện mã nguồn mở OpenCV

Đây là một thư viện xử lý ảnh được rất nhiều người sử dụng vào các mục đích khác nhau, thư viện cũng không đòi hỏi bản quyền và các thuật toán cũng đã ít nhiều được kiểm tra bởi các người dùng trước đó

a Tổng quan

OpenCV là một thư viện độc lập hỗ trợ đa nền tảng: C++, C, Pytho, Java, Matlab… và hỗ trợ cho các hệ điều hành Windows, Linux , Android…

Thư viện OpenCV có 500 thuật toán và 5000 hàm hỗ trợ các thuật toán xử

lý ảnh, được xây dựng một cách tối ưu thành các thư viện xử lý và module khác nhau bằng ngôn ngữ C/C++

Để sử dụng được các thư viện của OpenCV thì ta cần các phần mềm hỗ trợ, phần mềm thông dụng là Microsoft Visual Studio OpenCV không yêu cầu phần cứng (PC) cao về mặt cấu hình, chỉ yêu cầu về không gian bộ nhớ

để lưu trữ dữ liệu của thư viện và có video card

b Thư viện xử lý ảnh của OpenCV

OpenCV được chia làm nhiều thư viện con hay module với các chức năng và các hàm xử lý tương ứng Chức năng của một số module trong thư viện OpenCV, tham khảo trong tài liệu [6]:

Core: Là một module xác định cấu trúc dữ liệu cơ bản, bao gồm các mảng ma

trận đa chiều và các hàm cơ bản được sử dụng bởi tất cả các module khác Chứa các khối xây dựng cơ bản của thư viện: ma trận điểm ảnh, quét ảnh, tìm các bảng và tính toán thời gian, vẽ các hình học cơ bản: đường tròn, đường thẳng, elip, màu sắc, xuất file, các xử lý cơ bản với một ảnh 2D như lọc, trộn

và biến đổi ảnh ảnh, biểu đồ, PCA, K-meas, XML và YAML I/O…

Improc: Là một module chứa các hàm xử lý ảnh như: làm mịn, kéo giãn và

làm mờ, biến đổi hình thái học, lấy ngưỡng…

24

- Các hàm làm mờ: GaussianBlur(), medianBlur(),…

- Các hàm biến đổi ảnh: cvResize, cvRemap, cv2DRotationMatrix, cvWarpAffine, cvCvtColor, cvDistTransform…

- Các hàm lọc: BaseFilter, BaseColumn/RowFilter, getLinearFilter()…

- Các hàm mô tả hình dạng và phân tích cấu trúc : cvFindContours, cvFitEllipse2, cvFitline…

- Các hàm vẽ biểu đồ: cvCreateHist, cvCalcBackProject, cvCalcHist

- Các hàm phát hiện đặc điểm đối tượng: cvCanny, cvCornerHarris, cvGoodFeaturesToTrack, cvHoughLines2, cvHoughcircles, cvCanny…

Highgui: Là module chứa các hàm xử lý giao diện người dùng và truyền thông

như: Tạo các cửa sổ hiện thị hình ảnh và ghi nhớ nội dung của chúng, thêm các thanh cuộn vào cửa sổ, điểu khiển các sự kiện cỏn trỏ cũng như các lệnh từ bàn phím, đọc và ghi ảnh vào/ra đĩa hoặc bộ nhớ, đọc video từ camera hoặc thư mục và ghi video vào một thư mục, kiểm tra các ảnh tương tự nhau bằng PSNR

và SSIM, tạo video và các thuật toán xử lý video: tạo, lấy kênh màu…

- Các hàm xử lý giao diện người dùng: cvNamedWindow, cvCreateTrackbar, cvSetMouseCallback, cvWaitKey…

- Các hàm xử lý với cửa sổ hiển thị: cvShowImage(), cvNameWindow(), createTrackbar(), cvDestroyAllWindows(), cvWaitKey()…

- Đọc và ghi ảnh, video: cvDecodeImage(), imread(), cvLoadImage(), cvSaveImage(), CvCapture, cvVideoWriter(), cvCaptureFromCAM…

Video: Là module phân tích video bao gồm: Ước tính chuyển động, trừ nền,

và các thuật toán bám đối tượng, sử dụng phương pháp alman để lọc và bám

đối tượng…

Objdetect: Là module chứa các hàm và thuật toán phát hiện đối tượng trong ảnh hoặc video

Hàm CvObjectDetection()

25

Contrib: Là module chứa các thuật toán xử lý ảnh và video với mô hình bộ

lọc võng mạc cho sự tăng cường các chi tiết, loại bỏ nhiễu, điều chỉnh độ sáng

và sự phát hiện các sự kiện, có các hàm như: StereoVar(), operator(), inputSize(), outputSize()…

Photo: Là module tính toán ảnh, khôi phục vùng được chọn trên ảnh sử dụng

vùng lân cận, chứa các thuật toán và hàm xử lý trên ảnh Sử dụng hàm:

cvInpaint()…

Stiching:Nối các ảnh, biến đổi ảnh, phát hiện các đặc điểm và kết nối các ảnh chứa các đặc điểm đó, kéo và xoay ảnh, tự động hiệu chỉnh, bù, trộn ảnh…

Sử dụng các hàm:ImageFeatures, FeaturesFinder, RotationWarper

Nonfree: Chứa các thuật toán phát hiện và mô tả đặc điểm đối tượng Sử dụng các hàm: Sift(), operator(), Surft()…

1.1.3 Robot công nghiệp Nachi MC20-01

a Giới thiệu chung về robot Nachi MC20-01

Nachi MC20-01 thuộc loại robot có cấu trúc động học hở, gồm 6 bậc tự

do, điều khiển bằng các động cơ AC Servo

Sau đây là bảng thông số kỹ thuật của robot Nachi MC 20-01:

Giới hạn phạm vi hoạt động J1 -180~+1800

J2 +60~-1450 J3 +242~-1630 J4 -180~1800

26

J5 -139~1390 J6 -360~3600

J2 1700 /s J3 1700 /s J4 3600/s J4 3600/s J6 6000/s Tải trọng cho phép 20Kg( tối đa lên tới 22Kg)

Mô men xoắn tải trọng tĩnh cho phép J4 49N.m

J5 49N.m J6 23.5N.m

Mô men quán tính cho phép J4 1.6kg.m2

J5 1.6kg.m2 J6 0.8kg.m2

Nhiệt độ làm việc ổn định 0- 450 C

Khoảng dịch chuyển theo trục X -1278~+1722mm

Khoảng dịch chuyển theo trục Y -1722~+1722mm

Khoảng dịch chuyển theo trục Z -912~+2053mm

Bảng 1.1 Thông số kỹ thuật của Robot Nachi MC20-01

b Kết nối robot

Cách kết nối của tủ điều khiển với robot: nhƣ hình vẽ với 3 cổng CNR2, CNR4, CNR1

27

Hình 1.14 Kết nối tủ điều khiển với robot

Kết nối với bảng điều khiển bằng tay

Hình 1.15 Kết nối bảng điều khiển bằng tay với tủ điều khiển

28

1.2 T nh h nh nghiên cứu trong và ngoài nước

1.2.1 T nh h nh nghiên cứu trong nước

Hình 1.16 Robot SCARA xử lý ảnh ĐHCN Hà Nội

Hình 1.17 Mobile Robot xử lý ảnh ĐH Lạc Hồng

Ngoài ĐH Công nghiệp Hà Nội, một số trường đại học ở Việt Nam đã đưa vào nghiên cứu, chế tạo hệ thống xử lý ảnh cho robot như: học viên kỹ thuật quân sự, đại học B TP HCM, đại học sư phạm kỹ thuật TP HCM, đại học Lạc Hồng…Xử lý ảnh cho robot công nghiệp để phân loại sản phẩm chưa thấy công bố

29

1.2.2 T nh h nh nghiên cứu ở nước ngoài

Hệ thống xử lý ảnh cho tay máy robot công nghiệp đã được sử dụng một cách rộng rãi để phân loại sản phẩm trong công nghiệp sản xuất dược phẩm, thực phẩm, phân loại rác thải và các lĩnh vực khác do tính ưu việt của công nghệ: thiết bị đo không cần tiếp xúc trực tiếp tác động vào đối tượng, làm việc cùng lúc với nhiều đối tượng, phân loại được những đặc điểm phức tạp mà những cách phân loại truyền thống không thể làm được…

Hình 1.18 Công nghệ xử lý ảnh

áp dụng trong công nghiệp thực phẩm

Hình 1.19 Áp dụng công nghệ xử lý ảnh và robot công nghiệp trong phân loại rác

30

CHƯƠNG II THIẾT KẾ VÀ CHẾ TẠO HỆ THỐNG

2.1 Xác định yêu cầu hệ thống, giới hạn các điều kiện biên

b Khả năng kết nối

Hệ thống phải có khả năng kết nối với các robot công nghiệp thông dụng theo chuẩn điện áp 24V, chuẩn dòng 10mA Dễ dàng kết nối với các máy tính cá nhân (PC) hoặc Laptop

Hệ thống cho phép mở rộng các bài toán công nghệ ( xử lý được nhiều loại phôi hơn, kết nối với nhiều thiết bị ngoại vi hơn)

Sử dụng các loại dây cắm công nghiệp, cổng I/O dễ kết nối, thuận tiện cho người học và nghiên cứu

Làm việc ổn định, độ tin cậy cao

2.1.2 Các điều kiện biên

a Các loại phôi hệ thống có thể xử lý

31

Chủng loại phôi

- 3 loại màu: đỏ, trắng, vàng

- 3 loại hình dạng: vuông, tròn, tam giác

Yêu cầu phôi: sơn mịn, không bóng, các phôi vuông, tam giác có cạnh sắc, rõ ràng

b Điều kiện ánh sáng

Ánh sáng tốt, ổn định, dùng ánh sáng nhân tạo (đèn huỳnh quang)

c Không gian làm việc

Khoảng cách từ máy tính điều khiển trung tâm (cài phần mềm xử lý ảnh) đến

tủ điều khiển của robot công nghiệp nhỏ hơn 10m, ít vật cản

Hạn chế các thiết bị thu phát RF trong không gian làm việc của hệ thống

2.2 Thiết kế và chế tạo hệ thống

Hệ thống phân loại sản phẩm cho robot công nghiệp sử dụng truyền thông không dây là một hệ thống phức tạp Do vậy cần thực hiện việc thiết kế tổng thể, đánh giá chức năng của từng thành phần, sau đó mới tiến hành quá trình thiết kế chế tạo từng thành phần có trong hệ thống

2.2.1 Thiết kế tổng thể

Đây là quá trình mô tả mối quan hệ giữa các cụm chức năng của hệ thống thống quá sơ đồ khối Việc thiết kế tổng thể cho ta cái nhìn toàn diện về hệ thống trước khi bắt tay cụ thể vào quá trình thiết kế các cụm chức năng

Hệ thống xử lý ảnh phân loại sản phẩm cho robot công nghiệp là một hệ thống điều khiển có phản hồi Cũng là một hệ thống cơ điện tử điển hình Do

đó hệ thống bao gồm những thành phần chính: Hệ thống điều khiển, cơ cấu chấp hành, môi trường làm việc, cảm biến Ngoài ra, để thuận lợi cho quá trình lắp đặt, tác giả đã thiết kế hệ thống đi kèm với bộ thu phát RF Điều này cho phép dễ dàng sắp xếp không gian làm việc của hệ thống, gọn gàng và không phải đi dây trên tường hay dưới nền xưởng

32

Về tổng thể, hệ thống gồm các thành phần sau:

Hình 2.1 Sơ đồ khối hệ thống

Môi trường làm việc: Đây là môi trường mà tay máy robot công nghiệp

tương tác với các đối tượng làm việc, chính là các loại phôi có hình dạng và màu sắc khác nhau Ngoài các đối tượng làm việc là các loại phôi, các điều kiện của môi trường làm việc ảnh hưởng tới quá trình hoạt động của hệ thống bao gồm: vị trí tương quan của tay máy và phôi, vị trí của các hộp chứa phôi, các điều kiện về ánh sáng

Tay máy: Là cơ cấu chấp hành của hệ thống Tay máy nhận tín hiệu điều

khiển từ bộ điều khiển AX, gắp phôi từ vị trí phân loại phôi ( trên băng tải), xếp vào các hộp chứa phôi tương ứng

Bộ điều khiển AX: Nhận tín hiệu từ bộ thu RF, xử lý tín hiệu, gọi chương

trình con, điều khiển tay máy Đây cũng chính là bộ điều khiển của robot công nghiệp, trong hệ thống xử lý ảnh, nó có vai trò như bộ điều khiển địa phương của cơ cấu chấp hành (tay máy)

Bộ thu RF: Nhận tín hiệu từ bộ phát RF, giải mã tín hiệu, xuất tín hiệu vào

cổng input của bộ điều khiển AX Bộ thu sẽ được gắn liền với bộ điều khiển

AX của robot công nghiệp

33

Bộ phát RF: Nhận tín hiệu từ máy tính, giải mã tín hiệu, xuất tín hiệu qua

sóng RF tới bộ thu RF Bộ phát sẽ được gắn liền với máy tính có chứa chương trinh xử lý ảnh

Máy tính: Chứa chương trình xử lý ảnh, nhận dữ liệu ảnh từ Camera, xử lý

ảnh, mã hóa, gửi xuống bộ phát RF

Camera: Chụp ảnh môi trường làm việc, gửi tới máy tính để xử lý Camera

đóng vai trò là một hệ thống cảm biến của hệ thống xử lý ảnh

2.2.2 Thiết kế phần mềm xử lý ảnh

a Xây dựng giao diện hiển thị và thu nhận ảnh từ Camera

Giao diện của chương trình xử lý ảnh được xây dựng bằng bộ công cụ Visual Studio 2012 Đây là bộ công cụ được đông đảo người dùng trên thế giới sử dụng do tính phổ biến cũng như đồ họa đẹp mắt Giao diện của phần mềm xử lý ảnh cho phép người sử dụng tương tác với hệ thống: lựa chọn các chủng loại phôi để phân loại, cũng như quan sát được quá trình thực hiện phân loại của phần mềm

Xây dựng giao diện cho phần mềm xử lý ảnh ngoài yêu cầu về tính đơn giản, dễ sử dụng, nó còn đòi hỏi phải thực hiện được các chức năng bắt buộc sau:

- Tìm cổng kết nối: Tìm kiếm cổng kết nối có sẵn trong máy tính

- Kết nối: Kết nối với cổng kết nối mong muốn

- Hiện thị hình ảnh thu được từ camera và kết quả của quá trình xử lý ảnh

- Cho phép lựa chọn các loại phôi mong muốn

- Các nút ấn Bắt đầu, Tạm dừng, Dừng chương tr nh

Sau khi thiết kế, giao diện của chương trình xử lý ảnh có dạng như sau:

Ở đây, đề tác giả chọn xử lý ảnh theo hệ màu HSV Một ảnh tương tự sau khi chuyển thành ảnh số, mỗi điểm ảnh là tập hợp thông tin về vị trí và màu sắc Màu sắc được định nghĩa bằng các giá trị H, S và V Nếu H, S, V của ảnh nằm trong khoảng khai báo của màu X thì ảnh được nhận diện là màu X Quá trình lấy mẫu màu được thực hiện bằng thanh công cụ lấy ngưỡng:

35

Hình 2.3 Quá trình lấy ngưỡng màu

Sau một thời gian thử nghiệm, tác giả đã tìm được bộ các thông số ngưỡng màu trắng, vàng đỏ như sau, làm việc tương đối ổn định:

Bước 6: Gửi kết quả xuống cổng COM của máy tính

Với quy trình xử lý ảnh đó, lưu đồ thuật toán của chương trình cơ bản như sau:

36

2.2.3 Thiết kế và thi công mạch điều khiển

a Mạch phát sóng RF

Đây là mạch được ghép với máy tính điều khiển trung tâm Mạch có tác

dụng nhận tín hiệu điều khiển từ máy tính, mã hóa tín hiệu, gửi tín hiệu qua

bộ phát sóng RF để gửi tín hiệu điều khiển tới robot công nghiệp và băng tải

Yêu cầu: mạch chế tạo nhỏ gọn, kết nối với máy tính dễ dàng, có tính ổn

định cao và mang tính thẩm mỹ, linh kiện dễ mua và giá thành hợp lý

Quá trình thiết kế, chế tạo được thực hiện qua các bước sau: Thiết kế mạch

nguyên lý, mô phỏng mạch nguyên lý, thiết kế mạch in, làm mạch in, hàn linh

kiện, kiểm tra và tích hợp vào hệ thống

Mạch nguyên lý và các thành phần của mạch phát sóng RF

37

Trên thị trường có rất nhiều các phần mềm hỗ trợ vẽ mạch nguyên lý và

mạch in như: Altium designer, Protues, Eagle… với các tính năng tương tự

nhau Tác giả sử dụng phần mềm Eagle để thiết kế mạch nguyên lý

Hình 2.4 Mạch nguyên lý của mạch phát sóng RF

Khối xử lý trung tâm

Mạch xử lý trung tâm dùng 1 vi điều khiển ATmega8 sử dụng thạch anh ngoài giúp hoạt động ổn định, sử dụng bộ UART để giao tiếp với máy tính, giao tiếp SPI với module nRF24L01, dùng IC PL2303 tạo cổng com ảo cho vi điều khiển giao tiếp với máy tính qua usb

38

Hình 2.5 Vi điều khiển ATmega8

Các thông số kỹ thuật của thiết bị đƣợc lấy từ tài liệu [5]:

- Tập lệnh gồm 131 lệnh, hầu hết đều chỉ thực thi trong 1 chu kì xung nhịp

- 32 x 8 thanh ghi làm việc đa dụng

- Tốc độ xử lí nhanh, lên tới 16MBPS

- Có 8Kbyte bộ nhớ flash có thể xóa lập trình đƣợc và có thể ghi xóa

10000 lần

- 512 byte bộ nhớ EEPROM tích hợp trên chíp, có 1 kbyte RAM nội

- Có 28 chân, trong đó có 23 chân I/O

- Có hai bộ Timer/counter 8 bit và một bộ timer/counter 16 bit với bộ chia tần lập trình đƣợc

- Có ba kênh điều xung, 6 kênh lối vào chuyển đổi ADC với độ phân giải 10 bit

- Nguồn nuôi từ 4.5 đến 5.5V, làm việc tiêu thụ dòng 3.6mA

39

Khối Reset và nạp ISP

Hình 2.6 Khối reset và nạp ISP

Khối IC PL2303

Các máy tính thời điểm hiện tại thông thường không có cổng COM, do đó

để thuận tiện cho việc sử dụng, tác giả dung IC PL2303 để tạo cổng com ảo cho vi điều khiển giao tiếp với máy tính qua usb Giúp việc kết nối giữa mạch phát RF và máy tính được dễ dàng, thuận lợi hơn

Hình 2.7 Khối PL2303

40

Khối giao tiếp với module nRF24L01

Giao tiếp giữa vi điều khiển và module n RF24L01 được thực hiện qua giao tiếp SPI SPI là một cách truyền song công (full duplex) nghĩa là tại cùng một thời điểm quá trình truyền và nhận có thể xảy ra đồng thời Điều này giúp tăng tốc độ giao tiếp giữa máy tính và bộ điều khiển AX của robot công nghiệp

SPI đôi khi được gọi là chuẩn truyền thông “4 dây” vì có 4 đường giao tiếp trong chuẩn này đó là SC (Serial Clock), MISO (Master Input Slave Output), MOSI (Master Ouput Slave Input) và SS (Slave Select)

Hình 2.8 Khối giao tiếp với module RF

SCK: Xung giữ nhịp cho giao tiếp SPI, vì SPI là chuẩn truyền đồng bộ nên

cần 1 đường giữ nhịp, mỗi nhịp trên chân SCK báo 1 bit dữ liệu đến hoặc đi Xung nhịp chỉ được tạo ra bởi chip Master (ATmega8)

MISO– Master Input / Slave Output: Nếu là chip Master thì đây là đường

Input còn nếu là chip Slave thì MISO lại là Output MISO của Master và các Slaves được nối trực tiếp với nhau

MOSI – Master Output / Slave Input: Nếu là chip Master thì đây là đường

Output còn nếu là chip Slave thì MOSI là Input MOSI của Master và các Slaves được nối trực tiếp với nhau

SS – Slave Select: SS là đường chọn Slave cần giap tiếp, trên các chip Slave

đường SS sẽ ở mức cao khi không làm việc Nếu chip Master kéo đường SS của một Slave nào đó xuống mức thấp thì việc giao tiếp sẽ xảy ra giữa Master