Nghiên cứu nhận dạng đường đi cho ô tô chạy tự động bằng thị giác máy tính

Hiệu quả, phương thức chuyển giao kết quả nghiên cứu và khả năng áp dụng: Chuyển giao mô hình nhận dạng đường đi có thể sử dụng trên ô tô chạy tự động cho Khoa Cơ khí Động lực, trường Đ

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT

THÀNH PHỐ HỒ CHÍ MINH

CÔNG TRÌNH NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG

NGHIÊN CỨU NHẬN DẠNG ĐƯỜNG ĐI CHO Ô TÔ CHẠY TỰ ĐỘNG BẰNG THỊ GIÁC MÁY TÍNH

MÃ SỐ: T2014-24TĐ

Tp Hồ Chí Minh, 2015

S 0 9

S KC 0 0 4 7 6 7

NGHIÊN CỨU NHẬN DẠNG ĐƯỜNG ĐI CHO Ô

TÔ CHẠY TỰ ĐỘNG BẰNG THỊ GIÁC MÁY TÍNH

Mã số: T2014-24TĐ

MỤC LỤC

Trang

Chương 1: Tổng quan 7

1.1 Các kết quả nghiên cứu 7

1.2 Tính cấp thiết của đề tài 8

1.3 Mục tiêu đề tài 9

1.4 Đối tượng, phạm vi nghiên cứu 9

1.5 Cách tiếp cận và phương pháp nghiên cứu 9

1.6 Nội dung nghiên cứu 10

Chương 2: Xử lý ảnh và điều khiển ô tô 11

2.1 Những vấn đề cơ bản trong xử lý ảnh 11

2.2 Xử lý ảnh bằng Matlab 13

2.3 Cơ sở lý thuyết hệ thống điều khiển ô tô 18

Chương 3: Thiết kế mô hình và thực nghiệm 26

3.1 Thiết kế và lắp đặt 26

3.2 Thực nghiệm 29

Chương 4: Kết luận 36

TÀI LIỆU THAM KHẢO 38

PHỤ LỤC 39

A1 Danh mục các bài báo khoa học đã được đăng

A2 Thuyết minh đề tài đã được phê duyệt

DANH MỤC CÁC HÌNH

Hình 1.1: Giao diện chương trình và kết quả của việc giám sát giao thông 7

Hình 2.1: Nắn chỉnh ảnh 12

Hình 2.2: Vùng quan tâm 13

Hình 2.3: Ảnh được trích xuất 14

Hình 2.4: Hình giới hạn quan sát 14

Hình 2.5: Ảnh cường độ 14

Hình 2.6: Ảnh nhị phân 15

Hình 2.7: Chương trình mô phỏng Proteus 16

Hình 2.8: Chương trình tạo Virtual Serial Port Driver 17

Hình 2.9: Giao diện người dùng 17

Hình 2.10: Sơ đồ điều khiển ba cấp đường – người – xe 18

Hình 2.11: Sơ đồ điều khiển thần kinh cơ người lái 19

Hình 2.12: SĐ tín hiệu tương tự giữa chuột MT với trục xoay của vô lăng 20

Hình 2.13: Bản vẽ thiết kế khung mô hình điều khiển xe 21

Hình 2.14: Sản phẩm thi công mô hình điều khiển lái xe 22

Hình 2.15: KQ KS góc lái của người trẻ ĐK xe vào đoạn đường vòng 23

Hình 2.16: KQ KS góc lái của người già ĐK xe vào đoạn đường vòng 23

Hình 3.1: Bản vẽ thiết kế trên solidwork 26

Hình 3.2: Mô phỏng 3D 26

Hình 3.3: Hình ảnh khi nhìn từ phía trên 27

Hình 3.4: Sơ đồ bô trí tổng quát 27

Hình 3.5: Lắp đặt camera 28

Hình 3.6: Kết nối vi điều khiển với cổng giao tiếp UART 28

Hình 3.7: Mô hình đường 29

Hình 3.8: Xe đi đúng làn đường 30

Hình 3.9: Xe lệch phải 31

Hình 3.10: Xe lệch trái 31

Hình 3.11: Vị trí khi đi đúng làn đường 32

Hình 3.13: Lệch phải 32

Hình 3.14: Sai lệch do dấu chỉ đường 33

DANH MỤC CÁC TỪ VIẾT TẮT

MATLAB Maxtrix Laboratory

CMU Carnegie Mellon University

MIT Massachusetts Institute of Technology

DARPA Defense Advanced Research Projects Agency HDTV High-definition television

ROI Regions of Interest

RGB Red, Green, Blue

HSL Hue, Saturation, Luminance

2D Two Demension

TIFF Targed Image File Format

JPEG Joint Photographics Experts Group

GIF Graphics Interchange Format

BMP Window Bitmap

PNG Portable Network Graphics

XWD X Window Dump

PCX Personal Computer Exchange

CMY Cyan, Magnenta, Yellow

THÔNG TIN KẾT QUẢ NGHIÊN CỨU

1 Thông tin chung:

- Tên đề tài: NGHIÊN CỨU NHẬN DẠNG ĐƯỜNG ĐI CHO Ô TÔ CHẠY TỰ

ĐỘNG BẰNG THỊ GIÁC MÁY TÍNH

- Mã số: T2014-24TĐ

- Chủ nhiệm: TS Lê Thanh Phúc

- Cơ quan chủ trì: Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh

- Thời gian thực hiện:16 tháng

- Một trong những nghiên cứu mới ở Việt Nam về ô tô chạy tự động

- Kết hợp xử lý ảnh với điều khiển tối ưu sử dụng Neural Network

4 Kết quả nghiên cứu:

- Đề tài đã đạt được những mục tiêu đặt ra Các chỉ tiêu vượt: cho thử nghiệm thực tế trên đường, thực nghiệm xác định thông số người lái

- Kết quả có độ tin cậy, các đề tài phát triển tiếp theo có thể sử dụng

5 Sản phẩm:

 Mô hình ô tô chạy tự động

 1 bài báo khoa học trên hội nghị quốc tế IEEE

 2 bài báo khoa học đăng trên tạp chí khoa học trong nước

 Đào tạo 2 thạc sĩ

6 Hiệu quả, phương thức chuyển giao kết quả nghiên cứu và khả năng áp dụng:

Chuyển giao mô hình nhận dạng đường đi có thể sử dụng trên ô tô chạy tự động cho Khoa Cơ khí Động lực, trường Đại học Sư phạm Kỹ thuật TP Hồ Chí Minh

Trưởng Đơn vị

(ký, họ và tên, đóng dấu) Chủ nhiệm đề tài (ký, họ và tên)

Chương 1 TỔNG QUAN

1.1 CÁC KẾT QUẢ NGHIÊN CỨU

1.1.1 Kết quả nghiên cứu trong nước

Đề tài ứng dụng công nghệ xử lý ảnh thời gian thực trong bài toán tự động giám sát giao thông tại Việt Nam [1] nhằm đếm số lượng xe ô tô, xe máy trong khoảng thời gian nhất định, tính vận tốc trung bình của dòng giao thông, và tính chiều dài hàng đợi khi xảy ra ách tắc giao thông bằng chuỗi hình ảnh thu được từ camera trong thời gian thực

Hình 1.1: Giao diện chương trình và kết quả của việc giám sát giao thông

Đề tài nghiên cứu kỹ thuật nhận dạng bàn tay người nhằm giúp cho việc cho việc giao tiếp giữa con người và máy thuận lợi Một trong số đó

là nhận dạng cử chỉ bàn tay người Nó cho phép dễ dàng thao tác với máy

mà k cần phải có thêm thiết bị ngoại vi: chuột, bàn phím

Đề tài về hệ thống giám sát giao thông bằng xử lý ảnh bao gồm: camera giám sát, camera chụp hình, mạng truyền thông, phần mềm xử lý ảnh và dữ liệu để phát hiện lỗi vi phạm và xử lý kịp thời đảm bảo an toàn, nâng cao ý thức chấp hành luật giao thông Với hệ thống này thì video giao thông sẽ được camera giám sát gởi về server qua mạng cáp quang để lưu trữ và xử lý để phát hiện và tách các lỗi vi phạm giao thông

1.1.2 Kết quả nghiên cứu trên thế giới

Nhiều công ty lớn và các tổ chức nghiên cứu đã và đang phát triển những mẫu xe chay tự động như Google, Continental Automotive System, Bosch, Nissan, Toyota, Audi, Oxford University Tháng 6 năm 2011 bang

Nevada là bang đầu tiên của nước Mỹ cũng như trên toàn thế giới thông qua luật liên bang cho phép xe tự lái hoạt động trên đường Bộ luật này chính thức có hiệu lực ngày 1 tháng 3 năm 2012 và những chiếc xe tự lái đầu tiên được cấp giấy phép từ tháng 5-2012 Vấn đề khó khăn nhất khi phát triển xe tự lái là nhận dạng đường đi, các thuật toán giúp xe vượt chướng ngại vật và duy trì tốc độ mong muốn

Apostoloff và Zelinsky [2]nghiên cứu về phương pháp duy trì trong làn đường bằng phân tích hình ảnh thu được từ các ám hiệu và lọc hình ảnh Phương pháp này có thể giúp cho ô tô không bị lệch làn đường khi đang chạy trên đường cao tốc

Bertozzi và Broggi [3] nghiên cứu về hệ thống GOLD, một kết cấu phần cứng và phần mềm dựa trên hình ảnh được dùng trên ô tô đang di chuyển để tăng tính an toàn Hệ thống có thể nhận dạng được chướng ngại vật và làn đường

Kim Z [4] nghiên cứu về thuật toán nhận dạng làn đường trong các điều kiện như đang vào khúc quanh, vạch đường bị mờ hay các làn đường nhập nhau và chia tách Kỹ thuật này có thể tăng khả năng cảnh báo va chạm cho ô tô

1.2 TÍNH CẤP THIẾT CỦA ĐỀ TÀI

Đề tài thành công sẽ góp phần vào nghiên cứu và phát triển xe chạy

tự động nhằm giảm tai nạn giao thông do lỗi của người lái xe, giảm mệt mỏi cho người lái xe và tăng sự thông suốt lưu thông trên đường

Đề tài cũng góp phần nâng cao năng lực nghiên cứu về mảng tự động hóa ứng dụng trên ô tô cho sinh viên đại học và học viên thạc sỹ khoa Cơ khí Động lực

Đề tài về xử lý ảnh và nhận dạng đường đi không chỉ ứng dụng trên ô

tô mà còn có thể ứng dụng trên nhiều lĩnh vực khác nhau trong công nghiệp và tự động hóa

1.3 MỤC TIÊU ĐỀ TÀI

- Xây dựng thuật toán xử lý ảnh có thể tính toán được tốc độ nhanh đáp ứng thời gian thực trên ô tô

- Thiết kế và lắp đặt hệ thống nhận dạng đường đi, là cơ sở để thiết

kế và điều khiển ô tô chạy tự động

1.4 ĐỐI TƯỢNG, PHẠM VI NGHIÊN CỨU

1.4.1 Đối tượng nghiên cứu

Nghiên cứu về kĩ thuật xử lý ảnh và thuật toán nhận dạng đường đi

1.4.2 Phạm vi nghiên cứu

- Nghiên cứu trên mô hình đường nhựa có dấu phân cách làn đường

- Các dấu phân cách làn đường là các vạch sơn thẳng

1.5.2 Phương pháp nghiên cứu

Để thực hiê ̣n viê ̣c ứng du ̣ng xử lý ảnh để nhâ ̣n dạng đường đi cho ô

tô cha ̣y tự đô ̣ng, hướng tiếp câ ̣n của đề tài được đề xuất các bước như sau:

1 Nghiên cứu các cơ sở lý thuyết : Lý thuyết về xử lý ảnh , xe chạy tự

đô ̣ng, tham khảo và ứng du ̣ng các phương pháp của các công trình nghiên cứu đã công bố để xây dựng mô ̣t phương pháp mang tính đổi mới

2 Tìm hiểu các loại camera và xác định các tham số của camera : Đây là

mô ̣t bước rất quan tro ̣ng bởi đề tài xây dựng trên cơ sở ứng du ̣ng xử lý ảnh

3 Nghiên cứu các công cu ̣ xử lý ảnh phù hợp để thu thâ ̣p và xử lý : LabVIEW, Matlab, OpenCV…

4 Thu nhâ ̣n hình ảnh và xử lý dựa trên các ảnh thu nhâ ̣n được : Viết chương trình thu thâ ̣p dữ liê ̣u là hình ảnh từ các camera để nhâ ̣n biết các dấu hiệu phân cách đường trên cơ sở ứng dụng các phần mềm xử

1.6 NỘI DUNG NGHIÊN CỨU

- Nghiên cứu tổng quan về lý thuyết xứ lý ảnh: các kỹ thuật phân tích

và tách ảnh để thu được đối tượng cần nhận dạng

- Nghiên cứu về cách thức bố trí camera: tương quan giữa bố trí camera và thuật toán xác định khoảng cách khi ô tô đang di chuyển

2.1.2 Độ phân giải ảnh

Độ phân giải (Resolution) của ảnh là mật độ điểm ảnh được ấn định trên một ảnh số được hiển thị Theo định nghĩa, khoảng cách giữa các điểm ảnh phải được chọn sao cho mắt người vẫn thấy được sự liên tục của ảnh Việc lựa chọn khoảng cách thích hợp tạo nên một mật độ phân bổ, đó chính là độ phân giải và được phân bố theo trục x và y trong không gian hai chiều

- Biến đổi ảnh: Trong xử lý ảnh do số điểm ảnh lớn các tính toán

nhiều (độ phức tạp tính toán cao) đòi hỏi dung lượng bộ nhớ lớn, thời gian tính toán lâu Các phương pháp khoa học kinh điển áp dụng cho xử lý ảnh hầu hết khó khả thi Người ta sử dụng các phép toán tương đương hoặc biến đổi sang miền xử lý khác để dễ tính toán Sau khi xử lý dễ dàng hơn được thực hiện, dùng biến đổi ngược để đưa về miền xác định ban đầu

- Nén ảnh: Ảnh dù ở dạng nào vẫn chiếm không gian nhớ rất lớn

Khi mô tả ảnh người ta đã đưa kỹ thuật nén ảnh vào Nén ảnh thường theo 2 hướng: nén có bảo toàn và nén không óc bảo toàn thông tin Nén không bảo toàn thì khả năng nén cao nhưng khả năng phục hồi kém Trên cơ sở đó người ta có 4 cách nén ảnh như sau:

2.1.5 Nắn chỉnh ảnh

- Ảnh thu được vì một số lý do thường bị biến dạng không như mong muốn của chúng ta như do camera, quá trình thu nhận ảnh…

Hình 2.1: Nắn chỉnh ảnh [6]

- Để nắn ảnh theo nhu cầu của người sử dụng người ta sử dụng một

số phép chiếu để điều khiển việc này

2.1.6 Trích chọn đặc điểm

- Các đặc điểm của đối tượng được trích chọn tùy thuộc vào mục đích nhận dạng trong xử lý ảnh Có thể nêu ra một số đặc điểm của ảnh sau đây:

o Đặc điểm không gian: Phân bố mức xám, phân bố xác suất, biên độ, điểm uốn…

o Đặc điểm biến đổi: các đặc điểm loại này được trích chọn bằng việc lọc vùng

o Đặc điểm biên và vùng biên: Đặc trưng cho đường biên của đối tượng và do vậy rất hữu ích trong việc trích chọn thuộc tính bất biến được dùng khi nhận dạng đối tượng Các đặc

Ảnh thu nhận từ camera Ảnh mong muốn nhận

điểm này có thể được trích chọn nhờ vào toán tử gradient, toán tử la bàn, toán tử Laplace…

- Việc trích chọn đặc điểm hiệu quả giúp việc nhận dạng đối tượng chính xác hơn, tốc độ tính toán cao và giảm dung lượng lưu trữ

Hình 2.3:Ảnh được trích xuất 2.2.1 Biến đổi ảnh và lọc ảnh

Nội dung có ý nghĩa để xác định dấu phân cách làn đường trong ảnh là các vạch kẻ đường Nên chỉ quan tâm tới phần hình ảnh của vạch kẻ đường Trên hình 2.3, vùng có ý nghĩa chính là phần dưới của khung hình Vì vậy, cần hạn chế lại vùng quan sát như hình 2.4

Hình 2.6:Ảnh nhị phân 2.2.2 Thực hiện biến đổi Hough

Dùng phương pháp biến đổi Hough xác định đường thẳng trong ảnh bằng hàm vision.HoughTransform và vision.LocalMaximaFinder, vision.HoughLines Với cú pháp:

2.2.3 Xác định dấu phân cách trái – phải và chèn đánh dấu làn đường

Dấu phân cách làn đường trái phải được xác định dựa vào giao điểm của

nó với đường bao phía dưới cùng của ảnh Chương trình sẽ tính toán khoảng cách các từ tâm của khung ảnh tới các dấu phân cách làn đường Từ đó xuất tín hiệu cảnh báo nếu một trong các trường hợp sau xảy ra:

- Dấu phân cách làn đường phía bên phải khung hình giao với đường bao phía dưới cùng của khung hình Sẽ cho tín hiệu lệch phải

- Dấu phân cách làn đường phía bên trái khung hình giao với đường bao phía dưới cùng của khung hình Sẽ cho tín hiệu lệch trái

- Không có dấu phân cách nào giao với đường bao phía dưới của khung hình Sẽ cho tín hiệu đúng làn

2.2.4 Xuất tín hiệu

Nếu đi đúng làn đường, chương trình sẽ gửi một tín hiệu kiểu String

„Center‟ tới chân TXD của cổng COM

Khi lệch tim đường, chương trình sẽ gửi một tín hiệu kiểu String „Left‟ nếu lệch trái, „Right‟ nếu lệch phải tới chân TXD của cổng COM

Trong phần giao diện, tín hiệu được thể hiện bằng hình ảnh trong khung Lane, và hiển thị dạng chuổi trong vùng Receiver (RX) nếu chân RX và TX được nối tắt

Trong quá trình lập trình, người thực hiện đã dùng phần mềm Proteus 8 Professional và Configure Virtual Serial Port Driver để mô phỏng và kiểm tra tín hiệu xuất ra của cổng COM

Hình 2.7:Chương trình mô phỏng Proteus

Hình 2.8:Chương trình tạo Virtual Serial Port Driver

2.2.5 Lập trình giao diện

Hình 2.9:Giao diện người dùng

- Nút Start Webcam

Nút này cho phép người dùng ghi lại hành trình và quan sát hình ảnh thật của làn đường phía trước xe

- Nút Detection & Tracking

Bắt đầu tiến trình xử lý Hiển thị ảnh kết quả xử lý lên khung Display

Dùng để thử tín hiệu công COM khi nhập dữ liệu

Điều khiển chuyển động của xe trên mặt đường luôn có sự tương tác giữa hai khối đối tượng chính bao gồm người điều khiển và xe như hình 2.10 Yếu tố làm ảnh hưởng đến quá trình điều khiển này như: Các điều kiện của đường di chuyển, độ bám mặt đường, góc lệch hướng khi có hiện tượng trượt xẩy ra ở các bánh xe, lực cản gió,.v.v đã được xem xét trong phần động học chuyển động của

xe

Hình 2.10: Sơ đồ điều khiển ba cấp đường – người – xe

Người lái đóng vai trò như một trình điều khiển và kiểm soát tình trạng hoạt động của xe như chạy, tăng tốc, phanh, thay đổi hướng di chuyển [9] Hiệu quả điều khiển phụ thuộc vào điều kiện trên đường di chuyển, tính năng động học của xe và các yếu tố về tâm lý thể chất của người điều khiển Mục tiêu của quá trình điều khiển là động học của chiếc xe di chuyển đúng hướng với độ sai lệch

là nhỏ nhất để kết quả điều khiển đạt tối ưu và tạo cảm giác thoải mái cho người

Người lái Xe

của xe Thông tin phản hồi

− +

Ʃ

điều khiển, hạn chế đến mức tối đa các sự cố mất an toàn nguy hiểm cho người

sử dụng được thực hiện bởi hệ thống phản hồi thông tin điều khiển

Hình 2.11: Sơ đồ điều khiển thần kinh cơ người lái

2.3.1 Thiết kế mô hình điều khiển xe

Xe di chuyển trong môi trường mô phỏng City Car Driving theo hướng rẻ trái, rẻ phải và chạy thẳng tương ứng với sự dịch chuyển của chuột máy tính theo các hướng tương tự Tuy nhiên trong thiết kết mô hình điều khiển lái xe, tín hiệu dịch chuyển của chuột máy tính theo hướng xe chạy thẳng hay tín hiệu trục Y được thay thế bằng tín hiệu vận tốc trên bàn bàn ga Tức là khi có tín hiệu vận tốc, xe sẽ tự động chạy thẳng Do đó, tín hiệu vô lăng của xe xoay sang trái hoặc xoay sang phải là tín hiệu của sự di chuyển con chuột máy tính theo phương X như hình 2.12

Não

ĐIỀU KHIỂN

Cơ bắp cánh tay CHẤP HÀNH

Vị trí mong muốn

cánh tay người lái

Mắt và áp lực cơ quan cảm nhận con người THU NHẬN, PHẢN HỒI

Tín hiệu thần kinh

Vị trí cánh tay người lái

Hình 2.12: Sơ đồ tín hiệu tương tự giữa chuột máy tính với trục xoay của vô

lăng Trên hình 2.13, trục vô lăng được gắn vào trục X của chuột máy tính Như vậy, khi vô lăng xoay một góc để điều khiển hướng di chuyển của xe theo mong muốn của người điều khiển thì tương ứng trên trục X của chuột máy tính cũng sẽ xoay đi một góc làm cho đĩa encoder dịch chuyển Độ dịch chuyển trên đĩa encoder được nhận biết thông qua mạch thu phát tín hiệu trên chuột máy tính và chuyển thành tín hiệu số đi đến IC giải mã HT 82M39A làm nhiê ̣m vu ̣ đo ̣c tín hiê ̣u từ encoder , xác định chiều quay , vị trí encoder và biến đổi chúng thành

xung truyền đến máy tính để điều khiển xe di chuyển thông qua con trỏ chuột

máy tính

2.3.2 Thiết kế khung mô hình điều khiển lái

Khung mô hình đi ều khiển lái được nghiên cứu thiết kế phù hợp gần giống với không gian điều khiển của một chiếc xe thật Trên khung mô hình có những chức năng tùy chỉnh của các cơ cấu, hệ thống tạo cho người lái có cảm giác thỏa mái trong suốt quá trình tham gia khảo sát và thực nghiệm