BÁO cáo môn học tên bài xây dựng hệ thống IOT chủ động giám sát từ xa qua cảm biến hình ảnh

Với hạn chế đó giúp hình thành nên ý tưởng cơ bản xây dựng một thiết bị giám sát nhận diện vật thể/người thông qua camera có khả năng di động và có thể điều khiển các hoạt động của thiết

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐÀ NẴNG

SAU ĐẠI HỌC

~~~~~~*~~~~~~

BÀI BÁO CÁO MÔN HỌC

TÊN BÀI:

Xây dựng hệ thống IOT chủ động giám sát từ xa qua cảm biến hình ảnh

Đà Nẵng – 2022

Học viên thực hiện : NGUYỄN HOÀNG ANH VŨ

Lớp : K43.KMT

Môn học : CÔNG NGHỆ IOT

Giảng viên hướng dẫn : TS BÙI THỊ THANH THANH

1) Ý tưởng

Ngày nay, việc quan sát hình ảnh từ xa thông qua camera rất phổ biến

Rất nhiều ứng dụng (AI) giúp tự động phân tích, nhận diện, định danh dựa trên hình ảnh của camera (lĩnh vực computer vision) từ đó có thể lưu trữ và cảnh báo hoàn toàn chủ động đến người dùng tạo đã tạo rất nhiều tiện ích cho cuộc sống

Tuy nhiên camera thường được lắp đặt cố định và có phạm vi quan sát nhất định Với hạn chế đó giúp hình thành nên ý tưởng cơ bản xây dựng một thiết bị giám sát nhận diện vật thể/người thông qua camera có khả năng di động

và có thể điều khiển các hoạt động của thiết bị từ xa qua internet

Báo cáo này sẽ cụ thể hoá ý tưởng trên để xây dựng thiết bị IOT tự động giám sát khi người dùng vắng nhà, chủ động bám đuổi theo người với khả năng

di chuyển linh hoạt Ngoài ra thiết bị còn cho phép điều khiển việc di chuyển, bật tắt đèn quan sát, nhận tín hiệu hình ảnh realtime thông qua internet

2) Phần cứng

Phần cứng của thiết bị bao gồm:

+ Máy tính: Máy tính nhúng (Raspberry Pi, Nvidia Jetson ), laptop: Đọc

tín hiệu camera, nhận lệnh từ xa, xử lý phân tích hình ảnh và thực hiện lệnh điều khiển Trong báo cáo này, do điều kiện thực tế nên đã sử dụng máy tính laptop

để xử lý chính

+ Camera: Thiết bị ghi nhận hình ảnh từ môi trường Trong đề tài này sử

dụng webcam kết nối với máy tính xử lý theo cổng usb

Hình 2: Cụm webcam và đèn led chiếu sáng của thiết bị

+ Hệ chuyển động: Bánh xích được gắn motor (2 DC motors) kết hợp

mạch điều khiển động cơ PCA9685 TB6612

Hình 3: Bánh xe gắn motor và mạch điều khiển motor PCA9685 TB6612

+ Đèn chiếu sáng: Đèn Led được gắn thêm phục vụ cho ban đêm hoặc cho môi trường thiếu sáng (hình 2)

+ Mạch chuyển tín hiệu điều khiển: (FT232h) Thiết bị IO hỗ trợ trực tiếp

giao tiếp giữa máy tính (cổng usb) với các mạch điều khiển như: động cơ hoặc bật tắt đèn FT232h hỗ trợ các phương thức giao tiếp như: SPI, I2C, … Với các máy tính nhúng như Jetson hay Raspberry Pi đều được hỗ trợ các cổng GPIO để xuất/nhập các tính hiệu điều khiển trực tiếp Tuy nhiên trong báo cáo này vì sử dụng laptop nên cần thêm FT232h để hỗ trợ các cổng GPIO

Hình 4: Mạch chuyển tín hiệu điều khiển và sơ đồ chân của FT232h

+ Thiết bị mạng: Giúp thiết bị IOT có thể kết nối internet để gửi và nhận

thông tin Trong báo cáo này đã sử dụng luôn card wifi build-in trong laptop với anten gắn ngoài chuẩn 2.4 GHz để mở rộng phạm vi kết nối mạng của thiết bị

Hình 5: Module kết nối mạng wifi của thiết bị

+ Nguồn điện: Để giúp thiết bị vận hành trong một ngày, báo cáo đã sử

dụng 10 viên pin li-ion 3.7V 2200mAh mắt nối tiếp 2 cụm 5 viên tạo nên nguồn điện 7.4V 22Ah Đi kèm đó là mạch sạc và bảo vệ pin

Hình 6: Nguồn điện của thiết bị

Để cung cấp nguồn cho thiết bị, động cơ và sạc pin riêng của laptop, module nguồn điện còn có một bộ hạ áp (từ 7.4v sang 5v) và bộ tăng áp (từ 7.4 sang 19.5v)

Hình 7: Mạch hạ áp và mạch tăng áp

Kết nối các thiết bị phần cứng lại để được hệ thống camera và đèn kèm theo máy tính xử lý di động

Hình 8: Sơ đồ tổng quan của thiết bị

3) Phần mềm

Phần mềm cài đặt cho thiết bị bao gồm các chức năng giúp thiết bị nhận dạng được người qua camera, xử lý, điều khiển được động cơ di chuyển các hướng (di chuyển theo người), bật tắt đèn trợ sáng cho camera, gửi hình ảnh realtime của camera và nhận lệnh điều khiển từ internet

Một số câu lệnh chính của phần mềm:

+ Module đọc tín hiệu từ camera sử dụng opencv:

+ Module nhận diện objects:

+ Module điều khiển động cơ:

+ Module nhận lệnh điều khiển từ internet:

4) Kết quả thực hiện

Hình 3: Camera di động và giao diện điều khiển

5) Hướng phát triển:

Hiện tại thiết bị đã tự động giám sát phát hiện có người, tự động di duyển báo đuổi theo người trong thời gian chủ nhà vắng nhà, gửi hình ảnh realtime lên internet Ngoài ra thiết bị còn cho phép điều khiển việc di chuyển, bật tắt đèn quan sát từ xa thông qua internet

Một số hướng phát triển trong thời gian tới của thiết bị:

Tích hợp thêm một số cảm biến cho việc giám sát an ninh của ngôi nhà như: cảm biến khói, khí ga, cảm biến nhiệt độ, độ ẩm từ đó phát triển thêm các chức năng cảnh báo ninh về môi trường cho ngôi nhà ngoài việc phát hiện người, nhận diện vật thể

Xây dựng thêm chức năng nhận diện khuôn mặt để biết người lạ hay người quen từ đó đưa ra thông tin cảnh báo hữu ích hơn

Gắn thêm 4 camera ở 4 góc để từ đó tích hợp thêm chức năng camera 360

để thuận lợi hơn trong việc quan sát và thực hiện các thuật toán xử lý, nhận diện trên ảnh (computer vision)

Tối ưu quá trình truyền hình ảnh realtime lên internet để giảm chi phí và

Ngoài ra phát triển thêm các chương trình xử lý trên ảnh để giúp việc di chuyển tự động của thiết bị thuận lợi hơn như: tránh vật cản, hiểu biến sơ đồ của căn nhà hay tự sạc điện

* Tài liệu tham khảo

[1] Bochkovskiy, Alexey, Chien-Yao Wang, and Hong-Yuan Mark Liao YOLO

"Optimal Speed and Accuracy of Object Detection." arXiv preprint arXiv:2004.10934 (2020)

[2] Kawakura, Shinji, and Ryosuke Shibasaki "Deep Learning-Based Self-Driving Car: JetBot with NVIDIA AI Board to Deliver Items at Agricultural Workplace with Object-Finding and Avoidance Functions." European Journal of Agriculture and Food Sciences 2.3 (2020)

[3] Forcier, Jeff, Paul Bissex, and Wesley J Chun Python web development with Django Addison-Wesley Professional, 2008

[4] Fisher, Daniel K., Reginald S Fletcher, and Saseendran S Anapalli "Python Software Integrates with Microcontrollers and Electronic Hardware to Ease Development for Open-Source Research and Scientific Applications." Advances

in Internet of Things 11.1 (2021): 42-58

[5] Frost, Sandra L Circuit Playground Express-Introduction No

LA-UR-19-24117 Los Alamos National Lab.(LANL), Los Alamos, NM (United States),

2019