7 the development of a smart home model integrated with image recognition technology using raspberry pi and various sensors

ABSTRACT This project presents the development of a smart home modelintegrated with image recognition technology using Raspberry Pi and varioussensors.. The system allows for remote moni

M C L C Ụ Ụ

1.2 Tình hình nghiên c u nhà thông minh trong và ngoài n cứ ướ 5

2.3 Giao th c truy n d li u trong đ tàiứ ề ữ ệ ề 262.3.1 Giao th c truy n d li u UARTứ ề ữ ệ 26

2.3.2 Giao th c truy n d li u ESP_NOWứ ề ữ ệ 292.4 Các th vi n nh n di n hình nh trên Raspberry Piư ệ ậ ệ ả 31

Ch ng 3.ươ THI T K VÀ XÂY D NG C U TRÚC H TH NGẾ Ế Ự Ấ Ệ Ố 32

Ch ng 6.ươ K T LU N VÀ HẾ Ậ ƯỚNG PHÁT TRI NỂ 63

DANH M C HÌNH VẼ Ụ

Hình 1 1: Mô hình nhà thông minh 4

Hình 2 1: Kit ESP32-WROOM-32 8

Hình 2 2: S đ chân c a ESP32ơ ồ ủ 9

Hình 2 3: S đ nguyên lý c a ESP32ơ ồ ủ 10

Hình 2 4: Raspberry Pi 3 Module B+ 10

Hình 2 5: Camera Module 65 Degree FoV Fixed Focus OV5647 5MP 11

Hình 2 6: C m bi n nhi t đ , đ m DHT11ả ế ệ ộ ộ ẩ 13

Hình 2 7: C m bi n khí gas MQ-2ả ế 14

Hình 2 8: C m bi n đ m đ tả ế ộ ẩ ấ 15

Hình 2 9: C m bi n nh n di n vân tay AS608ả ế ậ ệ 16

Hình 2 10: M ch gi m áp LM2596ạ ả 18

Hình 2 11: Đ ng c servo MG90Sộ ơ 19

Hình 2 12: Màn hình c m ngả ứ 20

Hình 2 13: Các linh ki n khácệ 22

Hình 2 14: Firebase là n n t ng phát tri n ng d ng đa năng c a di đ ng và ề ả ể ứ ụ ủ ộ website 23

Hình 2 15: Giao di n l p trình MITệ ậ 25

Hình 2 16: Truy n d li u UARTề ữ ệ 27

Hình 2 17: C u t o khung truy n UARTấ ạ ề 28

Hình 2 18: Giao th c espnowứ 29

Hình 3 1: S đ k t n i c a ESP32_SENSOR.ơ ồ ế ố ủ 33

Hình 3 2: L u đ gi i thu t ESP32_SENSOR.ư ồ ả ậ 34

Hình 3 3: S đ k t n i c a ESP32_CONTROL.ơ ồ ế ố ủ 37

Hình 3 4: L u đ gi i thu t c a ESP32_CONTROLư ồ ả ậ ủ 38 Hình 3 5: Giao di n LCD……… 40ệ Hình 3 6: L u đ gi i thu t nh n di n hình nh… ………ư ồ ả ậ ậ ệ ả 43

Hình 4 1: Giao di n Firebaseệ 49

Hình 4 2: Giao di n thi t k app trên web.ệ ế ế 51

Hình 4 3: Giao di n app trên đi n tho i.ệ ệ ạ 52

Hình 4 4: L u đ gi i thu t cho thi t k ph n m m.ư ồ ả ậ ế ế ầ ề 53

Hình 5 1: Mô hình th c t ự ế 55

TÓM T T Ắ Đ ÁN Ồ B NG TI NG VI T Ằ Ế Ệ

Đ án này trình bày vi c xây d ng m t mô hình nhà thông minh ồ ệ ự ộ k t h pế ợ

v iớ công ngh nh n di n hình nhệ ậ ệ ả Raspberry Pi và các c m bi n H th ngả ế ệ ốcho phép giám sát và đi u khi nề ể t xaừ thông qua giao di n ng d ngệ ứ ụ , đ ngồ

th i ờ có th đi u khi n thông qua ngu n khác nh nh n di n hình nh vàể ề ể ồ ư ậ ệ ả

t ng tác màn LCD.ươ

Các c m bi n đ c ả ế ượ dùng trong đ ánồ đ giám sát môi tr ng trong nhà.ể ườ

D li u t các c m bi n này đ c c p nh t lên Firebase, ữ ệ ừ ả ế ượ ậ ậ đ ti n theo dõi vàể ệ

nh n đ c báo đ ng khi có cháy ho c h gas x y ra thông qua ng d ng đi uậ ượ ộ ặ ở ả ứ ụ ềkhi n Ph i h p v i c m bi n vân tay tăng tính b o m t cho mô hình.ể ố ợ ớ ả ế ả ậ

Đ án mô t ồ ả rõ các b c th c hi n, bao g m kh i t o và k t n i cácướ ự ệ ồ ở ạ ế ố

ph n c ngầ ứ , l p trình và ậ demo, các giao th c đã đ c th c hi n trong đ tàiứ ượ ự ệ ề Qua đó, th hi n rõ n i dung đã làm và đ m b o đ c tính n đ nh c a hể ệ ộ ả ả ượ ổ ị ủ ệ

ABSTRACT

This project presents the development of a smart home modelintegrated with image recognition technology using Raspberry Pi and varioussensors The system allows for remote monitoring and control via anapplication interface, while also enabling control through other sources, such

as image recognition and LCD screen interaction

The sensors used in the project monitor the indoor environment Datafrom these sensors is uploaded to Firebase for easy tracking, and alerts arereceived through the control application in case of fire or gas leaks In addition,

a fingerprint sensor is integrated to enhance the security of the system

The project clearly outlines the steps involved, including hardwareinitialization and connection, programming and demonstration, and theprotocols implemented throughout the project This ensures that the project’scontent is clearly presented and the system's stability during operation ismaintained

The main contents of the thesis include:

 Part 1: Introduction to the topic

 Part 2: Theoretical basis and technology

 Part 3: System design and structure development

 Part 4: Designing and developing the software

 Part 5: Testing and project results

 Part 6: Conclusion and future development directions

M Đ U Ở Ầ

Trong th iờ kỳ công ngh hi n đ i nh hi n nayệ ệ ạ ư ệ , nhà thông minh d n trầ ởthành m t ph n t t y u đ i s ng c a ng i dânộ ầ ấ ế ờ ố ủ ườ Cùng v i s phát tri n c aớ ự ể ủInternet of Things (IoT), vi c k t n i và đi u khi n thi t b trong nhà dẽ h nệ ế ố ề ể ế ị ơbao gi h tờ ế Đ ng th i, các nhà thông minh còn tích h p nhi u ti n ích và tăngồ ờ ợ ề ệ

c ng b o m t, an ninh ườ ả ậ tiên ti nế

V i m c ớ ụ đích nghiên c u và ứ m r ngở ộ các gi i pháp nhà thông minh, ả đồ

án t p trung vào vi c thi t k vàậ ệ ế ế tích h p Raspberry Pi cho nh n di n hìnhợ ậ ệ

nh

ả trong đi u khi n ề ể và ESP32 đ qu n lý các c m bi n và thi t b trong nhà.ể ả ả ế ế ị

Đ ng th i đ y d li u t ESP32 lên Firebase đ giám sát môi tr ng trongồ ờ ẩ ữ ệ ừ ể ườnhà thông minh, đ m b o ng i dùng có th theo dõi và đi u khi n t xa, tăngả ả ườ ể ề ể ừtính b o m t cho mô hình.ả ậ

Đ ánồ không ch cung c p m t mô hìnhỉ ấ ộ hi n đ i vàệ ạ ho t đ ng n đ nhạ ộ ổ ị

mà còn t p trung vào xây d ng giao di n đi u khi n thân thi n ậ ự ệ ề ể ệ d thao tácễ ,

đ m b o an toàn và ti t ki m năng l ng ả ả ế ệ ượ

Ch ng 1 ươ GI I THI U Đ TÀI Ớ Ệ Ề

1.1 Gi i thi u v nhà thông minh ớ ệ ề

Nhà thông minh,(Smart Home), là m t khái ni m hi n đ i, tích h p cácộ ệ ệ ạ ợcông ngh hi n đ i vào các thi t b và xây d ng thành m t h sinh thái ti nệ ệ ạ ế ị ự ộ ệ ệnghi, an ninh, và hi u qu s d ng năng l ng M t ngôi nhà thông minh choệ ả ử ụ ượ ộphép ng i s d ng đi u khi n và giám sát các thi t b đi n t t xa thôngườ ử ụ ề ể ế ị ệ ử ừqua đi n tho i, máy tính b ng ho c gi ng nói… ệ ạ ả ặ ọ

Hình 1 1: Mô hình smart home [1]

Vi c xây d ng m t h sinh thái nhà thông minh cho phép nhi u thi t bệ ự ộ ệ ề ế ị

có th t đi u khi n m t s thao tác mà không c n nh n l nh t con ng i.ể ự ề ể ộ ố ầ ậ ệ ừ ườ

Vi c t đ ng hoá trong mô hình nhà thông minh d a trên các công ngh hi nệ ự ộ ự ệ ệ

t i giúp b n hoàn thành các công vi c th ng ngày m t cách nhanh chóng vàạ ạ ệ ườ ộ

hi u qu mà không t n nhi u s c.ệ ả ố ề ứ

1.2 Tình hình nghiên c u nhà thông minh trong và ngoài n ứ ướ c

Tình hình n c ngoài, ướ nhà thông minh đang d n tr thành m t xu thầ ở ộ ếcông ngh phát tri n đáng k , là thành ph n thi t y u trong chi n l c đô thệ ể ể ầ ế ế ế ượ ịthông minh c a nhi u n c trên th gi i Theo d đoán c a Statista, doanhủ ề ướ ế ớ ự ủthu c a th tr ng Smart Home sẽ đ t kho ng 154,4 t USD vào năm 2024, v iủ ị ườ ạ ả ỷ ớ

t c đ tăng tr ng kép hàng năm là 10,67% (CAGR 2024-2028).ố ộ ưở [2]

Hoa Kỳ: Các t ch c công ngh l n trên th gi i nh Google, Amazon, …ổ ứ ệ ớ ế ớ ư

đã tri n khai các h th ng nhà thông minh nh Google Assistant, Alexa và Siri,ể ệ ố ưgiúp đi u khi n thi t b , h c h i thói quen ng i dùng, t i u hóa ti n nghi vàề ể ế ị ọ ỏ ườ ố ư ệ

ti t ki m năng l ng Theo s li u th ng kê m i nh t c a Smarthaus v nhàế ệ ượ ố ệ ố ớ ấ ủ ềthông minh m t cu c kh o sát đ u năm 2023, cho th y có t i 60,4 tri u hở ộ ộ ả ầ ấ ớ ệ ộgia đình Mỹ đang đang s d ng nhà thông minh.ở ử ụ [3]

Châu Âu: Các n c nh Đ c và Th y Đi n đang t p trung vào phát tri nướ ư ứ ụ ể ậ ểnhà thông minh thân thi n v i môi tr ng H ch y u s d ng năng l ngệ ớ ườ ọ ủ ế ử ụ ượtái t o t m t tr i và gió, đ ng th i s d ng các c m bi n đ giám sát m cạ ừ ặ ờ ồ ờ ử ụ ả ế ể ứtiêu hao năng l ng và v n hành các thi t b nh m gi m thi u lãng phí.ượ ậ ế ị ằ ả ể

Châu Á: Nh t B n là m t trong nh ng qu c gia đi đ u trong vi c tíchậ ả ộ ữ ố ầ ệ

h p nhà thông minh v i các khu đô th thông minh T i Hàn Qu c, đã đ yợ ớ ị ạ ố ẩ

m nh tri n khai m ng Wi-Fi mi n phí t i h n 10.400 đi m công c ng, baoạ ể ạ ễ ạ ơ ể ộ

ph 13,5% di n tích thành ph thông qua các ký k t v i các nhà m ng l n, n iủ ệ ố ế ớ ạ ớ ơ

m i thi t b trong nhà đ u k t n i đ c và kèm theo các d ch v công c ngọ ế ị ề ế ố ượ ị ụ ộ

nh giao thông, năng l ng và qu n lý ch t th i.ư ượ ả ấ ả [4]

Ngoài ra, còn nhi u đ t phá liên quan đ n s phát tri n đáng k v anề ộ ế ự ể ể ềninh và b o m t Các nghiên c u hi n nay đ t tr ng tâm vào vi c mã hóa dả ậ ứ ệ ặ ọ ệ ữ

li u và b o v kh i các cu c t n công qua m ng M t s nhà nghiên c u đangệ ả ệ ỏ ộ ấ ạ ộ ố ứ

áp d ng công ngh blockchain đ tăng c ng tính minh b ch và an toàn choụ ệ ể ườ ạ

h th ng nhà thông minh.ệ ố

T i Vi t Nam, ạ ệ nhà thông minh đang là m t lĩnh v c nghiên c u có ti mộ ự ứ ềnăng phát tri n l n, đ c bi t trong xu th công ngh s và phát tri n cácể ớ ặ ệ ế ệ ố ểthành ph thông minh Theo phân tích Statista, th tr ng Smart Home t i Vi tố ị ườ ạ ệNam d ki n ự ế sẽ đ t doanh thu kho ng 358.59 tri u USD vào năm 2024 và đ tạ ả ệ ạ506.4 tri u USD vào năm 2028.ệ [2]

Nhi u nghiên c u đã đ c ti n hành t i Vi t Nam đã ng d ng các côngề ứ ượ ế ạ ệ ứ ụngh tiên ti n nh IOT, AI, … Ví d , các nhóm nghiên c u t i Đ i h c Báchệ ế ư ụ ứ ạ ạ ọkhoa Hà N i và Đ i h c Công ngh TP.HCM (HUTECH) đã tri n khai các môộ ạ ọ ệ ểhình nhà thông minh tích h p c m bi n đo nhi t đ , đ m và ánh sáng đ tợ ả ế ệ ộ ộ ẩ ể ự

đ ng đi u khi n các thi t b đi n trong nhà ho t đ ng theo s bi n đ i c aộ ề ể ế ị ệ ạ ộ ự ế ổ ủmôi tr ng Ngoài ra, m t s s n ph m th ng m i do các công ty Vi t Namườ ộ ố ả ẩ ươ ạ ệphát tri n, nh BKAV v i Bkav SmartHome,…ể ư ớ

Tuy nhiên, th tr ng nhà thông minh v n đ i m t v i m t s b t l iị ườ ẫ ố ặ ớ ộ ố ấ ợ

l n, đ c bi t là v kh năng t ng thích ớ ặ ệ ề ả ươ thi t bế ị Vi c thi u m t tiêu chu nệ ế ộ ẩchung và s đa d ng trong các h sinh thái và giao th c truy n thông đã t o raự ạ ệ ứ ề ạ

s ph c t p trong quá trình cài đ t và s d ng M c dù tiêu chu n ự ứ ạ ặ ử ụ ặ ẩ Matter,

đ c h tr b i các công ty l n nh Amazon, Google và Apple, đ c kỳ v ng sẽượ ỗ ợ ở ớ ư ượ ọ

đ a ra gi i pháp cho ư ả v n đ này, nh ng vi c áp d ng r ng rãi v n còn ch mấ ề ư ệ ụ ộ ẫ ậ

do các s n ph m đ u tiên s d ng Matter ch m i ra m t vào cu i năm 2022.ả ẩ ầ ử ụ ỉ ớ ắ ốBên c nh đó, vi c ạ ệ ph sóngủ m ng ạ 5G toàn c u, dù h a h n c i thi n t c đ vàầ ứ ẹ ả ệ ố ộ

kh năng k t n i, v n g p ph i nhi u v n đ v c s h t ng, nh h ngả ế ố ẫ ặ ả ề ấ ề ề ơ ở ạ ầ ả ưở

đ n ti n trình ế ế c i ti n các thi t b công nghả ế ế ị ệ nhà thông minh

1.3 Nhi m v đ án ệ ụ ồ

Nhi m v c a đ án này là xây d ng mô hình nhà thông minh v i cácệ ụ ủ ồ ự ớyêu c u c th : giám sát các thông s nh vào các c m bi n trong nhà; đi uầ ụ ể ố ờ ả ế ềkhi n b t/t t h th ng đi n và b m n c t đ ng; tích h p khóa vân tay để ậ ắ ệ ố ệ ơ ướ ự ộ ợ ểtăng tính b o m t; t o ra ng d ng di đ ng đ theo dõi và v n hành thi t b ;ả ậ ạ ứ ụ ộ ể ậ ế ị

đ ng b hóa gi a màn hình c m ng và ng d ng; và k t h p Raspberry Pi đồ ộ ữ ả ứ ứ ụ ế ợ ểxây d ng h th ng nh n di n hình nh và đi u khi n thi t b d a trên khuônự ệ ố ậ ệ ả ề ể ế ị ự

m t và c ch tay.ặ ử ỉ

Các n i dung c n th c hi n:ộ ầ ự ệ

 N i dung 1: Tìm hi u lý thuy t v ngôi nhà thông minh.ộ ể ế ề

 N i dung 2: Tìm hi u v b x lý chính ESP32 và Raspberry Pi.ộ ể ề ộ ử

 N i dung 3: Thi t k h th ng c m bi n và thi t b ch p hành.ộ ế ế ệ ố ả ế ế ị ấ

 N i dung 4: Phát tri n ph n m m và giao di n đi u khi n.ộ ể ầ ề ệ ề ể

 N i dung 5: Ki m ch ng và đánh giá h th ng.ộ ể ứ ệ ố

Ch ng 2 ươ C S LÝ THUY T VÀ CÔNG NGH Ơ Ở Ế Ệ

 Đi n áp ngu n (USB): 5V DCệ ồ

 Các chu n giao ti p : I²C, SPI, UART / USART, USB, CANẩ ế

 Nhi t đ ho t đ ng : -40°C ~ 85°Cệ ộ ạ ộ

 C ng ADC : 12bit – 18 Kênhổ

 Chip USB-Serial: CP2102

 Timer : Có

Thông s Wifi và Bluetoothố

 Lo i: Wifi + Bluetooth Moduleạ

 Hi u su t: Lên đ n 600 DMIPSệ ấ ế

 T n s : lên đ n 240MHzầ ố ế

 Wifi: 802.11 B/g/n/E/I (802.11N @ 2.4 GHz lên đ n 150 Mbit/S)ế

 Bluetooth: 4.2 BR/EDR BLE 2 ch đ đi u khi nế ộ ề ể

 Ăng ten: PCB

 B o m t: IEEE 802.11, bao g m c WFA, WPA/WPA2 và WAPIả ậ ồ ả

 Ph n c ng tăng t c m t mã h c: AES, SHA-2, RSA, hình elip m t mãầ ứ ố ậ ọ ậ

Đ ng Cong (ECC), s ng u nhiên Máy phát đi n (RNG)ườ ố ẫ ệ [5]

Hình 2 2: S đ chân c a ESP32ơ ồ ủ

Hình 2 3: S đ nguyên lý c a ESP32ơ ồ ủ

2.1.2 Raspberry Pi 3 Module B+ & Camera 5MP OV5647

Hình 2 4: Raspberry Pi 3 Module B+

Thông s kỹ thu t chi ti t:ố ậ ế

 Vi x lý: Broadcom BCM2837B0, quad-core A53 (ARMv8) 64-bit SoCử

 Video và âm thanh: 1 c ng full-sized HDMI, C ng MIPI DSI Display,ổ ổ

c ng MIPI CSI Camera, c ng stereo output và composite video 4 chân.ổ ổ

 Multimedia: H.264, MPEG-4 decode (1080p30), H.264 encode(1080p30); OpenGL ES 1.1, 2.0 graphics

Camera Module 65 Degree FoV Fixed Focus OV5647 5MP t ng t nhươ ự ưModule Camera Raspberry Pi V1 v i ng kính 65 đ tiêu c c đ nh, camera cóớ ố ộ ự ố ị

ch t l ng hình nh t t v i đ phân gi i 5MP phù h p cho các d án x lý nhấ ượ ả ố ớ ộ ả ợ ự ử ảtrên Raspberry Pi …

 Lens: Fixed Focus

 Connector: CSI FPC 15 Pin 1.0mm Ribon conector

 Cable length: 15cm

 Kích th c: 25x24mm.ướ [7]

2.1.3 C m bi n nhi t đ , đ m DHT11 ả ế ệ ộ ộ ẩ

C m bi n DHT11 (Humidity &Temperature Sensor) là c m bi n r t phả ế ả ế ấ ổ

bi n hi n nay vì giá thành r và d l y d li u C m bi n giao ti p 1 wireế ệ ẻ ễ ấ ữ ệ ả ế ế( giao ti p digital 1 dây truy n d li u duy nh t) v i vi đi u khi n B ti n xế ề ữ ệ ấ ớ ề ể ộ ề ử

lý tín hi u tích h p trong c m bi n giúp b n có đ c d li u chính xác màệ ợ ả ế ạ ượ ữ ệkhông ph i qua b t kỳ tính toán nào ả ấ

 Chu n giao ti p: TTL, 1 wire.ẩ ế

 Kho ng đo đ m: 20%-80%RH sai s ± 5%RH.ả ộ ẩ ố

 Kho ng đo nhi t đ : 0-50°C sai s ± 2°C.ả ệ ộ ố

h n, n ng đ ch t d cháy càng cao thì đ d n đi n c a SnO2 sẽ càng cao vàơ ồ ộ ấ ễ ộ ẫ ệ ủ

đ c t ng ng chuy n đ i thành m c tín hi u đi n MQ2 là c m bi n khí cóượ ươ ứ ể ổ ứ ệ ệ ả ế

đ nh y cao v i LPG, Propane và Hydrogen, mê-tan (CH4) và h i d b t l aộ ạ ớ ơ ễ ắ ửkhác, v i chi phí th p và phù h p cho các ng d ng khác nhau.ớ ấ ợ ứ ụ

Hình 2 7: C m bi n khí gas MQ-2ả ế

Ch c năng các chân:ứ

 VCC : Chân ngu n 5V.ồ

 GND : Chân ngu n 0V.ồ

 Dout : Chân đ c tín hi u Digital.ọ ệ

 Aout : Chân đ c tín hi u Analog.ọ ệ

Thông s kỹ thu t c m bi n khí gas MQ2:ố ậ ả ế

o Analog: theo đi n áp c p ngu n t ng ng.ệ ấ ồ ươ ứ

o Digital: High ho c Low, có th đi u ch nh đ m mong mu nặ ể ề ỉ ộ ẩ ố

b ng bi n tr thông qua m ch so sánh LM393 tích h p.ằ ế ở ạ ợ

 Kích th c: 3 x 1.6cm.ướ [10]

2.1.6 C m bi n nh n d ng vân tay AS608 ả ế ậ ạ

C m bi n nh n d ng vân tay AS608 Fingerprint Sensor đ c tích h pả ế ậ ạ ượ ợnhân x lý nh n di n vân tay bên trong, t đ ng gán vân tay v i 1 chu i dử ậ ệ ự ộ ớ ỗ ữ

li u và truy n qua giao ti p UART DO đó không c n các thao tác x lý hìnhệ ề ế ầ ử

nh, đ n gi n ch là phát l nh đ c/ghi và so sánh chu i UART nên r t d s

 Dòng tiêu th : 30~60mA, trung bình 40mA.ụ

 Communication Interface: USB /UART

 T c đ Baudrate UART: 9600 x N (N t 1~12), m c đ nh N=6ố ộ ừ ặ ịbaudrate = 57600,8,1

 USB communication: 2.0 full speed

 Sensor image size (pixel): 256 x 288 pixels

 Image processing time (s): <0.4s

 Power-on delay (s): <0.1s (the module needs about 0.1S to initializeafter power on)

 Job search time (s): <0.3s

 FRR (rejection rate) <1%.

 FAR (recognition rate) <0.001%

 Fingerprint storage capacity 300 (ID: 0 ~ 299)

S đ chân:ơ ồ

 V+: chân c p ngu n chính VCC 3.3VDC cho c m bi n ho t đ ng.ấ ồ ả ế ạ ộ

 Tx: Chân giao ti p UART TTL TX.ế

 Rx: Chân giao ti p UART TTL RX.ế

 GND: Chân c p ngu n GND (Mass / 0VDC).ấ ồ

 TCH: Chân Output c a c m bi n ch m Touch, khi ch m tay vào c mủ ả ế ạ ạ ả

bi n chân này sẽ xu t ra m c cao High, đ s d ng tính năng nàyế ấ ứ ể ử ụ

c n c p ngu n 3.3VDC cho chân Va.ầ ấ ồ

 VA: Chân c p ngu n 3.3VDC cho Touch Sensor.ấ ồ

 U+: Chân tín hi u USB D+.ệ

 U-: Chân tín hi u USB D-.ệ

Đ giao ti p UART ta c n s d ng các chân:ể ế ầ ử ụ

hi u su t kho ng 92% M ch thích h p cho các ng d ng chia ngu n, h áp,ệ ấ ả ạ ợ ứ ụ ồ ạ

c p cho các thi t b nh camera, robot, ấ ế ị ư

Đ ng c servo MG90S là phiên b n nâng c p c a SG90 có bánh răng làmộ ơ ả ấ ủ

t nh a tr c kim lo i cho l c kéo và đ m nh đ c c i thi n.MG90s tích h pừ ự ụ ạ ự ộ ạ ượ ả ệ ợ

s n driver d dàng đi u khi n góc quay b ng ph ng pháp đ rung xungẵ ễ ề ể ằ ươ ộPWM ng d ng máy bay mô hình,đi u khi n t xa.Ứ ụ ề ể ừ

2.1.9 Màn hình c m ng ả ứ

Màn hình c m ng Nextion NX3224T028 2.8 Inch đ c thi t k đ hả ứ ượ ế ế ể ỗ

tr ng i dùng t o ra các giao di n đi u khi n và hi n thi (GUI) trên màn c mợ ườ ạ ệ ề ể ể ả

ng 1 cách d dàng và tr c quan nh t, đ ng th i thao tác đi u khi n trên nó

Hình 2 12: Màn hình c m ngả ứ Màn hình Nextion NX3224T028 2.8 Inch Nextion bao g m m t ph nồ ộ ầ

c ng (m t lo t g m TFT b ng) và m t ph n m m (Nextion) B ng m chứ ộ ạ ồ ả ộ ầ ề ả ạNextion TFT ch s d ng m t c ng n i ti p đ liên l c, giúp đ n gi n hoá hỉ ử ụ ộ ổ ố ế ể ạ ơ ả ệ

th ng dây ố

Ttrình so n th o Nextion có các thành ph n l n nh nút, văn b n, thanhạ ả ầ ớ ư ả

ti n trình, thanh tr t, b ng đi u khi n, vv đ làm phong phú thi t k giaoế ượ ả ề ể ể ế ế

di n H n n a, ch c năng kéo và th giúp gi m th i gian h n cho vi c l pệ ơ ữ ứ ả ả ờ ơ ệ ậtrình, đi u này sẽ gi m 99% kh i l ng công vi c phát tri n c a.ề ả ố ượ ệ ể ủ

HMI Nextion d dàng tích h p v i các h th ng hiên có Ng i dùng chễ ợ ớ ệ ố ườ ỉ

c n cung c p cho nó m t UART Các tính năng bao g m: màn hình c m ngầ ấ ộ ồ ả ứ

đi n tr 2,8″ TFT 320×240, Flash 4M, RAM 2KByte, màu 65k.ệ ở

Thông s màn hình c m ng NEXTION NX3224T028 :ố ả ứ

 Đ phân gi i 320 x 240.ộ ả

 Kích th c hi n th 2.8 inch.ướ ể ị

 RGB 65K đúng v i màu s c cu c s ng.ớ ắ ộ ố

 Màn hình TFT v i b ng đi u khi n c m ng đi n tr 4 dây tích h p.ớ ả ề ể ả ứ ệ ở ợ

 Giao di n 4 pin d dàng v i b t kỳ máy ch n i ti p TTL.ệ ễ ớ ấ ủ ố ế

 B nh 4M Flash cho d li u và mã ng d ng ng i dung.ộ ớ ữ ệ ứ ụ ườ

 Trên th micro-SD đ nâng c p firmware.ẻ ể ấ

 Đi n năng tiêu th 5V 65mA.ệ ụ

 T ng thích v i Raspberry Pi A +, B+ và Raspberry Pi 2.ươ ớ

 C p ngu n tr c ti p t Pi Raspberry, không c n ngu n đi n bênấ ồ ự ế ừ ầ ồ ệngoài

 S d ng chung cho t t c các d án Arduino ho c Raspberry Pi.ử ụ ấ ả ự ặ [14]

2.1.10 Các linh ki n khác ệ

Ngoài các linh ki n trên thì còn có m t s linh kiên khác nh đèn, qu t,ệ ộ ố ư ạcòi, tr , … đ n đ nh dòng trong m chở ể ổ ị ạ

Hình 2 13: Các linh ki n khácệ

2.2 Các l a ch n ph n m m cho đ tài ự ọ ầ ề ề

2.2.1 FIREBASE

Firebase, đ c cung c p b i Google, là m t n n t ng phát tri n ngượ ấ ở ộ ề ả ể ứ

d ng đa năng h tr cho c ng d ng di đ ng và web Nó bao g m nhi u d chụ ỗ ợ ả ứ ụ ộ ồ ề ị

v giúp các nhà phát tri n t o, m r ng và t i u hóa ng d ng m t cách hi uụ ể ạ ở ộ ố ư ứ ụ ộ ệ

qu mà không c n qu n lý ph c t p Các d ch v chính c a Firebase bao g mả ầ ả ứ ạ ị ụ ủ ồ

c s d li u (ơ ở ữ ệ Firestore + Realtime Database)… N n t ng này ch a các tínhề ả ứnăng đ xây d ng, phát hành và giám sát các ng d ng.ể ự ứ ụ [15]

 Thông báo: G i thông báo theo th i gian th c đ n ng i dùng ngử ờ ự ế ườ ứ

d ng c a b n v i Cloud Messaging.ụ ủ ạ ớ

 Phân tích: Theo dõi hi u su t ng d ng và hành vi ng i dùng v iệ ấ ứ ụ ườ ớFirebase Analytics

L i ích khi s d ng Firebase:ợ ử ụ

 D dàng s d ng: Firebase cung c p các API và SDK đ n gi n đ b nễ ử ụ ấ ơ ả ể ạ

Nh c Đi m c a Firebaseượ ể ủ

 Gi i h n tùy ch nh: Có th không đáp ng đ các yêu c u v tínhớ ạ ỉ ể ứ ủ ầ ềnăng backend ph c t p, vì các d ch v ch y u đ c thi t k s n vàứ ạ ị ụ ủ ế ượ ế ế ẵkhó tùy ch nh sâu.ỉ

 Chi phí tăng khi m r ng: Khi ng d ng phát tri n và ng i dùngở ộ ứ ụ ể ườtăng lên, chi phí s d ng có th cao, đ c bi t v i Firestore và Cloudử ụ ể ặ ệ ớStorage

 Khó di chuy n d li u: Firebase là m t n n t ng khép kín, vi c diể ữ ệ ộ ề ả ệchuy n d li u ra ngoài có th g p khó khăn.ể ữ ệ ể ặ

 Gi i h n trong t i u hóa truy v n: Firestore và Realtime Databaseớ ạ ố ư ấkhông h tr các truy v n ph c t p nh các h th ng c s d li uỗ ợ ấ ứ ạ ư ệ ố ơ ở ữ ệquan h ệ

2.2.2 MIT APP Inventor

MIT App Inventor là m t n n t ng ph n m m giáo d c đ c phát tri nộ ề ả ầ ề ụ ượ ể

b i Vi n Công ngh Massachusetts (MIT) Đ c thi t k đ giúp ng i dùngở ệ ệ ượ ế ế ể ườ

t o ra ng d ng di đ ng Android m t cách d dàng mà không c n có kỹ năngạ ứ ụ ộ ộ ễ ầ

l p trình chuyên sâu.ậ [16]

nh x lý s ki n, truy c p d li u và đi u khi n thi t b ư ử ự ệ ậ ữ ệ ề ể ế ị

MIT App Inventor là m t công c l p trình ng d ng tuy t v i cho:ộ ụ ậ ứ ụ ệ ờ

 H c sinh và sinh viên: Giúp các em h c v l p trình và phát tri n ngọ ọ ề ậ ể ứ

Các tính năng chính c a MIT App Inventor:ủ

 Giao di n kéo th tr c quan: D dàng dùng mà không c n ki n th cệ ả ự ễ ầ ế ứ

2.3 Giao th c truy n d li u trong đ tài ứ ề ữ ệ ề

2.3.1 Giao th c truy n d li u UART ứ ề ữ ệ

UART (Universal Asynchronous Receiver-Transmitter) là m t giao th cộ ứtruy n nh n d li u n i ti p b t đ ng b ,ề ậ ữ ệ ố ế ấ ồ ộ cho phép hai thi t b trao đ i thôngế ị ổtin mà không c n đ ng b hóa b ng xung nh p chung (clock).ầ ồ ộ ằ ị Thay vào đó, cảhai thi t b ch c n thi t l p cùng m t t c đ truy n d li u (baud rate).ế ị ỉ ầ ế ậ ộ ố ộ ề ữ ệ

Hình 2 16: Truy n d li u UARTề ữ ệ

Trong giao ti p UART, ế d li u đ c truy n theo c ch bit n i ti p gi aữ ệ ượ ề ơ ế ố ế ữhai thi t b Quá trình này di n ra khi thi t b g i (TX) chia nh d li u thànhế ị ễ ế ị ử ỏ ữ ệ

t ng bit và g i l n l t qua đ ng truy n đ n thi t b nh n (RX)ừ ử ầ ượ ườ ề ế ế ị ậ

Cách th c ho t đ ng: UART sẽ truy n d li u nh n đ c t m t bus dứ ạ ộ ề ữ ệ ậ ượ ừ ộ ữ

li u (Data Bus) Bus d li u đ c s d ng đ g i d li u đ n UART b i m tệ ữ ệ ượ ử ụ ể ử ữ ệ ế ở ộthi t b khác nh CPU, b nh ho c vi đi u khi n D li u đ c chuy n t busế ị ư ộ ớ ặ ề ể ữ ệ ượ ể ừ

d li u đ n UART truy n d ng song song Sau khi UART truy n nh n dữ ệ ế ề ở ạ ề ậ ữ

li u song song t bus d li u, nó sẽ thêm m t bit start, m t bit ch n l và m tệ ừ ữ ệ ộ ộ ẵ ẻ ộbit stop, t o ra gói d li u Ti p theo, gói d li u đ c xu t ra n i ti p t ngạ ữ ệ ế ữ ệ ượ ấ ố ế ừbit t i chân Tx UART nh n đ c gói d li u t ng bit t i chân Rx c a nó UARTạ ậ ọ ữ ệ ừ ạ ủ

nh n sau đó chuy n đ i d li u tr l i d ng song song và lo i b bit start, bitậ ể ổ ữ ệ ở ạ ạ ạ ỏ

ch n l và bit stop Cu i cùng, UART nh n chuy n gói d li u song song v iẵ ẻ ố ậ ể ữ ệ ớbus d li u đ u nh n.ữ ệ ở ầ ậ [17]

UART truy n d li u n i ti p, theo m t trong ba ch đ :ề ữ ệ ố ế ộ ế ộ

 Full duplex: Giao ti p đ ng th i đ n và đi t m i master và slave.ế ồ ờ ế ừ ỗ

 Half duplex: D li u đi theo m t h ng t i m t th i đi m.ữ ệ ộ ướ ạ ộ ờ ể

 Simplex: Ch giao ti p m t chi u.ỉ ế ộ ề

Hình 2 17: C u t o khung truy n UARTấ ạ ề

D li u truy n qua UART đ c t ch c thành các gói M i gói ch a 1 bitữ ệ ề ượ ổ ứ ỗ ứ

b t đ u, 5 đ n 9 bit d li u (tùy thu c vào UART), m t bit ch n l tùy ch n vàắ ầ ế ữ ệ ộ ộ ẵ ẻ ọ

1 ho c 2 bit d ng.ặ ừ

Bit kh i đ u: th ng đ c gi m c đi n áp cao khi nó không truy nở ầ ườ ượ ữ ở ứ ệ ề

d li u Đ b t đ u truy n, UART truy n sẽ kéo đ ng truy n xu ng m cữ ệ ể ắ ầ ề ề ườ ề ố ứ

th p trong m t chu kỳ đ ng h ấ ộ ồ ồ

Khung d li u: ch a d li u th c t đang đ c truy n Nó có th dài tữ ệ ứ ữ ệ ự ế ượ ề ể ừ

5 bit đ n 8 bit n u s d ng bit Parity (bit ch n l ) N u không s d ng bitế ế ử ụ ẵ ẻ ế ử ụParity, khung d li u có th dài 9 bit ữ ệ ể

Bit ch n l : ẵ ẻ Bit này dùng đ ki m tra l i trong quá trình truy n d li uể ể ỗ ề ữ ệ Bit có th b thay đ i b i b c x đi n t , t c đ truy n không kh p ho cể ị ổ ở ứ ạ ệ ừ ố ộ ề ớ ặtruy n d li u kho ng cách xa Sau khi UART nh n đ c khung d li u, nó sẽề ữ ệ ả ậ ọ ữ ệ

đ m s bit có giá tr là 1 và ki m tra xem t ng s là s ch n hay l N u bitế ố ị ể ổ ố ố ẵ ẻ ế

ch n l là 0 (tính ch n), thì t ng các bit 1 trong khung d li u ph i là m t sẵ ẻ ẵ ổ ữ ệ ả ộ ố

ch n N u bit ch n l là 1 (tính l ), các bit 1 trong khung d li u sẽ t ng thànhẵ ế ẵ ẻ ẻ ữ ệ ổ

m t s l Khi bit ch n l kh p v i d li u, UART sẽ bi t r ng quá trìnhộ ố ẻ ẵ ẻ ớ ớ ữ ệ ế ằtruy n không có l i ề ỗ

Bit d ng: Đ báo hi u s k t thúc c a gói d li u, UART g i sẽ đi uừ ể ệ ự ế ủ ữ ệ ử ềkhi n đ ng truy n d li u t đi n áp th p đ n đi n áp cao trong kho ng tể ườ ề ữ ệ ừ ệ ấ ế ệ ả ừ1-2 bit

UART có m t trong h u h t các h th ng nhúng và thi t b đi n t , víặ ầ ế ệ ố ế ị ệ ử

d :ụ

 Kết nối giữa các vi điều khiển: Raspberry Pi, ESP, STM32…

 Kết nối với máy tính: UART thường được tích hợp trong cáp Serial để giao tiếp với máy tính

USB-to- Kết nối với các mô-đun ngoại vi: Mô-đun Bluetooth (HC-05, HC-06),mô-đun Wi-Fi (ESP8266, ESP32), mô-đun GPS, mô-đun GSM

2.3.2 Giao th c truy n d li u ESP_NOW ứ ề ữ ệ

ESP32-NOW là m t giao th c truy n thông không dây, cho phép nhi uộ ứ ề ềthi t b có th d dàng k t n i và giao ti p v i nhau mà không c n ph i dùngế ị ể ễ ế ố ế ớ ầ ả

đ n m ng WiFi Chúng có cách k t n i t ng t nh 2.4GHz, các thi t b c nế ạ ế ố ươ ự ư ế ị ầ

ph i ghép n i v i nhau tr c khi truy n d li u.ả ố ớ ướ ề ữ ệ [18]

 Đi m đ n nhi u đi m (Point-to-Multipoint): M t thi t b ESP-NOWể ế ề ể ộ ế ị

g i d li u đ n nhi u thi t b ESP-NOW khác cùng lúc.ử ữ ệ ế ề ế ị

 Nhi u đi m đ n đi m (Multipoint-to-Point): Nhi u thi t b ESP-ề ể ế ể ề ế ịNOW g i d li u đ n m t thi t b trung tâm đ thu th p d li u.ử ữ ệ ế ộ ế ị ể ậ ữ ệ

 Nhi u đi m đ n nhi u đi m (Multipoint-to-Multipoint): Các thi t bề ể ế ề ể ế ịESP-NOW giao ti p v i nhau t o thành m t m ng l i, cho phépế ớ ạ ộ ạ ướchúng trao đ i d li u qua l i gi a các thi t b ổ ữ ệ ạ ữ ế ị

ESP-NOW tuỳ bi n trong vi c thi t l p các m ng l i t c b n đ nế ệ ế ậ ạ ướ ừ ơ ả ếtinh vi, đáp ng đ c nhu c u truy n t i d li u nhanh chóng và n đ nhứ ượ ầ ề ả ữ ệ ổ ịtrong các ng d ng IoT.ứ ụ

M t s tính năng c a ESP32 NOW g m:ộ ố ủ ồ

 Có kh năng mã hoá d li u ho c không tuỳ m c đích s d ng.ả ữ ệ ặ ụ ử ụ

 H tr g i d li u lên đ n 250 byte.ỗ ợ ử ữ ệ ế

 Không c n m ng Wifi v n gi k t n i n đ nh.ầ ạ ẫ ữ ế ố ổ ị

Tuy nhiên, ESP32 NOW cũng có nh c đi m mà b n c n bi t:ượ ể ạ ầ ế

 Vi c mã hóa các thi t b b h n ch , ch h tr t i đa 10 thi t bệ ế ị ị ạ ế ỉ ỗ ợ ố ế ị

 D li u g i đi b gi i h n trong m c 250 byteữ ệ ử ị ớ ạ ứ

Nói ng n g n l i, b n ch c n hi u r ng ESP32 NOW là m t giao th cắ ọ ạ ạ ỉ ầ ể ằ ộ ứtruy n t i thông tin nhanh chóng, th ng dùng trong vi c g i các tin nh n g nề ả ườ ệ ử ắ ọ

nh , ng n gi a các m ch ESP32 v i nhau.ẹ ắ ữ ạ ớ

2.4 Các th vi n nh n di n hình nh trên Raspberry Pi ư ệ ậ ệ ả

Trong đ án nhà thông minh, em s d ng Raspberry Pi trong vi c nh nồ ử ụ ệ ậ

di n hình nh và truy n d li u cho ESP32 đi u khi n thi t b Đ th c hi nệ ả ề ữ ệ ề ể ế ị ể ự ệthao tác này, Raspberry Pi s d ng m t s th vi n quan tr ng, bao g m: ử ụ ộ ố ư ệ ọ ồ

 OpenCV: Th vi n mã ngu n m ph bi n, cung c p các công c m như ệ ồ ở ổ ế ấ ụ ạ

mẽ đ phân tích và x lý hình nh, video Th vi n này h tr nhi u tácể ử ả ư ệ ỗ ợ ề

v khác nhau, t nh n di n và phát hi n đ i t ng trong nh cho đ nụ ừ ậ ệ ệ ố ượ ả ếtheo dõi chuy n đ ng và nh n di n khuôn m t.ể ộ ậ ệ ặ

 Serial: Th vi n này cho phép Raspberry PI thi t l p c ng giao ti p v iư ệ ế ậ ổ ế ớ

vi đi u khi n ESP32 qua giao th c UART ề ể ứ

Ch ng 3 ươ THI T K VÀ XÂY D NG C U TRÚC H TH NG Ế Ế Ự Ấ Ệ Ố

3.1 Yêu c u đ t ra ầ ặ

Đ đo l ng và giám sát các thông s môi tr ng trong nhà T t c dể ườ ố ườ ấ ả ữ

li u này sẽ đ c thu th p g i v ESP32 đ x lý Đ ng th i ki m tra và phátệ ượ ậ ử ề ể ử ồ ờ ể