Nghiên cứu phát triển giao diện tương tác người máy trong môi trường thông minh

Triển khai xây dựng giao diện người – máy bằng tiếng nói điều khiển các thiết bị trong phòng thông minh.. Các vấn đề cơ bản đã được nghiên cứu và thực hiện: - Kết nối tốt với các thiết

Đề tài: Nghiên cứu phát triển giao diện tương tác người – máy trong môi trường thông minh

Tác giả luận văn: Nguyễn Thị Thảo Khóa: 2008-2010 Người hướng dẫn: TS Nguyễn Việt Tùng

Nội dung túm tắt:

a) Lý do chọn đề tài:

Ngày nay, với sự phát triển của khoa học công nghệ thì máy móc giúp ích cho con người không chỉ trong các ngành công nghiệp mà cả trong cuộc sống hàng ngày Giao tiếp giữa con người và máy móc thông qua giao diện người – máy ngày càng được quan tâm Trong môi trường thông minh các ứng dụng thích nghi với nhu cầu của con người thì giao diện người – máy phát triển ở trình độ cao và ngày càng được ứng dụng rộng rãi vì

nó khiến cho người sử dụng hài lòng Từ nhận định đó nên luận văn tốt nghiệp thạc sỹ tôi chọn nghiên cứu phát triển giao diện tương tác người – máy trong môi trường thông minh

Mục đích nghiên cứu của luận văn, đối tượng, phạm vi nghiên cứu

Tìm hiểu về giao diện người – máy trong môi trường thông minh, cụ thể là phòng thông minh Triển khai xây dựng giao diện người – máy bằng tiếng nói điều khiển các thiết bị trong phòng thông minh

b) Tóm tắt cô đọng các nội dung chính và đóng góp mới của tác giả

Chương 1: Mở đầu

Chương này tìm hiểu về bối cảnh của nghiên cứu, xác định mục đích nghiên cứu, và

phạm vi nghiên cứu của đề tài

Chương 2: Tổng quan về giao diện người máy trong môi trường thông minh và nhà thông minh

Nội dung trình bày nghiên cứu tổng quan về giao diện tương tác người – máy trong môi trường thông minh nói chung và giao diện tương tác người – máy trong nhà thông minh nói riêng

MICA Sơ đồ kết nối hệ thống giám sát và điều khiển giao diện người – máy bằng tiếng nói Tiếp đó trình bày giải pháp xây dựng hệ thống giao diện tiếng nói và bàn phím chuột cho phép dễ dàng triển khai các hệ thống tương tác trong môi trường thông minh

Chương 4: Triển khai giải pháp cho ứng dụng phòng thông minh của MICA

Việc triển khai cho một ứng dụng cụ thể được thực hiện cho phòng thông minh tại Trung tâm MICA Chương này được mở đầu bằng việc giới thiệu bài toán thông qua việc xây dựng kịch bản điều khiển các thiết bị và sử dụng phầm mềm Adobe Flash CS4

Professional để mô phỏng mô hình smartroom của trung tâm MICA Tiếp đó là phần lựa chọn công nghệ triển khai giải pháp, giới thiệu về công cụ Qt, công cụ được lựa chọn để triển khai giải pháp và cuối cùng là các kết quả triển khai giải pháp cho phòng thông minh tại trung tâm MICA dưới dạng demo chương trình

Chương 5: Kết quả và hướng phát triển

Phần này trình bày những nhận xét đánh giá về kết quả của chương trình demo và đưa ra hướng phát triển tiếp theo của đồ án

c) Phương pháp nghiên cứu

- Phương pháp đọc tài tiệu

- Phương pháp thực nghiệm trên phần mềm Adobe Flash CS4 Professional để mô phỏng

d) Kết luận

Sau một thời gian nghiên cứu đề tài “ Nghiên cứu phát triển giao diện tương tác người – máy trong môi trường thông minh ”.Với những mục tiêu đề ra của đề tài Luận văn đã

hoàn thành được các yêu cầu Các vấn đề cơ bản đã được nghiên cứu và thực hiện:

- Kết nối tốt với các thiết bị cần điểu khiển trong môi trường như đầu đọc thẻ RFID để điều khiển cửa ra vào; đèn trong phòng; quạt với 2 chức năng là on/off, số

nhiệt độ và cài đặt nhiệt độ; Điều khiển tivi: Kết nối tốt với hệ thống IPTV cung cấp nội dung tivi (chương trình điều khiển tivi server nằm ngoài chương trình demo); truyền hình ảnh từ camera IP về và hiển thị rõ nét trên màn hình của chương trình

- Hệ thống giao diện cho phép điều khiển một cách thống nhất giữa điều khiển bằng tay và điều khiển bằng tiếng nói, có sự độc lập giữa đối tượng điều khiển (ví

dụ đèn) với đối tượng tương tác (ví dụ nút bấm đèn hoặc câu lệnh đèn bật) Việc kết nối một mô đun điều khiển (phần mềm) để điều khiển nhiều thiết bị giống nhau (ví dụ mô đun điều khiển đèn điều khiển đèn số 1, số 2, số 3) là đồng nhất độc lập với mô đun giao diện kích hoạt Điều này có nghĩa là để bật đèn số 2, ta có thể dùng tiếng nói “đèn bật” hoặc dùng biểu tượng phím bấm trên màn hình điều khiển

ở màn hình chính hiển thị 3 phòng, hoặc nút bẩm trên màn hình điều khiển ở màn hình phụ phòng 1 (nơi chứa đèn 1)

LỜI CAM ĐOAN

Tôi xin cam đoan rằng, bản luận văn này là kết quả nghiên cứu của bản thân tôi

dưới sự hướng dẫn của TS Nguyễn Việt Tùng Nếu có gì sai phạm tôi xin hoàn

toàn chịu trách nhiệm

Tác giả luận văn

Nguyễn Thị Thảo

LỜI CẢM ƠN

Luận văn tốt nghiệp cao học “Nghiên cứu phát triển giao diện tương tác người – máy trong môi trường thông minh” là kết quả không chỉ của một cá nhân mà nó có

được là nhờ sự giúp đỡ của nhiều người

Trước hết, em xin chân thành cảm ơn TS Nguyễn Việt Tùng vì những kiến thức mà thầy truyền đạt Thầy cũng là người cho em ý tưởng về xây dựng đề tài này Đồng thời, thầy đã trực tiếp hướng dẫn và theo dõi quá trình xây dựng và hoàn thiện luận văn này

Cuối cùng, xin cám ơn gia đình, bạn bè những người luôn bên cạnh tôi động viên, giúp đỡ tôi trong học tập cũng như trong cuộc sống

Hà Nội, tháng 3 năm 2011

Học viên

Nguyễn Thị Thảo

MỤC LỤC

Chương 1 MỞ ĐẦU 8

1.1 Bối cảnh nghiên cứu 8

1.2 Mục đích nghiên cứu 8

1.3 Giới hạn và nội dung nghiên cứu 9

Chương 2 TỔNG QUAN VỀ GIAO DIỆN NGƯỜI – MÁY TRONG MÔI TRƯỜNG THÔNG MINH VÀ NHÀ THÔNG MINH 11

2.1 Giao diện người - máy trong môi trường thông minh 11

2.1.1 Lịch sử quá trình nghiên cứu 11

2.1.2 Ứng dụng giao diện người – máy trong môi trường thông minh 12

2.2 Giao diện người - máy trong nhà thông minh 13

2.2.1 Tổng quan về nhà thông minh 13

2.2.2 Các giải pháp tương tác người-thiết bị trong nhà thông minh 16

Chương 3 XÂY DỰNG GIẢI PHÁP 21

3.1 Tìm hiểu hệ thống “Smart home” tại trung tâm MICA 21

3.1.1 Mô hình hệ thống 21

3.1.2 Sơ đồ kết nối các mô đun 22

3.1.3 Kết nối các thiết bị cần điều khiển 23

3.2 Hệ thống giám sát và điều khiển sử dụng giao diện tiếng nói 26

3.2.1 Nguyên tắc thiết kế 26

3.2.2 Sơ đồ khối chức năng bên trong hệ thống tương tác 26

3.2.3 Trình tự thiết kế và xây dựng giao diện người dùng 27

Chương 4 : TRIỂN KHAI GIẢI PHÁP CHO ỨNG DỤNG PHÒNG THÔNG

MINH CỦA MICA 34

4.1 Tìm hiểu nhu cầu tương tác của người dùng – xây dựng kịch bản hoạt động môi trường thông minh ở trung tâm MICA 34

4.2 Lựa chọn công cụ phát triển - công cụ Qt 37

4.3 Ứng dụng để xây dựng chương trình điều khiển môi trường thông minh của trung tâm MICA 39

4.3.1 Các giao thức tương tác phục vụ bài toán 40

4.3.2 Giới thiệu chương trình 41

4.3.3 Điều khiển các thiết bị trong môi trường 47

Chương 5 : KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN 54

PHỤ LỤC 56

TÀI LIỆU THAM KHẢO 66

DANH MỤC HÌNH VẼ

Hình 1 Những tiện ích của hệ thống “Smart home” 15

Hình 2 Mô hình kết nối tổng quát của hệ thống “Smart home” 15

Hình 3 Mô hình kết nối điều khiển các thiết bị trong nhà 16

Hình 4 Điều khiển bằng phím ấn 16

Hình 5 Điều khiển thông qua điều khiển từ xa 17

Hình 6 Điều khiển thông qua giao diện cảm ứng 18

Hình 7 Điều khiển thông qua internet 18

Hình 8 Một số loại cảm biến dung trong nhà thông minh 19

Hình 9 Điều khiển bằng giọng nói 20

Hình 10 Hệ thống phòng thông minh tại trung tâm MICA 21

Hình 11 Sơ đồ kết nối của khôi tương tác người máy bằng tiếng nói của phòng thông minh 23

Hình 18 Sơ đồ kết nối sơ bộ các thiết bị 25

Hình 12 Sơ đồ khối tổng quát của khối tương tác người-máy bằng tiếng nói 26

Hình 13 Sơ đồ khối các khối tương tác và vị trí cơ chế signal slot được triển khai 29

Hình 14 Ví dụ về truyền thông tin giữa các đối tượng sử dụng tín hiệu khe cắm 30

Hình 15 Mô hình MVC 32

Hình 16 Ví dụ về MVC 32

Hình 17 Mở rộng ví dụ về MVC với nhiều bộ điều khiển 33

Hình 19 Một số hình ảnh trong kịch bản 36

Hình 20 Sơ đồ mặt bằng môi trường thông minh nơi sẽ xây dựng phòng giám sát

bằng tiếng nói 40

Hình 21 Giao diện chính của chương trình điều khiển 42

Hình 22 Thanh Menu của demo 42

Hình 23 Menu File 43

Hình 24 Menu View 43

Hình 25 Menu Help 43

Hình 26 Vùng hiển thị thời gian 44

Hình 27 Giao diện room 1 trong demo 44

Hình 28 Giao diện room 2 trong demo 45

Hình 29 Giao diện room 3 trong demo 46

Hình 30 Thanh status trong demo 46

Hình 31 Debug ghi lại hoạt động của demo 47

Hình 32 Sơ đồ điều khiển cửa 48

Hình 33 Hộp thoại điều khiển đèn 49

Hình 34 Hộp thoại điều khiển quạt 50

Hình 35 Hộp thoại điều khiển điều hoà 50

Hình 36 Sơ đồ điều khiển tivi 51

Hình 37 Hộp thoại điều khiển tivi 53

DANH MỤC BẢNG

Bảng 1 Thiết bị, công suất và thiết bị điều khiển PLC 24Bảng 2 Các công cụ của Qt 38

DANH SÁCH CÁC TỪ VIẾT TẮT

HMI Human-machine Interface AmI Ambient Intelligence

SH Smart Home ICT Information and Communication Technologies DVD Digital Video Disc

ID Integral and Derivative LAN Local Area Network

TV Television PLC Programmable Logic Control USB Univeral Serial Bus

APIs Application Programming Interface scale MVC Model-View-Controller

GUI Graphical User Interface

IP Internet Protocol

Chương 1 MỞ ĐẦU

1.1 Bối cảnh nghiên cứu

Con người luôn có sự giao tiếp với máy móc dưới nhiều hình thức khác nhau Từ đơn giản qua các nút ấn bật/tắt, qua màn hình, đến phức tạp như qua nhận dạng cử chỉ, nét mặt… Với sự phát triển của khoa học công nghệ, ngày nay con người không chỉ ra những mệnh lệnh một chiều mà giữa máy móc và con người đã có sự tương tác đa dạng hơn Thành quả này có được do sự phối hợp của các cơ cấu cảm biến, cơ cấu chấp hành, bộ vi xử lý kết hợp với các phần mềm thông minh Máy móc nhận biết trạng thái của môi trường xung quanh và đưa ra các quyết định mà không cần sự phát biểu tường minh của người dùng

Các cảm biến sẽ thu thập tín hiệu đặc trưng nhất của môi trường có liên quan đến tác vụ hiện hành hoặc đến dịch vụ mà hệ thống muốn cung cấp cho người dùng từ môi trường xung quanh Thông tin này được gửi về máy tính, gửi, trên cơ sở đó máy tính đưa ra các quyết định cho cơ cấu chấp hành thực hiện

Máy tính có thể có nhiều hình thức khác nhau, từ máy chủ, máy cá nhân, máy tính xách tay, máy tính công nghiệp, máy tính nhúng, thiết bị di động cầm tay đến hệ thống máy tính và các vi điều khiển, vi xử lí nhúng trong các thiết bị dân dụng Sự tiến bộ của ngành công nghiệp chế tạo các thiết bị điện tử nhỏ bé cho phép các máy tính có nhiều tính năng khác nhau và giao diện người – máy (HMI) trở thành một phần của cuộc sống hàng ngày

1.2 Mục đích nghiên cứu

Mục đích nghiên cứu của luận văn là cung cấp một cách tiếp cận mới cho người lập trình để xây dựng giao diện người-máy trong môi trường thông minh cụ thể là phòng thông minh Cách tiếp cận này tập trung hướng đến việc dễ dàng tích hợp các phương pháp tương tác đa phương thức (ví dụ tương tác bằng tiếng nói, bàn phím

và chuột)

1.3 Giới hạn và nội dung nghiên cứu

Trong khuôn khổ nghiên cứu và mục đích ở trên, luận văn tập trung vào nội dung sau:

1 Nghiên cứu quá trình hình thành và phát triển giao diện tương tác người – máy trong và ngoài nước phục vụ các bài toán tương tác thường gặp trong cuộc sống hàng ngày (giao diện người – máy trong nhà thông minh)

2 Nghiên cứu phát triển một giải pháp xây dựng giao diện người-máy điều khiển bằng bàn phím chuột kết hợp giao diện tiếng nói cho các thiết bị dân dụng trong nhà thông minh Giải pháp này phải cho phép mở rộng cho các dạng tương tác khác như tương tác bằng cử chỉ

3 Xây dựng một hệ tương tác người máy cho phòng thông minh, một ứng dụng cụ thể của nhà thông minh, bằng cách áp dụng giải pháp trên

Bản luận văn này bao gồm:

Chương 3: Xây dựng giải pháp

Chương này mở đầu bằng việc miêu tả hệ thống “Smart home” tại trung tâm MICA Nhắc lại sơ đồ kết nối hệ thống giám sát và điều khiển Tiếp đó trình bày giải pháp xây dựng hệ thống giao diện tiếng nói và bàn phím chuột cho phép dễ dàng triển khai các hệ thống tương tác trong môi trường thông minh

Chương 4: Triển khai giải pháp cho ứng dụng phòng thông minh của MICA

Chương này trình bày việc triển khai cho một ứng dụng cụ thể được thực hiện cho phòng thông minh tại Trung tâm MICA Chương này được mở đầu bằng việc nhắc lại bài toán tìm hiểu nhu cầu người dùng thông qua việc xây dựng kịch bản điều khiển các thiết bị Tiếp đó là lựa chọn công nghệ triển khai giải pháp, giới thiệu về công cụ Qt (công cụ được lựa chọn để triển khai giải pháp) và cuối cùng là các kết quả triển khai giải pháp cho phòng thông minh tại trung tâm MICA dưới dạng demo chương trình

Chương 5: Kết quả và hướng phát triển

Phần này trình bày những nhận xét đánh giá về kết quả của chương trình demo và đưa ra hướng phát triển tiếp theo của đồ án

Chương 2 TỔNG QUAN VỀ GIAO DIỆN NGƯỜI – MÁY TRONG MÔI TRƯỜNG THÔNG MINH VÀ NHÀ THÔNG

MINH

2.1 Giao diện người - máy trong môi trường thông minh

2.1.1 Lịch sử quá trình nghiên cứu

Trong lịch sử phát triển loài người, máy móc có một vị trí rất quan trọng không chỉ giúp con người các công việc nặng nhọc, các công việc đòi hỏi chính xác, tạo ra năng suất lao động vượt trội…mà nó còn phục vụ cho cuộc sống con người ngày một thoái mái hơn

Khi mới hình thành thì giao tiếp giữa con người và máy móc còn rất hạn chế thông qua các nút ấn bật/tắt, các bảng điều khiển Sau đó là thông qua các màn hình máy tính thì giao tiếp người – máy linh hoạt hơn rất nhiều

Tuy nhiên, theo thời gian, người ta dần dần nhận thấy người sử dụng rất túng túng khi sử dụng các máy móc Câu hỏi đặt ra là tại sao người sử dụng lại không sẵn sàng hoặc không thể tận dụng thuận lợi của công nghệ hiện đại để hạn chế lúng túng này Thực tế là thông thường những máy móc hiện đại có thể hoạt động một cách hoàn hảo bởi những thực tập viên lại bị lỗi khi được đưa vào tay của người sử dụng Đây là mối quan tâm chủ yếu của các tác giả ở phòng Nghiên cứu quốc gia Sandia

là xây dựng giao diện giữa con người và máy móc (Human-Machine Interface HMI) Mục tiêu là làm sao tạo ra một giao diện giúp con người có thể giao tiếp với máy móc một cách thuận lợi nhất

Những mối quan tâm tương tự cũng được tìm thấy với quan điểm của Công ty điện

Yaskawa của Nhật Bản, [Kumamoto 1995] thể hiện qua kết luận “Những thách thức

phải nâng cấp chức năng của máy móc để đạt được một sự hài hòa trong hợp tác giữa con người và máy móc”

Ngày nay, giao diện giữa con người và máy móc rất đa dạng chúng vừa là thách thức vừa là cơ hội để xây dựng các hệ giao diện giữa người và máy móc một cách thuận tiện, mềm dẻo, chất lượng cao

2.1.2 Ứng dụng giao diện người – máy trong môi trường thông minh

Trong môi trường thông minh (AmI), giao diện tương tác người máy gắn liền với khái niệm “sự biến mất của máy tính” Đó chính là sự sâu sắc nhất của công nghệ hiện đại Máy tính không còn hiện hữu một cách rõ ràng mà nó đan xen trong các sản phẩm phục vụ cuộc sống hàng ngày Điều đó có thể dễ dàng nhận thấy trong các dịch vụ công cộng như: Trong giao thông, hệ thống cảm biến thu nhận các thông tin chính xác từ môi trường xung quanh giúp người lái xe đưa ra quyết định lái xe an toàn hoặc quyết định lộ trình ngắn nhất Trong y tế và chăm sóc sức khoẻ bệnh nhân được chăm sóc tốt nhất nhờ sự hỗ trợ của các hệ thống thông minh,… Không chỉ nhận thấy trong các dịch vụ công cộng mà trong chính ngôi nhà của chúng ta sự phát triển của khoa học công nghệ đã đem lại cho con người nhiều thành quả có giá trị với cuộc sống gia đình Ban đầu, ở dạng phôi thai, là các ứng dụng bảo vệ nguồn

tự động trong nhà sử dụng cầu chì, rơle đóng cắt Tiếp đó là các ứng dụng có bổ sung mức độ tùy biến các thông số hệ thống theo mong muốn của người dùng như hẹn giờ bật tắt các thiết bị, tăng giảm độ sáng, độ ẩm, nhiệt độ… Cuối cùng là các

hệ thống nhà thông minh có “trí tuệ” có thể tiếp nhận các thông tin, mệnh lệnh, trạng thái tâm lý, sức khỏe của con người, đồng thời với việc cảm nhận được các thông số trạng thái của bản thân hệ thống và môi trường Các thông tin này sau đó

sẽ xử lý để đưa ra các quyết định phù hợp với bối cảnh (hệ thống, môi trường và con người) nhằm đem lại sự tiện lợi và thoải mái cho con người hoặc hiệu quả về thời gian, năng lượng cùng các giá trị gia tăng khác

2.2 Giao diện người - máy trong nhà thông minh

2.2.1 Tổng quan về nhà thông minh

Có nhiều định nghĩa khác nhau về nhà thông minh được đưa ra dưới đây Chúng cho ta cái nhìn rõ hơn về nhà thông minh, công nghệ của nó và người sử dụng mà

nó hướng tới:

 Nhà thông minh là ngôi nhà cung cấp môi trường tiện lợi và đầu tư hiệu quả thông qua việc lựa chọn 4 phần tử cơ bản: cấu trúc, các hệ thống, các dịch vụ và quản lý cùng môi trường tương tác giữa chúng Một ngôi nhà thông minh trợ giúp chủ nhân của nó, người quản lý tài sản, người vận hành trong mục đích tối

ưu về giá thành, quản lý năng lượng, sự tiện nghi, an toàn, sự mềm dẻo và khả

năng thương mại được (Caffrey 1985, Intelligent Buildings Institute, Washington DC)

 Nhà thông minh là ngôi nhà mà thông qua thiết kế vật lý và cài đặt truyền thông

sẽ cho phép đáp ứng nhanh, mềm dẻo và thích nghi với người sử dụng và sinh hoạt trong ngôi nhà Ngôi nhà sẽ cung cấp các dịch vụ cho chủ nhà, người quản

lý, vận hành và duy trì hoạt động của nó Nhà thông minh trợ giúp con người được cài đặt các hệ thống, truyền thông, và được trang bị cảm biến và các cơ

cấu chấp hành (Per Christiansson 2002)

 Nhà thông minh là ngôi nhà mà ở đó kết cấu của nó, khoảng không gian, các dịch vụ và các hệ thống thông tin có thể đáp ứng hiệu quả các yêu cầu ban đầu

và các yêu cầu thay đổi từ phía chủ nhà, các thành viên trong gia đình và môi

trường (Arup 2003)

Từ góc độ tiện ích, hệ thống nhà thông minh là hệ thống tòa nhà mà ở đó tự động điều khiển các thiết bị trong nhà theo một lịch trình đặt sẵn theo tiêu chí thân thiện với môi trường hoặc hướng người dùng nhằm giúp cho chủ nhà cảm thấy thoải mái

và cuộc sống trở lên vui vẻ, tiện lợi hơn, cụ thể:

- Tự động bật đèn khi có người, tắt đèn khi không có người ở hành lang và cầu thang

- Tự động khóa bình gas khi phát hiện rò rỉ

- Tự động kéo mành, rèm, mái che ban công, bể bơi khi trời đổ mưa

- Tự động phát hiện khu vực có người chuyển động, người bấm chuông, tiếng trẻ khóc để chuyển bật camera quan sát tại các khu vực tương ứng và hiển thị trên màn hình TV, máy tính, đưa ra tín hiệu cảnh báo bằng hình ảnh hoặc âm thanh, đồng thời chủ nhà có thể thực hiện chức năng gọi điện trực tiếp tới các khu vực này

Toàn bộ tiện ích của hệ thống nhà thông minh có thể mô tả khái quát trong hình sau:

Hình 1 Những tiện ích của hệ thống “Smart home”

Hiện nay có nhiều mô hình nhà thông minh được lắp đặt và sử dụng trên thế giới, phổ biến là mô hình kết nối sau:

Hình 2 Mô hình kết nối tổng quát của hệ thống “Smart home”

Mô hình cụ thể kết nối điều khiển các thiết bị trong nhà:

Hình 3 Mô hình kết nối điều khiển các thiết bị trong nhà

2.2.2 Các giải pháp tương tác người-thiết bị trong nhà thông minh

Giải pháp điều khiển thông minh là yếu tố quan trọng nhất quyết định mức độ

“thông minh” của một ngôi nhà Nó là tập hợp của rất nhiều phương pháp điều khiển giúp người dùng dễ dàng ra lệnh và quản lý ngôi nhà người dùng dù người dùng ở bất cứ nơi đâu, bất cứ lúc nào Các biện pháp điều khiển gồm có:

a Điều khiển thông qua giao diện phím ấn thông minh

Hình 4 Điều khiển bằng phím ấn

Phím ấn thông minh là những phím ấn có thể lập trình để học những sở thích và thói quen của chủ nhà, vì vậy nó vô cùng thông minh và linh hoạt

Chúng ta hãy hình dung khi ấn nút bối cảnh “ăn tối”, phím ấn sẽ lập tức hiểu ý và giúp chúng ta thực hiện một loạt các thao tác như: Rèm cửa tự động kéo ra tạo một không gian tự nhiên từ cảnh quan quanh nhà; ánh sáng phòng ăn từ từ giảm bớt tới một mức sáng thích hợp nhằm tạo ra một không khí dịu dàng ấm cúng; đèn cảnh quan khu vườn dần dần sáng lên tạo cảm giác dễ chịu; hệ thống âm thanh được kích hoạt và một bản nhạc ưa thích của người dùng sẽ được phát

b Điều khiển từ xa

Hình 5 Điều khiển thông qua điều khiển từ xa

Với giao diện điều khiển từ xa đa năng chúng ta có thể bật tắt tất cả thiết bị điện mà không cần phải tới gần các nút ấn Ngoài ra giao diện này còn có khả năng học được tín hiệu hồng ngoại từ điều khiển của các thiết bị khác như Tivi, giàn nhạc, điều hòa nhiệt độ, quạt cây, …

c Điều khiển thông qua giao diện màn hình cảm ứng

Hình 6 Điều khiển thông qua giao diện cảm ứng

Trong giao diện màn hình cảm ứng toàn bộ không gian ngôi nhà người dùng với các thiết bị điều khiển được biểu thị một cách trực quan sinh động thông qua giao diện

đồ họa cho phép người dùng điều khiển và giám sát trạng thái của tất cả các thiết bị trong nhà

d Điều khiển thông qua mạng Internet

Hình 7 Điều khiển thông qua internet

Với mục đích giúp người dùng điều khiển, giám sát ngôi nhà mọi lúc mọi nơi, giao diện điều khiển thông qua trình duyệt web đã ra đời Từ văn phòng, từ sân bay, từ nước ngoài và từ bất cứ nơi đâu có mạng Internet người dùng đều có thể giám sát và

điều khiển tất cả các thiết bị trong nhà Lúc 17h00 người dùng bắt đầu từ văn phòng

và trở về nhà, thời tiết thì nóng nực và ngột ngạt, người dùng không muốn phải chịu cái không khí đó khi trở về nhà, họ có thể vào giao diện điều khiển Internet và kích hoạt hệ thống điều hòa của ngôi nhà, bật bình nóng lạnh phòng tắm

e Điều khiển tự động thông qua cảm biến và các chế độ thời gian lập trình trước

Hình 8 Một số loại cảm biến dung trong nhà thông minh

Đây là giải pháp điều khiển nhằm giải thoát người dùng khỏi những công việc không cần thiết phải có sự can thiệp của con người Nâng cao tính tự động của ngôi nhà theo ý muốn Ví dụ, vào buổi tối, khi người dùng đi qua lối dẫn sân vườn, đi trên hành lang tòa nhà hoặc bước lên cầu thang thì người dùng sẽ thấy đèn chiếu sáng luôn tự động bật mỗi khi người dùng đi tới, và tự động tắt mỗi khi người dùng

đi qua Đó là do sự kết hợp các loại cảm biến chuyển động trong hệ thống chiếu sáng, nó phát hiện ra được chuyển động của người dùng để bật đèn và tự động tắt đi khi người dùng không có nhu cầu sử dụng nữa Cây xanh được tưới tự động bằng hệ thống điều khiển theo giờ hoặc theo độ ẩm đất Đóng mở cửa, đóng mở rèm, đóng

mở mái che dựa vào trạm thời tiết tích hợp trong hệ thống Nó sẽ biết được khi nào trời đang giông, đang mưa để đóng cửa sổ, mái che Biết khi nào trời nắng để đóng rèm cửa, …

f Điều khiển qua giọng nói

Hình 9 Điều khiển bằng giọng nói

Đây là giải pháp thông minh và hiện đại trong các phương pháp điều khiển “Smart home” Phương pháp này giúp cho người sử dụng có thể điều khiển ngôi nhà của mình mà không cần thao tác gì cả, chỉ cần nói ra những là mình muốn làm Người dùng bước vào nhà và nói “bật đèn”, hệ thống chiếu sáng tự động kích hoạt và chiếu sáng ngôi nhà của người dùng, “bật quạt”, “mở điều hoà”… đều có thể thực hiện dễ dàng chỉ thông qua các mệnh lệnh bằng tiếng nói của người dùng

Chương 3 XÂY DỰNG GIẢI PHÁP

Với mục tiêu nghiên cứu là phát triển phòng thông minh, tại trung tâm MICA đã triển khai lắp đặt hệ thống phòng thông minh Đây là hệ thống phòng khách và phòng họp của trung tâm Để lắp đặt hệ thống phòng thông minh của trung tâm, bài toán bao gồm rất nhiều mảng, từ xử lý/nhận dạng/tổng hợp tiếng nói để ra lệnh bằng giọng nói đến thực hiện các lệnh điều khiển qua PLC và các công cụ khác

Chương này tìm hiểu hệ thống phòng thông minh tại trung tâm bao gồm mô hình hệ thống, sơ đồ kết nối các mô đun và các thiết bị cần điều khiển Tiếp đó trình bày các yêu cầu thiết kế cần tuân thủ, thể hiện trên các nguyên tắc thiết kế Từ đó đề xuất sơ

đồ khối chức năng bên trong hệ thống tương tác, đề xuất một giải pháp xây dựng giao diện người dùng bao gồm: trình tự thiết kế và xây dựng

3.1 Tìm hiểu hệ thống “Smart home” tại trung tâm MICA

3.1.1 Mô hình hệ thống

Dưới đây trình bày tóm lược mô hình hệ thống “Smart room” tại trung tâm MICA

Hình 10 Hệ thống phòng thông minh tại trung tâm MICA

- Module nhận dạng: có nhiệm vụ nhận dạng lời nói điều khiển từ microphone mà người dùng sử dụng và phát tín hiệu đến Module điều khiển

- Module điều khiển: nhận tín hiệu từ Module nhận dạng và phát lệnh điều khiển đến các thiết bị được điển khiển trong nhà Việc điều khiển này kết hợp dùng PLC và các phương pháp khác thông qua bộ adapter Thực chất bộ adapter là các chương trình điều khiển khác nằm ngoài chương trình điều khiển trực tiếp sử sụng PLC

- Module tổng hợp: tổng hợp tín hiệu phản hồi từ Module điều khiển thành tiếng nói và phát qua loa để giao tiếp với người dùng Báo cho người dùng biết trạng thái của các thiết bị mà người đó muốn điều khiển sau khi người đó phát lệnh điều khiển

Các Module kết hợp với nhau tạo thành một khối thống nhất và việc mô tả hoạt động của khối thống nhất đó được tổng hợp trong flash demo của trung tâm MICA Những nhiệm vụ trong hệ thống phòng thông minh của trung tâm MICA

- Hệ thống tự động mở của khi có lệnh “mở”

- Truyền các hình ảnh từ camera về máy tính chủ khi có lệnh

- Điều khiển bóng đèn (bật/tắt/sáng/tối)

- Điều khiển điều hòa (bật/tắt/nhiệt độ)

- Điều khiển quạt (bật/tắt/số)

- Điều khiển tivi (bật/tắt/chuyển kênh/âm lượng)

3.1.2 Sơ đồ kết nối các mô đun

Về mặt kiến trúc, hệ thống được xây dựng từ các khối liên kết với nhau bằng mạng truyền thông theo các công nghệ khác nhau (PLC-truyền tin trên đường dây tải điện, LAN-mạng nội bộ, RS232, Wifi, …) Sau đây trình bày các khối thiết bị của phòng thông minh

Hình 11 Sơ đồ kết nối của khôi tương tác người máy bằng tiếng nói của phòng thông

minh

Các thiết bị bên ngoài được nối với hệ thống qua các adapter phần cứng và phần mềm Ví dụ, micrô được nối qua bộ thu nhận không dây, bộ số hóa (adapter phần cứng) và bộ thu thập, phân tích và nhận dạng thời gian thực (adapter phần mềm)

Sơ đồ của các mô đun phần mềm và kết nối giữa chúng được biểu diễn trong Hình

11 Luận văn này tập trung vào phần giao diện người máy trên máy tính trung tâm Các mô đun điều khiển, giao tiếp, nhận dạng được thực hiện bởi các thành viên khác trong trung tâm

3.1.3 Kết nối các thiết bị cần điều khiển

Hệ thống phòng thông minh của trung tâm sử dụng các thiết bị PLC có sẵn Đó là

bộ thiết bị điều khiển của hãng X10, một hãng nổi tiếng trên thế giới chuyên về các

hệ thống nhà thông minh Bộ thiết bị gồm có:

- Lamp Module LM12: Thiết bị nối giữa bóng đèn và mạng điện Nó nhận tín hiệu điều khiển với các chức năng: on/off/dim/bright Công suất các bóng đèn từ 40W đến 300W

- Appliance Module AM12: Thiết bị nối giữa các thiết bị gia dụng như quạt, tivi, điều hòa… và mạng điện Nó nhận tín hiệu điều khiển với các chức năng on/off

- Phase coupler/filter FD10: Thiết bị kết nối pha với dòng 3 pha, nó cũng có tác dụng lọc nhiễu

- Bộ điều khiển CM15: Đây là bộ điều khiển kết nối với máy tính Ta có thể điều khiển các module trên bằng bộ điều khiển này thông qua máy tính

Các đặc điểm, cách lắp đặt, cách sử dụng và điều khiển, kiểm tra sửa chữa khi có lỗi

hoặc hệ thống không hoạt động được trình bày ở Error! Reference source not ound

Xuất phát từ các nhiệm vụ cần hoàn thành trong hệ thống phòng thông minh của trung tâm MICA như trên, cùng với tham khảo trên thị trường các loại thiết bị thường dùng và các module điều khiển được cung cấp bởi trung tâm MICA, bảng sau đây trình bày các thiết bị, công suất và loại module điều khiển PLC tương ứng của nó

Bảng 1 Thiết bị, công suất và thiết bị điều khiển PLC

Thiết bị Công suất (W) Thiết bị đk PLC Tính năng đk

Còn các kết quả từ các cảm biến và camera hiển thị trên máy chủ thì là truyền tín hiệu, không điều khiển

Các chức năng như: thay đổi số quạt, nhiệt độ điều hòa, chuyển kênh và thay đổi âm lượng của tivi thì ta dùng module điều khiển riêng, kết nối với giao diện điều khiển của chương trình

Các thiết bị được kết nối với mạng điện thông qua các module điều khiển PLC giống như sơ đồ kết nối sơ bộ sau:

Hình 12 Sơ đồ kết nối sơ bộ các thiết bị

Sơ đồ kết nối chi tiết của hệ thống còn dựa trên số lượng các thiết bị yêu cầu của

phòng Sơ đồ kết nối tương tự như trên với nhiều các thiết bị của mỗi loại hơn Việc

Micro

đặt địa chỉ như sau: Đèn, quạt, ti vi, điều hòa,… lần lượt nhận các địa chỉ A1 đến A9 ở phòng 1, B1 đến B9 ở phòng 2 và C1 đến C9 ở phòng 3 Các thiết bị nào điều khiển giống nhau thì cùng 1 địa chỉ

3.2 Hệ thống giám sát và điều khiển sử dụng giao diện tiếng nói

3.2.1 Nguyên tắc thiết kế

Hệ thống được thiết kế và xây dựng tuân thủ các nguyên tắc sau:

- Thiết kế hướng nhu cầu người dùng, lấy người dùng làm trung tâm

- Đảm bảo tính mở, dễ phát triển, dễ sửa đổi

- Đảm bảo tính khả chuyển (portability)

- Đảm bảo tính tin cậy

- Đảm bào khả năng can thiệp của chế độ điều khiển bằng tay

- Đảm bảo tính nhất quán và thống nhất giữa điều khiển bằng tay và điều khiển bằng tiếng nói

3.2.2 Sơ đồ khối chức năng bên trong hệ thống tương tác

Hình 13 Sơ đồ khối tổng quát của khối tương tác người-máy bằng tiếng nói

Bàn

phím/chuột

Nhận dạng tiếng nói

Quản lý tương tác

Thông tin cần truyền đạt

Tổng hợp

và đưa ra Loa/màn hình/Cơ cấu chấp hành

Ngoài phạm vi nghiên cứu của đề tài

Phạm vi nghiên cứu của đề tài

Môi trường thông minh Micro

Trên cơ sở các nguyên tắc thiết kế và xây dựng trên, kết hợp với các yêu cầu chức năng của bài toán, chúng tôi đã lựa chọn các giải pháp:

- Sử dụng mô hình MVC (Model-View-Controller) trong thiết kế hệ tương tác bằng tiếng nói

- Sử dụng cơ chế tín hiệu-khe cắm (signal-slot) để kết nối giữa các module Module nguồn sẽ phát ra tín hiệu, module đích sẽ nhận tín hiệu và xử lí tương ứng Việc kết nối do hệ thống quản lí, module nguồn và module đích không cần quan tâm cụ thể mô đun nào đã phát ra tín hiệu và module nào sẽ

xử lí tín hiệu

- Sử dụng lập trình hướng sự kiện khi lập trình giao diện

3.2.3 Trình tự thiết kế và xây dựng giao diện người dùng

Về cơ bản, giao diện người dùng trong quá trình tương tác người-máy bằng tiếng nói được thiết kế theo nguyên tắc tín hiệu-khe cắm (signal-slot) Quá trình xây dựng giao diện người dùng được tiến hành như sau

- Người lập trình xác định các tín hiệu giao tiếp có trong hệ thống và hướng đi của các tín hiệu này Đây là các tín hiệu xuất phát từ một hoặc nhiều khối sau (một cách riêng lẻ, tuần tự hoặc đồng thời): khối nhận dạng tiếng nói, bàn phím-chuột, nút bấm, … Các tín hiệu này hoặc đi đến bộ xử lí trung tâm hoặc từ bộ

xử lí trung tâm đến bộ tổng hợp tiếng và chỉ thị (màn hình)

- Người lập trình xác định các khe cắm trên các mô đun Các khe cắm này sẽ tương ứng với các yêu cầu chức năng của từng mô đun Việc xác định các khe cắm bao gồm tên khe cắm, các tham số cần truyền, và khe cắm đó thuộc mô đun nào, đối tượng nào Chú ý, ứng với một bối cảnh tương tác biết trước sẽ có một tập các hành động được phép thực hiện Người lập trình xác định tập các hành động này dựa trên tác vụ cụ thể của hệ thống cần giám sát đang được xét

28 Micro

- Trên cơ sở các phân tích trên, người lập trình quyết định các tín hiệu giao tiếp

có trong hệ thống sẽ nối với khe cắm nào và tiến hành kết nối tín hiệu với khe cắm

- Cuối cùng là tiến hành xây dựng các mô đun theo thiết kế có được

3.2.3.1 Cơ chế tín hiệu – khe cắm

Với việc sử dụng cơ chế tín hiệu – khe cắm (signal/slot) kết nối giữa các module ta có

Thông tin cần truyền đạt

Tổng hợp

và đưa ra Loa/màn hình/Cơ cấu chấp hành

Môi trường thông minh

Micro

slot

Signal-Hình 14 Sơ đồ khối các khối tương tác và vị trí cơ chế signal slot được triển khai

Việc truyền dữ liệu giữa module giao diện người dùng với module tương tác vào ra

và với hệ thống trung tâm được thực hiện theo cơ chế tín hiệu-khe cắm (signal-slot) Theo đó, (i) một tín hiệu được có thể được nối đến không hoặc một vài slot, (ii) một hoặc nhiều tín hiệu có thể cùng nối đến một slot, (iii) một tín hiệu cũng có thể được nối với một tín hiệu khác, lúc này, khi tín hiệu thứ nhất được gửi thì tín hiệu thứ hai cũng được gửi theo (Hình 15)

Việc truyền dữ liệu được triển khai trên nền tảng mạng truyền thông TCP/IP giúp nâng cao khả năng tích hợp công nghệ do tương thích với nhiều dạng module khác nhau, độc lập với công cụ triển khai cụ thể của từng module Đồng thời TCP/IP cũng hỗ trợ nhiều phương thức truyền tin khác nhau, thuận lợi cho việc phát triển ứng dụng

Ngoài phạm vi nghiên cứu của đề tài

Hình 15 Ví dụ về truyền thông tin giữa các đối tƣợng sử dụng tín hiệu khe cắm

Tín hiệu-khe cắm là ngôn ngữ được đề xuất để tạo thuận lợi cho việc triển khai Observer pattern Ý tưởng là các điều khiển có thể gửi các tín hiệu chứa thông tin sự kiện, các tín hiệu này có thể được nhận bởi các điều khiển khác thông qua các khe cắm (slot) Tín hiệu và khe cắm được sử dụng để truyền thông giữa các đối tượng Với lợi thế kết nối nhiều tín hiệu đến một khe cắm, một tín hiệu đến nhiều khe cắm

và nối tiếp các tín hiệu với nhau (tín hiệu A nối với tín hiệu B dẫn đến khi A được gửi thì B cũng được gửi) khiến việc triển khai chương trình giao diện người dùng trở nên dễ dàng và uyển chuyển

Tín hiệu-khe cắm thích hợp với hệ thống giao diện người dùng đồ họa cũng như các

hệ thống vào ra không đồng bộ như trường hợp của hệ thống tương tác bằng tiếng nói, với thời gian phát biểu và xử lí câu lệnh tương đối lâu

3.2.3.2 Mô hình MVC

MVC (Model-View-Controller) là một mẫu kiến trúc phần mềm trong công nghệ phần mềm Nó giúp người phát triển phần mềm cô lập các nguyên tắc nghiệp vụ và giao diện người dùng một cách rõ ràng Phần mềm phát triển theo mẫu MVC tạo nhiều thuận lợi cho việc bào trì vì các nguyên tắc nghiệp vụ và giao diện ít liên quan với nhau Ở đây các nguyên tắc nghiệp vụ bao gồm các mối quan hệ liên động liên quan đến quá trình cần được giám sát điều khiển, và các nguyên tắc vận hành cụ thể khác của quá trình cần giám sát và điều khiển

Trong MVC (Hình 16), mô hình (model) tượng trưng cho dữ liệu của chương trình phần mềm Tầm nhìn, khung nhìn (view) bao gồm các thành phần của giao diện người dùng (bao gồm cả bộ tổng hợp tiếng nói trong trường hợp của chúng ta) Bộ kiểm tra hay bộ điều chỉnh (controller) quản lí sự trao đổi giữa dữ liệu và các nguyên tắc nghề nghiệp trong các thao tác liên quan đến mô hình Bộ điều chỉnh có nhiệm vụ đáp ứng tất cả các sự kiện ảnh hưởng đến mô hình hoặc khung nhìn Nhờ

sự phân tách trên mà nhiều khung nhìn và nhiều điều khiển có thể giao tiếp với cùng một mô hình Ta có thể dễ dàng thêm bớt, thay đổi các tầm nhìn và bộ điều chỉnh mà không cần thay đổi thiết kế của mô hình Điều này đồng nghĩa với việc thêm bộ nhận dạng tiếng nói và phản hồi tiếng nói song song và độc lập với hệ thống “hiện tại”