Ứng dụng cơ sở dữ liệu đồ thị để xây dựng hệ thống quản lý hạ tầng giao thông tại tỉnh quảng ngãi

TRƯỜNG ĐẠI HỌC BÁCH KHOA --- NGUYỄN QUỐC HÙNG ỨNG DỤNG CƠ SỞ DỮ LIỆU ĐỒ THỊ ĐỂ XÂY DỰNG HỆ THỐNG QUẢN LÝ HẠ TẦNG GIAO THÔNG TẠI... Vì những lý do như trên, tôi chọn đề tài luận văn: “Ứ

TRƯỜNG ĐẠI HỌC BÁCH KHOA

-

NGUYỄN QUỐC HÙNG

ỨNG DỤNG CƠ SỞ DỮ LIỆU ĐỒ THỊ ĐỂ XÂY DỰNG

HỆ THỐNG QUẢN LÝ HẠ TẦNG GIAO THÔNG TẠI

TRƯỜNG ĐẠI HỌC BÁCH KHOA

Người hướng dẫn khoa học : PGS.TS Nguyễn Thanh Bình

TS Lê Văn Minh

Phản biện 1: TS Đặng Hoài Phương

Phản biện 2: TS Phạm Văn Trung

Luận văn được bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp thạc sĩ Khoa học máy tính họp tại Trường Đại học Bách khoa vào ngày 02 tháng 06 năm 2019

* Có thể tìm hiểu luận văn tại:

- Trung tâm Học liệu và Truyền thông Trường Đại học Bách Khoa, Đại học Đà Nẵng

- Thư viện Khoa Công nghệ thông tin, Trường Đại học Bách Khoa – Đại học Đà Nẵng

MỞ ĐẦU

1 Lý do chọn đề tài

Tại Quảng Ngãi, phòng Quản lý kết cấu hạ tầng giao thông và phòng Quản lý chất lượng công trình giao thông là hai phòng quản lý trực tiếp và lưu hồ sơ các công trình hạ tầng giao thông Hiện tại, tại đơn vị thực hiện lưu trữ hồ sơ và quản lý trên giấy, trên máy tính và một số dữ liệu được số hóa sử dụng công nghệ GIS Tuy nhiên, dữ liệu chưa được cập nhật thường xuyên cũng như chưa phát huy hiệu quả trong việc quản lý

Việc quản lý thông tin về hạ tầng giao thông chưa phát huy được giá trị xứng đáng hay cung cấp hỗ trợ toàn diện cho việc quản lý, hoạch định và ra quyết định của cơ quan chức năng Dẫn đến hạn chế trong việc phát huy hiệu quả quản lý cũng như dự đoán khả năng phát triển của hạ tầng giao thông

Bên cạnh đó, dữ liệu về hạ tầng giao thông là rất lớn và phức tạp Dữ liệu này liên tục biến động do công tác xây mới, duy tu, bảo trì, sửa chữa,…

Hạ tầng giao thông vốn dĩ phức tạp từ cấu trúc lẫn thành phần

Để quản lý tốt hạ tầng giao thông, chúng ta cần xét đến các loại dữ liệu cần được lưu trữ Tuy nhiên, những hướng tiếp cận khác nhau về

dữ liệu sẽ có những giải pháp riêng biệt, từ đây sẽ gây nên sự phức tạp trong hệ thống Một cách tổng quát, chúng ta có thể xem xét dữ liệu theo ba hướng tiếp cận dưới đây

• Hệ thống thông tin địa lý (GIS)

• Cơ sở dữ liệu quan hệ (Relational Database)

• Cơ sở dữ liệu đồ thị (Graph Database)

Bài toán đặt ra của đề tài là một giải pháp tổ chức dữ liệu hạ tầng giao thông thành một khối có khả năng lưu trữ hay liên kết các loại dữ liệu khác nhau cũng như khả năng mở rộng linh hoạt nhằm đáp ứng khả năng phát triển và thay đổi từ cấu trúc đến loại dữ liệu Trong

đó, cơ sở dữ liệu đồ thị là hướng tiếp cận mới trong việc lưu trữ dữ liệu đã mang lại nhiều sản phẩm thành công dù vẫn còn trong giai đoạn nghiên cứu và phát triển Mô hình dữ liệu này phù hợp với các bài toán kết nối dữ liệu, tương ứng với bài toán quản lý thông tin hạ tầng giao thông Việc tăng cường thực nghiệm cũng như đưa ra thực nghiệm mang tính thiết thực là cần thiết

Vì những lý do như trên, tôi chọn đề tài luận văn: “Ứng dụng

cơ sở dữ liệu đồ thị để xây dựng hệ thống quản lý hạ tầng giao thông tại tỉnh Quảng Ngãi”

2 Mục tiêu và nhiệm vụ nghiên cứu

Mục tiêu cụ thể là :

• Tìm hiểu về hệ thống thông tin địa lý - GIS:

o Khái niệm hệ thống thông tin địa lý

o Hoạt động và nhiệm vụ của GIS

o Dữ liệu và ứng dụng GIS

• Tìm hiểu về hạ tầng giao thông và công tác quản lý:

o Các thành phần hạ tầng giao thông

o Công tác quản lý hạ tầng giao thông tại Quảng Ngãi

• Tìm hiểu về cơ sở dữ liệu đồ thị

o Khái niệm cơ sở dữ liệu đồ thị

o Phương pháp quản lý dữ liệu đồ thị

o Mô hình dữ liệu đồ thị

o Ứng dụng cơ sở dữ liệu đồ thị

o Cơ sở dữ liệu đồ thị Neo4J

• Ứng dụng quản lý thông tin hạ tầng giao thông:

o Phân tích thiết kế hệ thống

o Xây dựng mô hình

o Thực nghiệm và đánh giá

3 Đối tượng và phạm vi nghiên cứu

Cơ sở hạ tầng giao thông đường bộ và công tác quản lý tại tỉnh Quảng Ngãi

Hệ thống thông tin địa lý dùng trong quản lý đối tượng địa lý

và bản đồ hạ tầng giao thông đường bộ tại tỉnh Quảng Ngãi

Cơ sở dữ liệu quan hệ trong quản lý thông tin hạ tầng giao thông đường bộ

Ứng dụng cơ sở dữ liệu đồ thị trong việc trừu tượng hóa các thành phần trong cơ sở hạ tầng giao thông

Thiết kế cơ sở dữ liệu đồ thị và ứng dụng cơ sở dữ liệu đồ thị

để xây dựng hệ thống quản lý thông tin hạ tầng giao thông

4 Phương pháp nghiên cứu

Nghiên cứu lý thuyết về hệ thống thông tin địa lý, cơ sở dữ liệu quan hệ và cơ sở dữ liệu đồ thị

Tìm hiểu thực tiễn qua việc thu thập thông tin mẫu về hiện trạng

hạ tầng giao thông và công tác quản lý hạ tầng giao thông tại tỉnh Quảng Ngãi

Thực nghiệm đánh giá hệ thống quản lý hạ tầng giao thông

5 Ý nghĩa khoa học và thực tiễn của đề tài

Ý nghĩa thực tiễn: Xây dựng mô-đun quản lý và khai thác thông tin hạ tầng giao thông Quản lý cập nhật thông tin công trình đường

bộ, các nút giao thông, các tuyến đường, cầu cống; quản lý dữ liệu chi tiết về hạ tầng giao thông; tra cứu, tìm kiếm, kết xuất báo cáo dữ liệu;

6 Bố cục của luận văn

Luận văn được trình bày bao gồm các phần chính như sau:

MỤC LỤC

MỞ ĐẦU

CHƯƠNG 1: QUẢN LÝ HẠ TẦNG GIAO THÔNG CHƯƠNG 2: HỆ THỐNG THÔNG TIN ĐỊA LÝ GIS TRONG QUẢN LÝ HẠ TẦNG GIAO THÔNG

CHƯƠNG 3: CƠ SỞ DỮ LIỆU VÀ CƠ SỞ DỮ LIỆU ĐỒ THỊ

CHƯƠNG 4: ỨNG DỤNG CƠ SỞ DỮ LIỆU ĐỒ THỊ ĐỂ XÂY DỰNG HỆ THỐNG QUẢN LÝ HẠ TẦNG GIAO THÔNG TẠI TỈNH QUẢNG NGÃI

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

TÀI LIỆU THAM KHẢO

CHƯƠNG 1

QUẢN LÝ HẠ TẦNG GIAO THÔNG

1.1 Giới thiệu về hạ tầng giao thông

1.1.1 Khái niệm về hạ tầng giao thông

Hạ tầng giao thông là hệ thống những công trình vật chất kỹ

thuật, các công trình kiến trúc và các phương tiện về tổ chức cơ sở hạ tầng mang tính nền móng cho sự phát triển của ngành giao thông vận tải và nền kinh tế Kết cấu hạ tầng giao thông bao gồm hệ thống cầu, đường, cảng biển, nhà ga, sân bay, bến bãi và hệ thống trang thiết bị phụ trợ: thông tin tín hiệu, biển báo, đèn đường

1.1.2 Đặc điểm hạ tầng giao thông

Đặc trưng của kết cấu hạ tầng là có tính thống nhất và đồng bộ, giữa các bộ phận có sự gắn kết hài hoà với nhau tạo thành một thể vững chắc đảm bảo cho phép phát huy được sức mạnh tổng hợp của

cả hệ thống

Đặc trưng thứ hai là các công trình kết cấu hạ tầng có quy mô lớn và chủ yếu ở ngoài trời, bố trí rải rác trên phạm vi rộng lớn, chịu ảnh hưởng nhiều của tự nhiên

1.1.3 Phân loại hạ tầng giao thông

Phân loại theo tính chất các loại đường: hạ tầng đường bộ, hạ tầng đường sắt, hạ tầng đường sông, hạ tầng đường biển và hạ tầng hàng không

Phân loại theo khu vực: hạ tầng giao thông đô thị, hạ tầng giao thông nông thôn

1.2 Quản lý hạ tầng giao thông

1.2.1 Khái niệm

Quản lý hạ tầng giao thông là quá trình sử dụng công cụ và

phương pháp quản lý để thực hiện các nội dung: hoạch định, tổ chức, chỉ đạo, thanh tra, kiểm tra các quan hệ kinh tế - xã hội trong hoạt động

sử dụng hạ tầng giao thông để đạt được các mục tiêu đã định nhằm hướng ý chí và hành động của các chủ thể quản lý vào mục tiêu chung, kết hợp hài hòa lợi ích cá nhân, lợi ích tập thể và lợi ích Nhà nước

1.3 Hiện trạng quản lý hạ tầng giao thông tại Quảng Ngãi

Các phần mềm đang sử dụng cho mục đích quản lý thông tin hạ tầng giao thông tại Sở Giao thông Quảng Ngãi:

1.5 Bài toán cần giải quyết

Mục tiêu của việc thống nhất dữ liệu là phát triển một hệ thống quản lý dễ dàng, có khả năng kết nối đến cơ sở dữ liệu từ các cơ quan liên quan cũng như chia sẻ dữ liệu đến các sở ban ngành liên quan Nghiên cứu này đề xuất giải pháp sử dụng cơ sở dữ liệu đồ thị

để làm cơ sở dữ liệu tổng quát Trong đó, đầu vào là tất cả các loại dữ liệu có thể có, đầu ra là kết quả của một câu truy vấn

1.6 Kết luận

Bản chất hệ thống quản lý thông tin hạ tầng giao thông cần làm việc với nhiều loại dữ liệu khác nhau Cần thiết có một hệ thống có khả năng kết nối giữa các loại dữ liệu rời rạc và khác biệt trong quản

lý thông tin hạ tầng giao thông

CHƯƠNG 2

HỆ THỐNG THÔNG TIN ĐỊA LÝ GIS TRONG QUẢN

LÝ HẠ TẦNG GIAO THÔNG 2.1 Giới thiệu GIS

GIS không chỉ là phần mềm Con người và những phương pháp được kết hợp với phần mềm không gian địa lý và những công cụ để cho phép phân tích không gian, quản lý các bộ dữ liệu lớn và hiển thị thông tin dưới dạng bản đồ/đồ họa

2.2 Các thành phần của GIS

GIS được kết hợp bởi 5 thành phần chính: Phần cứng (Hardware), Phần mềm (Software), Dữ liệu (Data), Con người (People), Phương pháp (Method)

2.3 Hoạt động của GIS

2.4 Nhiệm vụ của GIS

Năm nhiệm vụ chính của GIS: Nhập dữ liệu, Thao tác dữ liệu, Quản lý dữ liệu, Hỏi đáp và phân tích, Hiển thị

2.5 Dữ liệu GIS

Có hai kiểu dữ liệu cơ bản là raster và vector Dữ liệu rời rạc dạng vector được biểu diễn dưới bằng các điểm (points), các đường (lines) hoặc các đa giác (polypons) Dữ liệu liên tục raster được xem như là một chuỗi các ô lưới nơi mà mỗi ô là một giá trị biểu diễn tính năng đang được quan sát

2.6 Ứng dụng GIS

Các ứng dụng của GIS trong nhiều lĩnh vực: Môi trường, Khí tượng thuỷ văn, Nông nghiệp và quản lý đất đai, Dịch vụ tài chính, Y

tế Chính quyền địa phương, thị trường bán lẻ, Giao thông, các dịch

vụ điện, nước, gas, điện thoại…

2.7 Kết luận

GIS có khả năng đáp ứng tốt các nhu cầu về thông tin địa lý cũng như các mô hình địa lý, nhưng lại không có khả năng làm việc với các loại dữ khác ngoài GIS, cũng như khả năng tích hợp hay liên kết các cơ sở dữ liệu khác

cơ sở dữ liệu

3.2 Các phương pháp quản lý dữ liệu

• Phân loại theo loại dữ liệu

• Phân loại theo hình thức lưu trữ, mô hình tổ chức

• Phân loại theo đặc tính sử dụng

• Phân loại theo mô hình triển khai

3.3 Cơ sở dữ liệu quan hệ

3.3.1 Khái niệm

Cơ sở dữ liệu quan hệ là một tập hợp các bảng mà dữ liệu có thể được truy cập từ đó hoặc được tái tạo lại trong vô số cách mà không phải sắp xếp lại các bảng dữ liệu

3.3.2 Lược đồ quan hệ và chuẩn hóa

Lược đồ quan hệ là tập hợp tất cả các thuộc tính cần quản lý của một đối tượng với mối liên hệ giữa chúng kèm theo một mô tả để xác

định ý nghĩa, nhằm mô tả cấu trúc của quan hệ, các mối liên hệ giữa các thuộc tính trong quan hệ đó

Các dạng chuẩn hóa mô hình cơ sở dữ liệu quan hệ: NF1, NF2, NF3, BCNF

3.3.3 Mô hình cơ sở dữ liệu quan hệ

Mô hình quan hệ là cách thức biểu diễn dữ liệu dưới dạng các quan hệ (các bảng) Một quan hệ là một bảng dữ liệu 2 chiều (cột và dòng), mô tả một thực thể Mỗi cột tương ứng với một thuộc tính của thực thể Mỗi dòng chứa các giá trị dữ liệu của một đối tượng cụ thể thuộc thực thể

3.3.4 Kết luận

Hướng tiếp cận cở sở dữ liệu quan hệ rất tốt cho việc tổ chức

dữ liệu doanh nghiệp và hoàn toàn phù hợp với việc quản lý thông tin

về hồ sơ và về chi tiết toàn bộ quá trình xử lý sửa chữa các đối tượng giao thông Tuy nhiên, hướng tiếp cận này sẽ gặp vấn đề khi hệ thống trở nên phức tạp, đặc biệt là việc xây dựng thêm các tuyến đường mới, các cây cầu mới kèm với các chi tiết hồ sơ, xây dựng và kiểm định kèm theo Trong trường hợp này, sự gò bó trong các bản ghi sẽ tạo thành rào cản cho sự linh hoạt thích nghi của hệ thống

3.4 Cơ sở dữ liệu hướng đối tượng

3.4.1 Khái niệm

Cơ sở dữ liệu hướng đối tượng là hướng tiếp cận nắm bắt ngữ nghĩa của các đối tượng được hỗ trợ trong lập trình hướng đối tượng

3.4.2 Đối tượng và cơ sở dữ liệu đối tượng

Hệ quản trị cơ sở dữ liệu đối tượng là một hệ thống sử dụng đối tượng làm đơn vị cơ bản để mô hình hóa và truy xuất Đặc điểm chung của các mô hình đối tượng là: định danh đối tượng, các đối tượng phức hợp, sự phân cấp kiểu

3.4.3 Kiểu dữ liệu

Đặc trưng mô tả kiểu đối tượng:

• Thành phần kết hợp: đặc trưng tiêu biểu cho phép tham chiếu đến đối tượng

• Lớp: nhóm các đối tượng cùng kiểu

• Tập: nhóm các đối tượng

3.4.4 Quản lý đối tượng

Hệ quản trị cơ sở dữ liệu hướng đối tượng quản lý đối tượng bằng cách quản lý định danh đối tượng

3.4.5 Kết luận

Cơ sở dữ liệu hướng đối tượng là một hướng tiếp cận mới trong phát triển ứng dụng quản lý thông tin, tuy vậy, với ngữ cảnh đa dạng đối tượng cần ánh xạ vào hệ thống, việc sử dụng cơ sở dữ liệu hướng đối tượng gây ra khó khăn và cần chi phí phát triển lớn cho việc mô hình hóa tất cả các dạng dữ liệu

3.5 Cơ sở dữ liệu NoSQL

3.5.1 Giới thiệu

NoSQL có nghĩa là “Không Chỉ SQL (Not Only SQL)”, ngụ ý rằng khi thiết kế một giải pháp phần mềm hoặc sản phẩm, có nhiều hơn một cơ chế lưu trữ có thể được sử dụng dựa trên các nhu cầu

3.5.2 Kỹ thuật và mô hình

Các tính chất đặc trưng: tính nhất quán, tính khả dụng và tính phân vùng

3.5.3 Lưu trữ Khóa-Giá trị (Key-/Value-Store)

Lưu trữ khóa-giá trị là mô hình dữ liệu đơn giản: bản đồ/từ điển, cho phép yêu cầu đặt và truy xuất giá trị cho mỗi khóa Mô hình khóa-giá trị ưu tiên khả năng mở rộng hơn là tính nhất quán, và do đó, hầu hết chúng bỏ qua các tính năng phân tích và truy vấn đặc biệt

3.5.4 Cơ sở dữ liệu tài liệu (Document Store)

Cơ sở dữ liệu tài liệu được nhiều người xem là bước phát triển của loại lưu trữ khóa-giá trị từ đơn giản đến phức tạp và ý nghĩa hơn

vì cho phép đóng gói các cặp khóa-giá trị vào tài liệu

3.5.5 Kết luận

Với tính chất đặc trưng của cơ sở dữ liệu NoSQL, sức mạnh cũng như sự giới hạn được thể hiện rõ trong hướng tiếp cận Việc ứng dụng loại cơ sở dữ liệu NoSQL vào ứng dụng cần xem xét đến các yếu

tố hiệu năng, tính khả thi cũng như tính tương thích và mở rộng

3.6 Cơ sở dữ liệu đồ thị

3.6.1 Lý thuyết đồ thị

Đồ thị là khái niệm toán học cơ bản Thành phần của đồ thị bao gồm: đỉnh, cạnh và trọng số Đồ thị có thể là có hướng hoặc vô hướng

3.6.2 Định nghĩa cơ sở dữ liệu đồ thị

Dữ liệu đồ thị được lưu trữ theo khái niệm đồ thị sử dụng các cấu trúc đồ thị với các nút, các cạnh và các thuộc tính để biểu diễn:

• Đỉnh của đồ thị là một đơn vị dữ liệu

• Cạnh của đồ thị là liên kết giữa hai đơn vị dữ liệu

• Trọng số của đồ thị chính là độ quan trọng của liên kết

dữ liệu giữa hai đỉnh

3.6.4 Kết luận

Hướng tiếp cận cơ sở dữ liệu đồ thị này đủ mềm dẻo để thích nghi (hoặc được áp dụng) cho các bài toán quản lý khác, chẳng hạn như: quản lý vận tải, quản lý hành chính tổng thể

CHƯƠNG 4

ỨNG DỤNG CƠ SỞ DỮ LIỆU ĐỒ THỊ ĐỂ XÂY DỰNG

HỆ THỐNG QUẢN LÝ HẠ TẦNG GIAO THÔNG TẠI

TỈNH QUẢNG NGÃI 4.1 Mô tả bài toán

Như đã biết, hệ thống quản lý hạ tầng giao thông là vô cùng phức tạp Phức tạp về số lượng và phức tạp về chủng loại Ngoài ra, theo thời gian, sẽ có những loại dữ liệu mới cần được quản lý Mỗi loại dữ liệu khác nhau thì có bản chất khác nhau Từ đó việc xây dựng, bảo trì và phát triển hệ thống quản lý giao thông sẽ vô cùng khó khăn Điều này đặt ra một yêu cầu là một hệ thống dữ liệu thống nhất

4.2 Hướng tiếp cận cơ sở dữ liệu đồ thị

Đồ thị là kiến trúc có thể bổ sung linh hoạt, nghĩa là chúng ta có thể thêm các loại quan hệ mới, các nút mới, nhãn mới, hay đồ thị con vào cấu trúc hiện tại mà không ảnh hưởng đến truy vấn hay chức năng hiện tại của ứng dụng

Là kiến trúc mang đặc tính “đỉnh chứa dữ liệu, cạnh chứa liên kết” Kiến trúc dữ liệu đồ thị có khả năng đáp ứng việc phát triển mô hình dữ liệu thích hợp theo sự phát triển nhu cầu quản lý Với bản chất phi lược đồ kết hợp tính chất khả kiểm và ngôn ngữ truy vấn, hệ thống

có khả năng thích ứng trong tương lai

Đồ thị là khái niệm toán học cơ bản, cơ sở dữ liệu đồ thị sử dụng khái niệm toán học này, nghĩa là các thao tác trên cơ sở dữ liệu đồ thị thực chất là các phép toán trên đồ thị