Nghiên cứu giải pháp nâng cao tốc độ hiển thị dữ liệu trên bản đồ trực tuyến

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TRẦN THỊ HƯƠNG NGHIÊN CỨU GIẢI PHÁP NÂNG CAO TỐC ĐỘ HIỂN THỊ DỮ LIỆU TRÊN BẢN ĐỒ TRỰC TUYẾN LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà N

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

TRẦN THỊ HƯƠNG

NGHIÊN CỨU GIẢI PHÁP NÂNG CAO TỐC ĐỘ HIỂN THỊ

DỮ LIỆU TRÊN BẢN ĐỒ TRỰC TUYẾN

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

Hà Nội – 2015

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

TRẦN THỊ HƯƠNG

NGHIÊN CỨU GIẢI PHÁP NÂNG CAO TỐC ĐỘ HIỂN THỊ

DỮ LIỆU TRÊN BẢN ĐỒ TRỰC TUYẾN

Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống thông tin

Mã số: 60480104

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS NGUYỄN HẢI CHÂU

Hà Nội – 2015

LỜI CAM ĐOAN

Tôi xin cam đoan nội dung và những kết quả của luận văn tốt nghiệp này là do tôi tự nghiên cứu dưới sự hướng dẫn của PGS.TS Nguyễn Hải Châu Trong toàn bộ nội dung của luận văn, những nội dung được trình bày là của cá nhân tôi hoặc được tổng hợp từ nhiều nguồn tài liệu khác Tất cả các tài liệu tham khảo đều được trích dẫn rõ ràng ở phần cuối của luận văn

Tôi xin cam đoan những lời trên là sự thật Nếu sai tôi xin hoàn toàn chịu trách nhiệm

Hà Nội, ngày 20 tháng 11 năm 2015

Học viên

Trần Thị Hương

LỜI CẢM ƠN

Tôi xin gửi lời cảm ơn sâu sắc tới PGS.TS Nguyễn Hải Châu, người đã tận tình chỉ bảo tôi những kiến thức chuyên môn, phương pháp nghiên cứu khoa học đồng thời cũng là tấm gương trong mọi mặt của cuộc sống để tôi học tập và noi theo

Tôi xin chân thành cảm ơn các thầy, cô giáo trường Đại học Công nghệ đã cung cấp cho tôi những kiến thức bổ ích trong thời gian tôi học tập tại trường

Cuối cùng tôi xin gửi lời cảm ơn tới gia đình tôi đã luôn ủng hộ tôi trên con đường học tập và nghiên cứu với nhiều khó khăn, vất vả Mặc dù tôi đã cố gắng hết sức trong quá trình làm luận văn nhưng không thể tránh khỏi thiếu sót, rất mong nhận được những góp ý của thầy cô và các bạn

Hà Nội, ngày 20 tháng 11 năm 2015

Học viên

Trần Thị Hương

MỤC LỤC

LỜI CAM ĐOAN 1

LỜI CẢM ƠN 4

MỤC LỤC 5

DANH MỤC CHỮ VIẾT TẮT 7

DANH MỤC HÌNH 8

DANH MỤC BẢNG BIỂU 10

MỞ ĐẦU Error! Bookmark not defined CHƯƠNG 1 TỔNG QUAN Error! Bookmark not defined 1.1 Khái quát hóa bản đồ Error! Bookmark not defined

1.1.1 Lịch sử phát triển và các khái niệm đang tồn tại Error! Bookmark not

defined

1.1.2 Định nghĩa, ý nghiã, mục đích và các nhân tố Error! Bookmark not

defined

1.1.3 Khái quát hóa bản đồ số và các quy tắc khái quát hóa bản đồ Error!

Bookmark not defined

1.1.4 Lược giản hóa bản đồ từ tập dữ liệu điểm cụm Error! Bookmark not

defined

1.2 Phân cụm (Phân cụm) Error! Bookmark not defined

1.2.1 Khái niệm Error! Bookmark not defined 1.2.2 Phân tích cụm là gì? Error! Bookmark not defined 1.2.3 Các kĩ thuật phân cụm Error! Bookmark not defined

1.3 Giới thiệu hệ quản trị cơ sở dữ liệu PostgreSQL Error! Bookmark not

defined

1.3.1 Giới thiệu Error! Bookmark not defined 1.3.2 Các đặc điểm của PostgreSQL Error! Bookmark not defined 1.3.3 Ưu nhược điểm của PostgreSQL Error! Bookmark not defined 1.3.4 Module PostGIS Error! Bookmark not defined

CHƯƠNG 2 GIẢI PHÁP NÂNG CAO TỐC ĐỘ HIỂN THỊ DỮ LIỆU ĐỊA LÝ TRÊN BẢN ĐỒ TRỰC TUYẾN Error! Bookmark not defined 2.2 Giới thiệu các kĩ thuật phân cụm Error! Bookmark not defined

2.2.1 Các thuật toán phân cụm cơ bản Error! Bookmark not defined 2.2.2 Các độ đo sử dụng trong phân cụm Error! Bookmark not defined

2.3 Gộp nhóm với thuật toán phân vùng K-means Error! Bookmark not defined

2.3.1 Giới thiệu về thuật toán phân vùng K-means Error! Bookmark not defined 2.3.2 Cấu trúc của thuật toán phân vùng K-means Error! Bookmark not defined

2.4 Gộp nhóm với thuật toán phân cấp Agglomerative Hirearchical (AH) Error!

Bookmark not defined

2.4.1 Giới thiệu về thuật toán phân cấp Error! Bookmark not defined 2.4.2 Cấu trúc của thuật toán phân cấp Error! Bookmark not defined

2.5 So sánh thuật toán K-means và thuật toán AH Error! Bookmark not

defined

2.5.1 Thuật toán K-means Error! Bookmark not defined 2.5.2 Thuật toán AH Error! Bookmark not defined

CHƯƠNG 3 THỰC NGHIỆM Error! Bookmark not defined 3.1 Xây dựng bộ CSDL thực nghiệm Error! Bookmark not defined 3.2 Import dữ liệu vào hệ quản trị CSDL PostgreSQL Error! Bookmark not

defined

3.3 Lập trình xây dựng trang Web thử nghiệm Error! Bookmark not defined

3.3.1 Xây dựng trang Web và hiển thị dữ liệu điểm ATM Error! Bookmark not

defined

3.3.2 Ứng dụng thuật toán phân cấp Agglomerative Hirearchical lập trình tăng tốc độ hiển thị dữ liệu điểm ATM Error! Bookmark not defined

KẾT LUẬN Error! Bookmark not defined TÀI LIỆU THAM KHẢO 11

DANH MỤC CHỮ VIẾT TẮT

AH Agglomerative Hirearchical Phân cấp gộp API Application Programming Interface Giao diện lập trình ứng dụng ATM Automatic Teller Machine Máy rút tiền tự động

DBMS Database Management System Hệ quản trị cơ sở dữ liệu GIS Geographical Information System Hệ thống thông tin địa lý GPS Global Positioning System Hệ thống định vị toàn cầu

DANH MỤC HÌNH

Hình 1.1 Sự khác biệt giữa khái quát hóa bản đồ và tỷ lệ hóa bản đồ………….……11

Hình 1.2 Khái quát hóa bản đồ ……… ……….12

Hình 1.3 Phương pháp hình sao và phương pháp bậc thang trong kỹ thuật khái quát hóa ……… 14

Hình 1.4 Lược giản hóa đối với một tập điểm ……….… 20

Hình 1.5 Lựa chọn các điểm gần nhất để nhóm ……… 22

Hình 1.6 Loại bỏ các điểm gần tâm cụm……… 23

Hình 1.7 Sự khác biệt giữa các dữ liệu điểm gốc và các dữ liệu điểm sau khi khái quát hóa lúc bản đồ được phóng to……… 23

Hình 1.8 Việc thể hiện tập dữ liệu điểm gốc và tập dữ liệu điểm sau khi khái quát hóa về tỷ lệ 1:10.000.000……….24

Hình 1.9 Các cách khác nhau để phân cụm cùng một tập điểm ……… … 27

Hình 2.1a Thuật toán phân cụm phân cấp 1……….…34

Hình 2.1b Sơ đồ cây 1 ……….34

Hình 2.1c Thuật toán phân cụm phân cấp 2 ………34

Hình 2.1d Sơ đồ cây 2 ……….……34

Hình 2.2: Thuật toán phân vùng………34

Hình 2.3 Quy trình hoạt động của thuật toán k-means……… … …… 36

Hình 2.4 Gán k tâm cụm một cách ngẫu nhiên………36

Hình 2.5 Gán mỗi điểm vào một cụm gần nhất ……… ……37

Hình 2.6 Tâm của mỗi cụm dịch chuyển sau khi được tính toán lại ………….…… 37

Hình 2.7 Gán lại các điểm vào các cụm gần nhất và lặp lại……….37

Hình 2.8 Thuật toán phân cụm phân cấp……… 40

Hình 2.9 Quá trình chạy thuật toán phân cấp phân cụm……… ………40

Hình 2.10 Quy trình thuật toán phân cấp phân cụm……… 42

Hình 2.11 Sơ đồ hình cây……….43

Hình 2.12 Độ đo single-link.……… ……….44

Hình 2.13 Độ đo complete-link …… …… ……… ………44

Hình 2.14 Độ đo centroid-link ……… ……… …………45

Hình 2.15 Độ đo group-average ……….……… …… 45

Hình 2.16 Một cây phân cấp của thuật toán phân cụm AH……….…… 45

Hình 3.1 Biên tập dữ liệu trên phần mềm ArcGIS……… ………48

Hình 3.2 Cấu trúc bảng thuộc tính của dữ liệu………48

Hình 3.3 Bảng thuộc tính của dữ liệu ATM khu vực Hà Nội……….………….49

Hình 3.4 Hộp thoại tạo Databases……… ……… 50

Hình 3.5 Cơ sở dữ liệu ATM Thành phố Hà Nội ………50

Hình 3.6 Hộp thoại đưa shapefile lên Databases……… …… 51

Hình 3.7 Hộp thoại Import Options……….………….52

Hình 3.8 Cơ sở dữ liệu trong Databases db_test – atm………52

Hình 3.9 Trang Web đơn giản với bản đồ nền GoogleMap……… ….……… 53

Hình 3.10 Mã tạo trang Web với bản đồ nền GoogleMap…… ……….………54

Hình 3.11 Hiển thị dữ liệu điểm ATM trên Web……….………54

Hình 3.12 Minh họa quá trình gộp nhóm bằng thuật toán AH……… … 55

DANH MỤC BẢNG BIỂU

Bảng 1.1 Minh họa các quy tắc khái quát hóa………17

Bảng 1.2 So sánh hiệu suất lưu trữ số liệu ……….……… 29

Bảng 1.3 So sánh một số tính năng cơ bản………30

Bảng 1.4 So sánh phương thức quản lý và phân vùng ……… ….….30

Bảng 1.5 So sánh một số tính năng cơ bản………31

Bảng 1.6 So sánh phương thức quản lý và phân vùng……… 31

Bảng 3.1 Các hạng mục xây dựng trang Web thử nghiệm……….53

Bảng 3.2 Thống kê hiệu suất phân cụm với thuật toán AH……… 57

TÀI LIỆU THAM KHẢO Tiếng Việt

1 Nguyễn Thị Ngọc Diễm (2014), So sánh một số thuật toán phân cụm dữ liệu,

Luận văn thạc sỹ, Học viện công nghệ bưu chính viễn thông, tr.5-9

2 Phạm Thị Phép (2013), Ứng dụng công nghệ Webgis mã nguồn mở phục vụ công tác quảng bá du lịch, Đại học Nông Lâm tp Hồ Chí Minh, tr.10-12

3 Nhữ Thị Xuân (2006), Bản đồ học, Nhà xuất bản Đại học quốc gia Hà Nội

tr.8-9, 103-108

4 Fan Hong, Trần Quỳnh An, Tự động tổng quát hóa bản đồ, Tạp chí KHKT

Mỏ địa chất, số 44, 10-2013, tr.23-29

5 Nguyễn Hà Nam, Nguyễn Trí Thành, Hà Quang Thụy (2012), Giáo trình khai phá dữ liệu, Nhà xuất bản ĐHQGHN Hà Nội, tr.179-192

Tiếng Anh

6 Atta Rabbi and Epameinondas Batsos (Master of Science Thesis in

Geoinformatics - 2012), Phân cụm and cartographic simplification of point data set

7 Bader M (2001), Energy Minimization methods for feature displacement in map generation, doctoral thesis, Universty of Geography, University of Zurich,

Switzerland

8 Epameinondas Batsos, Politis Panagiotis (2006), Creation of geographic – cartographic data, multiple, continuous scale of topographic maps using satellite images VHR Concepts, problems, suggestions, bachelor thesis,

Department of Land surveying, Technological Educational Institution of Athens, Athens – Greece

9 Jiawei Han, Micheline Kamber (2006), Data mining: Concepts and Techniques,

2nd ed., Elsevier Science, Sanfransico, United states

10 Robert B.McMaster, K.Stuart Shea (1992), Generalization in digital cartography, The Association of American Geographers, Washington

11 Robert B.McMaster, K.Stuart Shea (1989), Cartographic Generalization

in a Digital Enviroment: when & how to generalize, Proceeding of 9th Internati

onal Symposium on Computer ‐ Assisted Cartography, Baltimore

12 Pang Ning Tan, M Steinbach, V Kumar (2006), Introduction to Data Mining,

Addison‐Wesley, Minesota, United states

13 L.Kaufman & P.J Rousseeuw (1990), Finding Groups in Data: an Introduction

to Cluster Analysis, John Wiley & Sons Ltd., New York

14 Zhu and Dreher (2008), Improving web search by categorization, phân cụm, and personalization, Springer-Verlag, pp 659-666

15 Geraci, Pellegrini, Maggini, and Sebastiani (2006), Cụm generation and cụm labelling for web snippets: A fast and accurate hierarchical solution,

ISPIRE, pp 25-36

16 Charu C.Aggarwal, Chandan K.Reddy (2014), Data phân cụm: algorithms and applications, Taylor & Francis Group, LLC, pp 15-19

17 Gregory Smith (2012), PostgreSQL 9.0 High Performance, PACKT pp 8

-12

Web

18 www.wattpad.com

19 www.postgresql.org

20 www.vi.wikipedia.org/wiki/So_sánh_các_hệ_quản_trị_cơ_sở_dữ_liệu_quan _hệ