Nghiên cứu một số vấn đề về cơ sở dữ liệu và ứng dụng trong bài toán quản lý dân cư

TRƯỜNG ĐẠI HỌC CÔNG NGHỆBÙI TRUNG HIẾU NGHIÊN CỨU MỘT SỐ VẤN ĐỀ VỀ CƠ SỞ DỮ LIỆU VÀ ỨNG DỤNG TRONG BÀI TOÁN QUẢN LÝ DÂN CƯ LUẬN VĂN THẠC SĨ: HỆ THỐNG THÔNG TIN Hà Nội - 2016... ĐẠI HỌC

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

BÙI TRUNG HIẾU

NGHIÊN CỨU MỘT SỐ VẤN ĐỀ VỀ CƠ SỞ DỮ LIỆU

VÀ ỨNG DỤNG TRONG BÀI TOÁN QUẢN LÝ DÂN CƯ

LUẬN VĂN THẠC SĨ: HỆ THỐNG THÔNG TIN

Hà Nội - 2016

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

BÙI TRUNG HIẾU

NGHIÊN CỨU MỘT SỐ VẤN ĐỀ VỀ CƠ SỞ DỮ LIỆU

VÀ ỨNG DỤNG TRONG BÀI TOÁN QUẢN LÝ DÂN CƯ

Ngành: Hệ thống thông tin

Chuyên ngành: Hệ thống thông tin

Mã số: 60.48.01.04

LUẬN VĂN THẠC SĨ: HỆ THỐNG THÔNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC: GS TS VŨ ĐỨC THI

Hà Nội - 2016

LỜI CẢM ƠN

Đầu tiên, tôi xin gửi lời biết ơn sâu sắc đến thầy Giáo sư, Tiến sĩ Vũ Đức Thi, thầy đã dành nhiều thời gian và tâm huyết hướng dẫn và giúp tôi hoàn thành tốt luận văn tốt nghiệp này Thầy đã định hướng nghiên cứu các kiến thức cần thiết và hữu ích đúng trọng tâm của vấn đề, đồng thời tạo mọi điều kiện thuận lợi nhất cho tôi trong quá trình học tập và nghiên cứu đề tài luận văn

Tôi cũng xin được bày tỏ lòng biết ơn tới các thầy, cô giáo trường Đại học Công nghệ đã tham gia giảng dạy và chia sẻ những kinh nghiệm quý báu cho bản thân tôi Tôi xin gửi lời cảm ơn đến các thấy và các anh chị đã thường xuyên giúp đỡ, trao đổi, góp ý về những vấn đề khoa học liên quan tới luận văn

Cuối cùng, tôi cũng bày tỏ lòng biết ơn về sự giúp đỡ của các anh, chị đang công tác tại Cục Cảnh sát đăng ký, quản lý cư trú và cơ sở dữ liệu quốc gia

về dân cư; và Văn phòng Bộ - cơ quan nơi tôi công tác đã tạo điều kiện tốt nhất cho tôi về thời gian cũng như động viên tôi hoàn thành luận văn

Một lần nữa, tôi xin chân thành cảm ơn !

Hà Nội, tháng 10 năm 2016

Học viên

Bùi Trung Hiếu

2

LỜI CAM ĐOAN

Những kiến thức trình bày trong luận văn là do tôi tìm hiểu, nghiên cứu

và trình bày lại theo cách hiểu Trong quá trình làm luận văn, tôi có tham khảo các tài liệu có liên quan và đã ghi rõ nguồn tài liệu tham khảo đó Tôi xin cam đoan đây là công trình nghiên cứu của tôi và không sao chép của bất kỳ ai

Hà Nội, tháng 10 năm 2016

Học viên

Bùi Trung Hiếu

MỤC LỤC

LỜI CẢM ƠN 1

LỜI CAM ĐOAN 2

DANH MỤC CÁC KÍ HIỆU, TỪ VIẾT TẮT 5

DANH MỤC HÌNH VẼ 7

DANH SÁCH BẢNG BIỂU 8

MỞ ĐẦU 9

CHƯƠNG I MỘT SỐ VẤN ĐỀ VỀ SƠ SỞ DỮ LIỆU 11

1.1 Những khái niệm cơ bản 11

1.1.1 Khái quát về mô hình dữ liệu 11

1.1.2 Các khái niệm cơ bản và hệ tiên đề Armstrong 12

1.1.2.1 Quan hệ 12

1.1.2.2 Phụ thuộc hàm 13

1.1.2.3 Hệ tiên đề Armstrong 13

1.1.2.4 Sơ đồ quan hệ 15

1.2 Những vấn đề liên quan đến khóa 15

1.2.1 Khóa 15

1.2.2 Thuật toán liên quan đến khóa 16

1.2.2.1 Thuật toán tìm khóa tối tiểu của một sơ đồ quan hệ 17

1.2.2.2 Thuật toán tìm một khóa tối tiểu của một quan hệ 17

1.3 Chuẩn hóa 17

1.3.1 Các khái niệm cơ bản 18

1.3.2 Các thuật toán liên quan đến chuẩn hóa 19

1.4 Ngôn ngữ xử lý bảng 20

1.4.1 Các phép toán cơ bản 20

1.4.1.1 Phép hợp (r  t) 21

1.4.1.2 Phép trừ (r – t) 21

1.4.1.3 Phép giao (r  t) 21

1.4.1.4 Tích Đề các 22

1.4.1.5 Phép chiếu 23

1.4.1.6 Phép chọn 23

1.4.2 Các phép toán khác 24

1.4.2.1 Phép chia (r  s) 24

1.4.2.2 Phép nối  24

1.4.2.3 Phép nối 25

CHƯƠNG II KHO DỮ LIỆU 26

2.1 Kiến trúc chung về kho dữ liệu 26

2.1.1 Tầng xử lý dữ liệu 26

2.1.2 Tầng kho dữ liệu 27

2.1.3 Tầng khai thác dữ liệu 27

2.2 Một số thành phần cơ bản của kho dữ liệu 28

2.2.1 Kho dữ liệu trong DBMS 28

2.2.2 Nguồn dữ liệu 29

2.2.3 Siêu dữ liệu meta data 29

2.2.4 Công cụ truy cập 30

2.2.5 Kho dữ liệu chủ đề 31

2.2.6 Quản trị kho dữ liệu 32

4

2.2.7 Hệ thống thông tin 33

2.3 Công cụ kho dữ liệu của Microsoft 33

2.3.1 Dịch vụ tich hợp dữ liệu 34

2.3.2 Dịch vụ Báo cáo 38

2.3.3 Dịch vụ phân tích 41

2.3.4 Bộ công cụ phát triển tri tuệ doanh nghiệp 43

2.3.5 Công cụ quản lý SQL Server 44

2.3.6 Dịch vụ tác nhân SQL Server 45

CHƯƠNG III THỬ NGHIỆM GIẢI QUYẾT BÀI TOÁN QUẢN LÝ DÂN CƯ 47 3.1 Mô tả bài toán quản lý dân cư 47

3.2 Các chỉ tiêu của bài toán quản lý dân cư 49

3.2.1 Nguyên tắc thiết kế 49

3.2.2 Các yêu cầu thiết kế 49

3.2.3 Nhu cầu xử lý dữ liệu 50

3.2.4 Kho dữ liệu gốc về công dân 51

3.3 Hệ thống biểu mẫu 52

3.3.1 Biểu mẫu thu thập, cập nhật thông tin dân cư 52

3.3.2 Biểu mẫu thống kê dữ liệu 60

3.4 Quy mô bài toán 63

3.4.1 Mục tiêu đầu tư 63

3.4.2 Quy mô đầu tư 64

3.5 Phần mềm thủ nghiệm 64

3.5.1 Mô hình kiến trúc hệ thống tổng thể 64

3.5.2 Thiết kế Cơ sở dữ liệu 66

3.5.3 Thiết kế phần mềm nội bộ 68

3.5.4 Thiết kế hạ tầng kỹ thuật 69

3.5.5 Giải pháp sinh mã số định danh cá nhân 71

3.5.6 Giải pháp khai thác, chia sẻ dữ liệu 72

3.5.6.1 Giới thiệu chung về giải pháp 72

3.5.6.2 Đối tượng tham gia khai thác, chia sẻ 73

3.5.6.3 Công cụ khai thác, chia sẻ và cung cấp dịch vụ công 75

3.5.6.4 Nguyên tắc phân quyền khai thác, chia sẻ dữ liệu 78

3.5.7 Giải pháp đồng bộ dữ liệu Trung tâm dữ liệu chính và Trung tâm dữ liệu dự phòng 78

KẾT LUẬN 80

TÀI LIỆU THAM KHẢO 81

DANH MỤC CÁC KÍ HIỆU, TỪ VIẾT TẮT STT Từ viết tắt Từ hoặc cụm từ

Thư viên phần mềm NET Framework

2 BI Business Intelligent

Kinh doanh thông minh

3 BW Business warehouse

Kho dữ liệu

Hệ quản trị cơ sở dữ liệu

7 ETL Extract – Transform – Load

Trích xuất – Chuyển đổi – Tải

8 FTP File Transfer Protocol

Giao thức truyền tập tin

OLAP kết hợp

Giao thức truyền tải siêu văn bản

OLAP đa chiều

Xử lý phân tích trực tuyến

Đối tượng kết nối và nhúng cơ sở dữ liệu

Hệ quản trị cơ sở dữ liệu quan hệ

OLAP quan hệ

16 SQL Server Querry Language

Ngôn ngữ truy vấn máy chủ

Dịch vụ phân tích máy chủ SQL

Dịch vụ tích hợp dữ liệu máy chủ SQL

6

Công cụ quản trị máy chủ SQL

Dịch vụ báo cáo máy chủ SQL

Ngôn ngữ SQL mở rộng

22 XML eXtensible Markup Language

Ngôn ngữ đánh dấu mở rộng

DANH MỤC HÌNH VẼ

Hình 1.1 – Quan hệ r1 và quan hệ r2

Hình 1.2 – Mối quan hệ giữa lớp quan hệ và phụ thuộc hàm

Hình 1.3 – Mối quan hệ giữa lớp các họ phụ thuộc hàm với hàm đóng

Hình 1.4 – Mối quan hệ giữa lớp họ phụ thuộc hàm với lớp các hệ Sperner Hình 1.5 – Phân lớp các dạng chuẩn của cơ sở dữ liệu

Hình 1.6 – Quan hệ r và quan hệ t

Hình 2.1 – Kiến trúc hệ thống Kho dữ liệu

Hình 2.2 – Kiến trúc dịch vụ tích hợp SSIS

Hình 2.3 – Ví dụ về một luồng dữ liệu

Hình 2.4 – Kiến trúc dịch vụ báo cáo SSRS

Hình 2.5 – Kiến trúc dịch vụ phân tích SSAS

Hình 2.6 – Màn hình khởi tạo mẫu dự án DW/BI trong BIDS

Hình 2.7 – Màn hình quản lý của SQL Server

Hình 2.8 – Màn hình tạo công việc

Hình 3.1 – Biểu mẫu thu thập thông tin dân cư

Hình 3.2 – Biểu mẫu cập nhật, chỉnh sửa thông tin dân cư

Hình 3.3 – Biểu mẫu Tờ khai nhân khẩu

Hình 3.4 – Biểu mẫu phiếu báo thay đổi hộ khẩu, nhân khẩu

Hình 3.5 – Biểu mẫu phiếu khai báo tạm vắng

Hình 3.6 – Biểu mẫu tờ khai căn cước công dân

Hình 3.7 – Biểu mẫu phiếu thu nhận thông tin căn cước công dân

Hình 3.8 – Biểu mẫu tờ khai xin cấp hộ chiếu

Hình 3.9 – Thống kê việc cấp và quản lý căn cước công dân

Hình 3.10 – Thống kê hộ, nhân khẩu

Hình 3.11 – Thống kê đăng ký, quản lý cư trú

Hình 3.12 – Kiến trúc hệ thống Cơ sở dữ liệu quốc gia về dân cư

Hình 3.13 – Mô hình dữ liệu trong hệ thống Cơ sở dữ liệu quốc gia về dân cư Hình 3.14 – Gói phần mềm ứng dụng trong hệ thống Cơ sở dữ liệu quốc gia về dân cư

Hình 3.15 – Mô hình thiết kế tổng thể hạ tầng hệ thống Cơ sở dữ liệu quốc gia

về dân cư

Hình 3.16 – Môi trường của hệ thống Cơ sở dữ liệu quốc gia về dân cư

8

DANH SÁCH BẢNG BIỂU

Bảng 1.1 – Quan hệ r

Bảng 1.2 – Phép nối rt



Bảng 1.3 – Phép nối rt

- Chỉ đồng bộ dữ liệu thay đổi: Để tiết kiệm băng thông, thời gian đồng

bộ, đồng thời không ảnh hưởng đến hiệu năng của hệ thống, phương pháp đồng

bộ CSDL đảm bảo chỉ đồng bộ những dữ liệu thay đổi