ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ LƯU HÙNG CƯỜNG NGHIÊN CỨU MỘT SỐ GIẢI PHÁP TÍCH HỢP DỮ LIỆU, ỨNG DỤNG XÂY DỰNG CƠ SỞ DỮ LIỆU NGHIỆP VỤ TẬP TRUNG TRONG NGÀNH HẢI QUAN
Trang 1ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
LƯU HÙNG CƯỜNG
NGHIÊN CỨU MỘT SỐ GIẢI PHÁP TÍCH HỢP DỮ LIỆU, ỨNG DỤNG XÂY DỰNG CƠ SỞ DỮ LIỆU NGHIỆP VỤ
TẬP TRUNG TRONG NGÀNH HẢI QUAN
LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN
Hà Nội - 2015
Trang 2ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
LƯU HÙNG CƯỜNG
NGHIÊN CỨU MỘT SỐ GIẢI PHÁP TÍCH HỢP DỮ LIỆU, ỨNG DỤNG XÂY DỰNG CƠ SỞ DỮ LIỆU NGHIỆP VỤ
TẬP TRUNG TRONG NGÀNH HẢI QUAN
Ngành: Công nghệ Thông tin
Chuyên ngành: Hệ thống thông tin
Mã số: 60.48.01.04
LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN
NGƯỜI HƯỚNG DẪN KHOA HỌC
TS PHÙNG VĂN ỔN
Hà Nội - 2015
Trang 3LỜI CAM ĐOAN
Tôi cam đoan đây là công trình nghiên cứu của tôi Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được công bố trong bất kỳ công trình nào khác
Hà Nội ngày 12 tháng 09 năm 2015
Học viên
Lưu Hùng Cường
Trang 4LỜI CẢM ƠN
Do vốn kiến thức thực tế còn hạn chế nên nội dung luận văn không thể tránh khỏi thiếu sót Do vậy em rất mong nhận được ý kiến đóng góp của các thầy cô giáo và những ai quan tâm đến vấn đề tích hợp dữ liệu để em có thể hoàn thiện hơn trong những lần sau ở các cấp học cao hơn
Em cũng xin được gửi lời cảm ơn chân thành tới các thầy cô của Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội đã tạo mọi điều kiện cho em khi nghiên cứu đề tài này Và đặc biệt em xin được gửi lời cảm ơn sâu sắc nhất tới TS Phùng Văn Ổn, thầy đã tận tình chỉ bảo và hướng dẫn em hoàn thành luận văn này
Trong luận văn có một phần là công sức đóng góp chung của tập thể anh chị em trong công ty, nơi em công tác với vai trò là Project Manager
Hà Nội ngày 26 tháng 9 năm 2015
Học viên
Lưu Hùng Cường
Trang 5MỤC LỤC
LỜI CAM ĐOAN 3
LỜI CẢM ƠN 4
MỤC LỤC 5
DANH MỤC CÁC CHỮ CÁI VIẾT TẮT 8
DANH MỤC CÁC HÌNH VẼ 9
LỜI MỞ ĐẦU 10 CHƯƠNG I GIỚI THIỆU CHUNG Error! Bookmark not defined 1.1 Tích hợp dữ liệu Error! Bookmark not defined.
1.1.1Khái niệm về tích hợp dữ liệu Error! Bookmark not defined.
1.1.2Các mức độ tích hợp dữ liệu Error! Bookmark not defined.
1.1.3Vấn đề của tích hợp dữ liệu Error! Bookmark not defined.
1.1.4Vai trò của tích hợp dữ liệu trong các tổ chức Error! Bookmark not
defined.
1.1.5Các yếu tố quyết định đến việc lựa chọn giải pháp tích hợp dữ liệu
Error! Bookmark not defined.
1.2 Cơ sở dữ liệu trong hệ thống OLTP và OLAP Error! Bookmark not
defined
1.3 Kho dữ liệu (Datawarehouse) Error! Bookmark not defined.
1.3.1Định nghĩa kho dữ liệu Error! Bookmark not defined.
1.3.2Các đặc trưng của kho dữ liệu Error! Bookmark not defined.
1.3.3Kiến trúc của kho dữ liệu Error! Bookmark not defined.
1.3.4Mô hình dữ liệu sử dụng trong kho dữ liệu Error! Bookmark not
defined.
1.4 Hiện trạng mô hình dữ liệu ngành hải quanError! Bookmark not defined.
Trang 61.4.1Các hệ thống đang được sử dụng Error! Bookmark not defined.
1.4.2Quy trình thực hiện Error! Bookmark not defined.
1.4.3Những tồn tại và nhu cầu bổ sung Error! Bookmark not defined.
1.5 Hiện trạng ứng dụng CNTT tại cục Hải quan TP HCMError! Bookmark
not defined
1.5.1Hệ thống mạng Error! Bookmark not defined.
1.5.2Hệ thống thiết bị Error! Bookmark not defined.
1.5.3Các ứng dụng đã triển khai Error! Bookmark not defined.
CHƯƠNG II: MỘT SỐ KỸ THUẬT, CÔNG NGHỆ TÍCH HỢP DỮ LIỆU Error! Bookmark not defined.
2.1 Các kỹ thuật tích hợp dữ liệu Error! Bookmark not defined.
2.1.1Kỹ thuật hợp nhất dữ liệu Error! Bookmark not defined.
2.1.2Kỹ thuật liên hợp dữ liệu Error! Bookmark not defined.
2.1.3Kỹ thuật lan truyền dữ liệu Error! Bookmark not defined.
2.1.4Kỹ thuật lai Error! Bookmark not defined.
2.2 Các công nghệ tích hợp dữ liệu Error! Bookmark not defined.
2.2.1Công nghệ ETL Error! Bookmark not defined.
2.2.2Công nghệ EII Error! Bookmark not defined.
2.2.3Công nghệ EAI Error! Bookmark not defined.
2.2.4Công nghệ EDR Error! Bookmark not defined.
2.2.5Công nghệ ECM Error! Bookmark not defined.
2.3 Nhận xét đánh giá Error! Bookmark not defined.
2.3.1Bức tranh tổng thể Error! Bookmark not defined.
2.3.2So sánh sự khác biệt Error! Bookmark not defined.
2.3.3Kết hợp các công nghệ Error! Bookmark not defined.
Trang 7CHƯƠNG III: GIẢI PHÁP TÍCH HỢP DỮ LIỆU BẰNG SQL SERVER REPLICATION Error! Bookmark not defined.
3.1 Tổng quan về SQL Server Replication Error! Bookmark not defined.
3.1.1Thành phần Error! Bookmark not defined.
3.1.2Các kiểu replication Error! Bookmark not defined.
3.2 Snapshot replication Error! Bookmark not defined.
3.3 Transactional replication Error! Bookmark not defined.
3.4 Merge replication Error! Bookmark not defined.
3.5 Các phương pháp triển khai replication Error! Bookmark not defined 3.6 Lựa chọn mô hình và cách tiếp cận Error! Bookmark not defined 3.7 Nhận xét đánh giá Error! Bookmark not defined CHƯƠNG IV ỨNG DỤNG XÂY DỰNG CƠ SỞ DỮ LIỆU TÍCH HỢP TOÀN NGÀNH HẢI QUAN Error! Bookmark not defined 4.1 Giới thiệu bài toán Error! Bookmark not defined 4.2 Yêu cầu về kỹ thuật Error! Bookmark not defined 4.3 Kiến trúc tổng thể của hệ thống Error! Bookmark not defined.
4.3.1Mô hình tổng thể Error! Bookmark not defined.
4.3.2Mô hình phân lớp của hệ thống Error! Bookmark not defined.
4.3.3Mô hình kiến trúc ứng dụng và dữ liệuError! Bookmark not defined.
4.3.4Mô hình trao đổi dữ liệu với hệ thống khác Error! Bookmark not
defined.
4.4 Giải pháp công nghệ sử dụng Error! Bookmark not defined.
4.4.1Giải pháp tích hợp dữ liệu Error! Bookmark not defined.
4.4.2Giải pháp xây dựng ứng dụng tích hợp nghiệp vụ hải quan Error!
Bookmark not defined.
Trang 84.4.3Giải pháp xây dựng ứng dụng dự phòng, phòng chống thảm họaError!
Bookmark not defined.
4.5 Kết quả thực hiện Error! Bookmark not defined 4.6 Đánh giá kết quả Error! Bookmark not defined KẾT LUẬN Error! Bookmark not defined TÀI LIỆU THAM KHẢO 11
Trang 9DANH MỤC CÁC CHỮ CÁI VIẾT TẮT
CNTT Công nghệ thông tin
EII Enterprise Information Integration
MPLS Multi Protocol Label Switching
OLAP On-line Analytical Processing
OLTP On-line Transaction Processing
SXXK Sản xuất xuất khẩu
Trang 10DANH MỤC CÁC HÌNH VẼ
Hình 1.1: Kiến trúc ứng dụng và mức độ tích hợp dữ liệu Error! Bookmark not defined Hình 1.2: Các thành phần của một ứng dụng tích hợp Error! Bookmark not defined Hình 1.3: OTLP và OLAP Error! Bookmark not defined Hình 1.4: Kiến trúc kho dữ liệu Error! Bookmark not defined Hình 1.4: Mô hình dữ liệu hình sao và bông tuyết Error! Bookmark not defined Hình 1.5: Mô hình hạ tầng mạng Cục Hải quan TP Hồ Chí Minh Error! Bookmark not
defined.
Hình 2.1: Kỹ thuật hợp nhất dữ liệu Error! Bookmark not defined Hình 2.2: Mô hình kết hợp cơ chế pull và push Error! Bookmark not defined Hình 2.3: Kỹ thuật liên hợp dữ liệu Error! Bookmark not defined Hình 2.4: Kỹ thuật lan truyền dữ liệu Error! Bookmark not defined Hình 2.5: Tiến trình trong ETL Error! Bookmark not defined Hình 2.6: Công nghệ EII Error! Bookmark not defined Hình 2.7: Công nghệ EAI Error! Bookmark not defined Hình 2.8: Công nghệ EAI với ESB Error! Bookmark not defined Hình 2.9: Các kỹ thuật và công nghệ tích hợp dữ liệu Error! Bookmark not defined Hình 2.10: Mô hình kết hợp nhiều công nghệ Error! Bookmark not defined Hình 3.1: Kiến trúc công nghệ SQL Server Replication Error! Bookmark not defined Hình 3.2: Snapshot Replication Error! Bookmark not defined Hình 3.3: Transactional Replication Error! Bookmark not defined Hình 3.4: Merge Replication Error! Bookmark not defined Hình 3.5: Tạo replication trong Management Studtio Error! Bookmark not defined Hình 4.1: Mô hình tập trung dữ liệu giai đoạn 1 Error! Bookmark not defined Hình 4.3: Mô hình tổng thể hệ thống tích hợp nghiệp vụ hải quan Error! Bookmark not
defined.
Hình 4.4: Mô hình phân lớp hệ thống tích hợp nghiệp vụ hải quan Error! Bookmark not
defined.
Hình 4.5: Mô hình kiến trúc úng dụng và dữ liệu Error! Bookmark not defined Hình 4.6: Mô hình trao đổi dữ liệu Error! Bookmark not defined Hình 4.7: Mô hình tích hợp dữ liệu thử nghiệm Error! Bookmark not defined Hình 4.8: Mô hình tích hợp dữ liệu thực tế triển khai Error! Bookmark not defined Hình 4.9: Luồng hoạt động của ứng dụng chuyển đổi số liệu Error! Bookmark not
defined.
Hình 4.10: Giao diện chương trình chuyển đổi số liệu Error! Bookmark not defined Hình 4.11: Mô hình ứng dụng trên sharepoint Error! Bookmark not defined Hình 4.12: Đưa thêm webpart và sharepoint Error! Bookmark not defined Hình 4.13: Cấu hình sử dụng các control ascx Error! Bookmark not defined Hình 4.14: Giao diện sau khi cấu hình Error! Bookmark not defined Hình 4.15: Giao diện ứng dụng tích hợp nghiệp vụ Error! Bookmark not defined.
Trang 11Hình 4.16: Mô hình hệ thống dự phòng ứng dụng tích hợp nghiệp vụ Error! Bookmark
not defined.
LỜI MỞ ĐẦU
Trong quá trình tin học hóa các hoạt động của tổ chức, doanh nghiệp, một loạt các hệ thống đã được xây dựng để đáp ứng nhu cầu quản lý,vận hành, lưu trữ riêng lẻ của các các bộ phận trong tổ chức, doanh nghiệp Các hệ thống này được xây dựng dựa trên các nền tảng công nghệ khác nhau và gần như không có sự chia sẻ thông tin giữa các hệ thống vì các hệ thống này được thiết kế để hoạt động độc lập và được thiết
kế để giải quyết các bài toán đơn lẻ cho các bộ phận riêng lẻ của tổ chức, doanh nghiệp Điều này dẫn đến tình trạng là các nguồn dữ liệu được lưu trữ không đồng nhất và phân tán ở nhiều nơi, người sử dụng cần phải sử dụng nhiều chương trình khác nhau để hoàn thành công việc của mình, hoặc phải khai thác dữ liệu từ các chương trình khác nhau rồi kết hợp lại để được dữ liệu mong muốn Khi các hoạt động của tổ chức được mở rộng (đặc biệt trong hoạt động kinh doanh của doanh nghiệp) nhu cầu tổng hợp dữ liệu để có được các báo cáo đầy đủ nhằm phục vụ cho việc điều hành tổ chức, doanh nghiệp trở nên cấp thiết hơn bao giờ hết việc thực hiện tổng hợp dữ liệu
từ các hệ thống riêng lẻ rất tốn thời gian và gần như là không thể thực hiện được nếu
dữ liệu lớn Ngoài ra, nếu phải thao tác với quá nhiều chương trình cùng một lúc thường sẽ mất nhiều thời gian hơn so với việc thực hiện trên một hệ thống và có nhiều khả năng dẫn đến sai sót do phải làm thủ công nhiều bước Một trong những vấn đề gặp phải nữa của việc duy trì các hệ thống riêng lẻ đó là chi phí vận hành lớn, các tổ chức doanh nghiệp sẽ cần phải dùng nhiều nguồn lực dành cho việc duy trì nhiều hệ thống hoạt động
Vấn đề tích hợp dữ liệu đã không còn là một xu hướng mà thực sự đã trở thành nhu cầu của các tổ chức, doanh nghiệp lớn trong những năm gần đây Một loại những
kỹ thuật, những công nghệ, những sản phẩm phẩn mềm của các hãng công nghệ hàng đầu thế giới đã được giới thiệu như Oracle Data Integrator, Oracle GoldenGate, IBM InfoSphere, Microsoft BizTalk, Microsoft Business Intelligent, Microsoft SQL Server Replication,…
1 Tính cấp thiết của đề tài
Ở Việt Nam, vấn đề tích hợp dữ liệu đang là một trong những quan tâm lớn của các tổ chức, các doanh nghiệp lớn và đặc biệt là trong các cơ quan nhà nước trong đó
có Tổng cục Hải quan
Trang 12Việc nghiên cứu, xây dựng các nhóm giải pháp, quy trình phù hợp, các bước thực hiện trong bài toán tích hợp dữ liệu sẽ giúp cho các tổ chức, các doanh nghiệp Việt Nam có thể thực hiện việc tích hợp dữ liệu của mình dễ dàng hơn từ đó có thể phát triển thêm những ứng dụng xử lý tập trung đáp ứng những đòi hỏi ngày càng cao của mình
TÀI LIỆU THAM KHẢO
1 Các trang Web
[1] http://datawarehouse4u.info/OLTP-vs-OLAP.html
[2] http://docs.oracle.com/cd/B10500_01/server.920/a96520/concept.htm
[3] https://msdn.microsoft.com/en-us/library/ms151198.aspx
2 Tiếng Việt
[4] Hà Quang Thụy, Bài giảng môn học kho dữ liệu và khai phá dữ liệu, ĐHCN
3 Tiếng Anh
[5] Sebastian Meine, Ph.D (2013), Fundamentals of SQL Server 2012 Replication, [6] Sujoy P Paul(2009), Pro SQL Server 2008 Replication, Apress
Stairways
[7] James Fenner, Enterprise Application Integration Techniques
[8] Petr Kremen and Bogdan Kostov(2014), Data Integration lecture
[9] Patrick Ziegler and Klaus R Dittrich(2007), “Data Integration-Problems, Approaches, and Perspectives”, Database Technology Research Group
[10] Colin White, BI Research(2005), Data Integration: Using ETL, EAI, and EII
Tools to Create an Integrated Enterprise, TDWI
[11] William H Inmon (Third Edition), Building the Data Warehouse, John Wiley
& Sons, Inc
[12] Tom Wu, EII -ETL -EAI What, Why, and How, IBM Software Group