Công ty FPT Telecom Hà Nội cũng vậy, là một công ty có cơ sở dữ liệu lớn và phân tán cho nên ngay từ rất sớm, công ty đã có kế hoạch áp dụng mô hình cơ sở dữ liệu phân tán vào quản lý vậ
Trang 1-
TRẦN QUỐC VƯƠNG
ỨNG DỤNG MÔ HÌNH CƠ SỞ DỮ LIỆU PHÂN TÁN CHO
HỆ THÔNG QUẢN LÝ VẬT TƯ TẠI CÔNG TY
Trang 2Luận văn được hoàn thành tại:
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
Người hướng dẫn khoa học: TS PHAN THỊ HÀ
Phản biện 1: ………
Phản biện 2: ………
Luận văn sẽ được bảo vệ trước Hội đồng chấm luận văn thạc sĩ tại: Học viện Công nghệ Bưu chính Viễn thông
Vào lúc: …… ; Ngày … Tháng … Năm 2018
Có thể tìm hiểu luận văn tại:
- Thư viện Học viện Công nghệ Bưu chính Viễn thông
Trang 3MỞ ĐẦU
Sự phát triển mạnh mẽ của công nghệ thông tin và truyền thông đã làm thay đổi và hình thành nhiều phương thức quản lý, kinh doanh mới Một trong các vấn đề quan trọng đó là cách tổ chức, quản lý và khai thác các cơ sở dữ liệu của các Công ty, tập đoàn Mạng máy tính và sự phát triển của các công cụ phần mềm khác nhau đã cho phép tổ chức cơ sở dữ liệu được phân bố tại nhiều
vị trí địa lý khác nhau nhưng vẫn có thể khai thác cơ sở dữ liệu hiệu quả với chi phí rẻ, an toàn như cơ sở dữ liệu tập trung nhờ kết nối các cơ sở dữ liệu với nhau qua mạng truyền thông Cơ sở dữ liệu phân tán ngày càng được ứng dụng nhiều trong thực tế, nhất là các công ty, tập đoàn có nhiều bộ phận khác nhau phân bố trên phạm vi địa lý rộng lớn thì cơ sở dữ liệu phân tán càng thể hiện sức mạnh của nó Công ty FPT Telecom Hà Nội cũng vậy, là một công ty có cơ
sở dữ liệu lớn và phân tán cho nên ngay từ rất sớm, công ty đã có kế hoạch áp dụng mô hình cơ sở dữ liệu phân tán vào quản lý vật tư trong các cơ quan, các
tổ chức hoạt động với mô hình lớn Xuất phát từ nhu cầu thực tế của Công ty
FPT Telecom Hà Nội, luận văn đề xuất thực hiện đề tài “Ứng dụng mô hình cơ
sở dữ liệu phân tán cho hệ thống quản lý vật tư tại công ty FPT Telecom Hà Nội”
Đề tài này cho phép tạo ra mô hình cơ sở dữ liệu phân tán để quản lý việc nhập, xuất vật tư, thanh lý, thu hồi vật tư, quản lý thống kê được hàng tồn kho giúp cho người quản lý cân đối được việc nhập xuất vật tư, đưa ra báo cáo chi tiết về mua hàng, chi tiết bán hàng, công nợ phải thu, công nợ phải trả khách hàng, lượng hàng tồn kho, đơn giá vật tư hiện tại để báo giá cho khách hàng khi
có nhu cầu Việc ứng dụng cơ sở dữ liệu phân tán vào quản lý vật tư đem lại nhiều lợi ích to lớn cho công ty FPT Telecom Hà Nội
Luận văn gồm 3 chương chính:
Chương 1: Tổng quan về cơ sở dữ liệu phân tán
Trong chương này luận văn trình bày các khái niệm cơ bản, các kiến thức
cơ sở về cơ sở dữ liệu phân tán và các phương pháp thiết kế cơ sở dữ liệu phân tán
Chương 2: Thiết kế cơ sở dữ liệu phân tán
Trong chương này luận văn tiến hành khảo sát thực trạng quản lý vật từ tại công ty FPT Telecom Hà Nội Trên cơ sở đó luận văn tiến hành ứng dụng kiến thức về cơ sở dữ liệu phân tán vào thiết kế cơ sở dữ liệu phân tán
Trang 4Chương 3: Xây dựng cơ sở dữ liệu phân tán trong hệ thống quản lý vật tư tại công ty FPT telecom Hà Nội
Trong chương 3, luận văn tiến hành xây dựng hệ thống cơ sở dữ liệu phân tán và thử nghiệm hệ thống với các kịch bản khác nhau Từ các kết quả thu được luận văn tiến hành đánh giá hệ thống
Ngoài 3 chương chính, luận văn còn có phần mở đầu, phần kết luận và tài liệu tham khảo
Trang 5CHƯƠNG 1 TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU PHÂN TÁN
Chương này sẽ trình bày tổng quan về bài toán quản lý vật tư của FPT Telecom Hà Nội và cơ sở dữ liệu phân tán
1.1 Giới thiệu bài toán quản lý vật tư của FPT Telecom Hà Nội
Vật tư trong doanh nghiệp viễn thông là yếu tố cơ bản trong quá trình sản xuất kinh doanh Sự biến động của vật tư ảnh hưởng trực tiếp đến giá thành sản phẩm và kết quả sản xuất kinh doanh của đơn vị, đôi khi được quản lý kết hợp theo vai trò và tác dụng của nó trong quá trình sản xuất kinh doanh FPT Telecom Hà Nội cũng là một công ty viễn thông lớn với nhiều đơn vị thành viên phân tán ở nhiều địa điểm địa lý khác nhau, việc quản lý vật tư phục vụ sản xuất và kinh doanh một cách hiệu quả đóng một vai trò đặc biệt quan trọng trong công ty, được công ty nâng cao và tuân thủ các yêu cầu nghiêm ngặt từ khâu thu mua, dự trữ, bảo quản và sử dụng
1.2 Giới thiệu về cơ sở dữ liệu phân tán
Cơ sở dữ liệu phân tán được phát triển dựa trên cơ sở dữ liệu và mạng máy tính Cơ sở dữ liệu phân tán gồm nhiều cơ sở dữ liệu tích hợp lại với nhau thông qua mạng máy tính để trao đổi dữ liệu, thông tin … Cơ sở dữ liệu được
tổ chức và lưu trữ ở những vị trí khác nhau trong mạng máy tính và chương trình ứng dụng truy cập vào dữ liệu ở những điểm khác nhau đó
1.2.1 Sự ra đời của cơ sở dữ liệu phân tán
Sự phát triển các hệ cơ sở dữ liệu (CSDL) phân tán xuất phát từ nhiều yêu
cầu của thực tiễn hình thành và phát triển của các tổ chức Nhiều tổ chức khi tăng trưởng cần có cơ cấu hoạt động không tập trung Nhiều đơn vị thành viên của nó buộc phải phân tán ở những vị trí địa lý khác nhau
1.2.2 Cơ sở dữ liệu phân tán
Cơ sở dữ liệu phân tán là một tập hợp gồm nhiều cơ sở dữ liệu có liên quan về mặt logic cùng thuộc về một hệ thống nhưng được trải trên các vị trí khác nhau và chúng có kết nối với nhau thông qua một mạng thông tin dữ liệu
1.2.3 Hệ quản trị cơ sở dữ liệu phân tán
Hệ quản trị cơ sở dữ liệu phân tán (Distributed database management system - DDBMS) là một hệ thống hay phần mềm dùng để quản lý các hệ cơ
sở dữ liệu phân tán Các chương trình này hỗ trợ khả năng lưu trữ, sửa chữa, xóa và tìm kiếm thông tin trong một cơ sở dữ liệu
Trang 61.3 Các đặc trưng của cơ sở dữ liệu phân tán
CSDL phân tán không chỉ là những sự thực hiện phân tán của CSDL tập trung, bởi vì chúng cho phép thiết kế các đặc trưng khác với CSDL tập trung truyền thống
1.4.2 Mô hình File Server
Là một thiết bị quản lý các hoạt động file và phục vụ các máy tính cá nhân được kết nối trong mạng LAN Mỗi máy cá nhân được phân chia một dung lượng cố định trên ổ cứng của File server, chương trình ở các máy tính cá nhân có thể đồng thời truy cập vào cùng cơ sở dữ liệu
1.4.3 Mô hình Client/Server
Là một mô hình phổ biến trong mạng máy tính, được áp dụng rất rộng rãi và là mô hình của đa số trang web hiện nay Ý tưởng của mô hình này là máy con (có vài trò là máy khách) gửi một yêu cầu để máy chủ (đóng vai trò người cung ứng dịch vụ), máy chủ sẽ xử lý và trả kết quả về cho máy khách
1.5 Các đặc trưng của các loại hình hệ thống phân tán
Chuyển đổi các ứng dụng trên máy tính cá nhân hoặc các hệ thống máy trạm lớn sang mô hình phân tán đang phát triển mạnh trong xu hướng hiện nay
1.5.1 Đặc trưng của hệ thống File server và kiến trúc Client/Server 1.5.2 Các chức năng của kiến trúc Client/Server
1.6 Ưu điểm và nhược điểm của hệ cơ sở dữ liệu phân tán
Trang 7 Khó kiểm soát tính toàn vẹn dữ liệu với nhiều bản sao dữ liệu được phân bố khắp mọi nơi
Đáp ứng chậm nhu cầu của các trạm trong trường hợp các phần mềm ứng dụng không được phân bố phù hợp với việc sử dụng chung
1.7 Các loại truy xuất cơ sở dữ liệu phân tán
1.7.1 Truy xuất từ xa thông qua các tác vụ cơ bản
Ứng dụng đưa ra một yêu cầu truy xuất CSDL ở một vị trí bất kỳ, yêu cầu này sẽ được hệ quản trị cơ sở dữ liệu phân tán gửi đến vị trí chứa dữ liệu đó
1.7.2 Truy xuất từ xa thông qua chương trình phụ trợ
Một ứng dụng yêu cầu thực hiện một chương trình phụ trợ đặt tại vị trí từ
xa Chương trình phụ trợ này sẽ truy xuất CSDL từ xa và trả lại kết quả cho ứng dụng đang yêu cầu
1.8 Lý do sử dụng CSDL phân tán cho bài toán quản lý vật tư
Các tổ chức có cấu trúc phân tán: Trong thực tế các tổ chức kho, đơn vị đề xuất nhập kho, xuất kho được phân tán khắp nơi trong khi đó dữ liệu quản lý ngày càng lớn và phục vụ cho nhiều người dùng nằm phân tán, vì vậy CSDL phân tán là con đường thích hợp với cấu trúc tự nhiên của các tổ chức, đơn vị
đó
- Kết nối các CSDL có sẵn: CSDL phân tán là giải pháp tự nhiên khi có các CSDL đang tồn tại và sự cần thiết xây dựng một ứng dụng toàn cục Trong đề tài này CSDL phân tán từ dưới lên dựa trên nền tàng CSDL đang tồn tại Tiến trình này đòi hỏi phải tái cấu trúc các CSDL cục bộ ở một mức nhất định
- Sự lớn mạnh của tổ chức: Các tổ chức, đơn vị trong công ty có thể phát triển
mở rộng bằng cách thành lập thêm các đơn vị mới, vừa có tính tự trị, vừa có quan hệ với các tổ chức, đơn vị khác
- Giảm chi phí truyền thông: Tăng ứng dụng cục bộ làm giảm chi phí truyền thông
- Nâng cao hiệu suất: Có cơ chế xử lý song song và phân mảnh dữ liệu theo ứng dụng làm cực đại hóa tính cục bộ của ứng dụng
Hai nguyên nhân về mặt kỹ thuật đáp ứng cho sự phát triển hệ cơ sở dữ liệu phân tán:
Công nghệ tạo ra máy tính nhỏ và nền tảng phần cứng có khả năng phục vụ xây dựng hệ thống thông tin phân tán
Kỹ thuật thiết kế hệ cơ sở dữ liệu phân tán được phát triển vững chắc dựa trên
2 kỹ thuật thiết kế chính là Top-Down và Bottom-up từ những năm thập kỷ
Trang 860 Kỹ thuật thiết kế cơ sở dữ liệu phân tán phức tạp nhưng hệ cơ sở dữ liệu phân tán cũng cần thiết cho xu hướng phát triển kinh tế hiện nay
Những hạn chế của mô hình CSDL tập trung:
- Quản lý CSDL lớn gặp nhiều khó khăn không phù hợp phục vụ cho tổ chức, đơn vị nằm phân tán
- Rủi ro về bảo mật CSDL trong hệ thống cao
- Trong các tổ chức lớn dữ liệu mà hầu hết các ứng dụng có thể truy nhập được lưu trữ trên một máy tính trung tâm Trong nhiều hệ thống, người sử dụng từ xa có thể truy nhập cơ sở dữ liệu này thông qua các thiết bị đầu cuối
và các móc nối truyền dữ liệu Các hệ CSDL trung tâm thường lưu trữ các CSDL tích hợp rất lớn và được nhiều người sử dụng truy nhập
1.9 Kết luận
Trong chương 1 luận văn đã trình bày bài toán quản lý vật tư tại công ty FPT telecom tại Hà Nội và khái niệm cơ bản, các kiến thức cơ sở về cơ sở dữ liệu phân tán, các đặc trưng của CSDL phân tán, các hình thức tổ chức phân tán, các cách thức truy xuất CSDL phân tán Từ đó đưa ra quyết định sử dụng CSDL phân tán cho bài toán quản lý vật tư
CHƯƠNG 2: THIẾT KẾ CƠ SỞ DỮ LIỆU PHÂN TÁN
Chương này tập trung nghiên cứu về thiết kế CSDL phân tán, kiến trúc tham chiếu CSDL phân tán, phân mảnh, cấp phát dữ liệu
Trang 92.1 Các chiến lược phân tán dữ liệu
Việc định vị và phân tán dữ liệu ở các nút trong một mạng máy tính sẽ quyết định tính hiệu quả và đúng đắn của hệ thống phân tán Có 4 chiến lược phân tán dữ liệu cơ bản: Tập trung dữ liệu, chia nhỏ dữ liệu, nhân bản dữ liệu, phương thức lai
2.2 Kiến trúc tham chiếu cơ sở dữ liệu phân tán
Trong hệ CSDL phân tán những người thiết kế hệ thống đã xây dựng lên một
hệ các phần mềm phục vụ yêu cầu người dùng trên CSDL đã có sẵn (Hình 2.1)
Hình 2.1 Mô hình kiến trúc tham chiếu CSDL phân tán
a) Sơ đồ tổng thể (Global Schema)
b) Sơ đồ phân đoạn (Fragment schema)
c) Sơ đồ định vị (Allocation schema)
d) Sơ đồ ánh xạ địa phương (Local mapping schema)
2.3 Các phương pháp thiết kế CSDL phân tán
a) Phương pháp thiết kế từ trên xuống (top- down)
Trang 10Hình 2.6 Phương pháp thiết kế CSDL phân tán top-down
b) Phương pháp thiết kế từ dưới lên (bottom – up)
2.4 Phân mảnh
Đơn vị truy xuất của các ứng dụng không phải là toàn bộ quan hệ mà
thường là một mảnh Việc phân rã một quan hệ thành nhiều mảnh, mỗi
mảnh được xử lý như một đơn vị, sẽ cho phép thực hiện nhiều giao dịch đồng thời Việc phân mảnh các quan hệ sẽ cho phép thực hiện song song một câu vấn tin bằng cách chia nó ra thành một tập các câu vấn tin con hoạt tác trên các mảnh
Có ba kiểu phân mảnh tương ứng với việc chia quan hệ:
Phân mảnh ngang (horizontal fragmentation)
Phân mảnh dọc (vertical fragmentation)
Phân mảnh hỗn hợp (hybrid fragmentation)
Các tính chất phân mảnh
Một vấn đề quan trọng của phân mảnh ảnh hưởng đến hiệu năng thực hiện vấn tin là phân mảnh CSDL đến mức độ nào ? Thực tế mức độ phân mảnh có thể từ
Trang 11thái cực không phân mảnh nào đến thái cực phân mảnh thành từng bộ (trường hợp phân mảnh ngang) hoặc thành từng thuộc tính (trường hợp phân mảnh dọc)
dữ liệu phân hoạch, có chứa các mảnh được cấp phát cho các vị trí, trong đó chỉ tồn tại một bản duy nhất cho mỗi mảnh trên mạng Kiểu cơ sở dữ liệu nhân bản
có hai dạng:
Cơ sở dữ liệu nhân bản hoàn toàn
Cơ sở dữ liệu nhân bản một phần
2.5.1 Bài toán cấp phát
Giả sử có tập các mảnh FF = {F 1 , , F n } và mạng bao gồm các vị trí SS
={ S 1 , , S m } mà trên đó có tập ứng dụng QQ = {q 1 , , q l } đang chạy Bài toán cấp phát là tìm phân phối tối ưu của FF cho SS Vấn đề cấp phát phải đảm
bảo tối ưu và được thể hiện thông qua 2 tham số:
phí vấn tin Fi tại vị trí Sj , chi phí cập nhật Fi tại tất cả mọi vị trí chứa nó và chi
phí truyền dữ liệu Bài toán cấp phát cố gắng tìm lược đồ cấp phát với hàm chi phí tổ hợp thấp nhất
hữu hiệu Các chiến lược đã biết là giảm thời gian đáp ứng và tăng tối đa lưu lượng hệ thống tại mỗi vị trí
• 2.5.2 Thông tin cần thiết cho bài toán cấp phát
Cần xác định các thông tin về CSDL, thông tin về các ứng dụng trên CSDL, cấu trúc mạng, khả năng xử lý và giới hạn lưu trữ trên mỗi một vị trí của mạng
a) Thông tin về CSDL
b) Thông tin về ứng dụng
c) Thông tin về vị trí
d) Thông tin về mạng
Trang 122.5.3 Mô hình cấp phát
Mục tiêu của mô hình cấp phát là giảm tối thiểu tổng chi phí xử lý và lưu trữ, đáp ứng được các đòi hỏi về thời gian đáp ứng Mô hình có dạng sau: min(Total Cost)
Ứng với ràng buộc thời gian đáp ứng, ràng buộc lưu trữ, ràng buộc xử
và triển khai ứng dụng ở chương sau
Trang 13CHƯƠNG 3: XÂY DỰNG CƠ SỞ DỮ LIỆU PHÂN TÁN TRONG
HỆ THỐNG QUẢN LÝ VẬT TƯ TẠI CÔNG TY FPT TELECOM
HÀ NỘI
Chương này trình bày về phân tích hệ thống quản lý vật tư, chức năng chính của bài toán quản lý vật tư, phân tích thực thể, thiết kế CSDL phân tán cho bài toán, thiết kế định vị dữ liệu, đồng thời đưa ra giải pháp, cài đặt đồng
bộ hóa dữ liệu
3.1 Phân tích hệ thống quản lý vật tư
Trên cơ sở đặc điểm của công ty FPT Telecom Hà Nội và nhu cầu về quản lý vật tư của công ty, mô hình CSDL phân tán được đề xuất để giải quyết bài toán Công việc chính của việc ứng dụng mô hình cơ sở dữ liệu phân tán cho hệ thống quản lý vật tư tại công ty FPT Telecom là phải xác định được yêu cầu, nhiệm vụ trọng tâm của hệ thống thông tin đang xét, xác định kiến trúc của
hệ thống thông tin (các mức thông tin) và chức năng cơ bản của các mức thông tin sự ảnh hưởng qua lại giữa các mức thông tin trong hệ thống
3.1.1 Mức ra quyết định
Đây là mức xử lý thông tin đầu tiên của hệ thống mức này do ban lãnh đạo hoặc người ủy quyền quyết định được ban lãnh đạo chỉ định Thông tin đầu vào của hệ thống là việc xây dựng các danh mục vật tư, các mức đơn giá khung cho từng mã vật tư và các thông tin từ bên ngoài như ban kế toán, các ban ngành, cơ quan, công ty Kết quả cuối cùng (đầu ra) của hệ thống là các chỉ thị, quyết định chỉ đạo hoạt động
3.1.2 Mức Trung gian
Trong hệ thống quản lý vật tư của FPT Telecom đây là mức thực hiện xử
lý, hỗ trợ cho các mức ra quyết định của ban lãnh đạo Các bộ phận, các đơn vị như bộ phận xây dựng danh mục vật tư cần bổ sung, bộ phận quản lý xuất nhập,
bộ phận quản lý kho,…Thông tin đầu vào và đầu ra của mức này đều là thông tin (sản phẩm là thông tin sau khi đã xử lý) Các thông tin đầu ra của mức này lại là thông tin đầu vào cho mức ra quyết định và mức tác nghiệp của hệ thống