Công cụ tạo dữ liệu mẫu cho Kho Dữ Liệu + Code minh họa

Luận văn tìm hiểu về kho dữ liệu, xây dựng kho dữ liệu cho hệ thống tư vấn và chọn trường thi và đồng thời xây dựng một công cụ hỗ trợ cho việc tạo dữ liệu mẫu cho kho dữ liệu. Công cụ được viết bằng C và SQL Server. Đây là tài liệu và chương trình nguồn đáng có của các bạn đang lập trình C, SQL Server. Code được đính kèm theo tài liệu này.

MỤC LỤC

MỤC LỤC 1

A PHẦN MỞ ĐẦU 3

I Lý do chọn đề tài 3

II Mục đích nghiên cứu 4

III Đối tượng nghiên cứu 4

IV Phạm vi nghiên cứu 4

V Phương pháp nghiên cứu 5

B NỘI DUNG 6

CHƯƠNG I: TỔNG QUAN VỀ HỆ THỐNG TƯ VẤN CHỌN NGÀNH THI VÀ TRƯỜNG THI 6

I.1 TẦM QUAN TRỌNG CỦA HỆ THỐNG 6

I.2 MÔ TẢ HỆ THỐNG TƯ VẤN 7

CHƯƠNG II: LÝ THUYẾT VỀ TẠO DỮ LIỆU MẪU 10

II.1 Một số khái niệm cơ bản về xác suất có liên quan đến tạo dữ liệu mẫu 10

II.1.1 Định nghĩa xác suất 10

II.1.2 Biến ngẫu nhiên và quy luật phân phối đều của xác suất 10

II.2 Số ngẫu nhiên, giả ngẫu nhiên và phương pháp sinh số ngẫu nhiên trên máy tính 14

II.2 1 Số ngẫu nhiên 14

II.2 2 Sinh số ngẫu nhiên trên máy tính - số giả ngẫu nhiên 14

II.3 Mô hình cho sự trình bày mô phỏng các thành phần 16

II.3.1 Động cơ thúc đẩy 16

II.3.2 Mô hình 16

II.4 Những yêu cầu của quy trình tạo dữ liệu mẫu 18

II.4.1 Sự chia cắt của việc thiết kế và sản xuất dữ liệu mẫu 18

II.4.2 Đầy đủ tính linh động trong việc thiết kế dữ liệu mẫu 18

II.4.3 Những sự đúng đắn được trình bày bằng thống kê 19

II.4.4 Tạo dữ liệu mẫu của thế gới thực 19

II.4.5 Tính nhất quán 19

II.4.6 Tính biến đổi được 19

II.4.7 Hỗ trợ tạo dữ liệu theo yêu cầu 19

II.4.8 Hỗ trợ của bất kỳ định dạng dữ liệu 20

II.4.9 Điều khiển của việc sản xuất dữ liệu mẫu 20

II.4.10 Sự an toàn/Quyền hạn 20

II.4.11 Tính trong suốt cục bộ/Từ xa 20

II.4.12 Sự độc lập nền 20

II.5 Quy trình tạo dữ liệu mẫu 21

II.6 Một số khái niệm cơ bản về kho dữ liệu liên quan tới chương trình 22

II.6.1 Khái niệm và mục đích của kho dữ liệu 22

II.6.2 Một số đặc tính dữ liệu trong kho dữ liệu 23

II.6.3 Mô hình dữ liệu đa chiều 24

CHƯƠNG III: XÂY DỰNG CÔNG CỤ DATA GENERATOR TOOL (DGT) CHO HỆ THỐNG CHỌN NGÀNH THI VÀ TRƯỜNG THI 30

III.1 Tổng quan 30

III.1.1.Mô hình tổng quát của quy trình tạo dữ liệu mẫu cho hệ thống 30

III.1.2 Chỉ dẫn một số thành phần của mô hình quy trình tạo dữ liệu 31

III.2 Xây dựng công cụ DGT cho việc tạo dữ liệu mẫu 32

III.2.1 Mô hình các trường hợp sử dụng của công cụ 32

III.2.2 Biểu đồ hoạt động của công cụ 33

III.2.3 Định nghĩa nguồn dữ liệu ngoài 34

III.2.4 Định nghĩa Các chiều (Dimension) 43

III.2.5 Định nghĩa Các bảng chiều (Dimension Table) 43

III.2.6 Định nghĩa các dữ kiện (Fact) 45

III.2.7 Định nghĩa bảng dữ kiện (Fact Table) 45

III.2.8 Tạo dữ liệu mẫu 47

C PHẦN KẾT LUẬN 49

I KẾT QUẢ ĐẠT ĐƯỢC 49

II NHỮNG HẠN CHẾ CỦA ĐỀ TÀI 49

III HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI 49

TÀI LIỆU THAM KHẢO 50

Học bạ điện tử đang là vấn đề được nhà nước ta quan tâm.

Hệ thống thông tin tư vấn học tập được sinh ra cũng không nằm ngoài nhữngmục đích là tận dụng sự phát triển của mạng internet và đưa các dịch vụ tư vấn đểmọi người có thể được tư vấn một cách trực tuyến

Hệ thống tư vấn chọn khối thi và ngành thi sẽ góp phần vào việc tư vấn chohọc sinh chọn ngành nghề, chọn trường học dựa vào một kho dữ liệu đã tồn tại khá

lâu (từ kho dữ liệu này người ta đưa ra được các luật sau đó dựa vào các luật này

mà hệ thống sẽ tư vấn lại cho học sinh).

Hệ thống thông tin tư vấn học tập dựa trên các dữ liệu sau :

 Học bạ học sinh

 Hồ sơ đăng ký dự thi của học sinh

 Kết quả tuyển sinh

Hệ thống thông tin tư vấn này do 3 sinh viên làm dưới sự hướng dẫn củaThầy giáo Nguyễn Thanh Bình Mỗi sinh viên sẽ đảm nhiệm một nhiệm vụ tươngứng với một quy trình làm phần mềm, trong đó có một quy trình khá quan trọng đó

là kiểm định chất lượng phần mềm

Mục đích của kiểm định phần mềm là để kiểm tra xem sản phẩm đó có đạtchất lượng hay không, có thảo mãn yêu cầu không?

Đối với hệ thống tư vấn chọn khối thi và ngành thi thì việc có được một kho

dữ liệu này rất khó, có thể lên tới 10 năm, 20 năm hay hơn nữa mới có thể có được

và mới đưa ra đựợc các thông tin tư vấn chính xác

Việc có được dữ liệu mô phỏng là một vấn đề hết sức quan trọng khi mà các

dữ liệu thật là rất khó khăn mới tập hợp được (ví dụ như ta rất khó có thể xin được

cơ sở dữ liệu tuyển sinh của các trường …) Dữ liệu mô phỏng này sẽ hỗ trợ cho

việc test các hệ thống, và mô phỏng các hệ thống thử nghiệm trước khi chuyển sang

II Mục đích nghiên cứu

1 Xây dựng cơ sở dữ liệu của hệ thống tư vấn

2 Xây dựng công cụ tạo ra dữ liệu dùng để mô phỏng hệ thống tư vấn chọnkhối thi và ngành thi gần giống dữ liệu thực, phản ánh được cấu trúc thật của dữ liệu

III Đối tượng nghiên cứu

1 Dữ liệu tuyển sinh (học bạ, hồ sơ tuyển sinh, kết quả tuyển sinh)

2 Kho dữ liệu (cấu trúc đa chiều trong kho dữ liệu, bảng dự kiến cơ số)

3 Khai phá dữ liệu

4 Các phương pháp hỗ trợ cho việc tạo dữ liệu mẫu

5 Công cụ lập trình DOTNET, XML, SQL…

IV Phạm vi nghiên cứu

1 Tìm hiểu dữ liệu liên quan đến tuyển sinh

2 Xây dựng công cụ sinh dữ liệu cho hệ thống tư vấn chọn khối thi và ngành thi

V Phương pháp nghiên cứu

1 Nghiên cứu lý thuyết

Tham khảo sách, báo, tạp chí, các website và các tài liệu liên quan đếnvấn đề tư vấn học tập

2 Nghiên cứu thực tiễn

Tìm hiểu cách lưu trữ các loại hồ sơ liên quan đến tuyển sinh ở một sốtrường đại học

Tham khảo ý kiến của thầy giáo hướng dẫn để có sự định hướng tốthơn về đề tài

3 Nghiên cứu kỹ thuật lập trình

Nghiên cứu các công cụ hỗ trợ cho việc lập trình như C#, các hệ quảntrị cơ sở dữ liệu như SQL 2000, SQL 2005 ACCESS, ngôn ngữ đánh dấu mở rộngXML và các công nghệ liên quan tới

B NỘI DUNG

CHƯƠNG I: TỔNG QUAN VỀ HỆ THỐNG TƯ VẤN CHỌN NGÀNH

THI VÀ TRƯỜNG THII.1 TẦM QUAN TRỌNG CỦA HỆ THỐNG

Việc định hướng chọn ngành thi và trường thi là một vấn đề quan trọng từtrước đến nay Hiện nay khi nền giáo dục được đặt thành nhiệm vụ “quốc sách hàngđầu” thì vấn đề này lại trở nên rất nóng bỏng Làm thế nào để biết sắp tới đây mìnhnên thi khối gì?, ngành gì?, trường gì?, đối với học sinh 12 là một vấn đề rất khó

Thực tế cho thấy rằng, học sinh chưa được hướng nghiệp một cách rõ ràng

và đầy đủ khi chuẩn bị rời ghế phổ thông Học sinh gặp rất nhiều ngỡ ngàng và lúngtúng khi đặt bút vào hồ sơ tuyển sinh Hầu hết các em đều nhắm vào những ngànhnghề đầy hấp dẫn như lập trình viên, tiếp viên hàng không, phóng viên, kỹ thuậtviên, kĩ sư, mà không biết liệu mình có đủ khả năng để thi không và không lườngtrước được sự mạo hiểm đó Hoặc là do sự áp đặt của bố mẹ trong khi các bậc phụhuynh lại chưa nhận được sự tư vấn nào Hơn nữa, các thông tin về vấn đề tuyểnsinh như sách, báo thì giới thiệu còn mang tính chất chung chung, sơ sài, thông tintrên mạng nhiều nhưng cũng không kém phần sơ sài và học sinh sắp tốt nghiệp vàthi đại học thì cũng có rất ít thời gian để tìm hiểu Hằng năm, tại mỗi trường, mỗitỉnh đều có tổ chức tư vấn hướng nghiệp cho học sinh Nhưng liệu với thời gian ít ỏi

đó, với số lượng giảng viên có hạn như vậy thì có cung cấp những thông tin mộtcách đầy đủ, chi tiết về các ngành các trường và giải đáp cho hàng ngàn học sinh,thí sinh không? Thực tế thì những buổi như vậy chỉ cung cấp các thông tin mangtính chất chung chung

Thực trạng đó đã làm cho kết quả tuyển sinh quá thấp, số lượng học sinh bịđiểm 0 (tổng kết quả 3 môn) còn nhiều, hơn 80% thí sinh dự thi có tổng điểm thi

ĐH dưới 15 Thậm chí nhiều học sinh khi đã là sinh viên năm 1, năm 2 mới nhận rarằng quyết định ban đầu của mình về nghề nghiệp là không phù hợp và đã đăng kí

dự thi tuyển sinh Nếu học sinh được tư vấn hướng nghiệp một cách đầy đủ, phùhợp thì sẽ làm hạn chế rất nhiều tình trạng đó Do vậy tư vấn hướng nghiệp là mộtnhu cầu cần thiết và không thể thiếu đối với học sinh và các bậc phụ huynh Từ nhu

cầu đó, nhóm nghiên cứu chúng tôi đã chọn làm đề tài khoá luận về hệ thống tư vấnchọn ngành thi và trường thi với mong muốn giúp cho các học sinh và bậc phụ

huynh có được những thông tin cần thiết, đầy đủ và giúp họ trả lời cho câu hỏi “với khả năng của tôi như vậy, tôi thi vào trường A, ngành B thì có được không? Và liệu quyết định đó có mạo hiểm không?” và giúp nâng cao chất lượng thi tuyển sinh của

đất nước

Hệ thống tư vấn chọn ngành thi và trường thi được xây dựng nhằm tin họchoá việc tư vấn hướng nghiệp cho học sinh Hệ thống giúp cho học sinh và bậc phụhuynh có được những thông tin tư vấn mà họ cần trước khi bước vào ngưỡng cửađại học

* Hệ thống hoạt động như sau:

Hệ thống cho phép học sinh hoặc các bậc phụ huynh nhập những thông tin cánhân cần thiết mà hệ thống cần để tư vấn như học lực, ngành thi , trường thi, địa chỉnơi học, địa chỉ thường trú (hoặc là đối tượng ưu tiên) vào Từ những thông tin nhưvậy thì hệ thống sẽ trả về cho học sinh những tư vấn cần thiết, các thông tin đó lànhững thông tin có tính chính xác cao và phù hợp

I.2 MÔ TẢ HỆ THỐNG TƯ VẤN

* Hệ thống được mô hình trong hình 1.1:

Hình 1.1- Mô hình hệ thống tư vấn chọn ngành thi và trường thi

* Mô tả hệ thống:

Giả sử từ những cơ sở dữ liệu khác nhau tồn tại trong một khoảng thời giandài, tức là dữ liệu của các cơ sở dữ liệu này là rất lớn nó được thu nhập từ các hoạtđộng hàng ngày cụ thể ở đây là học bạ học sinh, hồ sơ đăng ký tuyển sinh, kết quảtuyển sinh Các cơ sở dữ liệu này đều liên quan đến những thông tin về học sinhnhư tên, tuổi, nơi ở, quá trình học tập ở trường phổ thông, các thông tin liên quanđến chính sách như con thương binh liệt sĩ, người dân tộc hẻo lánh, điểm học tậpcủa học sinh trong 3 năm học phổ thông, các nguyện vọng của học sinh khi đăng kývào các trường đại học, cao đẳng, kết quả tuyển sinh của các môn thi vào các trườngđại học …Vậy làm sao mà ta có thể đưa ra được kết quả tư vấn dựa vào các thôngtin trên?

Đầu tiên hệ thống sẽ dựa vào các cơ sở dữ liệu nguồn ngoài để tích hợp lênthành một kho dữ liệu gồm có các chiều là 1) chiều thời gian cụ thể ở đây là nămtuyển sinh, 2) chiều địa lý ở đây là nơi mà thí sinh ở, 3) chiều ngành, trường mà thísinh đăng ký dự thi vào và có các dữ kiện như học lực của 3 môn thi, điểm cộngcủa từng đối tượng thí sinh, số lượng thí sinh thi vào, số lượng thí sinh đậu trong sốlượng thí sinh thi vào Dữ liệu được tính hợp lên kho dữ liệu này là những dữ liệutồn tại trong thời gian dài đã được tinh lọc, mang tính tổng hợp, nhất quán…

Nhưng từ kho dữ liệu cũng chưa đưa ra được kết quả tư vấn, để có được cáckết quả cho công việc thì cần phải có một công cụ khai phá trên dữ liệu đó Khaiphá dữ liệu là nhằm trích rút từ kho dữ liệu ra những thông tin tiềm ẩn cần thiết cóích, có giá trị, hợp thức và có thể hiểu được bị che dấu trong kho dữ liệu của hệthống tư vấn chọn ngành thi và trường thi Kết quả của quá trình khai phá này thểhiện dưới dạng các luật liên kết, từ đó xây dựng nên các mẫu thử khai phá dữ liệubằng các phương pháp, các thuật toán thích hợp (như phương pháp cây quyết định,phương pháp luật kết hợp, phương pháp phân cụm, ) để tìm ra các tương tác, cácquan hệ có tầm quan trọng, hữu ích trong kho dữ liệu.Và các tương tác tìm ra đượcdưới dạng luật đó sẽ là các căn cứ để tư vấn trong hệ thống này Khi một học sinhnhập thông tin cá nhân của mình vào hệ thống, các mẫu thử này sẽ giúp cho họcsinh dể dàng đối chiếu với khả năng, sở thích và nguyện vọng của mình và sẽ trả lờiđược những điều mà học sinh cần hỏi hay nói cách khác là sẽ đưa ra thông tin tưvấn cho học sinh dựa trên việc đối chiếu các thông tin học sinh đưa vào với các mẫu

dự đoán được bằng phương pháp khai phá dữ liệu Từ những thông tin tư vấn nhưvậy thì học sinh sẽ có được quyết định phù hợp nhất cho hướng đi nghề nghiệp củabản thân

Nhưng làm sao để cho hệ thống chạy được theo mô hình trên khi mà dữ liệumang tính chất lịch sử là chưa có?

Ở hệ thống này chúng tôi hoàn toàn mô phỏng cả việc tạo ra các cơ sở dữliệu nguồn ngoài là học bạ học sinh, hồ sơ đăng ký tuyển sinh, kết quả tuyển sinh và

mô phỏng cả kho dữ liệu tức là dữ liệu đã được tích hợp từ các cở sở dữ liệu nguồnngoài trên để có thể kiểm nghiệm tính đúng đắn của việc tư vấn và đảm bảo rằngkhi có một cơ sở dữ liệu thật như thế thì ta có thể xây dựng nên một hệ thống tư vấnhoàn toàn đúng đắn như chúng tôi đã nghiên cứu trên các cơ sở dữ liệu mà chúngtôi mô phỏng

Để có được những cơ sở dữ liệu mà dữ liệu của nó là mang tính lịch sử làmột điều rất khó và nếu đã có những cơ sở dữ liệu như thế thì cũng chẳng có tổchức, cơ quan nào cho cả vì nó liên quan đến quyền lợi của họ và nhiều đối tượngkhác nhau trừ khi có một tổ chức nào đó xây dựng nên hệ thống thực sự nhưngtrước khi đưa sang sử dụng nguồn cơ sở dữ liệu thật thì cũng cần phải có một cơ sở

dữ liệu mô phỏng tương tự cơ sở dữ liệu thật để thử nghiệm tính đúng đắn của nó

Chính từ những yêu cầu trên mà chúng tôi cần phải xây dựng nên một công

cụ mà có thể sinh ra dữ liệu để mô phỏng Công cụ của chúng tôi sẽ sinh dữ liệu môphỏng cho học bạ học sinh, hồ sơ đăng ký tuyển sinh, kết quả tuyển sinh, đó lànhững cơ sở dữ liệu nguồn ngoài của hệ thống và sinh luôn dữ liệu cho kho dữ liệutức là dữ liệu đã được tính hợp từ các cơ sở dữ liệu trên dựa trên các luật mà chúngtôi đã tính toán trước

Với hệ thống này chúng tôi mong muốn là khi đã có những cơ sở dữ liệu nhưtrên liên quan đến từng nghành nghề khác nhau thì chúng ta cũng có thể áp dụngtheo khung hệ thống này để có thể tìm ra được những thông tin có giá trị cao liênquan đến ngành nghề của mình…

CHƯƠNG II: LÝ THUYẾT VỀ TẠO DỮ LIỆU MẪU

II.1 Một số khái niệm cơ bản về xác suất có liên quan đến tạo dữ liệu mẫu II.1.1 Định nghĩa xác suất

Định nghĩa: Xác suất xuất hiện biến cố A trong một phép thử là tỷ số giữa số kết cục thuận lợi cho A và tổng số các kết cục duy nhất đồng khả năng có thể xảy ra khi thực hiện phép thử đó.

Nếu ký hiệu P(A) là xác suất của biến cố A, m là số kết cục thuận lợi cho biến

cố A, n là số kết cục duy nhất đồng khả năng của phép thử Khi đó xác suất của biến

cố A được xác định bằng:

 n

mA

Xác suất của một biến cố bất kỳ luôn thoả mãn điều kiện: 0  P(A) 1

II.1.2 Biến ngẫu nhiên và quy luật phân phối đều của xác suất

II.1.2.1 Định nghĩa và phân loại biến ngẫu nhiên

II.1.2.1.1 Định nghĩa

Hàm X xác định trên không gian biến cố sơ cấp  và lấy giá trị trong khônggian R (R là tập số thực) được gọi là biến ngẫu nhiên nếu với bất kỳ x  R tập {:

X() < x} là biến cố ngẫu nhiên.

Ta thường ký hiệu biến ngẫu nhiên bằng chữ hoa X, Y, Giá trị của nóthường ký hiệu bằng chữ thường x, y,

Các ví dụ về biến ngẫu nhiên:

- X là số con trai trong một lần sinh X là biến ngẫu nhiên Giá trị mà nó có thểnhận là 0 và 1

- X là số viên đạn trúng đích khi bắn n viên đạn độc lập vào một mục tiêu Giátrị mà nó có thể nhận là 0, 1, , n

- X chỉ số sản phẩm tốt trong 10 sản phẩm chọn ra một cách ngẫu nhiên từ một

lô sản phẩm có 100 sản phẩm tốt và 50 sản phẩm xấu X cũng là biến ngẫu nhiên.Giá trị mà nó có thể nhận là 0, 1, , 10

- X chỉ số chấm ở mặt trên của con xúc xắc khi gieo một lần một con xúc xắccần đối và đồng chất X là biến ngẫu nhiên Giá trị mà nó có thể nhận là 1, 2, , 6.

- X chỉ độ cao của một cây tại một thời điểm t nào đó cũng là biến ngẫu nhiên

II.1.2.1.2 Phân loại biến ngẫu nhiên

Ta quan tâm đến hai loại biến ngẫu nhiên: biến ngẫu nhiên rời rạc và biếnngẫu nhiên liên tục

Biến ngẫu nhiên rời rạc là biến ngẫu nhiên mà giá trị có thể nhận của nó là

một tập hữu hạn hay đếm được

Biến ngẫu nhiên liên tục là biến ngẫu nhiên mà giá trị có thể nhận của nó là tất

cả các điểm trong khoảng (a, b) nào đó; a có thể là âm vô cùng và b có thể là dương

Người ta thường sử dụng ba phương pháp để mô tả quy luật phân phối xác

suất của biến ngẫu nhiên là: Bảng phân phối xác suất, hàm phân phối xác suất và hàm mật độ xác suất.

II.1.2.2.2 Bảng phân phối xác suất

Bảng phân phối xác suất chỉ dùng để mô tả quy luật phân phối xác suất củacác biến ngẫu nhiên rời rạc

Giả sử biến ngẫu nhiên rời rạc X có thể nhận một trong các giá trị có thể có là

x1, x2, , xn với các xác suất tương ứng là p1, p2, , pn Bảng phân phối xác suất củabiến ngẫu nhiên rời rạc X được trình bày trong bảng 2.1

Bảng 2.1- Bảng phân phối xác suất

Để tạo nên một quy luật phân phối xác suất thì các xác suất pi phải thoả mãn

p0

n 1 i i i

II.1.2.2.3 Hàm phân phối xác suất

Bảng phân phối xác suất có một hạn chế là chưa đủ tổng quát để đặc trưng chomột biến ngẫu nhiên tuỳ ý, nhất là trường hợp biến liên tục Vì vậy ta có khái niệm

về hàm phân phối xác suất

II.1.2.2.3.1 Định nghĩa

Hàm phân bối xác suất của biến ngẫu nhiên X, ký hiệu F(x), là xác suất đểbiến ngẫu nhiên X nhận giá trị nhỏ hơn x, với x là một số thực bất kỳ

F(x) = P(X < x)Đây là công thức tổng quát của hàm phân bố xác suất

Nếu X là biến ngẫu nhiên rời rạc thì hàm phân bố xác suất được xác định như





x x i

i

Px

F

II.1.2.2.3.2 Tính chất

Hàm phân bố xác suất luôn nhận giá trị trong đoạn [0; 1]

 x 1F

Hàm mật độ xác suất của biến ngẫu nhiên liên tục X (ký hiệu là f(x)) là đạo

hàm bậc nhất của hàm phân bố xác suất của biến ngẫu nhiên đó

 x F x

Chú ý: Khái niệm hàm mật độ xác suất chỉ áp dụng được đối với các biến ngẫu

nhiên liên tục mà không áp dụng được đối với biến ngẫu nhiên rời rạc vì muốn F'(x)tồn tại thì tối thiểu F(x) phải liên tục

II.1.2.2.4.2 Các tính chất của hàm mật độ xác suất

Hàm mật độ xác suất luôn không âm

f(x)  0 xXác suất để biến ngẫu nhiên liên tục X nhận giá trị trong khoảng (a; b) bằngtích phân xác định của hàm mật độ xác suất trong khoảng đó

      

b a

dxxfbXaP

Hàm phân bố xác suất F(x) của biến ngẫu nhiên liên tục X bằng tích phân suyrộng của hàm mật độ xác suất trong khoảng (-; x)

Tích phân suy rộng trong khoảng (-; +) của hàm mật độ xác suất bằng 1

II.1.2.2.5 Quy luật phân phối đều

Phân phối đều là quy luật xác suất đơn giản nhất trong các quy luật phân phốixác suất của biến ngẫu nhiên liên tục

II.1.2.2.5.1 Phân phối đều rời rạc

Biến ngẫu nhiên X được gọi là tuân theo quy luật phân phối đều rời rạc vớitham số n, nếu X có bảng phân phối xác suất được trình bày trong bảng 2.2

Bảng 2.2- Bảng phân phối xác suất theo quy luật phân phối đều rời rạc

Phân phối xác suất của biến ngẫu nhiên rời rạc được gọi là phân phối rời rạc.

II.1.2.2.5.2 Phân phối đều liên tục

Biến ngẫu nhiên liên tục X được gọi là phân phối theo quy luật đều trongkhoảng (a; b) nếu hàm mật độ xác suất của nó có dạng:

b

;axab

1x

f

II.2 Số ngẫu nhiên, giả ngẫu nhiên và phương pháp sinh số ngẫu nhiên trên máy tính

II.2 1 Số ngẫu nhiên

Khi ta nói về một số ngẫu nhiên, nghĩa là ta không chú ý số đó là số mấy, sốnào cũng được Tuy nhiên, các số ngẫu nhiên luôn được lấy trên một phạm vi nào

đó Chẳng hạn số thực ngẫu nhiên trong nửa khoảng [0;1) hoặc số tự nhiên ngẫunhiên nhỏ hơn 1000 Trong ngôn ngữ thường ngày, ta thường hiểu số ngẫu nhiênvới ý nghĩa khả năng xuất hiện như nhau của mỗi số trong phạm vi nào đó khi đưa

ra số ngẫu nhiên

II.2 2 Sinh số ngẫu nhiên trên máy tính - số giả ngẫu nhiên

Thực ra, không có cách nào để tạo ra các số ngẫu nhiên thực sự từ một máy vitính Khi viết một chương trình tạo số ngẫu nhiên trên máy tính, chắc chắn các số

đó tạo ra theo một quy tắc nào đó Tuy nhiên, vấn đề không phải là chúng được tạo

ra theo quy tắc nào, mà là chúng có tuân theo một phân bố ngẫu nhiên nào đókhông Nếu giả thiết một dãy số tuân theo một phân phối ngẫu nhiên nào đó đượcchấp nhận chúng ta sẽ xem chúng là các số giả ngẫu nhiên Mặc dù vậy, để ngắngọn chúng ta vẫn gọi những số giả ngẫu nhiên sinh ra trên máy tính là các số ngẫunhiên

Trong mỗi ngôn ngữ lập trình quen thuộc như Pascal, C, Visual Basic, C#…

đều có một hàm sinh các số ngẫu nhiên có phân phối đều Ví dụ như trong Pascal,

hàm Random sinh ra một biến ngẫu nhiên liên tục có khoảng phân phối đều trên khoảng [0; 1), hàm Random(n) sinh ra một biến ngẫu nhiên rời rạc nhận các giá từ

1 đến n Hay như trong C, hàm random(n) cũng sinh ra một biến ngẫu nhiên rời rạc

nhận các giá từ 1 đến n Vậy các số ngẫu nhiên tuân theo phân phối đều được sinh

ra như thế nào? Trong luận văn này, em giới thiệu ở đây 1 trong số các phương

pháp sinh số ngẫu nhiên trong máy tính Đó là phương pháp đồng dư tuyến tính.

Phương pháp đồng dư tuyến tính

Là phương pháp nổi tiếng nhất để tạo số ngẫu nhiên, được sử dụng gần nhưđộc chiếm kể từ khi D.Lehner đưa ra vào năm 1951 Phương pháp này tạo ra dãycác số tự nhiên ngẫu nhiên từ 0 đến (m-1) cho vào mảng a Thuật toán đơn giản nhưsau:

sau: Nên chọn giá trị m đủ lớn, nó có thể là giá trị tối đa của một word, nhưng

không cần phải hoàn toàn lớn như vậy nếu không tiện Thông thường, chọn m làmột luỹ thừa của 10 hay 2 là thuận lợi Tiếp theo nên chọn b có ít hơn m một chữ

số, b là một hằng số tuỳ ý nên kết thúc bởi x21, với x là chữ số chẵn Nếu lựa chọnkhông đúng thì khả năng nghiêm trọng nhất là tạo ra một chu kỳ nhỏ so với miềnxác định của nó Ví dụ như với b = 19, m = 381, seed = 0 sẽ tạo ra chuỗi 0, 1, 20, 0,

1, 20, … một chuỗi không ngẫu nhiên trong khoảng từ 0 đến 380

II.3 Mô hình cho sự trình bày mô phỏng các thành phần

II.3.1 Động cơ thúc đẩy

Sự tăng độ phức tạp của hệ thống đã làm tăng giá trị của những mô phỏng.

Thông thường, mô phỏng là phương pháp luận khoa học duy nhất cho những ngườiđang thực hiện kỹ năng phân tích những hệ thống phức tạp Tuy nhiên, chỉ mộtphần nhỏ lợi nhuận thực tế của những mẫu mô phỏng đạt đến cộng đồng người sửdụng bởi vì những sự đòi hỏi khá cao về thời gian, sự nỗ lực, chi phí để xây dựng và

sử dụng thành công các mẫu mô phỏng

Thực tiễn sự mô phỏng hiện thời (1) là được cung cấp cho sự hỗ trợ ít tựđộng cho mẫu phân tích ban đầu, giải quyết vấn đề và những thao tác thiết kế cái

mà có chất lượng lớn trong tự nhiên (2) liên quan đến sự sử dụng không hữu íchcủa thời gian từ cả phía chuyên gia trong lĩnh vực và cả các nhà phân tích mô phỏngtrong những nhiệm vụ thông thường và (3) trải qua thiếu hụt sự chấp nhận phổ biếnbởi người đưa ra quyết định vì một số các nhân tố bao gồm a) Sự sai khác ngữnghĩa giữa mô tả hệ thống mang tính bản chất của người quyết định và các mẫu trừutượng được tạo ra bởi người làm mẫu mô phỏng, b) khoảng thời gian ban đầu khádài và sự nỗ lực truyền thông đã đòi hỏi phải tạo ra các mẫu mô phỏng và c) sự đàotạo và kỹ năng mở rộng đòi hỏi sự thiết kế và sử dụng hiệu quả của kỹ thuật tạohình mẫu mô phỏng

Những tiến bộ gần đây trong lĩnh vực tạo mẫu mô phỏng đã tập trung cảithiện ngôn ngữ mô phỏng Những tiến bộ này đã chấm dứt sự sai khác nghĩa giữathiết kế mẫu mô phỏng và những chương trình mô phỏng thực thi tương ứng Chúngmiêu tả những tiến bộ quan trọng trong việc cải thiện hiệu quả của các vật môphỏng, nhưng giúp rất ít cho những ai không được đào tạo về mô phỏng

Mức vùng chỉ dẫn tới một tập hợp của sự am hiểu cấu trúc mà tóm lược

thông tin về lĩnh vực vấn đề rắc rối mà được nhắm tới bởi những mẫu mô phỏng và

kết quả phân tích Chúng ta thừa nhận rằng những thông tin này có sẵn trong nhữngdạng có cấu trúc và có thể sử dụng lại được.

Mức thiết kế chỉ dẫn cho chúng ta những mẫu mà chỉ rõ sự hoạt động của các

giai đoạn khác nhau của mẫu mô phỏng và kết quả phân tích Đặc biệt, những mẫunày cung cấp những đặc tả cho những bản phân tích mô phỏng đưa vào, việc thựcthi những mẫu mô phỏng, những chi tiết của những thí nghiệm mô phỏng, sự tiếnhành nghiên cứu mô phỏng, và cả chi tiết tối ưu

Mức thực thi và thiết kế cung cấp khối dữ liệu và thông tin cái mà được sinh

ra bởi sự thực thi của sự mô phỏng, phân tích, sự tối ưu Những thông tin này đượctạo ra bởi các máy mô phỏng, các công cụ phân tích thí nghiệm, những công cụ đưa

ra kết quả phân tích và những công cụ tìm kiếm tối ưu

Sự chia ra các mức cho phép nhiều dạng khác nhau của việc sử dụng lại vàcung cấp những sườn dựa trên khái niệm cho những mô phỏng thành phần cơ sở.Duy trì những mẫu mô phỏng trong một lĩnh vực để dùng lại trong nhiều lĩnh vựckhác (như sản xuất, logic học, thương mại, quân sự ) Duy trì những đặc điểm củamẫu mô phỏng cho phép sử dụng lại nhiều thể hiện mô phỏng, và các công cụ phântích (ví dụ như: những công cụ và những thành phần bán hàng tự động khác nhau

và những thành tố khác nhau có thể được sử dụng cho những chức năng mô phỏngkhác nhau (phân tích dữ liệu đưa vào, thể hiện mô phỏng, phân tích thí nghiệm ).Dạng thứ hai của việc sử dụng lại cho phép kết thúc những người sử dụng đểchuyển sang công cụ mô phỏng nhiều thành tố cho những chức năng khác nhautrong chu kì mô phỏng (đó là sử dụng những công cụ và những tiện ích đa môphỏng)

Hình 2.1: Mô hình cho sự trình bày mô phỏng các thành phần

II.4 Những yêu cầu của quy trình tạo dữ liệu mẫu

Phụ thuộc vào mục đích hay ý định, những người tiêu dùng dữ liệu mẫu cóthể chỉ rõ dữ liệu mẫu riêng lẻ cho những ứng dụng của họ Hơn nữa họ có thể cómột giao diện mở với một công cụ sinh để điều khiển dễ dàng quy trình sinh Choviệc sinh của dữ liệu mẫu cho kho dữ liệu và hệ thống OLAP, nó có một số yêu cầunhư sau:

II.4.1 Sự chia cắt của việc thiết kế và sản xuất dữ liệu mẫu

Tạo dữ liệu mẫu là một quy trình lặp lại mà bắt đầu với mô hình của dữ liệumẫu được yêu cầu và kết thúc với việc sản xuất tự động của dữ liệu này Một sựphục vụ tạo dữ liệu mẫu có thể thiết kế và sản xuất riêng lẻ của dữ liệu, cho phép

một sự khác biệt sáng sủa ở giữa mô hình Build- time và Run- time.

II.4.2 Đầy đủ tính linh động trong việc thiết kế dữ liệu mẫu

Dữ liệu mẫu là được mô tả bằng những cấu trúc dữ liệu của nó và những giátrị dữ liệu Việc thiết kế mẫu dữ liệu có thể linh động trong việc hạn chế nội dung

và thay đổi cấu trúc của dữ liệu mẫu Cấu trúc dữ liệu của dữ liệu mẫu cho kho dữliệu hoặc những hệ thống OLAP khác nhau có thể là rất khác nhau Để tạo mẫu dữliệu mà có thể dùng được trong những hệ thống khác nhau, quy trình tạo cho phéphạn chế nội dung và thay đổi cấu trúc của dữ liệu mẫu đã mong muốn

II.4.3 Những sự đúng đắn được trình bày bằng thống kê

Thông tin thống kê về dữ liệu thế gới thực có thể được áp dụng để tạo những

số lượng lớn hơn, mà có thể được sử dụng cho sự phân tích những ứng dụng.Những sự đúng đắn được trình bày bằng thống kê cho phép chúng ta không chỉ ápdụng để tạo dữ liệu nhất quán rất lớn những cũng để tạo một khả năng xẩy ra của dữliệu thế gới thực từ điểm thống kê của bên ngoài

II.4.4 Tạo dữ liệu mẫu của thế gới thực

Dữ liệu mẫu thế gới thực có thể được được định nghĩa khác nhau, trước tiênphụ thuộc vào ngữ cảnh ứng dụng Diện mạo sau có thể được xem:

 Cho xem và duyệt qua dữ liệu, mẫu dữ liệu có thể dễ dàng để đọc và xemquen thuộc với người xem

 Cho những liên kết và những cấu trúc dữ liệu, sự phân phối của những giá trị

dữ liệu mẫu được tạo ra có thể làm hài lòng sự mong muốn của những ngườithiết dữ liệu mẫu

II.4.5 Tính nhất quán

Đối với việc tạo dữ liệu mẫu, trong một vài trường hợp, dữ liệu không nhấtquán có thể được dùng để kiểm tra tác động thứ yếu (side-effect) những hoạt độngcủa một hệ thống Tuy nhiên, trong một vài trường hợp khác, dữ liệu nhất quán làđược yêu cầu cho việc kiểm tra, chứng minh và đo lường một hệ thống Về việc đó,chúng tôi có ý định tạo một dữ liệu mẫu mà là nhất quán

II.4.6 Tính biến đổi được

Sự phục vụ sản sinh có thể có khả năng tạo dữ liệu trên một tỉ lệ lớn (Đặcbiệt là cho dữ liệu mẫu của những môi trường kho dữ liệu Nó là cần cho số lượnglớn khổng lồ của dữ liệu (Gigabytes và Terabytes) Về việc đó, một sự phục vụ tạo

dữ liệu mẫu có thể có khả năng điều khiển bằng tay giống như những số lượng của

dữ liệu và đánh giá một cách lạc quan sự thực thi cho việc sản xuất dữ liệu mẫu

II.4.7 Hỗ trợ tạo dữ liệu theo yêu cầu

Người tiêu dùng dữ liệu mẫu thường xem dữ liệu từ nhiều khung nhìn khácnhau Nó thường cần thiết để tuỳ biến dữ liệu mẫu theo những khung nhìn này bằng

những sự biến đổi dữ liệu biểu diễn trên dữ liệu mẫu được tạo ra một cách sáng tạo.

Dữ liệu mẫu trong định dạng XML là đặc biệt thích hợp cho dữ liệu biến đổi được

II.4.8 Hỗ trợ của bất kỳ định dạng dữ liệu

Nó có thể được thực hiện để tạo ra dữ liệu mẫu chung và chuyển nó vàotrong bất kỳ định dạng đích nào Những định dạng chuẩn, như XML, DDL, hoặcCSV có thể được hỗ trợ ngay lập tức Nhưng những người tiêu dùng dữ liệu mẫu cóthể cũng có khả năng để tạo dữ liệu mẫu riêng lẻ với những định dạng đúng đắn

II.4.9 Điều khiển của việc sản xuất dữ liệu mẫu

Tác nhân có thể điều khiển đầy đủ của quy trình tạo dữ liệu mẫu Tác nhân

có thể là những người sử dụng khác hay những ứng dụng mà có thể điều khiển tạo

dữ liệu mẫu bằng sự tương tác giống như đang thực thi, đang huy bỏ hoặc điềuchỉnh việc tạo dữ liệu mẫu Đặc biệt là trong suốt sự sản xuất dữ liệu mẫu, tác nhânthường cần những máy móc để 1) cho phép những sự tuỳ biến xa hơn nữa để thíchnghi dữ liệu mẫu tới những ứng dụng của họ, và 2) chắc chắn rằng dữ liệu mẫuđược sản xuất là tương ứng với những yêu cầu của họ

II.4.10 Sự an toàn/Quyền hạn

Việc sản xuất dữ liệu mẫu có thể là một trò tiêu khiển thực sự và sự phục vụcần nhiều thời gian Về việc đó, sự phục vụ có thể cho phép chỉ một cách sử dụngbởi những người tiêu dùng dữ liệu mẫu để ngăn ngừa lượng quá tái, ngăn chặn sửdụng của dịch vụ hoặc sự phủ nhận của những sự tấn công dịch

II.4.11 Tính trong suốt cục bộ/Từ xa

Một sự phục vụ tạo dữ liệu mẫu có thể có khả năng chạy giống như một ứngdụng độc lập hoặc được phân bổ theo một kiểu nào đó trên một vài máy chủ Khi sốlượng rất lớn của dữ liệu mẫu có thể đã được tạo, nó là cần thiết để thực thi sản xuất

dữ liệu mẫu trên một hoặc nhiều máy chủ.Với điều kiện là gán lại hợp lý cái mà sẽkết nối tới những sự phục vụ được phân bổ theo một kiểu nào đó

II.4.12 Sự độc lập nền

Một dịch vụ tạo dữ liệu mẫu có thể có khả năng để chạy trên bất kỳ các nền

và bất kỳ các hệ điều hành Những người tiêu dùng dữ liệu mẫu có thể có khả năng

sử dụng dịch vụ qua những trình duyệt WWW mà không “kiêu ngạo” bất kỳ cấu

hình đặc biệt nào Bởi vậy, những ngôn ngữ độc lập nền giống như JAVA là có lợicho sự thi hành của dịch vụ.

II.5 Quy trình tạo dữ liệu mẫu

Tạo dữ liệu mẫu là một quy trình lặp, mà bắt đầu với mô hình của dữ liệumẫu được yêu cầu, và kết thúc với việc tạo tự động của dữ liệu này Trong suốt quytrình này có nhiều phép lặp có thể được thực hiện mà được dựa trên những kết quảcủa việc tạo dữ liệu mẫu Nếu dữ liệu được đưa ra là không làm thoả mãn, xẫy ranhững lỗi trong suốt quá trình tạo dữ liệu mẫu, thiết kế của mẫu dữ liệu có thể bịthay đổi hoặc sửa đổi để đạt được kết quả tốt hơn Một tác nhân có thể lặp lại việctạo của mẫu dữ liệu cho đến khi nhận được kết quả mong chờ Tiếu biểu, trong suốtquá trình lặp đầu tiên người sử dụng tạo những lượng nhỏ hơn của dữ liệu mẫu, vàbảo đảm sau tất cả những yêu cầu là được đáp ứng hợp lý Người sử dụng có thể bắtđầu với việc sản xuất những số luợng dữ liệu lớn hơn khác Quy trình trên có thểđược thấy qua hình 2.2 Một quá trình tạo dữ liệu mẫu có thể được mô tả bằng 3vùng có thể làm việc:

 Những chức năng Build- time có liên quan với nội dung của từ hay ngữ, và có

thể làm mô hình của những yêu cầu và những sự xác định của dữ liệu mẫu

 Những chức năng Run- time có liên quan với việc thực hiện sản xuất dữ liệu mẫu.

 Những sự tương tác Run- time với những người sử dụng và những ứng dụng

cho việc điều khiển tạo dữ liệu mẫu

Những chức năng Build- time: Được sử dụng để xây dựng tất cả những định

nghĩa cần dùng cho dữ liệu mẫu mong muốn Những định nghĩa này bao trùm đầy

đủ những chỉ dẫn của dữ liệu mẫu để xây dựng cho kho dữ liệu

Những chức năng Run- time: Ở trạng thái Run- time dữ liệu của kho với dữ liệu

được định nghĩa là được sử dụng để tạo dữ liệu mẫu mong muốn Những chức năng

Run- time cung cấp những chức năng để sản xuất dữ liệu mẫu mà phù hợp với

những sự định nghĩa của họ Họ kiểm tra tính vững chắc của những định nghĩa mẫu

dữ liệu và đảm bảo rằng tất cả những sự ràng buộc là được toại nguyện

Những chức năng tương tác Run- time: Hàng động giống như những liên kết ở giữa những chức năng Run- time và những tác nhân, mà quản lý phục vụ tạo dữ liệu

mẫu từ bên ngoài Những tác nhân có thể là những người sử dụng khác hoặc nhữngứng dụng mà có thể điều khiển việc tạo dữ liệu mẫu bằng những sự ảnh hưởng lẫnnhau như thực hiện, xoá bỏ hoặc được điều chỉnh tạo dữ liệu mẫu Tương tác với sựphục vụ việc tạo dữ liệu mẫu là cần thiết để bắt đầu quy trình tạo, để xem xét nhữngngoại lệ trong suốt quá trình sản xuất dữ liệu mẫu hoặc để dùng quy trình tạo

Hình 2.2: Quy trình tạo dữ liệu mẫu

II.6 Một số khái niệm cơ bản về kho dữ liệu liên quan tới chương trình

II.6.1 Khái niệm và mục đích của kho dữ liệu

Kho dữ liệu (Data Warehous -DW) là tuyển tập các CSDL tích hợp, hướng chủ đề, được thiết kế để hỗ trợ cho chức năng trợ giúp quyết định, mà mỗi đơn vị

dữ liệu đều liên quan tới một khoảng thời gian cụ thể.

Nói cách khác, kho dữ liệu là một tập hợp các CSDL rất lớn tới hàng trăm

GB hay thậm chí hàng Tera byte dữ liệu từ nhiều phân hệ của hệ thống, lưu trữ vàphân tích phục vụ cho việc cung cấp các dịch vụ thông tin liên quan tới nghiệp vụmột tổ chức, cơ quan hay xí nghiệp

Mục đích của kho dữ liệu:

 Đáp ứng mọi yêu cầu về thông tin của người sử dụng

 Hỗ trợ để các nhân viên của các tổ chức thực hiện tốt công việc của mình,như có những quyết định hợp lý, nhanh và bán được nhiều hàng hơn, năngsản cao hơn, thu được lợi nhuận cao hơn, v.v

 Giúp cho tổ chức, xác định, quản lý và điều hành các dự án, các nghiệp vụmột cách hiệu quả và chính xác

 Tích hợp dữ liệu và các siêu dữ liệu từ nhiều nguồn khác nhau

II.6.2 Một số đặc tính dữ liệu trong kho dữ liệu

Tính tích hợp thể hiện ở chỗ: Dữ liệu tập hợp trong kho dữ liệu được thu

thập từ nhiều nguồn và trộn ghép với nhau tạo thành một thể thống nhất

II.6.2.2 Dữ liệu theo thời gian và có tính lịch sử

Một kho chứa dữ liệu bao hàm một khối lượng lớn dữ liệu lịch sử Dữ liệuđược lưu trữ thành một loạt các ảnh chụp dữ liệu, mỗi bản ghi phản ánh những giátrị của dữ liệu tại một thời điểm nhất định thể hiện một khung nhìn của một chủđiểm trong một giai đoạn Do vậy cho phép khôi phục lại lịch sử và so sánh mộtcách chính xác các giai đoạn khác nhau Yếu tố thời gian đóng vai trò như mộtphần của khoá để bảo đảm tính đơn nhất của mỗi hàng và cung cấp đặc trưng vềthời gian cho dữ liệu

II.6.2.3 Hướng chủ đề

Dữ liệu trong kho dữ liệu được tổ chức theo các chủ đề để phục vụ chonhững tổ chức có thể dễ dàng xác định được những thông tin cần thiết trong từnghoạt động của mình

II.6.2.4 Dữ liệu có tính bền vững

Dữ liệu trong kho dữ liệu là dữ liệu chỉ đọc và chỉ có thể được kiểm tra,không được sửa đổi bởi người sử dụng đầu cuối

II.6.3 Mô hình dữ liệu đa chiều

Trong suốt thấp kỷ qua, mô hình dữ liệu đa chiều đã nẩy ra cho người sửdụng khi mục tiêu là phân tích dữ liệu, đúng hơn là để thực hiện những công việckinh doang trực tuyến Khoa học cơ sở dữ liệu đa chiều là một nhân tố chính trong

sự phân tích tương tác của một lượng lớn dữ liệu cho sự quết định những yếu tốthành công

Những mô hình dữ liệu đa chiều phân loại dữ liệu giống như những sự kiện kết hợp với những số đo hoặc những chiều có liên quan mà mô tả những sự kiện Ví

dụ, trong những trường hợp của việc buôn bán lẻ, bán hàng có thể là một sự kiện,

số và giá lợi nhuận là những số đo, kiểu của sản phẩm được mua và thời gian thu hoạch hàng năm và vị trí có thể là những chiều Vậy chiều, sự kiện và số đo là gì?

Ta có thể hiểu nó qua các khái niệm được trình bày sau:

II.6.3.1 Khái niệm về chiều

Chiều là một yếu tố cần thiết và đặc trưng trong những cơ sở dữ liệu đachiều Một mục tiêu quan trọng của mô hình đa chiều là sử dụng những chiều đểcung cấp nhiều ngữ cảnh hợp lý cho những sự kiện (Fact) Trong sự tương phảnhướng tới những cơ sở dữ liệu quan hệ, điều chỉnh tình trạng dư thừa là thôngthường được xem như thích hợp bởi hầu hết mọi người trong những cơ sở dữ liệu

đa chiều nếu nó tăng giá trị thông tin của dữ liệu Bởi vì khối dữ liệu đa chiều làthuờng nhận được từ những nguồn khác nhau

Ta có thể hình dung về chiều qua mô hình được thể hiện trong hình 2.3