Bài giảng Quy hoạch thực nghiệm – Chương 2: Khái niệm thống kê (tt)

Bài giảng “Quy hoạch thực nghiệm – Chương 2: Khái niệm thống kê” phần tiếp theo cung cấp cho người học các kiến thức về giá trị trung bình và biến lượng, khoảng tin cậy và mức ý nghĩa, kiểm nghiệm giả thuyết, loại bỏ dữ liệu sai. Mời các bạn cùng tham khảo.

2.2 Kỳ vọng và biến lượng

Giá trị kỳ vọng 

• Đối với biến rời rạc

• Đối với biến liên tục

f(x) là hàm mật độ xác xuất

Biến lượng  2

• Đối với biến rời rạc

• Đối với biến liên tục

Một không gian mẫu được mô tả bởi 2 đại

Tính chất của giá trị kỳ vọng

• Với biến không ngẫu nhiên E{c}= c

• Biến không ngẫu nhiên có thể đặt ngoài dấu kỳ vọng

Tính chất của biến lượng

• Với biến không ngẫu nhiên Var{c} = 0

• Biến không ngẫu nhiên có thể dặt ngoài ký hiệu Var

• Tính cộng

Var{X1+X2+…+Xn} = Var{X1} + Var{X2}+ …+ Var{Xn}

Đối với một mẫu khảo sát nằm trong không gian mẫu

• Ước lượng giá trị trung bình hay giá trị trung bình của mẩu, biểu thị độ đúng của phép đo

=  xi/n

• Ước lượng biến lượng hay biến lượng mẫu, s 2 biểu thị

độ chính xác của phép đo

s 2 = (xi - )2 /(n-1) Biến lượng mẫu còn được gọi là bình phương trung bình sai số (error mean square)

• Các hàm trong Excel: AVERAGE (number1,[number2], );

VAR (number1,[number2], )

x x

x

2.3 Hệ số tin cậy và mức ý nghĩa

• Hệ số tin cậy là xác xuất để khoảng tin cậy chứa giá trị thực của một thông số của không gian

mẫu Hệ số tin cậy còn được gọi là mức tin cậy

• Mức ý nghĩa,  được dùng trong kiểm định giả

thuyết, là xác xuất mà ta loại bỏ một giả thuyết đúng hay phần trăm rủi ro khi ta loại bỏ giả

thuyết khi giả thuyết đó đúng Giá trị  liên quan đến sai số loại I

• Đối với sai số loại II, người ta thường đánh giá

bằng giá trị  Tuy nhiên ý nghĩa của  không đơn

giản là xác xuất nhận kết quả sai như .

Các loại sai số:

Kết luận khi so sánh kết quả rút ra được từ không gian mẫu và kết quả rút ra được theo khảo sát sẽ có 4 trường hợp

H0 đúng H0 sai Loại H0

Giữ H0

Sai số loại I OK

OK Sai số loại II

H0 Đúng Sai

• Theo phân tích thống kê khi tiêu chí đánh giá nhỏ hơn 5% thì sẽ loại bỏ giả thuyết; đồng nghĩa với kết luận biến thuộc phân bố không gian khác

2.4 Kiểm nghiệm giả thiết

• Một giả thuyết thống kê là một phát biểu về phân

bố không gian mẫu của một biến ngẫu nhiên

• Kiểm nghiệm giả thuyết là một quá trình lấy

quyết định là giả thuyết có tương thích với dữ

liệu hay không bằng cách so sánh giả thuyết

(thường ký hiệu H0) với dữ liệu hay các đại lượng thống kê suy ra từ dữ liệu (giá trị trung bình, biến lượng hay hệ số hồi qui)

• Khi tiến hành kiểm nghiệm giả thuyết thì giả

thuyết kiểm nghiệm, H0 được đối sánh với giả

thuyết ngược lại H1

• Phương pháp bắt đầu cho rằng giả thuyết là đúng

• Mục tiêu là xác định có đủ chứng cớ để kết luận

là giả thuyết ngược, H1 lại là đúng, hoặc giả

thuyết ban đầu, H0 có lẽ sai

• Có 2 khả năng quyết định

– Có đủ chứng cớ khẳng định giả thuyết ngược H1 là

đúng: Loại bỏ giả thuyết ban đầu H0

– Không đủ chứng cớ khẳng định giả thuyết ngược H1 là đúng: không bỏ giả thuyết ban đầu H0

Các bước kiểm nghiệm giả thuyết

• Phát biểu giả thuyết

• Xác định các đại lượng thống kê sẽ đánh giá

• Xác định kích thước mẫu khảo sát

• Đặt tiêu chí loại bỏ giả thuyết

• Tính các đại lượng thống kê

• Đưa ra kết luận về giả thuyết ban đầu

• Phát biểu cả giả thuyết ban đầu lẫn giả thuyết ngược

• Tiêu chí loại bỏ giả thuyết: thường dùng mức ý nghĩa,

 dựa trên xác xuất gây ra sai số loại I Nhà nghiên cứu

sẽ xác định giá trị 

• Có nhiều kiểm nghiệm thống kê có thể sử dụng Việc chọn lựa phương pháp kiểm nghiệm dựa trên loại dữ liệu có được, giả thuyết được kiểm nghiệm, các đại

lượng thống kê quan tâm (giá trị trung bình, biến

lượng, mối quan hệ …), cách thu thập dữ liệu, giả

thuyết về không gian mẫu, và có biết được các đại

lượng thống kê của không gian mẫu hay không.

• Đối với bất kỳ kiểm nghiệm giả thuyết nào đều dựa trên tiêu chí đánh giá

Giá trị thống kê mẫu – Thông số không gian giả định Tiêu chí đánh giá =

Sai số chuẩn của phân bố thống kê

Hay

Khác biệt quan sát được Tiêu chí đánh giá =

Khác biệt kỳ vọng do ngẩu nhiên

• Loại bỏ giả thuyết nếu tiêu chí đánh giá rơi vào vùng phân bố mẫu xác định

Những lưu ý khi phân tích thống kê

• Sự khác biệt từ phân tích thống kê không cầnthiết mang ý nghĩa khác biệt thực tế

• Với mẫu lớn sự khác biệt rất nhỏ không quantrọng trong thực tế nhưng có thể là đáng kểkhi phân tích thống kê

• Với mẫu nhỏ sự khác biệt đáng kể trong thực

tế có thể không nhận thấy khi phân tích thốngkê

• Luôn luôn bắt đầu với những nhận xét từ thực

tế và củng cố bằng phân tích thống kê

Những quan điểm sai khi kiểm nghiệm giả thuyết

• Không loại bỏ giả thuyết nghĩa là chấp nhận giả thuyết (SAI! Không loại bỏ có nghĩa là không đủ chứng cớ để loại bỏ)

• Giá trị p là xác xuất để nói rằng giả thuyết sai (SAI! Giá trị p là xác xuất của dữ liệu hiện có hay là dữ liệu cực cùng giả sử là giả thuyết đúng)

• Giá trị p nhỏ chỉ rằng có hiệu ứng cao (SAI! Giá trị p không nói lên độ lớn của hiệu ứng)

• Các dữ liệu cho biết giả thuyết sai hay đúng (SAI! Các dữ liệu chỉ nhằm củng cố hay bác bỏ giả thuyết)

• Ý nghĩa thống kê ám chí mức độ quan trọng (HOÀN TOÀN SAI! Ý nghĩa thống kê cho biết rất ít về mức độ quan trọng của quan hệ)

2.5 Loại bỏ dữ liệu sai

• Trong quá trình thu thập dữ liệu, có những dữ liệu do bất cẩn khi thu thập không thể hiện đúng bản chất,

nằm xa giá trị kỳ vọng Các giá trị này được xem là giá trị sai(outlier) Do đó chúng ta phải kiểm tra để xác

định nên loại bỏ dữ liệu này hay không.

• Có nhiều phương pháp đánh giá để loại bỏ dữ liệu sai

– Loại bỏ các dữ liệu nằm ngoài khoảng   2 

– Loại bỏ dữ liệu nằm ngoài khoảng phân vị (quantile) Q2 và

Q3

– Dùng kiểm nghiệm Dixon

– Dùng kiểm nghiệm Grubbs

Kiểm nghiệm Dixon

• Còn gọi là kiểm nghiệm Q

• Dựa trên tỉ số các khoảng xác định của dữ liệu

• Tùy thuộc số dữ liệu dự đoán là dữ liệu sai sẽ sử dụng các tỉ lệ khác nhau

• Nhóm tỉ lệ thứ nhất, r10, dùng kiểm nghiệm khi dự

đoán dữ liệu lớn nhất hoặc nhỏ nhất là dữ liệu sai

• Nhóm tỉ lệ thứ hai, r11, dùng kiểm nghiệm khi dự đoán

dữ liệu lớn thứ hai hoặc nhỏ thứ hai là dữ liệu sai

• Nếu tỉ lệ tính được lớn hơn giá trị tương ứng ở bảng thì dữ liệu này sẽ bị loại bỏ

• Kiểm nghiệm dữ liệu lớn nhất

• Kiểm nghiệm dữ liệu nhỏ nhất

• Kiểm nghiệm dữ liệu lớn nhất bỏ qua dữ liệu nhỏnhất

• Kiểm nghiệm dữ liệu lớn nhất bỏ qua dữ liệu nhỏnhất

1 10

1

n

x x r

2

n

x x r

x  x







Giá trị kiểm nghiệm Dixon (=0.05)

Kiểm nghiệm Grubbs

• Kiểm nghiệm Grubbs rất hiệu quả khi loại bỏ từng dữ liệu trong phân bố bình thường

• Tính giá trị ESD (Extreme Studentized Deviate)

• So sánh giá trị tính và giá trị bảng Nếu giá trị tính lớn hơn giá trị bảng thì loại bỏ dữ liệu

Lập lại phép kiểm nghiệm với số liệu còn lai

i

x x ESD

s





Giá trị dùng cho kiểm nghiệm Grubbs