Kiểm định giả thuyết thống kê Hoàng Văn Hà Ngày tháng năm 2012 Bài toán kiểm định giả thuyết thống kê Bài toán kiểm định giả thuyết thống kê s Định nghĩa s Giả thuyết không đối thuyết s Cách đặt giả thuyết s Miền bác bỏ - Tiêu chuẩn kiểm định s Sai lầm loại I loại II s Bổ đề Neyman - Pearson s Kiểm định tỷ lệ hợp lý s p - giá trị Kiểm định giả thuyết thống kê Hoàng Văn Hà – Định nghĩa Định nghĩa Giả thuyết thống kê phát biểu tham số, quy luật phân phối, tính độc lập đại lượng ngẫu nhiên Việc tìm kết luận để bác bỏ hay chấp nhận giả thuyết gọi kiểm định giả thuyết thống kê Ví dụ Giám đốc nhà máy sản xuất bo mạch chủ máy vi tính tun bố tuổi thọ trung bình bo mạch chủ nhà máy sản xuất năm; giả thuyết kỳ vọng biến ngẫu nhiên X = tuổi thọ bo mạch chủ Để đưa kết luận chấp nhận hay bác bỏ giả thuyết trên, ta cần dựa vào mẫu điều tra quy tắc kiểm định thống kê Kiểm định giả thuyết thống kê Hoàng Văn Hà – Giả thuyết không đối thuyết Định nghĩa Trong toán kiểm định giả thuyết, giả thuyết cần kiểm định gọi Giả thuyết không (null hypothesis), ký hiệu H0 Mệnh đề đối lập với H0 gọi đối thuyết (alternative hypothesis), ký hiệu H1 Xét toán kiểm định tham số, giả sử ta quan trắc mẫu ngẫu nhiên (X1 , , Xn ) từ biến ngẫu nhiên X có hàm mật độ xác suất f (x; θ) phụ thuộc vào tham số θ Gọi Θ không gian tham số, Θ0 Θc hai tập c = Θ Giả thuyết (giả thuyết không) rời Θ cho Θ0 ∪ Θ0 đối thuyết tốn có dạng sau H0 : θ ∈ Θ0 H1 : θ ∈ Θc Kiểm định giả thuyết thống kê (1) Hoàng Văn Hà – Giả thuyết khơng đối thuyết Ví dụ Gọi µ độ thay đổi trung bình huyết áp bệnh nhân sau dùng thuốc; bác sĩ điều trị cần quan tâm đến giả thuyết sau H0 : µ = H1 : µ = Khơng có ảnh hưởng thuốc lên huyết áp bệnh nhân Có ảnh hưởng thuốc lên huyết áp bệnh nhân Một khách hàng quan tâm đến tỷ lệ sản phẩm chất lượng lô hàng mua nhà cung cấp Giả sử tỷ lệ sản phấm tối đa phép 5% Khách hàng cần quan tâm đến giả thuyết sau H0 : p ≥ 0.05 Tỷ lệ sản phẩm cao mức cho phép H1 : p < 0.05 Tỷ lệ sản phẩm mức chấp nhận Kiểm định giả thuyết thống kê Hoàng Văn Hà – Cách đặt giả thuyết Giả thuyết đặt với ý đồ bác bỏ nó, nghĩa lã giả thuyết đặt ngược lại với điều ta muốn chứng minh, muốn thuyết phục Giả thuyết đặt cho chấp nhận hay bác bỏ có tác dụng trả lời tốn thực tế đặt Giả thuyết đặt cho ta xác định quy luật phân phối xác suất đại lượng ngẫu nhiên chọn làm tiểu chuẩn kiểm định Khi đặt giả thuyết, ta thường so sánh chưa biết với biết Cái chưa biết điều mà ta cần kiểm định, kiểm tra, làm rõ "Cái biết" thông tin khứ, định mức kinh tế, kỹ thuật Giả thuyết đặt thường mang ý nghĩa: "không khác nhau" "khác ý nghĩa" "bằng nhau" Kiểm định giả thuyết thống kê Hoàng Văn Hà – Cách đặt giả thuyết Tổng quát, toán kiểm định giả thuyết cho tham số θ có dạng (θ0 giá trị kiểm định biết): Hai phía: H0 : θ = θ0 H1 : θ = θ0 Một phía bên trái: H0 : θ ≥ θ0 H1 : θ < θ0 Một phía bên phải: H0 : θ ≤ θ0 H1 : θ > θ0 Kiểm định giả thuyết thống kê Hoàng Văn Hà – Miền bác bỏ - Tiêu chuẩn kiểm định Định nghĩa Xét tốn kiểm định giả thuyết có giả thuyết H0 đối thuyết H1 Giả sử H0 đúng, từ mẫu ngẫu nhiên X = (X1 , , Xn ) chọn hàm Z = h(X1 , , Xn ; θ0 ) cho với số α > bé tùy ý ta tìm tập hợp Wα thỏa điều kiện P (Z ∈ Wα ) = α (2) c Tập hợp Wα gọi miền bác bỏ giả thuyết H0 phần bù Wα gọi miền chấp nhận giả thuyết H0 Đại lượng ngẫu nhiên Z = h(X1 , , Xn ; θ0 ) gọi tiêu chuẩn kiểm định giả thuyết H0 Giá trị α gọi mức ý nghĩa toán kiểm định Kiểm định giả thuyết thống kê Hoàng Văn Hà – Miền bác bỏ - Tiêu chuẩn kiểm định Thực quan trắc dựa mẫu ngẫu nhiên (X1 , , Xn ) ta thu mẫu thực nghiệm (x1 , , xn ) Từ mẫu thực nghiệm này, ta tính giá trị Z z = h(x1 , , xn ; θ0 ) s Nếu z ∈ Wα ta bác bỏ giả thuyết H0 s c Nếu z ∈ Wα ta kết luận chưa đủ sở để bác bỏ H0 Kiểm định giả thuyết thống kê Hoàng Văn Hà – 10 Kiểm định giả thuyết phân phối - Ví dụ Xác suất kết tính tần số lý thuyết cho bảng bên pi = P(X = xi ) p1 = p2 = p3 = p4 = e−1 10 0! e−1 11 1! −1 12 e 2! e−1 13 3! p5 = − Ei = npi = 0.368 29.44 = 0.368 29.44 = 0.184 14.72 = 0.061 4.88 i=1 pi = 0.019 1.52 Tính thống kê Q2 , Q = j=1 Kiểm định giả thuyết thống kê (Oj − Ej )2 (3 − 1.52)2 (34 − 29.44)2 + + = 4.67 = Ej 29.44 1.52 Hoàng Văn Hà – 91 Kiểm định giả thuyết phân phối - Ví dụ Bác bỏ H0 khi: Q2 ≥ χ2 α,K−r−1 = χ0.05,5−1−1 Tra bảng, ta có χ2 0.05,3 = 7.815 Do Q2 = 4.67 < 7.815 nên kết luận chưa đủ sở để bác bỏ H0 Vậy, số vụ tai nạn giao thông/ ngày Q.5 tuân theo luật phân phối Poisson Kiểm định giả thuyết thống kê Hoàng Văn Hà – 92 Kiểm định giả thuyết phân phối - Ví dụ Ví dụ 16 Điểm thi 200 sinh viên lớp học cho bảng bên Có ý kiến cho điểm thi sinh viên đại lượng ngẫu nhiên có phân phối chuẩn với điểm trung bình 75 độ lệch chuẩn Với α = 0.05, kiểm tra ý kiến Điểm thi Số sinh viên Kiểm định giả thuyết thống kê (0, 60] 12 (60, 70] 36 (70, 80] 90 (80, 90] 44 (90, 100] 18 Hoàng Văn Hà – 93 Kiểm định giả thuyết phân phối - Ví dụ Ví dụ 17 Nhóm máu 500 người chọn ngẫu nhiên từ khu vực cho bảng sau A 75 B 150 AB 15 O 260 Theo từ điển y khoa tỷ lệ nhóm máu dân số 0.18, 0.28, 0.05, 0.49 Hỏi nhóm máu dân số có phù hợp với từ điển y khoa hay không? Mức ý nghĩa 1% Kiểm định giả thuyết thống kê Hoàng Văn Hà – 94 Kiểm định giả thuyết tính độc lập • Bài tốn: s Giả sử phần tử tổng thể phân loại theo hai đặc tính khác nhau, gọi đặc tính X đặc tính Y X có r giá trị Y có s giá trị Gọi Pij = P(X = xi , Y = yj ) với i = 1, , r j = 1, , s Pij xác suất chọn phần tử tổng thể có đặc tính X i đặc tính Y j s Gọi s Pij , i = 1, , r Pij , pi = P(X = xi ) = j = 1, , s j=1 r qj = P(Y = yj ) = i=1 Kiểm định giả thuyết thống kê Hoàng Văn Hà – 95 Kiểm định giả thuyết tính độc lập pi xác suất chọn phần tử tổng thể có đặc tính X xi , qj xác suất chọn môt phần tử tổng thể có đặc tính Y yj s Ta cần kiểm định xem X có độc lập với Y hay không? Phát biểu giả thuyết H0 : Pij = pi qj ∀i = 1, , r; j = 1, , s đối thuyết H1 : ∃ (i, j) cho Pij = pi qj Kiểm định giả thuyết thống kê Hoàng Văn Hà – 96 Kiểm định giả thuyết tính độc lập s Khảo sát N phần tử, ta bảng kết quả, toán gọi bảng ngẫu nhiên (contingency table): HH Y HH X H H y1 y2 ··· ys Tổng hàng x1 x2 n11 n21 n12 n22 ··· ··· n1s n2s n1 n2 xr Tổng cột nr1 m1 nr2 m2 ··· ··· nrs ms nr N Bảng đó, nij gọi tần số thực nghiệm Kiểm định giả thuyết thống kê Hoàng Văn Hà – 97 Kiểm định giả thuyết tính độc lập s Ước lượng pi qj ni , i = 1, , r N mj , j = 1, , s qj = ˆ N pi = ˆ s Gọi Nij số phần tử có đặc tính (xi , yj ) N phần tử khảo sát, Nij ∼ B(N, Pij ) Khi đó, E(Nij ) = N Pij = N pi qj H0 Đặt ni mj eij = N pi qj = ˆˆ N eij gọi tần số lý thuyết Kiểm định giả thuyết thống kê Hoàng Văn Hà – 98 Kiểm định giả thuyết tính độc lập Định lý (Pearson) Với Nij Eij = N Pij , biến ngẫu nhiên r s i=1 j=1 (Nij − Eij )2 Eij hội tụ theo phân phối biến ngẫu nhiên Chi bình phương χ2 (r−1)(s−1) bậc tự Kiểm định giả thuyết thống kê Hoàng Văn Hà – 99 Kiểm định giả thuyết tính độc lập Các bước kiểm định Phát biểu giả thuyết H0 : X Y độc lập Xác định tần số thực nghiệm nij tần số lý thuyết ni mj eij = N với ni mj tổng hàng i tổng cột j tương ứng, Điều kiện: eij ≥ Kiểm định giả thuyết thống kê Hoàng Văn Hà – 100 Kiểm định giả thuyết tính độc lập Tính thống kê kiểm định r s Q2 = i=1 j=1 (nij − eij )2 = eij r s i=1 j=1 n2 ij −N eij (31) Nếu H0 đúng, thống kê Q2 có phân phối Chi bình phương với (r − 1)(s − 1) bậc tự Bác bỏ H0 Q2 > χ2 (r−1)(s−1) (α) (32) 4b Sử dụng p-giá trị: p = P χ2 (r−1)(s−1) ≥ Q (33) Bác bỏ H0 khi: p ≤ α Kiểm định giả thuyết thống kê Hoàng Văn Hà – 101 Kiểm định giả thuyết tính độc lập - Ví dụ Ví dụ 18 Một báo cáo khoa học y khoa tuyên bố việc sở hữu thú cưng nhà (chó mèo) làm tăng khả sống sót người chủ mà thường bị lên đau tim Một mẫu ngẫu nhiên gồm 95 người lên đau tim chọn để khảo sát Dữ liệu người khảo sát chia làm loại: - Những người sống sót/tử vong năm sau lên đau tim - Người sống sót/tử vong có nuôi thú cưng nhà hay không Kết cho bảng sau Có ni thú cưng Sống sót Tử vong Kiểm định giả thuyết thống kê Không nuôi thú cưng 28 44 15 Hoàng Văn Hà – 102 Kiểm định giả thuyết tính độc lập - Ví dụ Phát biểu giả thuyết, H0 : Bệnh lên đau tim độc lập với việc nuôi thú cưng, Tính tần số thực nghiệm: với n1 = 72, n2 = 23, m1 = 36, m2 = 59 e11 e21 n1 m1 72 × 36 = = = 27.284; N 95 n2 m1 23 × 36 = = = 8.716; N 95 e12 e22 n1 m2 72 × 59 = = = 44.716 N 95 n2 m2 23 × 59 = = = 14.284 N 95 Tính giá trị thống kê Q2 2 Q2 = i=1 j=1 Kiểm định giả thuyết thống kê n2 ij −n = eij 442 82 152 282 + + + −95 = 0.125 27.284 44.716 8.716 15.284 Hoàng Văn Hà – 103 Kiểm định giả thuyết tính độc lập - Ví dụ Bác bỏ H0 khi: Q2 > χ2 (α) = χ2 (0.05) (r−1)(s−1) Tra bảng Chi - bình phương, ta χ2 (0.05) = 3.841 = 0.125, suy Q2 < 3.841 Ta kết luận chưa đủ sở để bác bỏ Q H0 tức bệnh lên đau tim độc lập với việc nuôi thú cưng Kiểm định giả thuyết thống kê Hoàng Văn Hà – 104 Kiểm định giả thuyết tính độc lập - Ví dụ Ví dụ 19 Vé máy bay hãng hàng không Việt Nam Airline chia làm loại: Hạng thường (C), hạng trung (B) hạng doanh nhân (A) Hành khách máy bay VN Airlines nằm trong dạng sau: bay nội địa quốc tế Khảo sát 920 hành khách bay hãng, cho kết sau: Loại vé Hạng thường Hạng trung Hạng doanh nhân Loại chuyến bay Nội địa Quốc tế 29 22 95 121 518 135 Có ý kiến cho hành khách mua loại vé (A, B, C) phụ thuộc vào việc người bay nội địa hay quốc tế Với mức ý nghĩa 5%, kiểm tra ý kiến Kiểm định giả thuyết thống kê Hoàng Văn Hà – 105 .. .Bài toán kiểm định giả thuyết thống kê Bài toán kiểm định giả thuyết thống kê s Định nghĩa s Giả thuyết không đối thuyết s Cách đặt giả thuyết s Miền bác bỏ - Tiêu chuẩn kiểm định s Sai... bỏ giả thuyết trên, ta cần dựa vào mẫu điều tra quy tắc kiểm định thống kê Kiểm định giả thuyết thống kê Hồng Văn Hà – Giả thuyết khơng đối thuyết Định nghĩa Trong toán kiểm định giả thuyết, giả. .. để kiểm định giả thuyết Kiểm định giả thuyết thống kê Hoàng Văn Hà – 47 Kiểm định giả thuyết cho kỳ vọng - TH σ - Ví dụ • Các bước kiểm định: Phát biểu giả thuyết: H0 : µ = 65 H1 : µ > 65 Xác định