Bài giảng Thống kê học ứng dụng trong quản lý xây dựng: Phần 7 - TS. Nguyễn Duy Long

Phần 7 - Các kiểm nghiệm giả thuyết về các phần. Chương này gồm có những nội dung chính sau: Các kiểm nghiệm giả thiết về các phần (Testing hypotheses about proportions), phần thêm về kiểm nghiệm. Mời tham khảo để biết thêm các nội dung chi tiết.

Trang 1

Phần 07Nguyễn Duy Long, Tiến Sỹ

Bộ môn Thi Công và QLXD

Trang 2

Testing Hypotheses about Proportions

3

 Trong thống kê học, một giả thiết đề nghị một mô

hình cho thế giới

 Rồi xem về dữ liệu

 Rồi xem về dữ liệu…

1. Nếu dữ liệu nhất quán với mô hình, ta không có lý

do để không tin giả thiết

◦ Dữ liệu nhất quán với mô hình thêm phần hỗi trợ ( lend

support ) giả thiết, nhưng không chứng minh ( prove ) nó.

Hay…

2. Nếu dữ liệu không nhất quán với mô hình, ta cần

chọn xem dữ liệu có không nhất quán đủ để

không tin vào mô hình

◦ Nếu chúng không đủ nhất quán, có thể từ chối ( reject )

Trang 3

 Nghĩ về logic trong xét xử:

◦ Để chứng minh ai đó có tội, ta bắt đầu bằng giả định họ vô

tội

◦ Ta giữ lại giả thiết đó đến khi các chứng cứ làm nó không

thể vượt ngoài một nghi ngờ hợp lý

◦ Khi và chỉ khi đó, ta từ chối giả thiết vô tội và tuyên bố

người đó có tội.

 Logic dùng trong các xét xử được dùng giống

trong các kiểm nghiệm giả thiết trong thống kê

học:

Bắt đầ bằ iả đị h iả thiết là đú

◦ Bắt đầu bằng giả định giả thiết là đúng

◦ Xem dữ liệu có nhất quán với giả thiết

◦ Nếu như vậy, tất cả những gì ta có thể làm là giữ lại giả

thiết mà ta đã bắt đầu Nếu không như vậy, thì như hội

thẩm đoàn, ta tự hỏi chúng không thể nằm ngoài một nghi

ngờ hợp lý không.

5

 Công ty xây dựng sản xuất ống bê tông ly tâm và

muốn ngăn chặn vết nứt

◦ Qui trình sản xuất hiện thời cho thấy chỉ 80% ống bê tông

là không có vết nứt.

◦ Kỹ thuật mới được kiểm nghiệm với 400 ống bê tông đúc

thử có 17% bị nứt

◦ Công ty tranh luận về việc chuyển qui trình mới này,

nhưng sẽ mất thời gian và tiền bạc.

 Công ty này muốn biết họ có thể kết luận một cách

hợp lý rằng qui trình mới cải thiện vấn đề nứt

Trang 4

 Đặc tính thống kê là ta có thể định lượng mức độ

nghi ngờ của chúng ta

◦ Có thể dùng mô hình được đề nghị bởi giả thiết để tính xác

suất mà biến cố ta chứng kiến có thể xảy ra.

 Xác suất đó được gọi là giá trị p (p-value)

◦ Giá trị p càng nhỏ, biến cố càng ít xảy ra, cho giả thiết

đúng.

7

 Giả thiết rỗng (null hypothesis), viết tắt H0, mô tả

thông số mô hình quần thể đang quan tâm và đề

nghị một giá trị cho thông số đó

◦ Ví dụ, H 0 : p = 0.20, như trong ví dụ sự nứt của ống bê tông

 Ta muốn so sánh dữ liệu của chúng ta với giá trị mà

Trang 5

 Kiểm nghiệm giả thiết giống với xét xử ở tòa án.

 Giả thiết rỗng là bị can vô tội

ồ

 Rồi trình bày chứng cứ - dữ liệu được thu thập

 Rồi đánh giá chứng cứ: “Các dữ liệu này khả dĩ xảy

ra một cách hợp lý và tình cờ nếu giả thiết rỗng

đúng?”

 Cuối cùng, ta phải quyết định “không khả dĩ ra sao

về vấn đề không khả dĩ (How unlikely is “unlikely”?)

◦ Một số người đặt những tiêu chuẩn cứng – 1 của 20 (0 05) Một số người đặt những tiêu chuẩn cứng 1 của 20 (0.05)

hay 1 của 100 (0.01).

◦ Nhưng nếu bạn phải ra quyết định, bạn phải phán xét trong

tình huống cụ thể là xác suất đủ nhỏ để có “nghi ngờ hợp

lý” (“ reasonable doubt ”)

9

 Khi dữ liệu nhất quán với mô hình từ giả thiết rỗng,

giá trị p cao và ta không thể bác bỏ giả thiết rỗng

T hải iữ iả thiết ỗ

◦ Ta phải giữ giả thiết rỗng.

◦ Nếu ta không thể chứng minh nó; ta không chấp nhận giả

thiết rỗng…

◦ … thay vào đó, ta “thất bại trong việc bác bỏ giả thiết rỗng”

(“ fail to reject the null hypothesis ”) khi dữ liệu nhất quán

với mô hình giả thiết rỗng và phù hợp với những gì ta có

thể kỳ vọng từ sự biến đổi trong lấy mẫu ( natural sampling

variability ).

Nế iá ị là đủ hỏ “bá bỏ iả hiế ỗ ”

 Nếu giá trị p là đủ nhỏ, ta sẽ “bác bỏ giả thiết rỗng”

(“reject the null hypothesis”) vì những gì ta quan

sát thấy là rất không thể mô hình rỗng đúng

Trang 6

 Nếu chứng cứ là không đủ mạnh để bác bỏ giả định

vô tội, bồi thẩm đoàn sẽ tuyên “vô tội” (“not guilty”)

 Trong thống kê học, ta thất bại trong việc bác bỏ

giả thiết rỗng

◦ Không bao giờ tuyên bố giả thiết rỗng là đúng.

◦ Thỉnh thoảng ta nói giả thiết rỗng vẫn được giữ.

 Trong xét xử, trách nhiệm chứng minh thuộc về

bên khởi tố

 Trong kiểm nghiệm giả thiết, trách nhiệm chứng

minh thuộc về các xác nhận không thường

◦ Giả thiết rỗng là bình thường, giả thiết thay thế ( alternative

hypothesis ) là không bình thường.

11

 Bốn phần cơ bản của một kiểm nghiệm giả thiết:

1 Các giả thiết ( Hypotheses )

Trang 7

1 Các giả thiết

◦ Giả thiết rỗng: để thực hiện một kiểm nghiệm

iả thiết t ướ tiê hải h ể â hỏi t

giả thiết, trước tiên phải chuyển câu hỏi ta

quan tâm thành một phát biểu về các tham số

của mô hình

 Tổng quát, ta có

H 0 : tham số (parameter) = giá trị được giả thiết

(hypothesized value).

◦ Giả thiết thay thế: giả thiết thay thế, HA, chứa

các giá trị của tham số mà ta chấp nhận nếu ta

bác bỏ giả thiết rỗng

13

 Để bắt đầu một kiểm nghiệm giả thiết, chỉ ra môộ g ệ g ,

hình mà bạn sẽ dùng để kiểm nghiệm giả thiết

rỗng và thông số quan tâm

 Tất cả các mô hình đều cần các giả định, phát

biểu các giả định và kiểm tra các điều kiện tương

ứng

 Bạn có thể kết thúc với một phát biểu như sau:

◦ “Vì các điều kiện đã thỏa, tôi có thể mô hình phân phối

mẫu của phần với một mô hình chuẩn.”

◦ Có thể có trường hợp bạn sẽ nói “Vì các điều kiện không

thỏa, tôi không thể tiếp tục với sự kiểm nghiệm.”

Trang 8

 Các điều kiện cần thiết cho kiểm nghiệm z một phần

( one proportion z-interval) Ta kiểm nghiệm giả thiết

 Khi các điều kiện thỏa và giả thiết rỗng là đúng, trị số

thông kê nghiểm nghiệm này theo mô hình chuẩn tắc, vì

thế ta có thể dùng mô hình này để có giá trị p.

 Các kiểm nghiệm khác nhau có các công thức

khác nhau và trị số thống kê kiểm nghiệm khác

nhau

 Sau tính toán, ta có giá trị p

◦ Giá trị p là xác suất mà giá trị thống kê được quan sát có

thể xảy ra nếu mô hình rỗng đúng Nói cách khác, giá trị

p là xác suất có điều kiện: xác suất mà các kết quả quan

át ó thể ả ế iả thiết ỗ là đú

sát có thể xảy ra nếu giả thiết rỗng là đúng.

◦ Nếu p đủ nhỏ, ta bác bỏ giả thiết rỗng.

Trang 9

4 Kết luận

◦ Kết luận về một kiểm nghiệm giả thiết luôn là

một phát biểu về giả thiết rỗng

◦ Kết luận phải luôn phát biểu hoặc bác bỏ hoặc

giữ (thất bại trong việc bác bỏ giả thiết rỗng)

◦ Kết luận nên phát biểu trong ngữ cảnh của nó

17

1. Tùy thuộc vào ta kiểm nghiệm gì và quan tâm tìm

kiếm gì, có ba giả thiết thay thế khả dĩ:

1 H A : thông số< giá trịđược giảthiết

Trang 10

 HA: thông số ≠ giá trị được gọi là thay thế 2

phương (two-sided alternative) vì ta quan tâm sự

ế ỗchệch cả hai bên của giá trị giả thiết rỗng

 Cho thay thế hai phương, giá trị p là xác suất lệch

theo hai hướng từ giá trị giả thiết rỗng

19

 Hai giả thiết thay thế khác được gọi là thay thế một

phương (one-sided alternatives)

Th thế ột hươ tậ t á độ lệ h từ iá

 Thay thế một phương tập trung các độ lệch từ giá

trị giả thiết rỗng chỉ theo một hướng

 Giá trị p cho thay thế một phương là xác suất lệch

chỉ một hướng của sự thay thế từ giá trị giả thiết

rỗng

Trang 11

 Đâu là giả thiết rỗng và giả thiết thay thế dùng

trong các tình huống sau?

1 Sản xuất ống bê tông ly tâm trong ví dụ trên

2 Bạn muốn biết nếu dùng một loại thảo dược trong hai

tháng có thể giảm cân.

3 Bạn là một chủ tiệm spa, bạn muốn biết nếu quảng cáo

trên báo của bạn hiệu quả (đo lường bằng số khách

hàng hằng tuần)

4 Ban nghĩ rằng tiêu thụ nhiên liệu của xe cẩu của bạn có

thể khác với tiêu thụ đưa ra của nhà sản xuất.

21

 Giá trị p nhỏ ra sao để bạn có thể bác bỏ giả thiết

rỗng?

 Tiêu chí quyết định phụ thuộc tình huống

 Yếu tố nữa để chọn giá trị p là tầm quan trọng của

vấn đề cần kiểm nghiệm

 Đừng chỉ tuyên bố giả thiết rỗng là bị bác hay

không bị bác

◦ Báo cáo giá trị p để thể hiện “sức mạnh” của chứng cứ đối

với giả thiết.

Trang 12

 Trở lại ví dụ: Với qui trình hiện tại có 80% ống bê

tông không bị nứt Kỹ thuật mới được thử nghiệm

sản xuất 400 ống có kết quả 17% bị nứt

 Công ty bê tông muốn biết kỹ thuật mới giảm tỷ lệ

nứt không

1 Phát biểu giả thiết (H o )

2 Chỉ ra mô hình và kiểm tra các điều kiện cần thiết để sử

 Giá trị p là 0.0668 Chỉ 6.7% khả năng kết quả từ

qui trình thử nghiệm là do sự biến đổi tự nhiên

(natural variation) Ta có thể bác bỏ giảthiết

rỗng?

 Trong thực tế, ta chỉ ra giá trị “trần” (cut-off) cho

giá trị p trước khi phân tích

◦ Nếu ta chọn 5%, ta sẽ giữ lại giả thiết rỗng.

Trang 13

 Tại một vùng xa chỉ khoảng 30% giếng được đào là

tìm đủ nước ở độ sâu 30 mét hay nhỏ hơn Một

người đàn ông địa phương cho rằng có thể tìm

nước bằng cách “dò mạch nước” – dùng gậy để chỉ

giếng nên đào ở đâu Bạn kiểm tra 80 khách hàng

của anh ta và thấy rằng 27 khách hàng có giếng 30

mét hay nhỏ hơn Bạn kết luận gì về “thủ pháp” của

anh ta? Biết rằng giá trị p khoảng 5% để có chứng

cứ xác đáng

25

More about tests

Trang 14

 Khi giá trị p nhỏ, cho ta biết dữ liệu là hiếm với giả

thiết rỗng đã cho

 Hiếm như thế nào là “hiếm”? Ta có thể xác định sự

 Hiếm như thế nào là hiếm ? Ta có thể xác định sự

kiện hiếm một cách tùy tiện bằng cách đặt một

ngưỡng cho giá trị p của ta

◦ Nếu p dưới điểm đó, ta bác bỏ H 0 Ta gọi kết quả là đáng

kể về mặt thông kê ( statistically significant ) hay ta có thể

nói là kiểm nghiệm là đáng kể ở mức đó (“ significant at that

level ”).

◦ Ngưỡng này là mức alpha, còn gọi là mức đáng kể

( significance level ), viết tắt 

◦ Các mức alpha là 0.10, 0.05, và 0.01

 Bạn nói gì nếu giá trị p là không thấp hơn ?

◦ Bạn không chấp nhận giả thiết rỗng Bạn chỉ giữ lại hay thất

bại trong bác bỏ nó.

27

 Ý bạn là gì khi nói kiểm nghiệm là đáng kể về

thống kê (statistically significant)?

◦ Ý ta là trị số thống kê kiểm nghiệm z có giá trị p tương

ứ ng thấp hơn mức alpha mà bạn chọn.

 Đừng nghĩ rằng đáng kể về thống kê thì tự động có

tầm quan trọng hay ảnh hưởng thực tiễn

◦ Ta có một sự thay đổi nhỏ (nhỏ hơn 1%) đáng kể về thống

kê, nếu kích thước mẫu đủ lớn.

 Mặt khác, nếu mẫu không đủ lớn, thậm chí có sự

khác nhau lớn về tài chính hay khoa học cũng có

thể không đáng kể về thống kê

Trang 15

 Ở phần 06, khi tạo mức tin chắc, ta lấy giá trị tới

hạn (critical value, z*) tương ứng với mức tin chắc

đã chọn

 Ta cũng dùng các giá trị tới hạn trong kiểm nghiệm

giả thiết

◦ z* phụ thuộc vào  và kiểm nghiệm 1 hay 2 phương.

 Một khi tính trị thống kê kiểm nghiệm, z, thay vì

dùng bảng Z để tìm giá trị p, chỉ kiểm tra nó trực

tiếp với các giá trị tới hạn Ví dụ, với kiểm nghiệm

một phương, đuôi trên (upper tail):

hì bá bỏ

◦ z > z*, thì bác bỏ H 0

◦ z< z*, thất bại trong việc bác bỏ H 0

◦ Vẫn hữu ích khi tìm giá trị p, để định lượng kết

quả không khả dĩ ra sao, nếu giả thiết rỗng đúng

29

 Một số giá trị tới hạn thường gặp từ mô hình chuẩn

◦ Với đuôi dưới (lower tail), z* âm

Trang 16

 Khi giả thiết thay thế là

một phương, giá trị tới

ấ

 Khi giả thiết thay thế làhai phương, giá trị giới

h hi đôi h h ihạn đặt tất cả  chỉ

một bên: hạn chia đôi  cho haiđuôi:

Slide 21- 31

Giá trị tới hạn Giá trị tới hạn Giá trị tới hạn

 Ví dụ này chỉ sự tương ứng giữa trị số thống kê

kiểm nghiệm (z), giá trị tới hạn z*, giá trị p và

mức alpha, 

 Ta đã nghe ĐHBK có 60% nam sinh viên nhưng

muốn kiểm tra xem phần trăm này đã thay đổi Ta

chấp nhận mức đáng kể  = 4% như vượt ngoài

nghi ngờ hợp lý

 Ta thực hiện lấy mẫu ngẫu nhiên 250 sinh viên

ĐHBK và thấy rằng 140 là nam Giả định rằng các

điều kiện thỏa

1 Các giả thiết là gì?

2 Giá trị tới hạn z*, với mức alpha đã cho?

3 Tính z, trị số thống kê kiểm nghiệm

Trang 17

 Khoảng tin chắc và kiểm nghiệm giả thiết được xây

dựng với các phép tính giống nhau

◦ Giống các giả định và điều kiện Giống các giả định và điều kiện.

◦ Cả hai dùng giá trị tới hạn, z*.

 Có thể xấp xỉ một kiểm nghiệm giả thiết bằng cách

xem xét khoảng tin chắc (sự xấp xỉ sẽ tốt hơn khi

p0 và tiến gần nhau)

◦ Chỉ hỏi giá trị giả thiết rỗng có nhất quán với khoảng tin

chắc cho thông số với mức tin chắc tương ứng.

ˆp

Trang 18

 Vì khoảng tin chắc là hai phương, chúng tương

ứng với kiểm nghiệm hai phương

◦ Tổng quát khoảng tin chắc với mức tin chắc C% tương ứng

với kiểm nghiệm hai phương với mức  là 100 – C%.

 Mối liện hệ giữa khoảng tin chắc và kiểm nghiệm

giả thiết một phương phức tạp hơn

◦ Khoảng tin chắc với mức tin chắc C% tương ứng với kiểm

nghiệm giả thiết một phương với mức  là ½(100 – C)%.

1 Giả thiết rỗng đúng, nhưng ta sai lầm bác bỏ nó – sai sót

loại 1 ( Type I error ).

2 Giả thiết rỗng sai, nhưng ta thất bại trong bác bỏ nó – sai

sót loại II ( Type II error ).

 Bốn tình huống trong kiểm nghiệm giả thiết…

Trang 19

Bốn tình huống trong kiểm nghiệm giả thiết:

Sự Thật

H0Đúng H0SaiQuyết

 Trở lại với sự tương đồng trong xét xử, nếu thất bại trong

luận tội người thật sự có tội là sai sót loại I, sự tương đồng

của sai sót loại II là gì?

II (β)

37

 Sai sót loại I xảy ra thường xuyên ra sao?

◦ Vì sai sót loại I là bác giả thiết rỗng thật, xác suất tạo sai

ó l i I là ứ

sót loại I là mức .

◦ Với  là 5%, ta có 5% cơ hội tạo sai sót loại I

Trang 20

 Khi H0 sai nhưng ta thất bại trong bác bỏ nó, ta tạo

ra sai sót loại II

◦ Khả năng của kiểm nghiệm nhận ra giả thiết sai gọi là sức

mạnh ( power ) của kiểm nghiệm xác suất bác bỏ đúng giả

mạnh ( power ) của kiểm nghiệm – xác suất bác bỏ đúng giả

thiết rỗng sai

◦ Gán  cho xác suất của sai sót này Sức mạnh của kiểm

nghiệm là 1 – 

◦ Đánh giá  khó hơn vì ta không biết giá trị của thông số

◦ Không có giá trị duy nhất cho  Thực tế, có một tập các ,

mỗi giá trị cho mỗi giá trị thông số sai.

39

 Một cách để tập trung sự chú ý của ta vào một  cụ

thể là nghĩ về kích thước ảnh hưởng (effect size)

 Ta có thể giảm  cho tất cả các giá trị thông số thay

thế bằng cách tăng .g g

◦ Có thể giảm  nhưng tăng cơ hội của sai sót loại I.

◦ “Sức căng” giữ sai sót loại I và II là tất yếu.

 Các duy nhất để giảm cả hai loại sai sót là thu thập

nhiều dữ liệu hơn

Trang 21

Kích thước ảnh hưởng càng lớn, càng dễ thấy nó.

 Có kích thước mẫu lớn hơn giảm xác suất của sai sót loại II,

và tăng sức mạnh của kiểm nghiệm.

 Càng chấp nhận sai sót loại I càng ít cơ hội có sai sót loại II

 Càng chấp nhận sai sót loại I, càng ít cơ hội có sai sót loại II.

Giả sử giả thiết

rỗng đúng

Giả sử giả thiết rỗng không đúng

Thất bại trong bác H0 Bác H0

41

 Ta có thể giảm cả hai loại sai sót bằng cách tạo hai đường cong

Trang 22

 Đừng diển giải giá trị p như là xác suất mà H0 là thật.

◦ Giá trị p là về dữ liệu, không phải giả thiết.

◦ Là xác suất của dữ liệu với H là thật không phải ngược lại

◦ Là xác suất của dữ liệu với H 0 là thật, không phải ngược lại.

 Đừng tin quá mạnh vào các mức alpha tùy tiện

◦ Cho biết giá trị p để người đọc có thể có quyết đinh cho họ.

Định dạng
Số trang	22
Dung lượng	1,41 MB