QHTN Bách khoa Hà Nội

qui hoạch thực nghiệm là tập hợp các tác động nhằm đưa ra chiến thuật làm thực nghiệm từ giai đoạn đầu đến giai đoạn kết thúc của quá trình nghiên cứu đối tượng (từ nhận thông tin mô phỏng đến việc tạo ra mô hình toán, xác định các điều kiện tối ưu), trong điều kiện đã hoặc chưa hiểu biết đầy đủ về cơ chế của đối tượng. Đối tượng của quy hoạch thực nghiệm trong các ngành công nghệ: Là một quá trình hoặc hiện tượng nào đó có những tính chất, đặc điểm chưa biết cần nghiên cứu. Người nghiên cứu có thể chưa hiểu biết đầy đủ về đối tượng, nhưng đã có một số thông tin tiên nghiệm dù chỉ là sự liệt kê sơ lược những thông tin biến đổi, ảnh hưởng đến tính chất đối tượng. Có thể hình dung chúng như một “hộp đen” trong hệ thống điều khiển gồm các tín hiệu đầu vào và đầu ra.

LÝ THUYẾT TƯƠNG QUAN VÀ HÀM HỒI QUY

1 MỐI QUAN HỆ GIỮA 2 ĐẠI LƯỢNG NGẪU NHIÊN

Khi khảo sát hai biến ngẫu nhiên X và Y ta thấy giữa chúng có thể có một số quan

hệ sau:

• X và Y độc lập với nhau, tức là việc nhận giá trị của biến ngẫu nhiên này không

ảnh hưởng đến việc nhận giá của biến ngẫu nhiên kia

• X và Y có mối phụ thuộc hàm số Y = ϕ ( )X

• X và Y có sự phụ thuộc tương quan và phụ thuộc không tương quan (được biểu

hiện thông qua rất nhiều quan sát) Ví dụ lấy ngẫu nhiên 100 người xếp theo thứ

tự từ thấp đến cao thì nói chung chiều cao càng cao thì trọng lượng càng lớn.Nhưng với trường hợp riêng lẻ thì chưa chắc đúng (có thể người thấp nhưng trọnglượng lại cao) Rõ ràng là với chiều cao biết trước thì không thể khẳng định người

đó nặng bao nhiêu, tuy nhiên sử dụng quan hệ tương quan có thể chỉ ra trọnglượng bao nhiêu là bình thường với chiều cao như vậy

2 HỆ SỐ TƯƠNG QUAN

2.1 Hiệp phương sai (covariance)

Hiệp phương sai của 2 biến ngẫu nhiên X và Y được xác định bởi:

cov( , )X Y =E X E X{[ − ( )][Y E Y− ( )]}

Công thức tính : cov( , )X Y =E XY( ) −E X E Y( ) ( )

Nhận xét:

• Nếu cov( , ) 0X Y = thì ta nói 2 biến ngẫu nhiên X và Y không tương quan

• Nếu X và Y độc lập thì X và Y không tương quan

• cov( , )X X =V X( )

2.2 Hệ số tương quan

Hệ số tương quan của 2 bnn X và Y, ký hiệu r XY, được xác định bởi công thức:

cov( , )

Hệ số tương quan đo mức độ phụ thuộc tuyến tính giữa X và Y

2.3 Ước lượng hệ số tương quan

Lập mẫu ngẫu nhiên ( , ),(X Y1 1 X Y2 , ), ,( 2 X Y n, )n

Để ước lượng hệ số tương quan ta dùng thống kê .

• Nếu |r| = 1 thì X và Y có quan hệ tuyến tính

• Nếu |r| càng lớn thì sự phụ thuộc tương quan tuyến tính giữa X và Y càng chặt chẽ

• Nếu r = 0 thì X và Y không tương quan

• Nếu r > 0 thì X và Y có tương quan thuận (X tăng thì Y tăng), nếu r < 0 thì X và Y

có tương quan nghịch (X tăng thì Y giảm)

3 HỒI QUY

3.1 Kỳ vọng có điều kiện

Kỳ vọng có điều kiện của biến ngẫu nhiên Y với điều kiện X =x là:

Giả sử biết X, nếu dự đoán bằng ϕ ( )X thì trung bình của bình phương sai số

Giả sử X và Y có quan hệ tuyến tính E Y X( | ) = AX +B

Dựa vào n cặp số liệu ( , ),( , ), ,( , )x y1 1 x y2 2 x y n n của ( , )X Y ta tìm hàm y ax b= + để ướclượng cho hàm Y = AX +B

2 2

CHƯƠNG VI QUY HOẠCH THỰC NGHIỆM

§1 ĐỊNH NGHĨA QHTN

1.1 Định nghĩa: qui hoạch thực nghiệm là tập hợp các tác động nhằm đưa ra chiến thuật

làm thực nghiệm từ giai đoạn đầu đến giai đoạn kết thúc của quá trình nghiên cứu đốitượng (từ nhận thông tin mô phỏng đến việc tạo ra mô hình toán, xác định các điều kiệntối ưu), trong điều kiện đã hoặc chưa hiểu biết đầy đủ về cơ chế của đối tượng

Đối tượng của quy hoạch thực nghiệm trong các ngành công nghệ: Là một quá trìnhhoặc hiện tượng nào đó có những tính chất, đặc điểm chưa biết cần nghiên cứu Ngườinghiên cứu có thể chưa hiểu biết đầy đủ về đối tượng, nhưng đã có một số thông tin tiênnghiệm dù chỉ là sự liệt kê sơ lược những thông tin biến đổi, ảnh hưởng đến tính chấtđối tượng Có thể hình dung chúng như một “hộp đen” trong hệ thống điều khiển gồmcác tín hiệu đầu vào và đầu ra

- Các tín hiệu đầu vào được chia thành ba nhóm:

1) Các biến kiểm tra được và điều khiển được, mà người nghiên cứu có thể điều chỉnhtheo dự định, biểu diễn bằng vectơ: Z = [ , , , ]z z1 2 z k

2) Các biến kiểm tra được nhưng không điều khiển được, biểu diễn bằng vectơ:

1.2 Các nguyên tắc cơ bản của qui hoạch thực nghiệm

1.2.1 Nguyên tắc không lấy toàn bộ trạng thái đầu vào

Để có thông tin toàn diện về tính chất hàm mục tiêu về nguyên tắc cần tiến hành

vô số các thực nghiệm trong miền qui hoạch

Ví dụ, trong trường hợp có hai yếu tố, nếu cho mỗi yếu tố biến đổi liên tục từ -1đến +1 thì miền thực nghiệm sẽ là hình vuông chứa vô số điểm M z z( , ) 1 2 đặc trưng chotrạng thái đầu vào

Về lý thuyết nếu không tiến hành tất cả các thực nghiệm đó thì có thể bỏ sót đặcđiểm nào đó của hàm mục tiêu, tuy nhiên thực tế không thể thực hiện được điều đó Dovậy người nghiên cứu chỉ có thể lấy những giá trị rời rạc (thường chọn theo mắt lưới),chọn mức biến đổi nào đó cho các yếu tố Sự lựa chọn này cần có cơ sở khoa học, nógắn liền với sự lựa chọn dạng hàm, tức là dạng mô phỏng của bề mặt đáp ứng Dạnghàm thông thường là bậc một hoặc bậc hai

1.2.2 Nguyên tắc phức tạp dần mô hình toán học

Khi chưa có thông tin ban đầu về các tính chất của hàm mục tiêu, thì không nênxây dựng mô hình phức tạp của đối tượng để tránh chi phí vô ích về thời gian, phươngtiện vật chất nếu không dùng đến mô hình đó Vì thế lý thuyết qui hoạch thực nghiệmhướng dẫn nên bắt đầu từ những mô hình đơn giản nhất, ứng với những thông tin banđầu đã có về đối tượng Logic tiến hành thực nghiệm là nên làm ít thí nghiệm để có môhình đơn giản (ví dụ mô hình tuyến tính), kiểm tra tính phù hợp của mô hình:

- Nếu mô hình phù hợp, đạt yêu cầu thì dừng lại, hoặc cải tiến;

- Nếu mô hình không phù hợp thì tiến hành giai đoạn tiếp theo của thực nghiệm: làmnhững thí nghiệm mới, bổ sung để rồi nhận được mô hình phức tạp hơn (ví dụ mô hìnhphi tuyến), kiểm tra mô hình mới cho đến khi đạt được mô hình hữu dụng

1.2.3 Nguyên tắc đối chứng với nhiễu

Độ chính xác của mô hình phải tương xứng với cường độ nhiễu ngẫu nhiên màchúng tác động lên kết quả đo hàm mục tiêu Trong cùng điều kiện như nhau, độ nhiễucàng nhỏ thì mô hình càng phải chính xác, phải phức tạp hơn

Bằng các công cụ tính toán thống kê, người ta đã xây dựng hoàn chỉnh các quitrình chuẩn theo các tiêu chuẩn thống kê để giải quyết các nhiệm vụ xác định tính phùhợp của mô hình tìm được, hiệu chỉnh dạng mô hình, kiểm tra tính đúng đắn của các giảthiết, các tiên đề mà dựa vào đó tìm ra các mô hình

1.2.4 Nguyên tắc ngẫu nhiên hóa.

Ta phải chủ động tạo các tình huống ngẫu nhiên trong thực nghiệm Ví dụ là ngẫunhiên hóa trình tự các thí nghiệm tiến hành.

1.2.5 Nguyên tắc tối ưu.

Đây là nguyên tắc trung tâm trong lý thuyết QHTN Theo đó kế hoạch thựcnghiệm cần phải có những tính chất tối ưu cụ thể theo quan điểm của một hay một nhómcác tiêu chuẩn tối ưu đã xác định trước Các tiêu chuẩn đó thường được xây dựng khác

nhau thông qua ngôn ngữ toán học Nói chung xu hướng là: Ít thí nghiệm hơn – nhiều

thông tin hơn – chất lượng kết quả cao hơn.

1.3 Kế hoạch thực nghiệm

1.3.1 Xác định miền giới hạn

Mục tiêu là xác định tham số đầu vào Z để tiến hành các thí nghiệm, muốn vậy phải xác

định được miền mà các biến z j có thể nhận giá trị: min max

i = N là điểm thí nghiệm thứ i của kế hoạch

N là số điểm thí nghiệm của kế hoạch

1.3.2 Các mức yếu tố

Các giá trị cụ thể của các thành phần của Z được ấn định tại 1 điểm kế hoạch được gọi là

các mức yếu tố Một số mức thường gặp: mức trên, mức dưới, mức cơ sở, …

Mức cơ sở 0 0 0 0

1 2 ( , , , )k

Z = z z z là một điểm thí nghiệm được quan tâm đặc biệt, thôngthường nó được gọi là tâm kế hoạch vì trong vùng quanh nó phân bố toàn bộ các điểm

kế hoạch Công thức xác định mức cơ sở như sau:

max min 0

Công thức biến đổi:

0

j j j

Còn với các điểm thí nghiệm khác ta có: − ≤ 1 x j ≤ 1

Có 2 ma trận thực nghiệm: theo giá trị thực tế Z và theo giá trị mã hóa X.

§2 PHƯƠNG PHÁP BÌNH PHƯƠNG CỰC TIỂU

2.1 Đặt bài toán.

Bài toán đưa ra là cần nghiên cứu về biến y trong một hệ thống, trong đó y phụ thuộc

vào các yếu tố độc lập x x1 , , , 2 x k có thể điều khiển được và biến ξ không điều khiểnđược (người ta thường gọi là nhiễu)

Mối quan hệ: y= f x x( , , , , , , , 1 2 x k θ θ 1 2 θ + ξm)

với dạng hàm f đã biết nhưng chưa biết các tham số θ θ 1 , , , 2 θm và E( ) 0 ξ =

Để tìm mối quan hệ của y và x x1 , , , 2 x k ta làm N thí nghiệm ta được bảng số liệu:

Một điểm thí nghiệm là một bộ số liệu ( ,x x i1 i2 , ,x ik)

Đối với mỗi bài toán cụ thể, các điểm thí nghiệm chỉ có thể chạy trên một miền xác định

k

H ⊂ ¡ gọi là miền quy hoạch Bài toán đặt ra:

Trên cơ sở các số liệu thu được, ta tìm một hàm số

$ µ

1 2 ( , , , )k

biểu diễn gần đúng tốt nhất hàm %y= f x x( , , , , , , ,1 2 x k θ θ1 2 θm)

Phương trình (6.1) được gọi là phương trình hồi quy thực nghiệm

Để giải quyết bài toán người ta sử dụng phương pháp bình phương cực tiểu Mục đích làxác định các tham số θ θ 1 , , , 2 θm sao cho cực tiểu bình phương sai số.

° 2 1

N

i i i

Suy ra: °y i = θ0x i0+ θ1 1x i + θ2x i2+ + θ k ik x với quy ước x i0 = 1

Bài toán đặt ra: Xác định các hệ số θ =j b j sao cho:

§3 QUY HOẠCH TRỰC GIAO

3.1 Quy hoạch trực giao và tính chất

Ta thấy ngay E y( )%=E y( ) (6.5) gọi là mô hình hồi quy lý thuyết

Ta sử dụng số liệu ở bảng trên và sử dụng phương pháp bình phương cực tiểu ta thuđược ước lượng điểm cho ( 0 1 )T

(6.7) gọi là mô hình hồi quy thực nghiệm

Vấn đề đặt ra: liệu có thể bố trí thí nghiệm sao cho:

Quy hoạch trực giao là quy hoạch bố trí các thí nghiệm sao cho ma trận:

N ij i

y y

1 2 1

1 1

2 1

1

1

1

N i i o N

y c

x y c

x y c

3.2 Quy hoạch trực giao cấp I

3.2.1 Định nghĩa

Quy hoạch trực giao cấp 1 là quy hoạch trực giao thỏa mãn: c2j =N j = 0,1, ,k

(Điều này tương ứng với việc 2 2

1

N

j ij i

=

=∑ = hay nói cách khác ta luôn có |x ij | 1 = )

3.2.2 Các bước thực hiện quy hoạch trực giao cấp 1:

Tâm quy hoạch z0j = 0,5.(zmaxj +zminj )

2 Chọn dạng phương trình hồi quy:

Mã hóa số liệu: x j = 2(z j −z0j) /(zmaxj −zminj )

Chọn dạng tuyến tính: y b= + 0 b x1 1 +b x2 2 + + b x k k

hoặc dạng: y b= + 0 b x1 1 +b x2 2 + + b x k k +b x x12 1 2 + + b k−1,k k x x−1 k ,

bình phương cực tiểu.

4 Kiểm định sự có nghĩa của các hệ số hồi quy

5 Kiểm định sự có nghĩa của phương trình hồi quy.

Ưu điểm của ma trận trực giao cấp I:

- Khi loại bỏ những hệ số không có nghĩa sẽ không phải tính lại các hệ số có nghĩa

- Phương sai các hệ số b trong phương trình hồi qui có giá trị tối thiểu

- Tâm phương án thông tin nhiều nhất → chỉ lần thực nghiệm lặp ở tâm thựcnghiệm là đủ

H H

Nếu |t bj|< ⇒tα ta chấp nhận H0 hay là ta có hệ số tương ứng b j bằng 0

Nếu |t bj| ≥ ⇒tα ta bác bỏ H0 hay là ta có hệ số tương ứng b jkhác 0

• Kiểm định sự phù hợp của phương trình hồi quy $y b= +0 b x1 1+b x2 2+ + b x k k(*)

Dùng thí nghiệm lặp để tính 2

ts

s ước lượng cho σ 2 không phụ thuộc dạng của $y

- Độ dư là hiệu giữa giá trị thực nghiệm thu được với giá trị tính được theo phương trìnhhồi qui của các thông số tối ưu

- Phương sai tìm được trên cơ sở tổng bình phương các độ dư gọi là phương sai dư,được kí hiệu là 2

L là số hệ số hồi quy có nghĩa trong phương trình hồi quy

Nếu y phù hợp với mô hình thì hai phương sai bằng nhau.

Người ta làm n0 thí nghiệm lặp tại tâm

Chọn thống kê

2

2 ~

du ts

du ts

s F s

Chọn mức ý nghĩa α, tra bảng ta tìm được Fα

Nếu µF F< α ⇒chấp nhận H0 ⇒mô hình phù hợp

Nếu µF F≥ α ⇒bác bỏ H0 ⇒mô hình không phù hợp

Ví dụ: Nghiên cứu tối ưu hóa quá trình cố định tế bào nấm men bằng Alginat để lên men

Thí nghiệm lặp tại tâm

Phương trình hồi quy dạng: Y b b X= +0 1 1+b X2 2+b X3 3

3.2.3 Một số mô hình mở rộng từ quy hoạch trực giao cấp I

Đối với qui hoạch thực nghiệm, những phương trình hồi qui cấp I thường chọn các khaitriển của đa thức có dạng tổng quát như sau:

Hoàn toàn tương tự ta tính được các hệ số của phương trình hồi quy như sau:

Nghiệm thu được

, , 1;

N i i N

3.3 Quy hoạch trực giao cấp II

3.3.1 Định nghĩa

Quy hoạch trực giao cấp 1 không giải quyết được bài toán quy hoạch mà dạng phươngtrình hồi quy có chứa 2

i

x , ta đưa ra cách xử lý bằng quy hoạch trực giao cấp 2 (xử lý cho

mô hình hồi quy dạng đa thức cấp 2 đầy đủ)

3.3.2 Các bước thực hiện quy hoạch trực giao cấp II:

1 Xác định miền biến thiên: zminj ≤ ≤z j zmaxj

Tâm quy hoạch z0j = 0,5.(zmaxj +zminj )

2 Chọn dạng phương trình hồi quy:

Mã hóa số liệu: x j = 2(z j −z0j) /(zmaxj −zminj )

Chọn dạng phương trình hồi quy:

- 2k thí nghiệm của quy hoạch trực giao cấp I

- 2k thí nghiệm tại các điểm sao: các điểm nằm trên trục tọa độ và cách gốc tọa

độ một đoạn bằng a, tức là lấy điểm sao có tọa độ

{x j = ±a x, i = 0 ( ∀ ≠i j) ,} j = 1,k

- n0 thí nghiệm tại tâm

5 Kiểm định sự có nghĩa của các hệ số hồi quy:(dùng chuẩn Student) thực hiện các

thí nghiệm tại tâm quy hoạch hoặc sử dụng các thí nghiệm song song Loại bỏ các b j không có nghĩa và kiểm định lại cho đến khi chỉ còn các b j có nghĩa.

6 Kiểm định sự có nghĩa của phương trình hồi quy: Dùng chuẩn Fisher

Ma trận

2 2

1 2 1 2 1 2

2 2 2 2

X X khó đạt được các giá trị không nằm trên đường chéo chính bằng 0

Để giải quyết khó khăn ta làm phép biến đổi x'j =x2j − λ

Ma trận X trở thành

1 2 1 2 1 2

2 2

2 2

Do tính chất đặc biệt của ma trận X nên điều kiện trực giao quy về hai điều kiện sau:

 Điều kiện k cột cuối của X trực giao với cột đầu:

Quay lại ví dụ trên với k = 2 ta tính được:

1/ 3 1/ 3 1/ 3 1/ 3 1/ 3 1/ 3 1/ 3 1/ 3

chút thay đổi vì ta đã thay đổi X

2 2

k

k

k T

Hệ số của phương trình xác định theo phương pháp bình phương cực tiểu

1 ' ( T ) ( T )

N

uj u u

uj u

x y b

3.3.5 Kiểm định sự có nghĩa của các hệ số hồi quy

Lặp n0 lần thí nghiệm tại tâm (mức cơ sở) để tính phương sai tái sinh

=với * ở đây có thể hiểu là thay cho 0, , ,j ij jj

trong đó ta tính các s b*như sau:

Nếu |t b* | ≥ ⇒tα ta bác bỏ H0 hay là ta có hệ số tương ứng khác 0

3.3.6 Kiểm định sự có nghĩa của phương trình hồi quy

y là số liệu thu được từ thí nghiệm thứ i.

Nếu y phù hợp với mô hình thì hai phương sai bằng nhau.

Cặp giả thuyết:

2 2 0

2 2 1

: :

du ts

s F s

Ma trận thực nghiệm kèm theo việc ta thực hiện chuyển từ giá trị của Z j sang giá trị của

j

x bằng công thức

0

j j j

Ta lập bảng thí nghiệm đầy đủ với k = 3 ; n0 = 4, tức là ta làm thêm 4 thí nghiệm tại tâm

và 6 thí nghiệm ở các điểm sao

♦ Tính các hệ số của phương trình hồi quy:

Dựa vào công thức mục 3.3.4 ta tính được các hệ số:

Phương sai tái sinh: 2 0 0 0 2

1 0

1

1

n i ts

2 2

2 1 2 2

2 1

2 2

' 2 1

1, 229

0,0668 0, 261 18

1, 229

0,1024 0,32 12

1, 229

0,153 0,392 8

1, 229

0,153 0,392 8

ui uj u

ts

uj u

x s

x x s

3, 25

2,644

1, 229

du ts

s F

3.4 Quy hoạch thực nghiệm riêng phần

Quy hoạch phải thực hiện 2k thí nghiệm như 2 phương pháp trên đã làm gọi là quyhoạch thực nghiệm toàn phần Nhược điểm của cách này là số điểm thí nghiệm sẽ tăng

rất nhanh khi k tăng, dẫn đến quy hoạch cồng kềnh, chi phí lớn và kém hiệu quả Vì thế

người ta đưa ra dạng quy hoạch thực nghiệm rút gọn được gọi là quy hoạch thực

3.4.1 Đặt bài toán.

Về thực chất, để xây dựng quy hoạch thực nghiệm riêng phần ta sẽ tìm cách loại

bỏ p biến trong k biến ban đầu bằng cách thay biến đó bằng tích của một số biến còn giữlại Như vậy trên thực tế bài toán đưa về xét dạng quy hoạch thực nghiệm của (k− p)biến, nhưng có bổ sung các tương tác của các biến giữ lại

Tư tưởng thực nghiệm rút gọn xuất hiện rất sớm, ngay từ đầu của lý thuyết QHTN

và áp dụng không chỉ cho QHTN tuyến tính Cho đến ngày nay do nhu cầu phát triển,các QHTN phi tuyến đã được đa dạng hóa theo hướng giảm bớt số lương thí nghiệmtrong khi vẫn đảm bảo các chất lượng tối ưu cần thiết Các dạng đó đều là thực nghiệmkhông toàn phần, được các chuyên gia lập sẵn cho từng trường hợp rút gọn với sự hỗ trợcủa máy vi tính Vì vậy việc tìm hiểu cơ sở của QHTN rút gọn chủ yếu phục vụ choQHTN tuyến tính

3.4.2 Quy hoạch thực nghiệm riêng phần

Quá trình lập QHTN riêng phần N = 2k p− :

lớn nhất đến hàm mục tiêu (d = −k p ) Lập quy hoạch thực nghiệm toàn phần cho d

thông số đó ta được 2d =2k p− thí nghiệm