Đề tài huấn luyện AI chơi game tetris

Đề tài: Huấn luyện AI chơi game Tetris... Cảm ơn thầy Huỳnh Tuấn Anh vì đã cung cấp cho nhóm chúng em nói riêng và các sinh viên trong lớp nói chung những đề tài đồ án thú vị ạ, nhóm chú

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

KHOA CÔNG NGHỆ PHẦN MỀM

������

ĐỒ ÁN 1

Đề tài: Huấn luyện AI chơi game Tetris

Giáo viên hướng dẫn: Huỳnh Tuấn Anh

Sinh viên thực hiện: Dư Chế Anh - 18520445

Thi Thanh Chương -18520539

Thành phố Hồ Chí Minh, tháng 6 năm 2021

ĐỒ ÁN 1 TETRIS AI

TETRIS AI

TÀI LIỆU BÁO CÁO DỰ

ÁN Date: 28/06/2021

Authors:

- Dư Chế Anh

- Thi Thanh Chương

Contacts:

- 18520445@gm.uit.edu.vn – 18520539@gm.uit.edu.vn

2

ĐỒ ÁN 1 TETRIS AI

NHẬN XÉT

3

ĐỒ ÁN 1 TETRIS AI

LỜI CẢM ƠN

Cảm ơn thầy Huỳnh Tuấn Anh vì đã cung cấp cho nhóm chúng em nói riêng

và các sinh viên trong lớp nói chung những đề tài đồ án thú vị ạ, nhóm chúng

em đã có những kiến thức mới và kinh nghiệm làm việc nhóm thú vị Trong quá trình làm việc, khó tránh được các sai sót từ nhỏ đến lớn, mong các thầy

cô quan tâm và góp ý tận tình giúp nhóm chúng em có thể phát triển hơn ạ

Cảm ơn các thầy cô ạ!

4

ĐỒ ÁN 1 TETRIS AI

Contents

KẾ HOẠCH VÀ PHÂN TÍCH 7

1 Kế hoạch 7

2 Phân tích 7

Thực thi 10

1 Tetris: 10

2 Bot: 10

3 AI 11

NGHIÊN CỨU 12Case #1: Ai cơ bản train ở 1 seed 13Case #2: AI cơ bản train ở nhiều seed 14Case #3: AI với fitness mới và train ở 1 seed 15Case #4: AI tự train vs AI tự train 17

KẾT LUẬN 19THAM KHẢO 20Records 21

Record1 .21Record 2 21Record 3 22Record 4 23Record 5 23

5

ĐỒ ÁN 1 TETRIS AI

GIỚI THIỆU

1 Mục đích tài liệu:

Tài liệu này được xây dựng với mục đích giới thiệu đề tài, ghi nhận và phântích quá trình tiếp nhận và giải quyết vấn đề, từ ban đầu cho đến khi hoànthành đồ án

2 Đề tài:

Huấn luyện AI chơi game Tetris

3 Vấn đề:

Tetris mà một tựa game cần chú ý nhiều input

Các sinh viên thực hiện đề tài không có kinh nghiệm với học máy hoặc trí tuệ nhân tạo

4 Hướng giải quyết:

Sử dụng ngôn ngữ lập trình Python cho dự án, vì số lượng tài liệu và hướng dẫn lớn

Sử dụng Reinforcement learning để huấn luyện cho AI (huấn luyện tăng cường)

5 Mục tiêu:

Tạo ra AI có thể đạt được 1,000,000 điểm trong tetris

6

ĐỒ ÁN 1 TETRIS AI

KẾ HOẠCH VÀ PHÂN TÍCH

1 Kế hoạch

Bước Mục đích

Nghiên cứu Nghiên cứu về Python và ứng dụng trong AI

Thực thi Tạo ra bot chơi Tetris, bot sẽ được feed thông số đầu vào

Huấn luyện Biến bot thành AI, bot sẽ tự huấn luyện để lấy thông số đầu vào

2 Phân tích

- Tetris: Mục tiêu của trò chơi là di chuyển các khối gạch đang rơi từ từ xuống

trong kích thước hình chữ nhật 20 hàng x 10 cột (trên màn hình) Chỗ nào cógạch rồi thì không di chuyển được tới vị trí đó Người chơi xếp những khốihình sao cho khối hình lấp đầy 1 hàng ngang để ghi điểm và hàng ngang ấy

sẽ biến mất (Source: Wikipedia)

- Cách một cá nhân thông thường chơi Tetris:

• Đảm bảo độ cao hiện tại là tối thiểu: Khi các viên gạch Tetris chạm

đến độ cao tối đa, thì người chơi sẽ thua cuộc, nên ta phải đảm bàođược khi chọn vị trí đặt gạch ta sẽ tối ưu độ cao của chúng

• Đảm bảo người chơi clear được số hàng nhiều nhất (ghi điểm nhiều nhất): Người chơi sẽ ghi điểm trong game bằng các clear các

hàng, nên điểm sẽ là cách chúng ta độ hiệu quả của AI

7

ĐỒ ÁN 1

TETRIS AI

• Đảm bảo số lượng lỗ giữa cột là nhỏ nhất: Các lỗ giữa hàng sẽ gây

cản trở cho việc ghi điểm và clear nhiều hàng một lúc nên chúng ta phảiđảm bảo cho việc trên

• Đảm bảo các cột có độ lệch không lớn: Nếu độ lệch giữa các cột gần

nhau lớn thì chúng sẽ giới hạn số lượng gạch có thể được đặt trênchúng nên cần phải tối ưu thông số này

Bumpiness = |3-5| + |5-6| + |6-5| + |5-4| + |4-5| = 6

8

ĐỒ ÁN 1 TETRIS AI

- AI phù hợp: Sau nhiều lần nghiên cứu tài liệu và video hướng dẫn thì nhóm

đã đi đến quyết định chọn Genetic Algorithm (thuật toán di truyền) để sử dụngcho hệ thống

• Giới thiệu về thuật toán di truyền: Là một mô hình mô phỏng thuyết

chọn lọc tự nhiên của

Darwin

• Quy trình thực thi thuật toán di truyền:

1 Tạo ra một quần thể với số lượng các cá

thể cho trước mang thông số ngẫu nhiên

2 Tính fitness cho từng cá thể trong quần

thể (fitness là hàm tính độ phù hợp cho hệ

thống, như tetris thì fitness sẽ trả về số

điểm hoặc số line đã clear)

3 Chọn ra các các thể có fitness cao nhất để

đi lai tạo

4 Các cá thể lai tạo sẽ tạo ra các cá thể mới,

có thông số ngẫu nhiên (có thể lớn hoặc

nhỏ hơn cá thể bố và mẹ)

5 Các cá thể vừa được lai tạo có tỉ lệ nhỏ bị

đột biến, khi cá thể bị đột biến, thông số

của cá thể sẽ có sự thay đổi

6 Sau đó chúng ta tổng hợp các cá thể tốt

nhất của đời này và các cá thể mới được

lai tạo, tổng hợp lại để tạo thành một quần

thể mới

7 Lặp lại quá trình cho đến khi nào đạt nhu

cầu của người lập trình, ta thu kết quả và

lấy cá thể có kết quả tốt nhất.

9

ĐỒ ÁN 1 TETRIS AI

Thực thi

1 Tetris:

Vì đây là đồ án huấn luyện AI chơi game tetris nên nhóm

bỏ qua bước phát triển game tetris bằng cách clone một

tetris repo trên github về và phát triển tính năng AI thêm

vào repo trên (info)

Repo có chức năng cơ bản, đọc dễ hiểu và có khả năng

chỉnh sửa cao

2 Bot:

Trong quá trình phân tích nhóm đã đưa ra các thông số cần đảm bảo với mộtngười chơi tetris thông thường, đó là: Độ cao hiện tại, số dòng clear, số lượng

lỗ giữa các cột, độ lệch giữa các cột Để chơi tetris người chơi phải cân nhắccác thông số trên (ở tốc độ của con người) để đưa ra quyết định hợp lý, máytính cũng tương tự, ta sẽ đưa các thông số vào cho AI để chúng quyết địnhxem nên tiến hành bước gì tiếp theo

Nhưng chỉ các thông số trên thôi thì là chưa đủ, chúng đều quan trọng, nhưngđối với người chơi thì clear dòng sẽ quan trọng hơn thảy và người chơi sẽquan trọng việc hạn chế lỗ giữa cột hơn là đảm bảo độ cao hiện tại Vì vậy đểđưa ra lựa chọn chính xác, ta phải cho mỗi thông số một cân nặng (weight)

Từ đó ta đưa ra cách tínhđiểm:

a=Aggregate Height

b=Lines Clear

c=Holes

d=Bumpiness

score = a*w1 + b*w2 + c*w3 + d*w4

Với w1 – w4 là các weight tương ứng

với các thông số trên Và khi xử lý, ta

sẽ đọc tất cả vị trí phù hợp với viên

gạch hiện tại, tính score cho từng vị trí,

và chọn vị trí có score là tốt nhất để đặt

viên gạch của chúng ta.

10

ĐỒ ÁN 1

TETRIS AI

Sau khi tạo nên các hàm tính toán cần thiết, ta chỉ việc cho chúng 1 bộ

weights phù hợp May mắn thay có một dự án có bộ weights sẵn cho các thông số tương tự nên ta có thể áp dụng chúng vào bot để cho bot hoạt động được

Weights= [-0.510066, 0.760666, -0.35663, -0.184483] (source)

3 AI

Đầu tiên nhóm tạo một class chứa các hàm của thuật toán tiến hóa

Trong đó hàm tính fitness của một quần thể sẽ trả về điểm số của từng cá thể trong một quần thể với một số lượng gạch giới hạn nào đó (piecelimit)

Sau đó chúng ta áp dụng mô hình thuật toán tiến hóa để dự án có thể tự đưa

ra weights phù hợp

11

ĐỒ ÁN 1 TETRIS AI

NGHIÊN CỨU

Lưu ý:

• Các kết quả nghiên cứu sau được tiến hành với fastmode=True (các viên

gạch được rơi ngay) và sẽ không hiển thị GUI để đảm bảo độ chính xác của kết quả (hiển thị GUI sẽ ảnh hưởng đến kết quả tùy theo sức mạnh của phần cứng)

• Weight được lấy từ ví dụ trên mạng trong bài đã được huấn luyện rất

nhiều và có thể chơi tetris liên tục 2 tuần liền, và clear hơn 2 triệu lines

mà vẫn không có dấu hiệu thua cuộc, nên nhóm thấy đây sẽ là một mốc so sánh tốt

• Kiểm tra file readme.md trên github repo nếu muốn tiến hành thực thi lại các thí nghiệm sau

Để đánh giá kết quả nghiên cứu, chúng ta sẽ so sánh kết quả khi dùng weight huấn luyện được với dùng weight của ví dụ trên mạng

Weight trên mạng ta sẽ gọi là demo_weight =

[-0.510066, 0.760666, -0.35663, -0.184483]

Weight ta train được sẽ gọi là trained_weight

12

ĐỒ ÁN 1 TETRIS AI

Case #1: Ai cơ bản train ở 1 seed

Đặc điểm:

▪ Các viên gạch và thứ tự gạch xuất hiện luôn là giống nhau (dùng seed)

▪ AI được train với seed=1

Fitness được đo bằng số điểm đạt được

Kết quả huấn luyện ( record1 )

Max fitness

Weight của cá thể tốt nhất

5 5 2 100 7072 [-1.23962156, -1.19593245,

-1.23643526, - 1.21559287]

Bảng so sánh

STT seed Số

lượnggạch

Trained fitness Demo fitness fitness/demoTrain

(lost)

>2.000.000(stopped)

Phân tích case#1:

- AI của chúng ta được huấn luyện qua 5 đời,mỗi đời gồm 5 cá thể, với giới hạn gạch là 100

- Ở 1.1, các thông số của được set tương tựnhư lúc AI được huấn luyện, nên điểm số cho

ra đạt được 93% so với demo_weight

- Ở 1.2, vì số lượng gạch tăng lên nhiều hơn

so với lúc huấn luyện nên tỉ lệ khi mang ra sosánh là 87% so với demo_weight

- Ở 1.3, 1.4, 1.5, trained_weight cho ra sốđiểm thấp hơn rõ rệt khi so với demo_weight(ở 1.3 ta đạt 18%)

Kết luận case#1:

- Cần có thêm nhiều cá thể ở mỗi đời, thêm nhiều đời cho quần thể

- Huấn luyện với seed nhất định sẽ tối ưu thời

gian (nếu ta kiểm thử ở seed đó), nhưng khả năng cao sẽ phát sinh vấn đề khi sử dụng AItrong thực tiễn

13

ĐỒ ÁN 1 TETRIS AI

Case #2: AI cơ bản train ở nhiều seed

Đặc điểm:

▪ Các viên gạch và thứ tự gạch xuất hiện luôn là ngẫu nhiên

▪ AI được train với seed=random

Fitness được đo bằng số điểm đạt được

Kết quả huấn luyện ( record2 )

Max fitness

Weight của cá thể tốt nhất

10 10 2 500 169,382 [-0.95302473, 0.18715282,

-2.16764887, - 0.34569755]

Bảng so sánh

STT seed Số

lượnggạch

Trained fitness Demo fitness fitness/demoTrain

fitness2.1 1 500 29,795 146,396 0.2035232.2 2 500 1,612 146,398 0.0110112.3 3 500 159,545 145,229 1.0985752.4 4 500 18,009 151,914 0.1185472.5 5 500 37,861 144,788 0.261493

2.6 3 infinite 247.437

(lost)

>3.000

00 0 (stopped)

Phân tích case #2:

- AI của chúng ta được huấn luyện qua 10 đời,mỗi đời gồm 10 cá thể,với giới hạn gạch là

500

- Khi thực chiến mỗi cá thể có giới hạn gạch

và seed khác nhau

- Ngoại trừ ở 2.3, thì trained_weight luôn đạt tỉ

lệ rất thấp khi so với demo_weight (2.2 đạt1,1%)

- Ở 2.3 ta đạt 110%

- Ta thua ở 247,437 điểm ở hàng 2.6 (khônggiới hạn gạch), vẫn không đạt yêu cầu

Kết luận case#2:

- Huấn luyện AI với các seed ngẫu nhiên có khả năng tạo ra AI tốt hơn

- Huấn luyện AI với seed ngẫu nhiên cần rất

nhiều cá thể mỗi đời và cần qua rất nhiều đời để đạt được khả năng ứng dụng cao (khi sovới ứng dụng trong case #2)

14

ĐỒ ÁN 1

TETRIS AI

Case #3: AI với fitness mới và train ở 1 seed

Đặc điểm:

▪ Các viên gạch và thứ tự gạch xuất hiện được xác định bằng seed

▪ AI được train với seed=1

Fitness được đo bằng:

số lượng line đã xóa*1000 + số lượng gạch đã đặt

Kết quả huấn luyện ( record3 )

Max fitness

Weight của cá thể tốt nhất

5 5 2 300 118300 [-0.31534278, 0.2462788,

-1.93889201, - 0.48623653]

Bảng so sánh

Lưu ý:

▪ Ở bảng này ta thêm một thông số nằm sau fitness của 2 weight, đó hiệu

năng của fitness, mỗi viên gạch tetris có 4 khối nhỏ, cần 10 khối nhỏ để tạo thành một hàng ngang, cách tính fitness mới là: số lượng line đã xóa*1000 + số lượng gạch đã đặt, vì vậy theo lý thuyết, nếu đặt 300 viên gạch:

->fitness tối đa có thể đạt được là: 300*0.4*1000 + 300 =120,300

▪ Ta sẽ giới thiệu thêm thông số nằm sau fitness của 2 weight đó là tỉ lệ

của chúng so với fitness tối đa đối với thông số của chúng

▪ Với các bài train ở số lượng gạch là vô hạn thì chúng sẽ được giám sát

kèm với UI nên số điểm có thể thấp hơn số điểm tối đa.

STT seed Số

lượnggạch

Theoreticalmaximum

Trained fitness Demo fitness Train fitne

ss/ dem

o fitness3.1 1 300 120,300 118,300

(98.3%)

117,300 (97.5%)

1.008

3.2 1 600 240,600 236,600

(98.3%)

237,600 (98.7%)

0.995

3.3 1 1,000 401,000 399,000

(99.5%)

400,000 (99.7%)

0.997

15

ĐỒ ÁN 1

TETRIS AI

3.4 2 500 200,500 198,500

(99%)

196,500 (98%)

1.010

3.5 2 Infinite Infinite 1,535,862

(99%,thua

ở line3862)

1,049,655 (98.5%, thua

ở line 2655)

1.463

Phân tích case #3:

▪ AI của chúng ta được huấn luyện qua 5 đời, mỗi đời gồm 5 cá thể, với giới hạn gạch là 300

▪ Khi thực chiến với demo_weight mỗi cá thể có giới hạn gạch và seed khác nhau

▪ Kết quả khi mang ra so sánh với demo_fitness là thật sự xuất sắc, chỉqua tổng cộng 25 cá thể mà AI đã có thể ngang bằng so vớidemo_fitness ở 4/5 bài test và chạm ngưỡng 146% hiệu năng khi dùngseed 2 và không giới hạn gạch

▪ Có sự khác biệt rất lớn khi thay đổi công thức tính fitness

Kết luận case#3:

▪ Huấn luyện AI tetris muốn đạt hiệu quả cao, nhanh chóng thì ta tínhfitness bằng số lượng line đã clear, sẽ tốt hơn là tính điểm, vì công thứctính điểm là số lượng line clear = [1,2,3,4] thì sẽ có số điểm là[40,100,300,1200], vì công thức tính điểm chơi ưu tiên clear nhiều linemột lúc, có thể mang lại nguy hiểm cho AI vì độ cao trung bình sẽ đượcđẩy lên để ưu tiên clear nhiều line AI với fitness theo số line đã clear thì

sẽ ưu tiên clear line trước, dẫn đến độ cao trung bình thấp, khiến chúngsống được lâu hơn

▪ Cần có kiểm chứng về thực lực của các AI với các bộ fitness khác nhau

16

ĐỒ ÁN 1

TETRIS AI

Đặc điểm:

Case

#4: AI tự train vs AI tự train

▪ Khi so sánh với nhau các AI sẽ được so sánh bằng số điểm đạt được

▪ Các viên gạch và thứ tự gạch xuất hiện được xác định bằng seed ▪ 2

AI sẽ được train ở seed = 1

▪ Ta sẽ train 2 AI đối đầu với nhau

Fitness của AI 1 được đo bằng:

số lượng line đã xóa*1000 + số lượng gạch đã đặt

Kết quả huấn luyện AI 1 ( record4 )

Max fitness

Weight của cá thể tốt nhất

5 5 2 300 119,300 [-0.40254199, 0.83214954,

-1.22852379, - 0.60817082]

Fitness của AI 2 được đo bằng số điểm đạt được

Kết quả huấn luyện AI 2 ( record5 )

Max fitness

Weight của cá thể tốt nhất

5 5 2 300 59,075 [-0.99519968, 0.51426722,

-1.50641223, - 0.66819176]

Bảng so sánh

Lưu ý:

▪ Với các bài train ở số lượng gạch là vô hạn thì chúng sẽ được giám sát

kèm với UI nên số điểm có thể thấp hơn số điểm tối đa mà chúng có thể đạt được

STT seed Số lượng

gạch ScoreAI 1 ScoreAI 2 score/AI 2AI 1

score4.1 1 100 7,551 7,620 0.9909448824.2 1 300 55,769 59,075 0.9440372414.3 1 600 203,548 225,613 0.9021997854.4 1 Infinite 2,134,8

32(lost)

495,705 (lost)

4.306658194

17

ĐỒ ÁN 1

TETRIS AI

4.5 2 Infinite 337,842

(lost)

1,550,578 (lost)

0.217881332

Phân tích case #4:

▪ AI của chúng ta được huấn luyện qua 5 đời, mỗi đời gồm 5 cá thể, với giới hạn gạch là 300

▪ Khi train AI sử dụng số điểm đạt được AI sẽ tối ưu clear nhiều hàng cungmột lúc hơn, như ở 4.1 và 4.2 và 4.3, AI 2 luôn đạt điểm số cao hơn ▪ Nhưng khi muốn AI tồn tại lâu hơn thì AI 1 tồn tại tốt hơn (4.4)

Kết luận case #4:

▪ AI được huấn luyện với fitness ưu tiên clear nhiều hàng một lúc (AI 2)

sẽ có hiệu năng tốt hơn trong số lượng gạch được cho phép ▪ AI được huấn luyện với fitness ưu tiên độ cao của các cột (AI 1) sẽ có khả năng tồn tại tốt hơn (4.4)

▪ Nếu muốn đánh giá AI bằng các seed khác nhau thì nên thử ở nhiều seed vì kết quả sẽ phụ thuộc vào seed đó (4.5)

18

ĐỒ ÁN 1 TETRIS AI

KẾT LUẬN

Sau các bài nghiên cứu và huấn luyện thì nhóm đã có nhiều kiến thức và đãtạo được một AI có khả năng chơi Tetris hơn 34,000,000 điểm AI được huấnluyện qua 20 đời, gồm 20 cá thể, 5000 gạch giới hạn và được huấn luyệnhoàn chỉnh trong vòng 13h (Video)

Sau khi hoàn thành đồ án và tiến hành các bài nghiên cứu, nhóm đã biết thêmđược nhiều nội dung liên quan đến AI nói chung và AI cho game Tetris nóiriêng

Các kiến thức trên có thể được dùng cho học tập và các dự án sau này, nhómrất vui vì đã chọn được một đề tài tốt và mang lại nhiều kiến thức bổ ích

Cảm ơn các thầy cô hoặc các bạn đã đọc qua báo cáo.

19

ĐỒ ÁN 1 TETRIS AI

THAM KHẢO

Tetris game:

b a36f6fcc9

Demo weights & charts: Tetris AI – The (Near) Perfect Bot | Code My Road (wordpress.com)