Dự án nhóm-Report

Mô hình khuếch tán là một trong những mô hình tạo sinh dữ liệu chất lượng cao, đã được ứngdụng và phát triển hiệu quả trong các lĩnh vực như ảnh hoặc các mô hình ngôn ngữ lớn NLP[7].. Đố

Projects in Mathematics and Applications

Mô hình khuếch tán

Ngày 31 tháng 8 năm 2025

Đinh Hoàng Phương Thảo ∗ †Đinh Nguyễn Bảo Anh

Hồ Xuân Hùng ‡ §Vũ Đình Minh

∗Trường THPT Chuyên Hà Giang, Tuyên Quang

†Trường THPT chuyên Lê Quý Đôn, Đà Nẵng

‡Trường THPT Chuyên Chu Văn An, Hà Nội

§Trường THPT Chuyên Chu Văn An, Hà Nội

1

Mục lục

3.1 Động lực nghiên cứu 3

3.2 Mục tiêu dự án 4

4 Kiến thức trọng tâm 5 4.1 Nền tảng sinh học 5

4.2 Nền tảng học máy 7

5 Quy trình thực hiện 14 5.1 Quy trình dự án 14

5.2 Tiền xử lí dữ liệu 14

5.3 Xây dựng mô hình 15

5.4 Huấn luyện mô hình 17

5.5 Tạo sinh dữ liệu 17

5.6 Phương pháp đánh giá 17

6 Kết quả 20 6.1 Khoảng cách thống kê 20

6.2 Khoảng cách phi thống kê 20

1 Lời cảm ơn

Lời đầu tiên, mình muốn gửi lời cảm ơn, sự ghi nhận đối với công sức, nỗ lực, sự hợp tác, giúp

đỡ nhau của tất cả thành viên trong nhóm

Chúng em muốn tri ân sự đồng hành và giúp đỡ của mentor nhóm - chị Nguyễn Thị Vân.Chị để không gian cho bọn em tự tìm hiểu, làm việc và tự trưởng thành Nhưng bên cạnh đó,chị đã chuẩn bị kĩ các nguồn tài nguyên, công cụ; quản lí lịch trình; trao đổi, cho phép phảnbiện; đặt câu hỏi sâu để kiểm tra kiến thức; hỗ trợ, giải đáp mỗi khi bọn em cần

Cảm ơn anh Nguyễn Ngọc Cảnh - mentor nhóm mô hình khuếch tán Hồ Chí Minh Dù khôngtrực tiếp có mặt, tham gia trại hè Hà Nội, nhưng anh vẫn đồng hành, sẵn sàng giải đáp thắcmắc khi bọn em cần

Cảm ơn anh Cấn Trần Thành Trung và tất cả các thành viên trong Ban Tổ chức Trại hè PiMA

2025 (đặc biệt là tại Hà Nội) vì đã nỗ lực cùng nhau để tạo ra một sân chơi học thuật, kết nối;đảm bảo các yếu tố về an toàn cho bọn em được trải nghiệm, học tập, phát triển và vui chơi.Cảm ơn các anh chị mentor Trần Phan Anh Danh, Phùng Minh Quân, Võ Hoàng An, Lê TiếnHợp, Tăng Vĩnh Hà, Nguyễn Minh Đức và sự đồng hành, thân thiện, cởi mở, tâm huyết củamọi người Các anh chị đã nỗ lực, chuẩn bị kĩ lưỡng những bài giảng, trăn trở với câu hỏi “Làmsao để truyền đạt kiến thức một cách tốt nhẩt?”; nhiệt tình giải đáp những thắc mắc, cùngtrao đổi, khơi gợi tư duy, truyền niềm đam mê, tình yêu Toán - Tin học cho bọn em

Inspire (truyền cảm hứng) có gốc từ (etymology) Latin là inspirare, có nghĩa là thổi hồn vào.Cảm ơn các bạn trại sinh PiMA Hà Nội vì đã cùng nhau tạo nên những trải nghiệm, khoảnhkhắc, kỉ niệm đáng nhớ

Cuối cùng, chúng mình muốn dành lời cảm ơn đến với tất cả các bậc phụ huynh đã tin tưởnggiao phó, tạo điều kiện để các bạn trại sinh được có mặt và trải nghiệm trại hè PiMA Hà Nội

Sự đồng hành của mọi người là không thể không nhắc đến, góp phần giúp chúng em tìm hiểu,hoàn thiện dự án này

2 Tóm tắt nội dung

Dữ liệu đơn bào scRNA-seq đóng vai trò quan trọng trong việc phát triển thuốc, khám pháquá trình phát triển của tế bào và nghiên cứu các phương pháp y học cá thể hóa hiện nay [10].Tuy nhiên, việc thu thập dữ liệu đơn bào hiện tại còn gặp nhiều khó khăn không chỉ về chấtlượng dữ liệu mà còn về chi phí và các vấn đề kĩ thuật khác [11]

Mô hình khuếch tán là một trong những mô hình tạo sinh dữ liệu chất lượng cao, đã được ứngdụng và phát triển hiệu quả trong các lĩnh vực như ảnh hoặc các mô hình ngôn ngữ lớn (NLP)[7] Đối với lĩnh vực tin sinh học (Bioinformatics), mô hình trên chưa được nghiên cứu sâu cũngnhư khai thác tối đa tiềm năng của mô hình [13]

Trong dự án này, chúng em đã nghiên cứu và ứng dụng mô hình khuếch tán cho tạo sinh dữliệu sinh học đơn bào scRNA-seq Các số liệu đánh giá thực nghiệm cho thấy mô hình có khảnăng tạo sinh dữ liệu chất lượng cao với các thang đo độ hiệu quả vượt trội so với các mô hìnhtạo sinh trước đó như VAEs hoặc GANs Kết quả của dự án có thể đóng một phần không nhỏtrong việc ứng dụng các mô hình tạo sinh cho dữ liệu sinh học, nhằm phục vụ phát triển cácphác đồ điều trị bệnh hiện tại

1

3 Giới thiệu

Mô hình khuếch tán là một mô hình tạo sinh, được giới thiệu lần đầu vào năm 2015 trong bàibáo Deep unsupervised learning using nonequilibrium thermodynamics [16], được lấy ý tưởng từquá trình khuếch tán trong vật lý Định luật 2 của nhiệt động lực học (thermodynamics) phátbiểu rằng, trong một hệ lớn và không trao đổi năng lượng với môi trường sẽ có entropy (độhỗn loạn) luôn tăng hoặc không đổi theo thời gian, hay nói cách khác, mọi vật có xu hướng đi

từ trật tự tới hỗn loạn

“There is a general tendency of all observed systems to go from order to disorder,reflecting dissipation of energy available for future transformations—the law ofincreasing entropy“ - Robert Bruce Lindsay (1968) [12]

Ví dụ như nhỏ một giọt mực vào ly nước: mặc dù không khuấy, nhưng mực lan tỏa khắp lynước (do các phân tử mực chuyển động không ngừng về mọi phía) là minh chứng cho xu hướng

tự nhiên tăng entropy (đây được coi là quá trình khuếch tán “thuận“ - một quá trình khôngthể đảo ngược trong tự nhiên)

Hình 1: Quá trình khuếch tán của phân tử mực trong ly nước

Sohl-Dickstein và các cộng sự đã kết nối ý tưởng trên với sự tương quan khái niệm trong bàibáo Deep unsupervised learning using nonequilibrium thermodynamics [17] như sau:

• Quá trình khuếch tán thuận phá hủy cấu trúc dữ liệu từ dữ liệu gốc thành dữ liệu nhiễumột cách có hệ thống và chậm rãi theo một lịch trình phương sai được xác định trước(entropy tăng)

• Quá trình khuếch tán ngược giúp khôi phục cấu trúc từ nhiễu (entropy giảm) Đây là quátrình máy học cách đảo ngược quá trình khuếch tán để tạo sinh dữ liệu mới

Các quá trình trên cũng chính là nền tảng cho mô hình khuếch tán hiện nay Tuy nhiên, phảiđến giai đoạn 2020 - 2021 các mô hình khuếch tán mới thực sự phát triển mạnh mẽ và ápdụng rộng rãi trong học sâu, đặc biệt là trong các mô hình tạo sinh dữ liệu hình ảnh chất lượngcao [7] So với các mô hình tạo sinh ảnh khác (VAEs, GANs), mô hình khuếch tán được chứng

minh là có hiệu quả vượt trội về chất lượng dữ liệu tạo sinh, tốc độ và tính ổn định khi huấnluyện, cụ thể như sau:

• Tính ổn định khi huấn luyện: một nghiên cứu từ OpenAI [15] cho thấy GANs thường xuấthiện mode collapse (độ đa dạng ảnh hạn chế); khó huấn luyện, cần tinh chỉnh nhiều siêutham số (hyperparameters); trong khi đó, mô hình khuếch tán dễ điều chỉnh hơn với kỹthuật classifier guidance để cân bằng giữa chất lượng (fidelity) và đa dạng (diversity) củaảnh sinh

• Chất lượng dữ liệu và tốc độ tạo sinh dữ liệu: một nghiên cứu khác về Comparison of vae

kiến trúc tạo sinh VAE và Mô hình khuếch tán (Diffusion model) trong việc tạo ảnh ungthư phổi dựa trên dataset của Trung tâm Ung thư Quốc gia Iraq (IQ-OTH/NCCD) Kếtquả chính được tóm tắt như sau:

– VAE: với ưu điểm là khả năng tạo ảnh nhanh, phù hợp với quy trình sinh dữ liệu cấptốc Tuy nhiên, ảnh tạo ra thường mờ (blurrier), thiếu chi tiết hình ảnh quan trọng.– Mô hình khuếch tán (Diffusion model): mặc dù quá trình sinh ảnh chậm hơn, kếtquả đầu ra là ảnh rõ nét, chi tiết cao, phản ánh đặc trưng mô hình và cấu trúc bệnhhọc chính xác

Điều này cho thấy mô hình khuếch tán đặc biệt phù hợp trong tạo sinh dữ liệu khoa học - cần

độ chính xác cao, cụ thể là trong lĩnh vực y sinh học

3.1 Động lực nghiên cứu

Trong y học phân tử (molecular medicine), việc nghiên cứu về tế bào và vật chất di truyền lànền tảng để hiểu sâu hơn về cơ chế bệnh, từ đó dẫn đến hướng chẩn đoán và điều trị mới.Công nghệ giải trình tự RNA đơn bào single-cell RNA sequencing (scRNA-seq) cho phép chúng

ta làm được điều đó thông qua phân tích biểu hiện gene ở mức độ từng tế bào [10] Tuy nhiêntrong thực tiễn, thu thập dữ liệu scRNA-seq gặp rất nhiều khó khăn [11]:

• Thiếu dữ liệu tế bào hiếm

• Kinh tế: ngay cả với công nghệ giải trình tự gene thế hệ mới - NGS cũng rất tốn kém

• Bảo mật dữ liệu bệnh nhân

• Hiệu ứng lô (batch effect): sai số kĩ thuật (không phải từ tín hiệu sinh học thực sự củacác mẫu) phát sinh giữa những lần thử nghiệm hoặc các lô thí nghiệm khác nhau, làmgiảm độ chính xác của kết quả phân tích dữ liệu, dẫn đến kết luận sai lệch

Bên cạnh đó, dữ liệu thường bị dropout (nhiều giá trị zero do giới hạn kỹ thuật), gây mấtthông tin sinh học Điều này thúc đẩy nhu cầu sử dụng mô hình tạo sinh, để mở rộng và tăngcường dữ liệu chất lượng cao [13]

Trong vòng 10 năm gần đây, các mô hình tạo sinh ra đời (GANs, VAE, Diffusion Model) đã

có ứng dụng rộng rãi trong tạo sinh hình ảnh, văn bản Song, việc ứng dụng tạo sinh trong dữliệu sinh học tế bào là một hướng nghiên cứu mới trong giai đoạn 2023 - 2025 Mặc dù đã cónhiều công trình quan trọng và mô hình như scDiffusion [13], số lượng nghiên cứu hiện tại vẫncòn hạn chế so với tiềm năng của mô hình khuếch tán trong tạo sinh dữ liệu sinh học đơn bào

3

4 Kiến thức trọng tâm

4.1 Nền tảng sinh học

Tế bào là thuật ngữ được Robert Hooke nhắc đến lần đầu trong cuốn sách Micrographia (1665)[8] là đơn vị cấu trúc, chức năng cơ bản và nhỏ nhất của cơ thể sống; mọi cơ thể sống đượccấu thành từ một hoặc nhiều tế bào Trong đó, các hoạt động sinh học cốt lõi (trao đổi chất,sao chép, biểu hiện gene) đều diễn ra ở cấp độ tế bào [2] Các cấp bậc của tổ chức sinh học

tế bào được mô tả như sau:

Hình 2: Các cấp bậc tổ chức sinh học trong cơ thể người: tế bào là đơn vị cấu trúc nhỏ nhấtcủa sự sống

Hình 3: Học thuyết trung tâm (central dogma) của sinh học phân tử: Protein cấu thành tế bào

và cơ thể người; chúng được sinh tổng hợp dựa trên thông tin di truyền mã hoá trong DNAthông qua quá trình phiên mã và dịch mã

Với sự phát triển của công nghệ giải trình tự thế hệ mới (NGS), đặc biệt là single-cell

bào riêng rẽ trong cùng một mô Kết quả thu được là số lượng mRNA và loại gene mà mỗi tế

5

bào đang phiên mã, giúp xác định loại gene nào đang được kích hoạt và độ khác biệt với các

tế bào còn lại trong cùng mô mẫu Đây cũng chính là đầu vào dữ liệu cho mô hình khuếch tántạo sinh Bằng cách phân tích toàn bộ biểu hiện gen ở từng tế bào, dữ liệu đơn bào scRNA-seqgiúp:

• Phân loại loại tế bào mới hoặc hiếm trong mô

• Hiểu cơ chế bệnh học Ví dụ, trong ung thư, ta có thể biết được quần thể tế bào nàothúc đẩy khối u phát triển hoặc kháng thuốc [4]

Quy trình giải trình tự RNA đơn bào gồm các bước như sau: lấy mẫu mô, tách tế bào đơn,tách chiết RNA, phiên mã ngược RNA để tổng hợp DNA bổ sung (cDNA), giải trình tự và thuđược hồ sơ biểu hiện gen

Hình 4: Quy trình (workflow) giải trình tự RNA đơn bào (scRNA-seq) cho phép thực hiện phântích ở cấp độ từng tế bào

Dữ liệu hồ sơ biểu hiện gen thu thập sau quy trình trên được mô tả như sau:

• Nguồn thu thập dữ liệu: công nghệ giải trình tự gen thế hệ mới (Next GenerationSequencing - NGS)

– Dữ liệu phi cấu trúc (ngày thu thập, công nghệ, etc)

• Định dạng file dữ liệu: csv, rdata, h5ad (phổ biến nhất)

Hình 5: Ma trận biểu hiện gene [9]

4.2 Nền tảng học máy

Mô hình khuếch tán cấu tạo gồm 3 phần:

• Quá trình khuếch tán thuận

• Quá trình khuếch tán ngược

• Tạo sinh dữ liệu

xT ∼ ppr i or có phân phối đơn giản hơn

Hình 6: Quá trình khuếch tán thuận

q (xt|xt−1) =Nxt; xt−1p1− βt, βtI với βt ∈ (0, 1) , t = 1, T

7

ở đây βt, t = 1, T là tốc độ khuếch tán tại thời điểm t (được chọn trước) Tốc độ khuếch tán

Từ đó tái tham số hóa ta được

αi



i =1 1

αi −Pt

i =1 1

xt =pαtx0+p1− αtϵ, ∀1 ≤ t ≤ T, ϵ ∼ N (0, I)

qua các điểm dữ liệu trung gian, giảm đáng kể thời gian và khối lượng tính toán Ngoài ra với

t bất kỳ ta có phân phối

q (xt|x0) =N xt;pαtx0,p1− αtI.Lịch trình phương sai

Tập số{βt}Tt=1 βt được gọi là lịch trình phương sai, được hiểu là lịch trình khuếch tán nhiễu theo

Lịch trình phương sai cần tuân theo một số điều kiện

1 Tổng lượng nhiễu β1, β2, phải đủ lớn để chuyển phân phối dữ liệu thành nhiễu Gaussian

2 Ở mỗi bước, lượng nhiễu phải đủ nhỏ để có thể thực hiện quá trình khuếch tán ngược

Do đó giá trị của T được chọn phải đủ lớn, ví dụ T = 1000 [7]

Lưu ý: Lịch trình phương sai của mô hình khuếch tán có thể có nhiều loại Chẳng hạn trong bàibáo Deep unsupervised learning using nonequilibrium thermodynamics [17] là tuyến tính Haytrong bài báo mproved denoising diffusion probabilistic models [14] là cosine

nhiên xT ∼ N (0, I) Bắt đầu từ x0, tại mỗi thời điểm t = 1, 2, , T , ta thêm nhiễu điều chỉnhgiá trị trung bình của dần dần về 0 và phương sai dần dần lên 1 khi t càng lớn Dữ liệu cuốicùng xT có được sau khi hoàn tất việc thêm nhiễu sẽ có phân phối q(xT|x0)≈ N (0, I) = ppr i or

Có thể thấy quá trình khuếch tán thuận là một quá trình cố định và hoàn toàn tự động

4.2.2 Quá trình khuếch tán ngược

Tổng quan: Quá trình khuếch tán ngược là quá trình đảo ngược của quá trình khuếch tán

Một kết quả quan trọng trong bài báo On the theory of stochastic processes, with particular

dạng phân phối của quá trình khuếch tán thuận Nói cách khác, ta kỳ vọng quá trình ngượccũng sẽ là chuỗi Gaussian Markov

Hình 7: Quá trình khuếch tán ngược

ta không thể tính trực tiếp phân phối q (xt−1|xt) theo cách trên

nhỏ thì phân phối của quá trình ngược có cùng phân phối với quá trình thuận, do vậy mỗi bướckhử nhiễu có thể được tham số hóa bằng một phân phối chuẩn

pθ(xt−1|xt) = N (xt−1; µθ(xt, t) , Σθ(xt, t)) với tham số θ được tính toán thông qua neural network

Để mô hình ước lượng µθ(xt, t) và Σθ(xt, t), nó cần biết dữ liệu ở trạng thái hiện tại xt, đồngthời cần biết thời gian t (vì ở mỗi khoảng thời gian, lượng nhiễu sẽ khác nhau)

Giống như quá trình khuếch tán thuận, quá trình khuếch tán ngược được mô tả là một chuỗiMarkov, nghĩa là

4.2.3 Hàm mục tiêu - Hàm Loss

Hàm log-likelihood

liệu sinh ra tương tự dữ liệu được quan sát trong huấn luyện) Ta khai triển hàm log-likelihoodnhư sau:

log pθ(x0) = log

Z

pθ(x0:T) d x1:T.Tuy nhiên

Z

tiếp pθ(x0) là không khả thi

Ta biến đổi theo một hướng khác, theo công thức Bayes:

= Eq(x1:T|x0)[log q (x1:T|x0)− (log pθ(x0:T)− log pθ(x0))]

= Eq(x1:T|x 0 )[log q (x1:T|x0)− log pθ(x0:T)] + Eq(x1:T|x 0 )[log pθ(x0)]

= Eq(x1:T|x0)

hloglog q(x1:T |x 0 ) log pθ(x0:T)

i+ log pθ(x0)

Điều này tương đương với

log pθ(x0) = Eq(x1:T|x 0 )

hlog pθ (x0:T) q(x1:T|x 0 )

i+DKL(q (x1:T|x0)∥pθ(x1:T|x0))

Có thể thấy rằng DKL(q∥p) ≥ 0 do đó log pθ(x0) ≥ Eq(x1:T|x0)

hlog pθ (x0:T) q(x1:T|x 0 )

i Vậy thay vì cực đạihóa log pθ(x0), ta sẽ cực đại hóa Eq(x1:T|x0)

hlog pθ (x0:T) q(x1:T|x0)

i(gián tiếp cực đại log pθ(x0)) Ta khaitriển như sau:

Eq(x1:T|x 0 )

hlog pθ (x0:T) q(x1:T|x 0 )

i+

q (xt|xt−1)

+ Eq(x 1 |x 0 )[pθ(x0|x1)]

= Eq(x1:T|x 0 )

hlog pθ (xT) q(xT|x T−1 )

i+

q (xt|xt−1)

+ Eq(x 1 |x 0 )[pθ(x0|x1)]

Trong học máy, việc tối ưu hóa một hàm thường được biểu diễn dưới dạng “tối thiểu hóa hàmmất mát”, do đó ta sẽ chuyển sang đi cực tiểu hóa hàm negative log-likelihood (NLL) Cụ

tương đương với cực đại hóa) Sau đây chính là hàm mất mát huấn luyện mô hình

Hàm mất mát

L (θ) = − log pθ(x0) =−Eq(x1:T|x 0 )

hlog pθ (x0:T) q(x1:T|x0)

i

= · · ·

= −Eq(x1:T|x 0 )

hlog pθ (xT) q(xT|xT−1 )

pθ(xT)

i+

hay chính là ước lượng cho q (xt−1|xt, x0).

Khi này DKL(N (µq, Σq)∥N (µpθ, Σpθ)) trở thành

DKL(N (µq, Σq)∥N (µpθ, Σpθ)) = 1

2

h(µq− µpθ)⊤Σ−1p

θ (µq− µpθ)i= 1

2 ˜βt

∥µq− µpθ∥2

thông qua thuật toán Gradient Descent và được mô tả chi tiết như sau

Để huấn luyện mô hình khuếch tán và tạo sinh dữ liệu mới từ mô hình đã huấn luyện, ta có haithuật toán: Thuật toán huấn luyện mô hình và Thuật toán tạo sinh dữ liệu

Thuật toán huấn luyện mô hình

Algorithm 1 Huấn luyện mô hình