báo cáo môn học học với ít ví dụ

Sau đây, chúng tôi giới thiệumột số mô hình hiện đại tiêu biểu qua cách cài đặt của học không ví dụ Mục2, học một ví dụ Mục 3, BPL Mục 4, học với ít tài nguyên Mục 5 và cuốicùng là học k

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN TOÁN ỨNG DỤNG VÀ TIN HỌC

——————————————————

Báo cáo môn học

HỌC VỚI ÍT VÍ DỤ

Hệ hỗ trợ quyết định Chuyên ngành: Toán tin

Giảng viên hướng dẫn: TS LÊ CHÍ NGỌC Sinh viên thực hiện: PHẠM BÁ THÁI

HÀ NỘI - 2020

Mục lục

0.1 Giới thiệu 3

0.2 Học không ví dụ 5

0.2.1 Tổng quan 5

0.2.2 Thuật toán cho học không ví dụ 7

0.3 Học với một ví dụ 14

0.3.1 Tổng quan 14

0.3.2 Thuật toán học với một ví dụ 15

0.4 Chương trình Bayes 19

0.4.1 Tổng quan 19

0.4.2 BPL để xác định các nét chữ cái 20

0.5 Học với ít tài nguyên 24

0.5.1 Tổng quan 24

0.5.2 Dịch máy 25

0.6 Tổng quát hóa miền 29

0.6.1 Tổng quan 29

0.6.2 Hướng SVM 30

0.6.3 Bộ mã hóa tự động đa tác vụ 31

0.1 Giới thiệu

Khái niệm về học ít được lấy cảm hứng từ quan sát rằng con người có khả nănghọc một khái niệm trừu tượng chỉ với một vài ví dụ, thậm chí là không có ví dụnào! Trẻ em đặc biệt có khả năng nắm bắt các đặc điểm điển hình của một kháiniệm bằng vài quan sát Ví dụ, khi được xem một hình ảnh và được nói rằng vậtthể trong ảnh là một quả táo, con người có thể nhanh chóng nắm bắt các đặcđiểm chính về hình dạng, màu sắc và kết cấu của nó, và liên kết các đặc tínhnhư vậy với khái niệm quả táo Lần sau, khi chúng ta gặp phải một loại táo đặcbiệt, ví dụ quả roi, ta sẽ ngay lập tức nhận ra nó không có vấn đề gì cho dù tỷ lệhoặc góc nhìn khác với các quan sát trước đó Thỉnh thoảng, ngay cả khi chúng

ta không được thông báo về các đặc điểm của hình ảnh, có thể chúng ta vẫn đoánđược vật đó thuộc về một loài gần giống với táo, bởi vì chúng có chung một sốtính chất vật lý như vỏ màu đỏ, kết cấu mịn và hình dạng tương đồng Chúng takhông cần phải dạy khái niệm này thông qua nhiều ví dụ rằng những quả này làtáo và những quả kia thì không

Tuy nhiên, nhiệm vụ dễ dàng này lại rất khó khăn với phần lớn các cỗ máyhiện tại, các thuật toán học, thậm chí là các mô hình học sâu đối kháng trongnhiều nhiệm vụ nhận thức Ngược lại với khả năng học hỏi của con người từ mộttập hợp nhỏ các ví dụ, phần học của thuật toán học máy thường dựa trên một sốlượng lớn các ví dụ Thông thường, mô hình càng phức tạp lại càng cần nhiều dữliệu được dán nhãn hơn cho quá trình huấn luyện Kết quả là, khi một mô hìnhhọc máy gặp phải khái niệm hoàn toàn mới, việc một kinh nghiệm trước đây cóthể giúp phán đoán chính xác cũng giống như việc sinh ngẫu nhiên mà gặp phần

tử tốt nhất vậy Trong hầu hết các trường hợp, thuật toán học máy đòi hỏi mộtlượng lớn các ví dụ mới để cập nhật được cho các tác vụ mới.

Để cung cấp cho các thuật toán học máy khả năng nắm bắt thông tin hữu ích

từ một số ít ví dụ, các nhà nghiên cứu đã cố gắng mô phỏng quá trình tinh tế màcon người học hỏi từ ít ví dụ, thay vì huấn luyện một mô hình từ đầu đến cuốivới dữ liệu lớn Cốt lõi của nhóm mô hình này được xây dựng trên một đặc tínhcủa khả năng nhận thức của con người khi mà con người học hỏi một khái niệmmới dựa trên tất cả những kinh nghiệm trước đây Có nhiều giai đoạn của nhậnthức từ quan sát thể chất đến hiểu biết tinh thần và trí nhớ Lấy ví dụ về trái câylúc chẳng hạn Mặc dù có nhiều loại trái cây khác nhau, chẳng hạn như quả roi

và quả táo, có đặc điểm riêng xuất hiện, hương vị và cấu trúc, chúng có một cái

gì đó chung Cả hai đều có da mịn và hình dạng của chúng là tương tự nhau.Những đặc tính tương tự hỗ trợ kiến thức có thể được chuyển giao từ một loạitáo sang loại khác Nếu một thuật toán sở hữu khả năng khái quát hóa như vậydựa trên các đặc trưng phổ quát, một mô hình cũng có thể dễ dàng thích ứng vớimột khái niệm mới qua một vài ví dụ đúng

Theo cách nhìn sâu sắc này, các nhà nghiên cứu đã đề xuất việc học qua ít

ví dụ để bắt chước khả năng học của con người Có nhiều biến thể của học qua

ít ví dụ, bao gồm học không có ví dụ nào, học qua một ví dụ, chương trình họcBayes (BPL), học với ít tài nguyên và khái quát miền Tất cả đều có thể hiểu làmột số biến thể của học chuyển giao Vì vậy, trong bối cảnh học chuyển giao,chúng ta sẽ xem xét từng cái một

So với các giới thiệu về học chuyển giao được giới thiệu trước đây, trong họcvới ít ví dụ, miền đích thường được cho là có dữ liệu rất hạn chế, bao gồm cả dữ

liệu được dán nhãn và không nhãn Trong một số trường hợp cực đoan, không

có trường hợp nào trong miền đích được giả định là có sẵn trước; ví dụ, đây cóthể là trường hợp trong các vấn đề khái quát miền Sau đây, chúng tôi giới thiệumột số mô hình hiện đại tiêu biểu qua cách cài đặt của học không ví dụ (Mục2), học một ví dụ (Mục 3), BPL (Mục 4), học với ít tài nguyên (Mục 5) và cuốicùng là học khái quát miền (Mục 6)

Trong cài đặt học không ví dụ, một hệ thống học sẽ xử lý các ví dụ thử (testingexample) từ một lớp mới không xuất hiện trong dữ liệu luyện So sánh với càiđặt máy học thông thường, sự khác biệt quan trọng là khái niệm mới hay nhãn

có xuất hiện trong các ví dụ thử và sự khác biệt này đòi hỏi một "liên kết" từtri thức của các lớp hiện có đến lớp mới Liên kết chính được sử dụng trong hầuhết các phương pháp học không ví dụ là thứ mà ta gọi là đặc trưng ngữ nghĩa.Những đặc trưng này làm cho việc học chuyển giao trở nên khả thi

Cụ thể, các đặc điểm ngữ nghĩa của một lớp nhất định là các đặc trưng đặctrưng cho lớp này Do đó, thay vì học ánh xạ từ X đến Y , trong đó X là mộtkhông gian m chiều và Y là không gian nhãn, chúng tôi cố gắng tìm học mộthàm: X → F trong đó F là không gian các đặc trưng ngữ nghĩa Ngoài ra,chúng tôi cần một cơ sở tri thức K, liệt kê tất cả các lớp nhãn và các đặc trưngngữ nghĩa có liên quan, thứ hoạt động như một liên kết Cơ sở tri thức K có

thông tin về cả các lớp hiện có và các lớp mới Do đó, sau khi chúng tôi có đượccác đặc trưng ngữ nghĩa của một ví dụ, chúng tôi khớp các đặc trưng trong cơ

sở tri thức để có được sự lớp tương đồng nhất như là thứ mà ví dụ thuộc về Sauđây, chúng tôi giới thiệu một số thuật ngữ hữu ích được sử dụng trong công trìnhcủa Palatuc ci et al (2009)

Một không gian đặc trưng ngữ nghĩa, biểu hiện bằng F , là một không gian

d chiều Mỗi chiều trong không gian đại diện cho một đặc trưng ẩn hoặc hiện,liên tục hoặc rời rạc Trong trường hợp hiện, chiều biểu thị một đặc trưng ngữnghĩa rõ ràng chẳng hạn như đối tượng có một đôi cánh hay bao nhiêu chân.Trong trường hợp ẩn, thật khó để cung cấp cho đặc trưng một mô tả rõ ràng,nhưng chúng tôi biết rằng đặc trưng này giúp chúng tôi phân biệt giữa các lớpkhác nhau Ví dụ nổi tiếng nhất về loại đặc trưng như vậy là từ phép nhúng, khicác từ có ý nghĩa ngữ nghĩa tương tự thì gần nhau trong không gian nhúng.Một cơ sở tri thức ngữ nghĩa được ký hiệu là K = {(f1, y1), , (fk, yk)},với yi ∈ Y đại diện cho một nhãn và fi ∈ F đại diện cho sự đại diện tương ứngtrong không gian đặc trưng ngữ nghĩa Chúng ta ngầm định rằng có một songánh giữa F và Y Do đó, miễn là chúng ta có được một đại diện đặc trưng ngữnghĩa f , chúng ta có thể tìm thấy lớp nó thuộc về và ngược lại

Cơ sở tri thức K có thể được xây dựng thủ công hoặc thông qua học máy.Với chú thích thủ công, mỗi nhãn được gán được đưa ra bởi các chú thích củacon người, thường là có thể giải thích Trong hình ảnh, một nhãn chú thích cácđối tượng xuất hiện trong một hình ảnh với các thẻ chỉ ra sự hiện diện hay vắngmặt của một đặc trưng nhất định Chú thích dựa trên máy học dựa trên một tậphợp văn bản, bao gồm ràng buộc của tất cả các lớp nhãn Một mô hình được

huấn luyện để bắt chước khả năng của con người học các khái niệm mới thôngqua đọc Ví dụ: chúng tôi có thể không biết ý nghĩa của từ "liger", nhưng sau khitrải qua một mô tả kiểu "Liger là con lai giữa sư tử đực và hổ cái", chúng ta cóthể ngoại suy rằng liger gần giống với cả hổ và sư tử, với một vài biến thể Việcnhúng từ là rất quan trọng trong việc nắm bắt sự giống nhau về ngữ nghĩa củacác từ Nếu hai từ xuất hiện trong một bối cảnh tương tự, thì độ tương tự về ngữnghĩa của chúng có thể cao Về mặt kỹ thuật, cốt lõi của loại phương pháp này là

mã hóa các từ thành một đại diện phấn phối bằng cách tối đa hóa xác suất xuấthiện của luật trong ngữ cảnh của luật đại diện, hoặc của luật đại diện trong cácluật đưa ra từ ngữ cảnh

Shen et al (2006b) giới thiệu một trong những kết quả đầu tiên trong họckhông ví dụ thông qua một "cầu phân loại" Kết quả này đã giành giải vô địchcuộc thi khai phá dữ liệu ACM KDD CUP năm 2005 (Shen et al., 2005), và sau

đó đã được áp dụng cho một số công cụ tìm kiếm thương mại và hệ thống quảngcáo Chúng tôi sẽ cung cấp một mô tả chi tiết về giải pháp này dưới đây

Nhiều thuật toán học không ví dụ đã được đề xuất và chúng có thể được chiathành hai loại Loại đầu tiên là từ quan điểm của phân loại hoặc hồi quy Loạithứ hai là từ quan điểm của xếp hạng hàm năng lượng

Phân loại và hồi quy

Như đã đề cập trước đó, trong học không ví dụ, một tiến trình các ánh xạ làcần thiết, gồm hai phần, X → F và F → Y F là không gian đặc trưng ngữ

nghĩa để kết nối các lớp khác nhau Mỗi chiều trong không gian đặc trưng ngữnghĩa có thể liên tục hoặc rời rạc.

Để cho phép học không ví dụ, trong bước đầu tiên, trước tiên chúng ta cầnchuyển nhãn trong các ví dụ huấn luyện cho các đặc trưng ngữ nghĩa f dựatrên cơ sở tri thức Trong bước thứ hai, chúng ta có thể điều chỉnh một tậphợp các hàm để huấn luyện các ví dụ, trong đó hàm có thể là phân loại chođặc trưng rời rạc hoặc mô hình hồi quy cho đặc trưng liên tục Chúng ta có{(xs

1, f1s), , (xsns, fnss)}, bởi vì f là đa chiều và mỗi chiều trong số chúng yêucầu một mô hình dự đoán

Trong giai đoạn thử nghiệm, chúng tôi áp dụng trình phân loại cho tác

vụ đích Bước đầu tiên của chúng tôi là để ánh xạ xti sang fit với mỗi i ∈{1, 2, , nt} bằng cách thu thập các mô hình dự đoán mà chúng ta vừa học.Bước thứ hai là đi qua cơ sở tri thức để xác định lớp tương đồng nhất giữa cácđặc trưng ngữ nghĩa dự đoán và các đặc trưng ngữ nghĩa nguyên mẫu của lớp vàxuất ra cái có thứ hạng cao nhất

Shen et al (2006b) giới thiệu một trong những kết quả đầu tiên trong họckhông ví dụ thông qua một "cầu phân loại" Kết quả này đã giành giải vô địchcuộc thi khai phá dữ liệu ACM KDD CUP năm 2005 (Shen et al., 2005), và sau

đó đã được áp dụng cho một số công cụ tìm kiếm thương mại và hệ thống quảngcáo Trong thuật toán này, mục tiêu là phân loại một truy vấn nhất định thànhnhãn danh mục mới, khi có ít hoặc không có dữ liệu huấn luyện cho các nhãn

Để giải quyết vấn đề này, hai giai đoạn đã được sử dụng để xây dựng mô hìnhphân loại không ví dụ Giai đoạn I tương ứng với giai đoạn huấn luyện của mộtthuật toán máy học điển hình, trong đó dữ liệu từ Web được thu thập để huấn

luyện một tập các mô hình phân loại trung gian dùng để ánh xạ tài liệu chữ sangcác loại trung gian có khả năng bao phủ một không gian nhãn khổng lồ (tất cả

có 300000) Giai đoạn II ánh xạ các nhãn trong cơ sở phân loại đến các nhãnmới trong miền đích để kết nối đầy đủ các tài liệu cơ sở với các nhãn đích nhỏhơn 100 Không gian lớp nhãn trung gian ứng với các nhãn ngữ nghĩa được đềcập trước đó, và Web cung cấp dữ liệu để kết nối một truy vấn đến với các đặctrưng ngữ nghĩa và sau đó là đến các nhãn đích

Một mô tả đầy đủ của thuật toán với các thử nghiệm về phân loại truy vấn cóthể được tìm thấy trong kết quả của Shen et al (2006a) Đặt p(CiT|q) là xác suất

để q thuộc lớp CiT với điều kiện q p(CiT|CI

j) và p(qj|CI

j) được định nghĩa tương

tự Ở đây p(CjI) là xác suất trước của lớp nhãn trung gian CjI, có thể được ướctính từ các trang web trong CI Mối quan hệ của chúng được tính bằng quy tắcBayes:

p(CiT|CI

j) = Qn

k=1(p(wk|CI

j)nk.Cuối cùng, lớp trả về được xác định theo công thức cực đại tương đồng:

c∗ = arg maxCT

i p(CiT|q)Một sơ đồ cho thấy cách ánh xạ từ các truy vấn đến các lớp đích thông qua cáclớp trung gian được thể hiện trong hình 1 Trong hình này, một truy vấnq k được

ánh xạ tới lớp nhãn mục tiêu CT với xác suất xác định tính được thông qua cácphân loại trung gian từ Q đến CI, rồi từ CI đến mục tiêu CT.

Hình 1: Biểu đồ thể hiện trình phân loại bắc cầu cho phân loại truy vấn qua cáclĩnh vực trung gian (phỏng theo Shen và cộng sự [2006b])

Đặc trưng ngữ nghĩa có thể được biểu diễn dưới dạng rõ ràng chẳng hạn nhưchú thích các đặc trưng, hoặc một hình thức ẩn chẳn hạn như mã hóa nhãn ngữnghĩa Socher et al (2013a) đề xuất mô hình hồi quy để chiếu đại diện đặc trưngthô vào một không gian mã hóa nhãn Trong cài đặt như vậy, fi có thể được biểudiễn dưới dạng f (yi) với i ∈ {1, , n}, trong đó f (yi) là một đại diện phânphối của nhãn yi đã học được từ một chứng cứ lớn Mô hình hồi quy là mộtmạng nơ ron hai lớp và hàm mục tiêu được định nghĩa là:

dụ từ miền đích, nó có thể sử dụng một số kỹ thuật thích ứng miền để giảm bớt

sự khác biệt phân phối

Để giải quyết vấn đề thiếu dữ liệu, Socher et al (2013a) thêm một bước trướcbước phân loại để phát hiện các mẫu mới của các lớp ẩn Sau đó, họ sử dụng hailoại chiến lược để thực hiện nhiệm vụ phân loại cho hai nhóm, tương ứng, vớimột chiến lược xử lý mẫu mới hoặc ngoại lệ và một cái khác liên quan đến cácmẫu bình thường

Một mô hình thú vị khác trong loại này là sự kết hợp lồi của phép nhúng ngữnghĩa (ConSE) (Norouzi et al., 2013) Sự khác biệt giữa mô hình của ConSE vàSocher et al (2013a) là việc chọn hàm mục tiêu Trong thực tế, nó ẩn quá trìnhhồi quy trong một quy trình phân loại tiêu chuẩn, vì vậy bình phương giá trị lỗitrung bình được thay thế bằng lỗi phân loại Phân loại được huấn luyện về miềnnguồn để ước tính xác suất của một điểm dữ liệu thuộc về mỗi lớp Trong giaiđoạn thử nghiệm, trình phân loại được huấn luyện được áp dụng cho dữ liệu đíchđưa ra xác suất rằng điểm dữ liệu này được rút ra từ mỗi lớp nguồn Kế tiếp, đại

diện của mẫu trong không gian đặc trưng ngữ nghĩa được tính bằng một kết hợplồi của mã hóa nhãn tương ứng với từng lớp nguồn với các xác suất ước tính làtrọng số và về mặt toán học, có thể được định nghĩa là

f (x) = Z1 PT

t=1P (ˆy(x, t)|x)f (ˆy(x, t)), trong đó T lớp tương đồng nhất là có liên quan, ˆy(x, t) biểu thị nhãn với xácsuất cao thứ t, và Z là hệ số chuẩn hóa Trực giác đằng sau phương pháp là rút rađại diện với sự giống nhau giữa mẫu hiện tại và các lớp khác nhau Giả sử sự xuấthiện của một liger như là một sư tử và nửa giống với hổ, chúng ta có f (liger)xấp xỉ 12f (sư tử) + 12f (hổ) Với sự nhúng được dự đoán trong không gian ngữnghĩa, chúng ta có thể dễ dàng tìm thấy hàng xóm gần nhất của nó trong cơ sởtri thức ngữ nghĩa

Xếp hạng hàm năng lượng

Một loại phương pháp khác ước tính điểm phù hợp giữa một thuộc tính và

mã hóa của một lớp nhãn trực tiếp Đương nhiên, lớp có điểm cao nhất sẽ là lớpchứa các mẫu Công thức trong thiết lập này là để ánh xạ từ X × F sang S trong

đó S là không gian điểm Sau khi dự đoán điểm khớp (mức độ khớp) cho tất cảcác lớp, chúng tôi có thể xếp hạng điểm theo thứ tự giảm dần và chọn thường làmột hoặc một số để làm ra nhãn dự đoán Hình thức của ánh xạ hàm có thể đơngiản là song tuyến tính (nghĩa là xTW f ), trong đó W là ma trận tham số dx× dfcần học, hoặc phi tuyến như mạng nơ ron sâu Sự khác nhau nằm trong lựa chọncủa hàm mất mát

Lấy mô hình nhúng ngữ nghĩa trực quan sâu (DeViSE) (Frome et al., 2013)làm một ví dụ cụ thể Kiến trúc được mô tả trong Hình 2 Mục tiêu ở đây là để

Hình 2: Kiến trúc của mô hình nhúng ngữ nghĩa trực quan sâu(phỏng theo Frome

và cộng sự [2013]) Phần bên trái là một mô hình nhận dạng hình ảnh,phần bênphải là mô hình ngôn ngữ bỏ qua và phần trung tâm là phần chungmô hình dựatrên hai thành phần

dự đoán nhãn cho các trường hợp mới Thành phần mã hóa nhãn trong mô hìnhnày được chuyển từ mô hình ngôn ngữ đã được sàng lọc và đặc trưng học trựcquan thành phần được chuyển từ một mô hình phân loại thông thường Họ thaythế lớp soft max của mô hình thị giác bằng lớp chiếu để ánh xạ biểu diễn trựcquan để mã hóa nhãn Mục tiêu của mô hình là tạo ra sự tương tự của biểu diễntrực quan với mã hóa nhãn của lớp chính xác cao hơn hơn các lớp khác Kết quả

là, hàm mất mát được định nghĩa là

l(x, ylabel) = σj6=labelmax[0, m − f (ylabel)TW g(x) + f (yj)TW g(x)], với g(x) ∈ Rdh là đại diện nén của một hình ảnh, m là biên độ, f (.) ∈ Rdf đại

diện cho mã hóa nhãn và W là một ma trận dh× df sử dụng để tính điểm phùhợp giữa biểu diễn hình ảnh và mã hóa nhãn.

Trong giai đoạn huấn luyện, các tham số trong mô hình trực quan, mô hìnhngôn ngữ (nhúng nhãn), và W có thể được điều chỉnh để giảm thiểu mất máttrong huấn luyện mẫu Trong giai đoạn thử nghiệm, cho một hình ảnh thửnghiệm, không cần phải tính toán điểm phù hợp giữa hình ảnh thử nghiệm vàmỗi nhãn Chúng tôi chỉ có thể xác định hàng xóm gần nhất của W g(x) trongkhông gian mã hóa nhãn

Trong cài đặt học với một ví dụ, chúng tôi chỉ được cung cấp một mẫu từ mỗilớp Một dữ liệu được dán nhãn rõ ràng là không đủ để hầu hết các thuật toánhọc máy hoạt động tốt, đặc biệt là học sâu Các mô hình có thể overfit với một

ví dụ có biến thể nhỏ trên dữ liệu thử có thể ảnh hưởng tiêu cực đến kết quả Cóhai chiến lược để ngăn chặn overfit Một là kết hợp tri thức trước đó để tận dụngkinh nghiệm Sử dụng mô hình thế hệ là một cách tự nhiên đồng hóa kiến thứcbên ngoài để ngăn chặn quá trình huấn luyện từ việc tập trung vào mẫu duy nhất(Li et al., 2006) Phân phối trước của một mô hình thế hệ mã hóa kinh nghiệmtrước đó BPL (Lake et al., 2011, 2013,2015) là một đại diện trong lĩnh vực này

sẽ được chi tiết trong phần tiếp theo

Một dòng phương thức khác biến đổi một nhiệm vụ phân loại với một ví dụ

thành một nhiệm vụ xác minh (Koch, 2015) Cụ thể, khi được cung cấp một mẫuthử nghiệm, mô hình khớp ví dụ với các nguyên mẫu được lưu trữ trong bộ hỗtrợ của các mẫu được dán nhãn Các nhãn dự đoán của mẫu thử nghiệm là lớp

mà nguyên mẫu có mức điểm phù hợp cao nhất

Trong phần này, chúng tôi sẽ tập trung vào một mô hình học sâu cho việchọc với một ví dụ

Một lợi thế của phương pháp dựa trên xác minh là nó đơn giản Mặc dù đơn giản,phương pháp dựa trên xác minh có thể dễ dàng được thay thế bằng nhiều phươngpháp phức tạp hơn như các thuật toán học sâu Ở đây chúng tôi trình bày mạng

nơ ron Siamese để chứng minh ý tưởng cơ bản của loại phương pháp này

Mạng nơ ron Siamese

Mạng nơ ron Siamese được đề xuất đầu tiên bởi Bromley et al (1993) để giảiquyết một nhiệm vụ xác minh chữ ký Nó có thể được xem như là một cặp mạng

nơ ron giống hệt nhau được kết nối bởi một hàm mục tiêu trên đầu ra của haimạng Các mạng nơ ron sinh đôi có cùng kiến trúc bộ tham số Đi qua một tronghai mạng nơ ron có thể được xem là nhúng mẫu cho một đại diện mới để đơngiản hóa các biến thể đa dạng trong đại diện đặc trưng thô và để xóa tiếng ồn.Cấu trúc đối xứng đảm bảo quy trình nhúng giống nhau và, kết quả là mẫu ví

dụ và mẫu thử nghiệm được chiếu vào cùng một không gian đặc trưng tiềm ẩn.Các động lực cho phép mô hình có một số khả năng phân biệt Ví dụ, đưa ra haiđối tượng, mặc dù con người có thể không thể đặt tên tương ứng, con người có

thể dễ dàng phân biệt xem họ có cùng loại hay không bằng cách so sánh các đặctrưng chính của chúng, miễn là sở hữu khả năng phân biệt, nó có thể đưa ra đánhgiá của nó bằng cách so sánh Một kiến trúc tiêu biểu của mạng nơ ron Siameseđược hiển thị trong Hình 3.

Hình 3: Kiến trúc của mạng nơ ron Siamese (được điều chỉnh từ Koch [2015])

Các đầu vào vào mạng nơ ron Siamese được ký hiệu là x(1) và x(2) và đầu rađược ký hiệu là P (x(1), x(2)) Trong mạng nơ ron sinh đôi, L lớp, có thể là lớp