Thiết kế mạch kết hợp lai giữa cmos và memristor để xây dựng kiến trúc mạng neuron

Thiết bị này có khả năng như một điện trở, nhưng điện trở này có một khả năng đặc biệt là thay đổi được trạng thái trở kháng của chính mình khi có dòng điện, điện áp đặt vào hai đầu nó,

THÀNH PHỐ HỒ CHÍ MINH

CÔNG TRÌNH NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG

THIẾT KẾ MẠCH KẾT HỢP LAI GIỮA CMOS

VÀ MEMRISTOR ĐỂ XÂY DỰNG KIẾN TRÚC

MẠNG NEURON

SKC 0 0 6 5 0 3

MÃ SỐ: T2018-54TĐ

MỤC LỤC i

DANH SÁCH CÁC CHỮ VIẾT TẮT iii

DANH SÁCH CÁC HÌNH iv

DANH SÁCH CÁC BẢNG vi

THÔNG TIN KẾT QUẢ NGHIÊN CỨU vii

Chương 1 TỔNG QUAN 1

1.1 Tổng quan chung về lĩnh vực nghiên cứu 1

1.2 Các kết quả nghiên cứu trong và ngoài nước 2

1.3 Mục đích của đề tài 3

1.4 Nhiệm vụ đề tài và giới hạn của đề tài 3

1.4.1 Nhiệm vụ của đề tài 3

1.4.2 Giới hạn của đề tài 3

1.5 Phương pháp nghiên cứu 4

1.6 Tóm tắt đề tài 4

Chương 2 CƠ SỞ LÝ THUYẾT 5

2.1 Tổng quan về memristor 5

2.1.1 Giới thiệu sơ lược về memristor 5

2.1.2 Định nghĩa 6

2.1.3 Tính chất 7

2.1.4 Nguyên lý hoạt động 10

2.1.5 Ứng dụng 12

2.1.6 So sánh giữa transistor và memristor 13

2.1.7 Những thuận lợi và thách thức 14

2.2 Tổng quan về mô hình mạng nơron 16

2.2.1 Giới thiệu mạng nơron nhân tạo 16

2.2.2 Mô hình mạng nơron nhân tạo 18

2.2.3 Hàm kích hoạt 20

2.2.4 Mô hình mạng nơron 23

2.2.5 Các luật học cho mạng nơron 25

2.2.6 Thuật toán huấn luyện mạng perceptron 27

Chương 3 THIẾT KẾ MẠCH MEMRISTOR NHẬN DIỆN KÝ TỰ 28

3.2.1 Lập trình trọng số với các khớp thần kinh memristor bridge 30

3.2.2 Mạch khớp thần kinh với memristor bridge 31

3.3 Mạch nhận diện ký tự với các khớp thần kinh là mạch hai memritor nối tiếp nhau 35

3.3.1 Lập trình trọng số với các khớp thần kinh là hai memristor nối tiếp nhau 35

3.3.2 Mạch khớp thần kinh với hai memristor nối tiếp nhau 36

3.4 So sánh diện tích hai mạch nhận diện ký tự 39

3.5 Mô phỏng và kết quả đạt được 40

3.5.1 Mô phỏng mạch cài đặt trọng số 40

3.5.2 Kết quả nhận diện ký tự 42

Chương 4 KẾT LUẬN 48

TÀI LIỆU THAM KHẢO 49

CMOS Complementary Metal – Oxide Semiconductor

HÌNH TRANG

Hình 2.1 Bốn nhân tố mạch cơ bản 5

Hình 2.2 Ký hiệu memristor 6

Hình 2.3 Sơ đồ minh họa memristor qua dòng điện và độ lớn của ống 7

Hình 2.4 Đặc tuyến I-V của điện trở và memristor 9

Hình 2.5 Đặc tuyến I-V của memristor và sẽ co lại khi tần số tăng 9

Hình 2.6 Kiến trúc crossbar và chuyển mạch điện trở nhớ đƣợc phóng to 10

Hình 2.7 Sự khuếch tán các phân tử oxy 11

Hình 2.8 Mạng nơron thực 16

Hình 2.9 Cấu trúc của một nơron sinh học điển hình 17

Hình 2.10 Mô hình toán học một nơron nhân tạo 18

Hình 2.11 Mô hình nơron một ngõ vào không có hệ số bias 18

Hình 2.12 Mô hình nơron một ngõ vào có hệ số bias 18

Hình 2.13 Mô hình nơron tổng quát 19

Hình 2.14 Hàm kích hoạt hardlim loại 1 21

Hình 2.15 Hàm kích hoạt hardlim loại 2 21

Hình 2.16 Hàm kích hoạt purelin 22

Hình 2.17 Hàm kích hoạt Log – sigmod 22

Hình 2.18 Hàm kích hoạt Tansig 23

Hình 2.19 Perceptron 23

Hình 2.20 Mạng MLP tổng quát 24

Hình 3.1 Memristor HP [3] 28

Hình 3.2 Đặc tuyến I – V với 2 tần số khác nhau 29

Hình 3.3 Độ tuyến tính của trở kháng memristor khi p tăng 30

Hình 3.4 Mạch memristor bridge 31

Hình 3.5 Mạch Memristor bridge synaptic 32

Hình 3.6 Mạch memristor synapse – based neural 33

Hình 3.9 Mạch hai memristor nối tiếp 37 Hình 3.10 Mạch nhận diện ký tự với các khớp thần kinh là hai memristor nối tiếp 39 Hình 3.11 M1(t), M2(t), M3(t), M4(t) và trọng số Ψ (t) với mạch memristor bridge

khi một xung rộng đƣợc đặt vào 41

Hình 3.12 M1(t), M2(t) và trọng số Ψ (t) với mạch hai memristor nối tiếp khi một

xung rộng đƣợc đặt vào 42

Hình 3.13 Mẫu huấn luyện 43 Hình 3.14 Kết quả mô phỏng ngõ ra khi nhận diện 5 ký tự số với mạch memristor

bridge 44

Hình 3.15 Kết quả mô phỏng ngõ ra khi nhận diện 5 ký tự số với mạch hai

memristor nối tiếp 46

Hình 3.16 Nhiễu 5%, 10% và 15% đối với ký tự số 1 46

BẢNG TRANG Bảng 2.1 So sánh giữa transistor và memristor 13 Bảng 3.1 So sánh số lƣợng memristor và CMOS ở 2 mạch nhận diện 39 Bảng 3.2 Kết quả nhận diện ký tự số khi có nhiễu 47

Tp HCM, Ngày 15 tháng 12 năm 2018

THÔNG TIN KẾT QUẢ NGHIÊN CỨU

1 Thông tin chung:

neuron

3 Tính mới và sáng tạo:

Xây dựng mạch lai giữa CMOS và memristor để cải giảm số lượng memristor và CMOS

transistor, từ đó giảm diện tích tiêu thụ và công suất tiêu hao

4 Kết quả nghiên cứu:

Giảm hơn 76.68% công suất tiêu thụ và 50% diện tích chip nhưng độ chính xác vẫn không

thay đổi

5 Sản phẩm:

1 bài báo hội thảo quốc tế tổ chức ở nước ngoài

6 Hiệu quả, phương thức chuyển giao kết quả nghiên cứu và khả năng áp dụng:

Tài liệu dùng trong giảng dạy và nghiên cứu trong Thiết kế vi mạch tích h ợp

ĐƠN VỊ: ĐIỆN ĐIỆN TỬ

- Tên đề tài: Thiết kế mạch kết hợp lai giữa CMOS và Memristor để xây dựng kiến trúc

mạng neuron

- Mã số: T2018-54TĐ

- Chủ nhiệm: TS VÕ MINH HUÂN

- Cơ quan chủ trì: Đại học Sư Phạm Kỹ Thuật TPHCM

- Thời gian thực hiện: 12 tháng

2 Mục tiêu:

Thiết kế mạch kết hợp lai giữa CMOS và Memristor để xây dựng các kiến trúc mạng

1 General information:

Project title: Hibrid CMOS-Memristor Circuit for Neuron Network Architecture

Code number: T2018-54TĐ

Coordinator: VÕ MINH HUÂN

Implementing institution: HCMC Univerisy of Technology and Education

Duration: Jan/2018 to Dec/2018

2 Objective(s):

Hybrid CMOS-Memristor circuit is deisigned to build the neural network architecuture

3 Creativeness and innovativeness:

 Hybrid CMOS-Memristor circuit is designed to reduce the number of CMOS and Memristor Thus, the proposed technique can save power consumption

4 Research results:

 Saving more than 76.68% power loss and 50% consumption area compared to the previous technique

5 Products:

 Basic material of Digital circuit design course

 Paper was proposed on international conference organized in oversea

6 Effects, transfer alternatives of reserach results and applicability:

 Reference material for Digital circuit design

Chương 1

TỔNG QUAN 1.1 Tổng quan chung về lĩnh vực nghiên cứu

Ngành công nghệ vi mạch là một trong những ngành có tầm ảnh hưởng rất lớn đến sự phát triển của loài người trong thế giới hiện đại ngày nay Theo năm tháng,

vi mạch ngày càng được chế tạo với kích thước nhỏ hơn, nhưng cuộc cách mạng thực sự diễn ra đối với con số bóng bán dẫn transistor đặt trong một vi mạch Một khi các nhà sản xuất chip không thể tăng thêm nhiều transistor vào cùng một diện tích silicon nữa, phương trình hiệu suất tăng nhưng giá giảm mà ngành điện toán đạt được bấy lâu nay ngay lập tức sẽ bị phá vỡ Ngay cả Gordon Moore, đồng sáng lập

ra Intel – người nổi tiếng với lời tiên đoán năm 1965 rằng số lượng transistor trên mỗi con chip sẽ tăng gấp đôi sau mỗi 2 năm, cũng cho rằng hồi kết cho Định luật của mình đang cận kề Nhiều tổ chức tính rằng trong vòng 10 đến 15 năm tới, thế giới sẽ tiến tới giới hạn mấu chốt của transistor silicon trong công nghiệp, đó là giới hạn về kích thước và hiệu suất Vấn đề được đặt ra là cần có một linh kiện nào đó thay thế transistor trong các ứng dụng về vi mạch và điện tử Vào năm 1971, giáo

sư Leon Chua tại Đại học California, Berkeley đã đề cập đến “memristor” (điện trở nhớ) và một tương lai mới đã mở ra với một công nghệ khác, công nghệ này thậm chí còn tốt hơn cả công nghệ CMOS vốn đã và đang phát triển mạnh hiện tại [1-2] Trước đó, các nhà khoa học chỉ biết 3 phần tử mạch điện cơ bản – điện trở, tụ điện

và cuộn cảm Giáo sư Chua cho rằng có phần tử thứ 4 Nhiều thập kỷ sau, vào năm

2008 R Stanley Williams và các đồng nghiệp tại HP đã chứng minh rằng memristor tồn tại, và hơn nữa đã chứng minh rằng có thể làm cho chúng chuyển đổi qua lại giữa 2 hay nhiều cấp độ của điện trở, và điều này sẽ cho phép chúng đại diện cho các giá trị 1 và 0 trong tính toán kỹ thuật số [3]

Memristor viết tắt của memory resistor tức điện trở nhớ Thiết bị này có khả năng như một điện trở, nhưng điện trở này có một khả năng đặc biệt là thay đổi được trạng thái trở kháng của chính mình khi có dòng điện, điện áp đặt vào hai đầu

nó, khi dừng việc cấp điện áp thì thiết bị này vẫn lưu trữ được trạng thái ngay lúc đó

mà không hề bị mất theo thời gian dài Với kích thước càng nhỏ thì khả năng thay đổi nhiều trạng thái trở kháng càng rõ ràng, nên memristor đã và đang được nghiên cứu rất nhiều với vai trò như một bộ nhớ có thể thực hiện các phép logic, hay hoạt động như một bộ nhớ có nhiều mức trạng thái khác nhau, nhằm cải thiện công nghệ sản xuất chip hiện nay với tốc độ nhanh, tiết kiệm điện, chi phí thấp, cấu trúc đơn giản và độ tích hợp dày đặc hơn Và đặc biệt là tiềm năng mô tả sử dụng điện trở nhớ này như là các khớp thần kinh nhằm bắt chước các chức năng của một bộ não thật sự với kích thước nhỏ hơn rất nhiều lần so với công nghệ trước đây

Chính vì những tiềm năng vốn có của memristor nên đề tài chọn hướng nghiên cứu là “Ứng dụng memristor nhận diện ký tự” nhằm ứng dụng những đặc tính của memristor cũng như tạo tiền đề để nghiên cứu sâu hơn về công nghệ này trong tương lai

1.2 Các kết quả nghiên cứu trong và ngoài nước

Kể từ năm 1971, nhà nghiên cứu Leon Chua của UC Berkeley đã nhận ra khả năng tồn tại của memristor như là một loại thiết bị cơ bản thứ tư trong bài báo:

“Memristor – The Missing Circuit Element”, của Leon O Chua, thành viên chủ chốt của IEEE, và được công bố vào năm 1971 Đây là nhân tố mạch thụ động, thể hiện mối quan hệ giữa điện lượng và từ thông chạy qua nó Nhưng ông chưa thể chứng minh rõ ràng được sự tồn tại thật sự của nó [1-2]

Cho đến năm 2008, thì R Stanley Williams cùng các đồng nghiệp đã công bố các chi tiết về điện trở nhớ này với một số khả năng tuyệt vời của nó trong bài báo:

“How we found the missing Memristor” [3] Với sự kết hợp transistor với điện trở nhớ, R Stanley có thể tăng hiệu năng của các mạch số mà không cần thu nhỏ các transistor lại Sử dụng các transistor hiệu quả hơn có thể giúp chúng ta duy trì luật Moore và không cần tới quá trình nhân đôi mật độ transistor vốn tốn nhiều chi phí

và ngày càng khó khăn Về lâu dài thì điện trở nhớ thậm chí còn có thể là bước ngoặt đánh dấu sự xuất hiện của các mạch tương tự (analog) biết tính toán nhờ sử dụng kiến trúc giống như kiến trúc của bộ não Qua bài báo này, ông cũng trình bày

sơ bộ về đặc điểm của memristor Điện trở nhớ (memristor) là từ viết gọn của

“memory resistor” vì đó chính là chức năng của nó: ghi nhớ lịch sử của bản thân Một phần tử điện trở nhớ có hai cực, với trở kháng của nó phụ thuộc vào độ lớn, chiều phân cực và khoảng thời gian của điện thế áp lên nó Khi bạn tắt điện thế này thì điện trở nhớ vẫn nhớ mức trở kháng ngay trước khi tắt cho tới lần bật lên kế tiếp, bất chấp việc này có xảy ra sau đó một ngày hay một năm

Một bài báo sử dụng memristor xây dựng một mạch tương tự (analog) biết tính toán nhờ sử dụng kiến trúc giống như kiến trúc của bộ não là “Memristor Bridge Synapses” của nhóm tác giả Hyongsuk Kim, Maheshwar Pd Sah, Changju Yang, Tama ´s Roska and Leon O Chua [4-6] Bài báo xây dựng một mạch cầu memristor

để cài đặt trọng số cho một template của ảnh và so sánh với việc sử dụng transistor

để xây dựng một mạng CNN

Bài báo “Neuromorphic Harware System for Visual Pattern Recognition with Memristor Array and CMOS Neuron” ứng dụng memristor với CMOS xây dựng một mạch ứng dụng nhận diện ký tự số từ 1 đến 9 Memristor được sử dụng ở đây là

memristor nhị phân với hai mức 0 và 1 [7]

1.3 Mục đích của đề tài

Đề tài này được tiến hành với mục đích nghiên cứu cấu trúc, đặc điểm, nguyên

lý của công nghệ mới – “Memristor” từ đó ứng dụng để xây dựng mạch nhận diện các ký tự số với kiến trúc giống như kiến trúc bộ não bằng cách sử dụng memristor cài đặt trọng số analog trong việc huấn luyện mạng nơron

1.4 Nhiệm vụ đề tài và giới hạn của đề tài

1.4.1 Nhiệm vụ của đề tài

 Phân tích cấu trúc, đặc điểm và nguyên lý hoạt động của memristor Đặc biệt là

mô hình memristor tương tự

 Tìm hiểu về mạng nơron

 Tìm hiểu công nghệ thiết kế vi mạch hiện nay

 Thiết kế mạch nhận diện ký tự bằng memristor

 Sử dụng phần mềm Cadence trên hệ điều hành Redhat để mô phỏng mạch

1.4.2 Giới hạn của đề tài

Đề tài chỉ tập trung vào nghiên cứu lý thuyết, thiết kế và mô phỏng memristor trên máy tính, không thể thi công thực tế vì chi phí lớn Đề tài sử dụng thuật toán đơn giản perceptron trong việc huấn luyện mạng nơron và số lượng lấy mẫu chưa nhiều nên chưa bao quát toàn bộ dạng của một ký tự

1.5 Phương pháp nghiên cứu

Do mục đích nghiên cứu của đề tài chủ yếu tập trung vào nghiên cứu công nghệ vi mạch mới, nên phương pháp nghiên cứu được sử dụng chủ yếu là:

 Nghiên cứu phần mềm mô phỏng và thiết kế mạch CADENCE

 Tìm hiểu về đặc điểm, cấu trúc và nguyên lý hoạt động của memristor

 Tìm hiểu về mạng nơron

 Thực hiện huấn luyện mạng nơron trên MATLAB

 Thông qua các đặc điểm của memristor thiết kế mạch nhận diện ký tự

đó đề cập đến tầm quan trọng của đề tài

 Chương 2: Trình bày cấu trúc, nguyên lý hoạt động của memristor Trình bày sơ lược về mạng nơron

 Chương 3: Đề xuất phương pháp nhận dạng bằng mạng nơron, thiết kế sơ

đồ mạch sử dụng memristor vào nhận diện ký tự Trình bày kết quả mô phỏng

 Chương 4: Kết luận và hướng phát triển đề tài

Chương 2

CƠ SỞ LÝ THUYẾT 2.1 Tổng quan về memristor

2.1.1 Giới thiệu sơ lược về memristor

Trong lý thuyết mạch điện tử, có 3 thiết bị mạch cơ bản đã biết, đó là điện trở, cuộn dây, và tụ điện Mỗi thiết bị này được định nghĩa dựa trên mối liên hệ giữa hai trong bốn biến số mạch cơ bản: dòng điện, từ thông, điện tích, điện áp Dòng điện được định nghĩa như là vi phân của điện tích Theo như định luật Faraday, điện áp được định nghĩa như là vi phân của từ thông Điện trở được định nghĩa bởi mối quan hệ của dòng điện và điện áp, tụ điện được định nghĩa bởi mối quan hệ giữa điện tích và điện áp, và cuộn dây được định nghĩa bởi mối quan hệ giữa từ thông và dòng điện Với 4 biến số mạch cơ bản thì có 6 mối liên hệ giữa 2 biến số với nhau Tuy nhiên, cho đến nay, ta chỉ thấy có 5 sự kết hợp này Vì vậy, giáo sư Leon Chua

đã đề xuất một nhân tố mạch thứ 4, thể hiện mối liên hệ giữa từ thông và điện tích, nhằm hoàn thành sơ đồ đối xứng giữa các biến số mạch như hình sau:

Hình 2.1 Bốn nhân tố mạch cơ bản

Về mặt lý thuyết, việc điện tích có liên quan với từ thông khá là dễ hiểu, tuy nhiên không có tương tác vật lý rõ rệt nào giữa điện tích với tích phân của điện thế Giáo sư Chua chứng minh bằng toán học rằng linh kiện giả định của ông sẽ thiết lập một mối liên hệ giữa từ thông và điện tích tương tự như giữa điện áp và dòng điện ở

một điện trở phi tuyến Trong thực tế, điều này đồng nghĩa với việc trở kháng của linh kiện này thay đổi theo lượng điện tích truyền qua nó Đồng thời, nó sẽ ghi nhớ giá trị trở kháng này ngay cả sau khi dòng điện đã bị ngắt

Ông còn phát hiện ra một điểm khác nữa – đó là cách hoạt động này khiến ông liên tưởng tới cơ chế hoạt động của các khớp thần kinh trong não Tuy vậy, các nhà khoa học khác cũng đã công bố trước cả phát kiến của Leon Chua, về điều mà họ gọi là biểu hiện dòng điện – điện áp „dị thường‟ trong các linh kiện ở mức micromet

mà họ tạo ra từ các vật liệu không phổ dụng ví dụ như các polyme hay các ôxít kim loại Nhưng những đặc tính này lại thường bị quy cho các lý do như một phản ứng điện hóa bí ẩn, hiện tượng đánh thủng do điện áp, hay là do các nguyên nhân chưa thể xác định có liên quan đến điện áp cao mà các nhà nghiên cứu áp lên các linh kiện này

Năm 2008, Nhóm nghiên cứu tại HP labs, dẫn đầu là Stanley William đã công

bố bài báo “How We Found the Missing Memristor,” đề cập đến con đường khám phá ra memristor mà cha đẻ lý thuyết memristor là Leon Chua Và như Stanley William đã viết “Tôi tin tưởng rằng cuối cùng thì điện trở nhớ sẽ thay đổi một cách triệt để hoạt động thiết kế mạch trong thế kỷ 21 tương tự như cách transistor đã làm trong thế kỷ 20” Điều đó nói lên tầm quan trọng, một sự phát triển mạnh mẽ, rộng

khắp các ứng dụng sử dụng đến memristor vào thế kỷ 21 này

2.1.2 Định nghĩa

Memristor viết tắt của: memory resistor, là một thiết bị thụ động, một nhân tố mạch hai cực, thể hiện mối quan hệ giữa từ thông và điện tích, trong đó từ thông giữa hai cực là một hàm của lượng điện tích chạy qua nó Memristor không phải là một nhân tố chứa năng lượng Nhà nghiên cứu Leon Chua định nghĩa nhân tố này như một điện trở, mà trở kháng thay đổi dựa trên lượng điện tích chạy qua

Hình 2.2 Ký hiệu memristor

2.1.3 Tính chất

Memristor là một nhân tố 2 cực thụ động, mô tả mối quan hệ của điện tích chạy qua thiết bị (tích phân theo thời gian của dòng điện) với từ thông; hay có thể định nghĩa memristor là một thiết bị bán dẫn 2 cực mà trở kháng của nó phụ thuộc vào độ lớn và cực tính của điện áp đặt vào nó và thời gian mà điện áp đó tác động vào Khi mà ta ngưng điện áp này thì memristor vẫn ghi nhớ trở kháng gần nhất của

nó cho đến lần tiếp theo tác động vào nó bất chấp thời gian sau đó là bao lâu, có thể

là một vài ngày hay một vài năm sau

Cái tên của nó ngụ ý rằng, memristor có thể “nhớ” dòng điện đã chạy qua nó là bao nhiêu Đáng chú ý nhất là nó có thể lưu trạng thái điện tử của nó thậm chí cả khi dòng điện đã được ngắt, điều này giúp ta có thể thiết kế một bộ nhớ lưu trữ mới

sử dụng memristor để thay thế cho bộ nhớ flash hiện nay

Hình 2.3 Sơ đồ minh họa memristor qua dòng điện và độ lớn của ống

Memristor có đặc tính cũng khá giống trở kháng Giả sử xem một điện trở như

là một cái ống mà dòng nước chạy qua nó Xem dòng nước như là điện tích Khả năng cản trở dòng điện tích của điện trở được xem như là độ lớn đường kính của ống: ống càng nhỏ, trở kháng càng lớn Trong lịch sử thiết kế mạch, các điện trở có bán kính ống nước cố định Nhưng một memristor là ống nước mà có thể thay đổi đường kính ống bằng lượng nước và hướng chảy của luồng nước chạy qua nó Nếu

cho nước chảy vào theo một hướng, thì ống sẽ lớn lên (trở kháng giảm), nhưng nếu nước chảy theo hướng ngược lại thì ống sẽ bị co lại (trở kháng tăng) Hơn nữa, khi ngưng cấp nước thì memristor vẫn nhớ đường kính của nó khi nước chảy qua lần cuối cùng Ta thấy, ống nước không lưu trữ nước mà nó chỉ nhớ đã có bao nhiêu nước chảy qua nó

Nguyên nhân mà memristor khác cơ bản so với các nhân tố mạch căn bản khác

là nó có khả năng nhớ Khi ngưng cung cấp điện áp cho nó thì nó vẫn tiếp tục nhớ

đã có bao nhiêu điện áp được đặt vào và đã đặt vào bao lâu Kết quả này không thể đạt được ở bất cứ nhân tố mạch căn bản nào, vì thế mà memristor được xem như là một nhân tố mạch căn bản Về mặt kĩ thuật thì cơ chế này có thể được tái tạo bằng cách sử dụng nhiều transistor và tụ điện nhưng như thế thì quá tốn kém và phức tạp Một memristor lý tưởng là một thiết bị điện tử 2 cực thụ động, và chỉ mô tả duy nhất đặc tính trở kháng nhớ Tuy nhiên, rất khó để xây dựng được một memristor tinh khiết như vậy khi mà tất cả thiết bị thực tế đều chứa một lượng nhỏ đặc tính khác

Hai tính chất đáng chú ý nhất của memristor đó là: thứ nhất, tính chất nhớ của

nó, thứ hai là kích thước nano siêu nhỏ Tính chất và khả năng nhớ của memristor cho chúng ta nghĩ về nhiều phương pháp máy tính siêu nhỏ mới Với một thiết bị kích thước nano thì mật độ tích hợp sẽ rất cao và tốn ít năng lượng Thêm nữa, quá trình sản xuất các thiết bị nano thì đơn giản hơn và rẻ hơn việc sản xuất sử dụng công nghệ CMOS truyền thống Do memristor là một thiết bị thụ động nên để sử dụng nó, ta cần tích hợp nó vào một mạch điện với các nhân tố chủ động ví dụ như transistor Một mạch điện mà có thêm memristor thì sẽ có nhiều thuận lợi trong việc tăng cường chức năng của mạch với ít nhân tố hơn, trong một vùng diện tích nhỏ hơn và tốn ít năng lượng hơn

Nhân tố mạch mới này có nhiều đặc điểm giống với điện trở và cũng có đơn vị

đo bằng Ohm Tuy nhiên, khác với điện trở, có trở kháng cố định, thì trở kháng nhớ (memristance) có thể được lập trình hay chuyển sang các trạng thái trở kháng khác

dựa vào điện áp đặt vào memristor trước đó Hiện tượng này có thể quan sát được bằng đặc tuyến I-V của điện áp và dòng qua điện trở và memristor.

Hình 2.4 Đặc tuyến I-V của điện trở và memristor

Với điện trở thông thường thì mối quan hệ giữa dòng điện và điện áp là tuyến tính, nên đặc tuyến I-V là một đường thẳng, do trở kháng của nó không đổi Tuy nhiên, do tính chất thay đổi trở kháng nhớ của memristor, nên đặc tuyến I-V cũng biến thiên một cách phi tuyến như hình vẽ “Vòng đường cong I-V” bị co lại khi mà tần số nguồn tăng Hình 2.5 mô tả đặc tuyến I-V của memristor, và sự thay đổi của đường cong I-V khi thay đổi tần số

Hình 2.5 Đặc tuyến I-V của memristor và sẽ co lại khi tần số tăng

Khi mà tần số kích thích tăng đến vô cùng, thì memristor hoạt động như một điện trở

2.1.4 Nguyên lý hoạt động

 Cấu trúc của memristor:

Memristor trong phòng thí nghiệm của HP có nhiều mạch điện trở nhớ loại crossbar chứa một dãy các dây dẫn bạch kim rộng 40 – 50nm và dày khoảng 2 – 3nm song song với nhau, nằm ở lớp trên và vuông góc với các dây dẫn bạch kim nằm ở lớp dưới Các lớp trên và dưới được tách biệt nhau bằng một chuyển mạch bán dẫn dày xấp xỉ 3 – 30nm Các chuyển mạch bán dẫn này chứa 2 phần Titan oxit (TiO2) tinh khiết và TiO2-x chứa lỗ trống oxy bằng nhau Dây bạch kim lớp dưới được nối với phần TiO2 thuần khiết, phần còn lại là lớp TiO2 thiếu oxy, có thể được

kí hiệu là TiO2-x với x là số nguyên tử oxy bị thiếu hay còn gọi là lỗ trống Toàn bộ mạch và cơ chế không thể quan sát được bằng mắt, nhưng ta có thể tưởng tượng mạch như hình 2.6

Hình 2.6 Kiến trúc crossbar và chuyển mạch điện trở nhớ được phóng to

 Quá trình hoạt động:

Hình 2.7 Sự khuếch tán các phân tử oxy

(a) Lớp TiO2-x chứa các lỗ trống oxy, lớp TiO2 là lớp cách điện (b) Điện áp dương được đặt vào lớp trên, đẩy các lỗ trống oxy vào lớp cách điện TiO2 phía dưới (c) Điện áp âm trên chuyển mạch thì hút các bong bóng oxy được nạp điện dương ra

khỏi lớp TiO2

Quá trình hoạt động như là một chuyển mạch của memristor có thể được giải thích theo 3 bước Bước một là đặt vào memristor một nguồn năng lượng hay dòng điện đi qua Bước thứ hai gồm lượng thời gian mà dòng điện chạy qua các dây dẫn crossbar và làm cách nào mà khối titan oxit chuyển từ chất bán dẫn sang chất dẫn điện Bước cuối cùng là trở kháng nhớ thật sự của khối titan oxit có thể được đọc như là dữ liệu

Bước 1: Như giải thích ở trên, mỗi khối titan oxit được nối với 2 dây platium

chứa một hỗn hợp 2 lớp titan oxit Trạng thái ranh giới ban đầu của hỗn hợp này là chính giữa 2 phần chất dẫn và chất bán dẫn Hai dây platium được chọn để đặt năng lượng nào, có thể là theo hướng dương hoặc theo hướng âm Năng lượng theo hướng dương sẽ làm cho chuyển mạch đóng lại, còn hướng âm sẽ làm chuyển mạch

mở ra Áp dụng một nguồn năng lượng có thể làm chuyển mạch mở hoàn toàn nhưng không thể đóng hoàn toàn chuyển mạch vì vật liệu sử dụng ở đây vẫn là chất bán dẫn Năng lượng có thể được đặt vào bất cứ dây dẫn nào để mở hoặc đóng các chuyển mạch trong memristor tương ứng

Bước 2: Như trong bước 1, thì chuyển mạch gồm một nửa là TiO2 và một nửa

là TiO2-x với x được khởi tạo là 0.05 Khi mà một dòng điện dương được đặt vào, thì các lỗ trống oxy được nạp điện tích dương bị đẩy sang phần TiO2, điều này làm trở kháng của chuyển mạch giảm, tăng khả năng dẫn điện, và làm dòng điện tăng Ngược lại, khi một dòng điện ngược được đặt vào thì các lỗ trống oxy bị kéo ngược lại từ phần TiO2 và được ngưng tụ tại phần TiO2-x, phần TiO2 lớn dần lên và điều này làm cho chuyển mạch tăng tính cản trở dòng điện, dòng điện giảm Khi dòng điện dương đặt vào thì chuyển mạch được xem như mở (HI), trạng thái này gọi là mức 1 Khi dòng điện âm và dòng bị giảm, chuyển mạch được xem là ở trạng thái đóng (LOW), trạng thái này gọi là mức 0

Bước 3: Khi năng lượng được ngắt, thì các lỗ trống oxy vẫn giữ nguyên vị trí

kể từ lần cuối trước khi tắt nguồn cấp Nghĩa là trở kháng của vật liệu này sẽ giữ nguyên cho đến khi một nguồn năng lượng mới được đặt vào Đây chính là đặc tính chính của trở kháng nhớ Bằng một điện áp kiểm tra đủ nhỏ, không gây ảnh hưởng đến sự di chuyển của các phân tử trong memristor, ta sẽ tiến hành đọc trạng thái trở kháng của memristor như là đọc một dữ liệu được lưu trữ trước đó

2.1.5 Ứng dụng

Ba lĩnh vực chính ứng dụng memristor là:

 Bộ nhớ không bay hơi

 Các mạch logic và toán học

 Mạng lưới thần kinh sinh học (Neuromorphic)

 Bộ nhớ không bay hơi:

Đây là lĩnh vực cốt yếu để chứng minh hiệu quả của công nghệ memristor Hiện nay có nhiều loại bộ nhớ như RAM, ROM, SDRAM, Flash…; trong đó bộ nhớ Flash là chiếm ưu thế nhất trong lĩnh vực bộ nhớ bán dẫn Mỗi tế bào bộ nhớ Flash thì cần ít nhất một transistor Trong khi đó, thiết kế bộ nhớ sử dụng memristor thường dựa trên cấu trúc crossbar, thường không cần thiết phải có các transistor ở trong các tế bào Mặc dù các transistor vẫn cần trong các mạch đọc/ghi vào bộ nhớ, nhưng xét về tổng thể thì số lượng transistor cần thiết cho một bộ nhớ sử dụng công

nghệ memristor đã được giảm đi rất nhiều lần Một giới hạn cơ bản khác của các kiến trúc bộ nhớ truyền thống là hiện tượng thắt nút cổ chai, thường gây khó khăn trong việc định vị thông tin khi mà mật độ tích hợp ngày càng nhỏ Memristor đã đưa ra một giải pháp để loại bỏ được rào cản này đó là việc tích hợp cả chức năng ghi nhớ và chức năng xử lý vào trong cùng một kiến trúc chung, với kiến trúc này thì mạch lưu trữ và mạch xử lý hoạt động độc lập nhau; vì thế mà tránh được các

xung đột cố hữu trong kiến trúc bộ nhớ hiện tại

 Các mạch logic và toán học:

Kiến trúc của crossbar của memristor rất thuận lợi trong việc tái cấu trúc các kiến trúc tính toán ví dụ như các mạch FPGA, kiến trúc mà có bố cục giữa các mảng cổng logic cơ bản có thể được thay đổi bằng cách tái lập trình mối liên kết giữa các dây dẫn Nên khi các chất liệu memristor có thể điều chỉnh được trạng thái trở kháng một cách ổn định thì chúng có thể xây dựng được một hệ thống tính toán tương tự, và sẽ hiệu quả hơn các bộ xử lý số hiện nay

 Mạng lưới thần kinh sinh học (Neuromorphic):

Neuromorphic được xem như là mạch điện tương tự, mô phỏng kiến trúc mạng nơron sinh học Từ những bài báo đầu tiên của Leon Chua đã có xem xét cấu trúc memristor gần giống như một tế bào thần kinh Và nếu memristor được nghiên cứu

và ứng dụng các đặc tính ghi nhớ và việc xử lý tín hiệu tương tự như các khớp thần kinh thì ta có thể xây dựng một hệ thống điện tử nhân tạo tương tự như bộ não người để có thể xử lý các ứng dụng tương đối phức tạp và tinh vi

2.1.6 So sánh giữa transistor và memristor

Bảng 2.1 So sánh giữa transistor và memristor

Transistor Memristor

- Thiết bị chuyển mạch 3 cực: cực

nguồn (source), cực cổng (gate),

cực máng (drain)

- Cần nguồn để duy trì trạng thái

- Lưu trữ dữ liệu bằng điện tích

- Thiết bị 2 cực với một cực vừa có thể hoạt động như cực điều khiển hay cực nguồn, tùy

thuộc vào biên độ điện áp đặt vào

- Không cần nguồn vẫn duy trì được trạng thái

- Lưu trữ dữ liệu bằng trạng thái trở kháng

- Thu nhỏ kích thước khó vì không

chứa kim loại

- Khả năng thực thi các chức năng số

cũng như tương tự, tùy thuộc vào

chất liệu cụ thể để sản xuất memristor

- Sử dụng kỹ thuật quang khắc, các kỹ thuật khác (rẻ hơn) như kỹ thuật quang khắc nanoimprint và tự tổ hợp có thể được sử

dụng

Lý do memristor có thể thay thế cho transistor:

 Transistor đã được nghiên cứu và phát triển xấp xỉ 60 năm Trong khi đó, memristor mới được phát hiện khả năng tiềm tàng và cũng mới bắt đầu được đưa vào nghiên cứu những năm gần đây Công nghệ này khá mới và chứa nhiều khả năng vượt trội chưa được khám phá Vì vậy, memristor đang được các nhà nghiên cứu vi mạch xem xét và nghiên cứu khá nhiều

 Một lý do khác để ứng dụng memristor vào thiết kế và sản xuất vi mạch đó

là chất liệu sử dụng để chế tạo memristor Transistor thường làm bằng silicon, không phải kim loại Thường thì chất liệu không phải kim loại rất khó để làm nhỏ Trong khi đó, memristor được làm từ titan oxit Titan là một kim loại, nên việc chế tạo với kích thước nhỏ dễ dàng hơn Memristor cần nguồn cấp lớn gấp nhiều lần transistor, tuy nhiên khi memristor được làm nhỏ hơn thì phần cấp nguồn không cần thiết phải nhỏ theo

 Kết hợp được công việc của bộ nhớ đang làm việc với các ổ cứng lưu trữ vào cùng 1 thiết bị

 Nhanh và rẻ hơn RAM

 Tốn ít năng lượng và ít phát sinh nhiệt

 Cho phép khởi động hệ thống nhanh sau khi tắt máy

 Không mất dữ liệu khi tắt máy

 Có thể bắt chước các chức năng của bộ não

 Có thể nhớ được lượng điện tích đã chạy qua

 Các thiết bị thông thường chỉ có 2 mức logic 0,1; trong khi memristor có thể

có nhiều mức giá trị (ví dụ: 0.3, 0.5, 0.8…), làm cho memristor có thể lưu trữ được nhiều dữ liệu

 Nhanh hơn bộ nhớ Flash

 Để tăng tốc độ và sức mạnh của memristor, thì ta chỉ cần thay đổi chất liệu của thiết bị

 Một dòng điện lớn và nhanh giúp cho memristor hoạt động như một thiết bị

 Tương thích công nghệ CMOS hiện nay

 Như một bộ nhớ không bay hơi, memristor không tiêu thụ điện khi ở trạng thái nghỉ

 Tiêu tốn năng lượng khi đọc, viết dữ liệu

 Cần nhiều kỹ thuật xử lý sai số hơn

 Đã có nhiều nghiên cứu về chất bán dẫn memristor, nhưng vẫn chưa thật sự hoàn thiện

2.2 Tổng quan về mô hình mạng nơron

2.2.1 Giới thiệu mạng nơron nhân tạo

Chúng ta biết rằng bộ não con người chứa khoảng 100 tỉ tế bào thần kinh và mỗi tế bào có khoảng 20 000 khớp thần kinh Các nơron có nhiều đặc điểm chung với các tế bào khác trong cơ thể, ngoài ra chúng còn có những khả năng mà các tế bào khác không có được, đó là khả năng nhận, xử lý và truyền các tín hiệu điện hóa trên các đường mòn nơron, các con đường này tạo nên hệ thống giao tiếp của bộ não

Hình 2.8 Mạng nơron thực

Mỗi tế bào nơron gồm ba phần:

 Thân nơron với nhân bên trong (gọi là soma), là nơi tiếp nhận hay phát ra các xung động thần kinh

 Một hệ thống dạng cây các dây thần kinh vào (gọi là dendrite) để đưa tín hiệu tới nhân nơron Các dây thần kinh vào tạo thành một lưới dày đặc xung quanh thân nơron, chiếm diện tích khoảng 0,25 mm2

 Đầu dây thần kinh ra (gọi là sợi trục axon) phân nhánh dạng hình cây, có thể dài từ 1 cm đến hàng mét Chúng nối với các dây thần kinh vào hoặc trực

tiếp với nhân tế bào của các nơron khác thông qua các khớp nối (gọi là synapse) Thông thường mỗi nơron có thể có từ vài chục cho tới hàng trăm ngàn khớp nối để nối với các nơron khác Có hai loại khớp nối, khớp nối kích thích (excitatory) sẽ cho tín hiệu qua nó để tới nơron còn khớp nối ức chế (inhibitory) có tác dụng làm cản tín hiệu tới nơron Người ta ước tính mỗi nơron trong bộ não của con người có khoảng 104 khớp nối.

Hình 2.9 Cấu trúc của một nơron sinh học điển hình

Chức năng cơ bản của các tế bào nơron là liên kết với nhau để tạo nên hệ thống thần kinh điều khiển hoạt động của cơ thể sống Các tế bào nơron truyền tín hiệu cho nhau thông qua các dây thần kinh vào và ra, các tín hiệu đó có dạng xung điện và được tạo ra từ các quá trình phản ứng hoá học phức tạp Tại nhân tế bào, khi điện thế của tín hiệu vào đạt tới một ngưỡng nào đó thì nó sẽ tạo ra một xung điện dẫn tới trục dây thần kinh ra Xung này truyền theo trục ra tới các nhánh rẽ và tiếp tục truyền tới các nơron khác Quá trình lan truyền tín hiệu cứ tiếp tục như vậy cho đến khi đến đầu ra cuối cùng Mạng thần kinh nhân tạo là mô hình toán học đơn giản của bộ não người Bản chất thần kinh nhân tạo là mạng tính toán phân bố song song Các nghiên cứu về mạng thần kinh nhân tạo đã bắt đầu từ thập niên 1940 Mạng thần kinh nhân tạo có thể xem như là mô hình toán học đơn giản của bộ não con người Mạng thần kinh nhân tạo gồm các tế bào thần kinh nhân tạo kết nối với nhau bởi các liên kết Mỗi liên kết k m theo một trọng số, đặc trưng cho đặc tính kích thích hay ức chế giữa các tế bào thần kinh nhân tạo

Hình 2.10 Mô hình toán học một nơron nhân tạo

So sánh với tế bào thần kinh sinh học, ở tế bào thần kinh nhân tạo, trọng số w đặc trưng cho mức liên kết của các khớp (synapse), phần thân (cell body) được biểu diễn bởi phép toán cộng Σ và hàm chuyển đổi f Với ngõ ra out là tín hiệu ra trên trục (axon)

2.2.2 Mô hình mạng nơron nhân tạo

 Mô hình nơron một ngõ vào

Hình 2.11 Mô hình nơron một ngõ vào không có hệ số bias

Hình 2.12 Mô hình nơron một ngõ vào có hệ số bias

Một mô hình nơron đơn giản nhất (hình 2.11) chỉ gồm một input x và trọng số

w Sau khi qua hàm kích hoạt, đầu ra sẽ nhận được là o = f(w.x) Trên hình 2.12, ngoài input còn có thêm phân cực b Khi đó o = f(w.x + b), thực chất phân cực b cũng có tác dụng như trọng số, chỉ khác là input của nó bằng 1

Phân cực b sẽ làm dịch chuyển hàm f qua trái một đoạn b, f là hàm kích hoạt,

nó nhận tham số H vào và cho đầu ra là o, thông thường thì f là hàm nấc (step) hay

Σ Input 1

hàm sigmoid số Mấu chốt của mạng là ở chỗ b và w có thể điều khiển được thông

qua tự học bắt buộc, để cho hệ có thể thực hiện được một yêu cầu cụ thể nào đó hay

nói cách khác thì b và w sẽ được hiệu chỉnh lại thông qua quá trình học

 Mô hình nơron tổng quát:

Hình 2.13 Mô hình nơron tổng quát

Các thành phần cơ bản của một nơron nhân tạo bao gồm:

 Tập các đầu vào: Là các tín hiệu vào (input signals) của nơron, các tín

hiệu này thường được đưa vào dưới dạng một vector N chiều

 Tập các liên kết: Mỗi liên kết được thể hiện bởi một trọng số (gọi là trọng

số liên kết – Synaptic weight) Trọng số liên kết giữa tín hiệu vào thứ j với

nơron k thường được kí hiệu là w

kj Thông thường, các trọng số này được khởi tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật

liên tục trong quá trình học mạng

 Bộ tổng (Summing function): Thường dùng để tính tổng của tích các đầu

vào với trọng số liên kết của nó

 Ngưỡng (còn gọi là một độ lệch - bias): Ngưỡng này thường được đưa vào

như một thành phần của hàm truyền

 Hàm truyền (Transfer function) : Hàm này được dùng để giới hạn phạm vi

đầu ra của mỗi nơron Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng

đã cho Thông thường, phạm vi đầu ra của mỗi nơron được giới hạn trong

đoạn [0,1] hoặc [-1,1] Các hàm truyền rất đa dạng, có thể là các hàm tuyến tính hoặc phi tuyến Việc lựa chọn hàm truyền nào là tuỳ thuộc vào từng bài toán và kinh nghiệm của người thiết kế mạng Một số hàm truyền thường sử dụng trong các mô hình mạng nơron được đưa ra ở phần sau

 Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa là

Như vậy tương tự như nơron sinh học, nơron nhân tạo cũng nhận các tín hiệu đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng các tích thu được rồi gửi kết quả tới hàm truyền), và cho một tín hiệu đầu ra (là kết quả của hàm truyền)

2.2.3 Hàm kích hoạt

Hàm kích hoạt có nhiệm vụ giới hạn giá trị output của nơron, và tùy theo từng yêu cầu mà hàm kích hoạt có thể khác nhau, dưới đây là những hàm thông dụng nhất

 Hàm kích hoạt ngưỡng