Nghiên cứu các phương pháp và thuật toán thông minh trên cớ sở mạng nơron và logic mờ trong công nghệ thông tin và viễn thông

Mạng nơ ron nhân tạo và logic mờ là các lĩnh vực của trí tuệ nhân tạo hiện đại - một trong những lĩnh vực rất được quan tâm của công nghệ thông tin. Các máy tính và công nghệ vi điện tử hiện đại đang hy vọng ở các phương pháp này như chìa khóa mở ra thế hệ máy tính mới.

Tổng công ty bu chính viễn thông

Học viện công nghệ bu chính viễn thông

đề tài khoa học

Nghiên cứu các phơng pháp và thuật toán thông minh

trên cơ sở mạng nơ ron và logic mờtrong công nghệ thông tin và viễn thông

1.2 Khả năng ứng dụng của mạng nơron

1.2.1 Các ứng dụng trong tin học

1.2.2 Các ứng dụng trong viễn thông

1.2.3 Các ứng dụng trong đo lờng điều khiển, điều khiển robot ,y tế1.2.4 ứng dụng mạng nơ ron trong xử lý tín hiệu

Phần 2: Logic mờ và khả năng ứng dụng

4 4 4 510171718191922

2.1 Những vấn đề về logic mờ

2.1.1 Các khái niệm cơ bản

2.1.2 Các phép toán trên tập mờ

2.1.3 Biến ngôn ngữ

2.2 Các khả năng ứng dụng của logic mờ

2.2.1 Các ứng dụng trong điều khiển

2.2.2 Logic mờ trong mạng viễn thông

2.2.3 Đề xuất những nghiên cứu về logic mờ trong mạng tốc độ cao

Phần 3 Nghiên cứu các phơng pháp tính toán và xử lý trên cơ sở

mạng nơron và logic mờ

3.1 Các phơng pháp và thuật học mạng nơron

3.1.1 Các thuật học

3.1.2 Phơng pháp, thuật toán nơ ron dùng cho bài toán điều khiển

l-u lợng

3.1.3 Phơng pháp và thuật toán trong nhận dạng ký tự tiếng Việt

3.2 Nghiên cứu các phơng pháp xử lý mờ và luật mờ

5.1 ứng dụng và mô phỏng logic mờ trong việc tự chọn thang đo

5.1.1 Định nghĩa các biến vào ra

5.1.2 Xác định tập mờ

5.1.3 Xác định hàm liên thuộc

5.1.4 Xây dựng luật điều khiển

5.2 ứng dụng mạng nơ ron trong ATM

5.3 ứng dụng mạng nơ ron trong bài toán đo lờng

5.4 Xây dựng hệ điều khiển công suất trong hệ thống thông tin di độngDS-CDMA bằng logic mờ

Tài liệu tham khảo

2222242626262729

3232354048485760

616163666672

737373737476788491

Lời nói đầuTrong xu thế tăng tốc, Học viện Công nghệ Bu chính Viễn thông, đơn vị

đào tạo chính quy của Tổng công ty BCVT, đang trên đà phát triển với sáuloại hình đào tạo khác nhau Công nghệ thông tin là một trong những hớng

đào tạo đợc Bộ và Tổng công ty cũng nh Học viện Công nghệ Bu chính Viễnthông đặc biệt quan tâm, tạo nhiều điều kiện cho nghiên cứu tiếp cận các ph-

ơng pháp và công nghệ mới “Nghiên cứu các phơng pháp và thuật toán thôngminh trên cơ sở mạng nơ ron và logíc mờ trong công nghệ thông tin và viễnthông” là một trong những đề tài (mã số 082-2000-TCT-R-ĐT-83) nhằm nângcao kiến thức, tiếp cận những vấn đề khoa học nóng hổi, góp phần nâng caochất lợng và hiệu suất cho các bài giảng

Mạng nơ ron nhân tạo và logic mờ là các lĩnh vực của trí tuệ nhân tạohiện đại - một trong những lĩnh vực rất đợc quan tâm của Công nghệ thôngtin Các máy tính và công nghệ vi điện tử hiện đại đang hy vọng ở các phơngpháp này nh chìa khoá mở ra thế hệ máy tính mới: thế hệ máy tính thứ năm.Hai chuyên đề môn học của chơng trình đào tạo đại học Công nghệ thông tincũng đã chọn hai môn này vào chơng trình giảng dạy Nhiều đề tài, luận văntiến sỹ, thạc sỹ đã lấy các công cụ logic mờ và mạng nơ ron nhân tạo làm ph-

ơng tiện xử lý và tính toán mới thay cho các phơng pháp kinh điển hiện nay

Dựa trên những nghiên cứu về mạng nơ ron và logíc mờ; trên nhữngkhoá đào tạo, và các kết qủa, nhóm nghiên cứu đã có nhiều cố gắng một sốphơng pháp nhằm nâng cao kiến thức, hệ thống lại một số phơng pháp vànghiên cứu đa vào áp dụng hy vọng nêu đợc một vài ý tởng trong sự nghiệpnghiên cứu, đào tạo và ứng dụng của Tổng công ty Bu chính Viễn thông Chắcchắn với một đề tài có tính chất mới, phức tạp, trình độ và thời gian có hạn, sẽcòn nhiều điểm hạn chế mong các đồng nghiệp đóng góp ý kiến để ngày càng

có kiến thức cao hơn

Đề tài đợc viết thành năm phần: nghiên cứu logic mờ và mạng nơ ronvới các khả năng ứng dụng của chúng; nghiên cứu các phơng pháp và thuậttoán mạng nơ ron và logic mờ; các chơng trình demo về nhận dạng ký tự tiếngViệt, định tuyến mạng viễn thông và một vài kết quả nghiên cứu khác

Đề tài do Ts Nguyễn Quang Hoan, khoa Công nghệ thông tin 1 chủ trì.Các thành viên tham gia gồm Ts Hoàng Văn Võ, Kỹ s Hà Hải Nam Học việnCông nghệ Bu chính Viễn Thông, Ts Lê hùng Lân, Ths Phan Thanh Hà, Đạihọc Giao Thông vận tại Chúng tôi cám ơn các cộng sự khác nh Ts Chu Văn

Hỷ, cám ơn các đồng chí Lãnh đạo Tổng công ty, Học viện và Phòng Quản lýkhoa học và Trung tâm t liệu của Học viện CNBCVT đã tạo nhiều điều kiện

3

thực hiện những nhiệm vụ nh vậy nhờ các phần tử tính toán (nơ ron) Nãophân bố việc xử lý cho hàng tỷ nơ ron có liên quan, điều khiển các mối liên hệgiữa các nơ ron đó Nơ ron không ngừng nhận và truyền thông tin lẫn nhau.Cơ chế hoạt động nơ ron bao gồm: liên kết (association), tổng quát hoá(generation), và tự tổ chức (Self-organization) Các nơ ron tự liên kết với nhauthành mạng trong xử lý Mỗi mạng gồm hàng vạn các phần tử nơ ron khácnhau Môĩ phần tử nơ ron có khả năng liên kết với hàng nghìn các nơ ronkhác Lý thuyết về mạng nơ ron đã hình thành và đang phát triển, đặc biệt lànghiên cứu ứng dụng chúng [5]

Có thể chia quá trình phát triển và nghiên cứu mạng nơ ron trong thế kỷqua thành bốn giai đoạn:

 Giai đoạn một có thể tính từ những nghiên cứu của William từ nhữngnăm 1890 về tâm lý học với sự liên kết các nơ ron thần kinh Cho đến năm

1940, McCulloch và Pitts đã cho biết, nơ ron có thể đợc mô hình hoá nh thiết

bị ngỡng giới hạn để thực hiện các phép tính logic Cũng thời gian đó, Wiener

đã xét mối liên quan giữa nguyên lý phản hồi trong điều khiển và chức năngcuả bộ não; Ashly đã đề xuất mô hình chức năng bộ não và nguyên lý ổn địnhcuả nó

 Giai đoạn hai có thể tính từ sau thế chiến thứ hai Đặc biệt, vào nhữngnăm cuả thập niên 60 gần nh đồng thời xuất hiện một loạt mô hình mạng nơron hoàn hảo hơn đợc đa ra nh: Perceptron cuả Rosenblatt, phần tử nơ rontuyến tính Adaline (ADAptive LINear Element) cuả Windrow, Ma trận họccuả Steinbuck Perceptron rất đợc chú trọng vì nguyên lý giản đơn, nhng nócũng hạn chế vì nh Minsky và Papert đã chứng minh nó không dùng đợc chocác hàm logic phức Bản chất cuả Adaline là tuyến tính, tự chỉnh và đợc dùngrộng rãi cho những bài toán tự thích nghi, tách nhiễu và vẫn phát triển cho đếnngày nay

 Giai đoạn thứ ba có thể tính từ đầu những năm 80 đến nay Những đónggóp to lớn cho mạng nơ ron ở giai đoạn này phải kể đến Grossberg, Kohonen,Rumelhart và Hopfield Đóng góp chính cuả Hopfield là hai mô hình mạngphản hồi: mạng rời rạc năm 1982 và mạng liên tục năm 1984 Đặc biệt, ông

dự kiến nhiều khả năng tính toán lớn cuả mạng mà một nơ ron đơn không thể

có đợc

 Giai đoạn thứ t, từ năm 1990 đến nay Các Hội nghị, Tạp chí khoa học

và chuyên đề đặc biệt về mạng nơ ron liên tục đợc tổ chức ví dụ nh IJCNN(International Joint Conference on Neural Networks) Hàng loạt các lĩnh vựckhác nhau nh: kỹ thuật tính toán, tính toán tối u, ứng dụng mạng nơ ron trongtin học, viễn thông, sinh-y-học, dự báo, thống kê đã đi vào áp dụng và đemlại nhiều kết quả đáng khích lệ

1.1.2 Cơ sở của mạng nơron nhân tạo và một số khái niệm

Đầu tiên, chúng ta tìm hiểu nguồn gốc của mạng nơ ron, bắt đầu từmột phần tử nơ ron đơn giản Mô hình nơron nhân tạo có nguồn gốc từ môhình tế bào thần kinh (hay còn gọi là nơron) sinh vật Mục đích của phần nàykhông mô tả và nghiên cứu nơ ron sinh học (việc đó có chuyên ngành nơ ron

sinh vật nghiên cứu) mà muốn chỉ ra rằng: từ những nguyên lý cơ bản nhấtcủa nơ ron sinh học, ngời ta đã bắt chớc mô hình đó cho nơ ron nhân tạo [5].

a) Mô hình nơron sinh vật

Các nơron sinh vật có nhiều dạng khác nhau nh dạng hình tháp ở đạinão, dạng tổ ong ở tiểu não, dạng rễ cây ở cột sống Tuy nhiên, chúng có cấutrúc và nguyên lý hoạt động chung Từ mô hình chung nhất, ngời ta có thể môtả chúng nh một nơron chuẩn Một tế bào nơron chuẩn gồm bốn phần cơ bản

là [6]:

+ Các nhánh và rễ: là các bộ phận nhận thông tin Các đầu nhạy hoặccác đầu ra của các nơ ron khác bám vào rễ hoặc nhánh của một nơ ron Khicác đầu vào từ ngoài này có sự chênh lệch về nồng độ K+, Na+ hay Cl- so vớinồng độ bên trong của của nơ ron thì xảy ra hiện tợng thấm (hoặc hiện tợngbơm) từ ngoài vào trong thông qua một cơ chế màng thấm đặc biệt Hiện tợngthẩm thấu nh vậy tạo nên một cơ chế truyền đạt thông tin với hàng nghìn hàngvạn lối vào trên một nơ ron sinh vật, ứng với hàng nghìn hàng vạn liên kếtkhác nhau Mức độ thẩm thấu đợc đặc trng bởi cơ chế màng tợng trng bằngmột tỷ lệ Tỷ lệ đó đợc gọi là tỷ trọng hay đơn giản gọi là trọng (weight)

+ Thân thần kinh (soma) chứa các nhân và cơ quan tổng hợp prôtêin.Các ion vào đợc tổng hợp và biến đổi Khi nồng độ các ion đạt đến một giá trịnhất định, xẩy ra quá trình phát xung (hay kích thích) Xung đó đợc phát ở các

đầu ra của nơ ron Dây dẫn đầu ra xung đợc gọi là dây thần kinh (axon)

+ Dây thần kinh (axon) là đầu ra Đó là phơng tiện truyền dẫn tín hiệu.Dây thần kinh đợc cấu tạo gồm các đốt và có thể dài từ vài micro mét đến vàimét tùy từng kết cấu cụ thể Đầu ra này có thể truyền tín hiệu đến các nơ ronkhác

+ Khớp thần kinh (synape) là bộ phận tiếp xúc của các đầu ra nơ ron với

rễ, nhánh của các nơ ron khác Chúng có cấu trúc màng đặc biệt để tiếp nhậncác tín hiệu (Hình 1.a) khi có sự chênh lệch về nồng độ ion giữa bên trong vàbên ngoài Nếu độ lệch về nồng độ càng lớn thì việc truyền các ion càng nhiều

và ngợc lại Mức độ thấm của các ion có thể coi là một đại lợng thay đổi tùythuộc vào nồng độ nh một giá trị đo thay đổi và đợc gọi là trọng

Hoạt động của nơron sinh vật

+ Truyền xung tín hiệu: Mỗi nơron nhận tín hiệu vào từ các tế bào

thần kinh khác Chúng tích hợp các tín hiệu vào Khi tổng các tín hiệu vợt mộtgiá trị nào đó gọi là giá trị ngỡng (hay đơn giản gọi là ngỡng) chúng phát tínhiệu ra Tín hiệu ra của nơron đợc chuyển tới các nơron hoặc tới các cơ quanchấp hành khác nh các cơ, các tuyến (glands) Việc truyền tín hiệu thực hiệnthông qua dây thần kinh và từ nơron này tới nơron khác theo cơ chế truyền tin

đặc biệt là khớp thần kinh Mỗi một nơron có thể nhận hàng nghìn, vạn tínhiệu và cũng có thể gửi tín hiệu đến hàng vạn các nơron khác Mỗi nơron đợccoi là một thiết bị điện hoá, chứa các nội năng liên tục, đợc gọi là thế năngmàng (rnembrance potential) Khi thế năng màng vợt ngỡng, nơron có thểtruyền thế năng tác động đi xa theo các dây thần kinh

5

+ Quá trình học: Khi có xung kích thích từ bên ngoài tới, các khớp

hoặc cho đi qua hoặc không và kích thích hay ức chế các nơron tiếp theo Học

là một quá trình làm cho cách cập nhật này lặp lại nhiều lần đến một giá trị ổn

định, cân bằng điện hoá giữa các nơron (Trong mạng nơron nhân tạo, trọng số

wij biểu diễn gía trị cân bằng đó đồng thời tạo mối liên kết giữa các nơron)

Những nơron không có ý nghĩa khi xử lý đơn lẻ mà cần thiết liên kếtvới nhau tạo thành mạng Đặc tính của hệ thần kinh đợc xác định bằng cấutrúc và độ bền của những liên kết đó Có thể thay đổi độ bền vững liên kết(weight) bằng các thuật học khác nhau

Theo nghiên cứu của các nhà nơ ron sinh vật, một noron xử lý với tốc

độ chỉ bằng 1/6 đến 1/7 tốc độ của cổng logic Các nơron sinh học thờng đợcliên kết hàng nghìn, hàng vạn các phần tử với nhau theo nhiều cách tổ chứckhác nhau rất phức tạp Tuy nhiên, một số cách kết hợp các phần tử nơronthành mạng theo lớp (layer) đợc đúc kết nh sau:

+ Mạng một lớp: là tập hợp các nơron có đầu vào và đầu ra trên mỗi một phần

tử

+ Mạng hai lớp: gồm một lớp đầu vào và một lớp đầu ra riêng biệt trên mỗi

một phần tử

+ Mạng nhiều lớp: gồm nhiều lớp trong đó lớp đầu vào và lớp đầu ra riêng

biệt Các lớp nằm giữa lớp vào và lớp ra gọi là các lớp ẩn (Hidden layers)

+ Mạng truyền thẳng: là mạng nhiều lớp mà quá trình truyền tín hiệu từ đầu

ra lớp này đến đầu vào lớp kia theo một hớng xác định

Hình 1.1: a, Nơron sinh vật; b, Nơron nhân tạo

+ Mạng truyền ngợc: là mạng mà trong đó một hoặc nhiều đầu ra của các

phần tử lớp sau truyền ngợc tới đầu vào các lớp trớc đó

+ Mạng tự tổ chức: là mạng có khả năng sử dụng những kinh nghiệm quá khứ

để thích ứng với những biến đổi của môi trờng (không dự báo trớc)

b) Mô hình nơron nhân tạo

Mạng nơron sinh học có cấu trúc phức tạp Mô hình một nơron nhân tạo

đợc xây dựng từ ba thành phần chính: tổng các liên kết đầu vào, động học

tuyến tính, phi tuyến không động học (Hình 1.1b)

* Bộ tổng liên kết Bộ tổng liên kết đầu vào phần tử nơron có thể mô tả

* Phần động học tuyến tính

Có nhiều hàm để mô tả phần động học tuyến tính Đây là phần mô tảcác xử lý bên trong của nơron Dới đây là một phơng pháp dùng toán tửLaplace mô tả (Bảng 1.1) phần động học tuyến tính nh một hàm truyền đạt:

X(s) = H(s) V(s)(1.2)

Bảng 1.1: Một số hàm H(s) thờng dùng cho nơron nhân tạo

Quan hệ

vào ra x(t) = v(t)

) t ( v dt

) t ( dx

dt

) t ( dx

hàm chặn, thờng ở dạng phi tuyến với hàm g(.) Nh vậy đầu ra y có đặc trng là

một hàm:

y = g(x(t)) (1.3)

Có nhiều hàm phi tuyến có thể sử dụng trong phần phi tuyến Một sốhàm phi tuyến thờng dùng đợc cho ở Bảng 1.2, [6] Một số dạng khác cũng đ-

ợc sử dụng (Các nơron chuyển động ở vùng thị giác trong nơ ron sinh học có

đặc tính của hàm Sigmoid, nơron ở khu vực quan sát có dạng hàm Gauss, nênviệc mô hình hoá các đầu ra ở các dạng kể trên là phù hợp và tơng ứng với cácnơ ron sinh học)

7

*Một kiểu phân loại điển hình đợc biểu diễn trên Hình 1.2

Một số dạng hàm mũ, logarit

cũng đợc sử dụng trong khâu đầu

ra phi tuyến mặc dù cơ sở sinh vật

của những hàm đó cha đợc đặt ra

Đầu ra y(t) trong trờng hợp tổng

quát có thể là liên tục hoặc rời

rạc

Cũng nh nơron sinh vật, các nơron

nhân tạo có thể liên kết với nhau

field đặc tr ngánh xạ ART

Hop-Mc

Culloch

Pitts

Cohen Gross- berg

Perce ptron Ada-line

Hình 1.2: Một cách Phân loại mạng nơron nhân tạo

Tên hàmCông thức Đặc tính B ớc nhảy

đơn vị Hard limiter

(sgn) Hàm tuyến tính g(x) = x Hàm tuyến tính bão hoà Hàm tuyến tính bão hoà đối xứngHàm Sigmoid đơn cực

(Unipolar Sigmoid) Hàm Sigmoid l ỡng cực

(Bipolar Sigmoid)

Bảng 1.2: Một số hàm phi tuyến th ờng dùng trong các mô hình nơron

kết hợp các nơron nhân tạo thành mạng, mỗi cách kết hợp tạo thành một loạilớp mạng khác nhau.

1.1.3 Các cấu trúc mạng điển hình

Mạng nơron truyền thẳng một lớp

Là mạng mà các nơron tạo thành một lớp, trong đó mỗi một tín hiệu vào

có thể đợc đa vào cho tất cả các nơron của lớp và mỗi nơron có nhiều các đầuvào và một đầu ra trên mỗi nơ ron đó (Hình 1.3) Xét trờng hợp các nơron

Có thể mô tả phơng trình (1.4) dới dạng phơng trình ma trận véc tơ: x(t) = Bu(t) + I

y(t) = g(x(t))(1.5)

Hệ phơng trình (1.6) có thể cho ở dạng rời rạc:

Tx(t + 1) + (1-T)x(t) = Bu(t) + I y(t) = g(x(t)) (1.7)

Đặc tính mạng phụ thuộc vào ma trận liên kết B và dạng động học H(s)

y

Lớp vào Lớp ẩn Lớp ra

1 2

y

1 m

y

Q 1

y

Q 2

y

Q m

y

vùng lồi Mạng một hoặc hai lớp nói chung dễ phân tích Mạng ba lớp hoặcnhiều lớp có khả năng mô tả đợc mọi hàm phi tuyến Theo Cybenco [6,13] thìbất kỳ hàm phi tuyến nào cũng có thể xấp xỉ tuỳ ý trên một tập compact bằngmạng nơron truyền thẳng gồm hai lớp ẩn với độ phi tuyến cố định Nh vậy,khi xây dựng mạng nơ ron trong xử lý, mạng hai lớp ẩn đủ khả năng xấp xỉmột hàm tùy chọn mà có thể không dùng nhiều lớp hơn phức tạp cho tínhtoán.

Xét mạng tĩnh (H(s)=1) truyền thẳng nhiều lớp có phơng trình mô tả nhsau:

1

k ik k

n 1 j

1 q j

q ij

q

i ( t ) w y ( t ) b u ( t ) I x

trong đó: xiq( t ) là các đầu vào lớp q; i=1, ,n; q=1, ,Q; u k (t) là các đầu vào

Trong đó W, B, I là các ma trận; x, u, g là các véc tơ hàm Từ các mạngtruyền thẳng tổng quát một số tác giả đã chọn các dạng cụ thể, nghiên cứu ápdụng cho chúng các thuật học phù hợp, hình thành các mạng cụ thể nh: mạngAdaline, mạng Percetron, mạng truyền ngợc Dới đây là một số mạng điểnhình

 Mạng percetron một lớp đơn

Cấu trúc: Với các véc tơ ra mong muốn d (k) =[ d 1 (k) , d 2 (k) , ,d n (k) ] và véc tơ

vào X (k ) =[ X 1 (k) , X 2 (k) , , X m (k) ], k=1,2, ,p, trong đó m là số đầu vào, n là số đầu

ra, p là số cặp mẫu vào-ra dùng huấn luyện mạng Đầu ra thực tế theo cấu trúc

chung:

yi(k)= f(WiT xi(k)) = f(Wij xj(k)) = di (k) ; i=1, ,n; k=1, ,p(1.10)

Đối với cấu trúc perceptron (1.10) có thể viết thành:

m 1 12 11 T

2

T 1 T

i

w

ww

w

ww

w

ww

W

Luật học tổng quát: học đối với mạng nơron là cập nhật trọng trên cơ sở các

mẫu Theo nghĩa tổng quát, học có thể đợc chia làm hai loại: Học tham số vàhọc cấu trúc Trong những năm gần đây, các công trình tập trung cho nghiêncứu các luật học khác nhau Các luật học đó có thể khái quát thành dạngchung sau:

Wi j  r X(t)(1.12)

j j j

d x w



 (1.15)

Luật học: Luật học Adaline sử dụng phơng pháp bình phơng cực tiểu

truy hồi Windrow và Hoff đề ra luật học dựa trên phơng pháp gradient dùngmột Adaline để xấp xỉ một hàm tuyến tính (m-1) biến nhờ một tập hợp gồm pmẫu Đầu tiên chọn tuỳ ý véctơ trọng ban đầu W(1), sau đó ta từng bớc hiệuchỉnh lại W(k) theo các mẫu x(k) , d(k), k=1, ,p, sao cho tổng bình phơng sai

số đạt cực tiểu:

11

m 1 j

2 j j )

k (

p 1 k

p 1 k

2 ) k ( T ) k ( 2

) k ( ) k (

) x w d

( 2 1

) x w d

( 2

1 ) y d ( 2

1 ) w ( E

j ) k ( ) k ( T ) k ( j

 Mạng nơron RBF (Radial Basis Function)

Mạng RBF đợc Moody và Darker đề xuất năm 1989 dựa trên sự tơng

đồng giữa khai triển RBF với mạng nơron một lớp ẩn Khả năng xấp xỉ củacác hàm phi tuyến của mạng có thể thừa nhận từ hai lý do Một là, nó là mộtkiểu khai triển RBF Hai là, nó tơng đơng với hệ thống mờ và là một công cụxấp xỉ vạn năng Đặc biệt mạng RBF Gauss sẽ là một kiểu mạng “có một sốngời thắng”, nên có thể áp dụng luật học không giám sát của Kohonen mởrộng Điều này có thể giải thích từ cách suy diễn kiểu Nếu-Thì (sẽ trình bày

ở phần hai) của hệ thống mờ tơng đơng

] 2 / m x exp[

Z

2 k 2 l

1

2 q

2 k q

ở đây, véctơ đầu vào X=[x1, ,xm]; mk là

véctơ tâm (giá trị trung bình), k (Scalar) là

chiều rộng (phơng sai), . là kí hiệu

Đa phản hồi ngợc vào cấu trúc mạng

nơron tạo một mạng động (dynamic) với một số điểm ổn định Trong trờnghợp tổng quát, mô hình mạng động mô tả nh sau:

x(t) = F(x(t), u(t), ),y(t) = G(x(t), )(1.21)

trong đó: x(t) là trạng thái; u(t) là các đầu vào ngoài;  là tham số; F(.) là hàm

mô tả cấu trúc; G(.) là hàm mô tả quan hệ giữa biến trạng thái và đầu ra

Mạng phản hồi (recurrent) đầu tiên đợc Kohonen, Anderson và Nakano

đề ra từ những năm 1972 Hopfield đã hiệu chỉnh sơ đồ học của nó, trong đócác thông tin về trọng đảm bảo các trạng thái nhớ, ứng với các điểm cực tiểu.Các điểm cực tiểu dùng làm bộ nhớ địa chỉ theo nội dung (CAM: ContentAddress Memory) nhằm giải quyết bài toán nhận mẫu (nhận dạng tĩnh) Cácmẫu chắc chắn đợc dùng làm các điểm cân bằng Các sai số giữa đầu vào sovới mẫu phải nằm trong vùng hấp dẫn Theo quan điểm của vật lý về spinglass hệ động học nh vậy đợc tạo ra, trong đó hệ mạng gắn liền với tập cácmẫu đợc đa vào từ trớc Nếu toàn bộ không gian làm việc đợc phân vùng theoCAM thì điều kiện ban đầu ứng với các mẫu chuẩn là nghiệm trạng thái dừngứng với các mẫu Tiếp theo chúng ta xem xét hai mạng Hopfield là loại mạngmột lớp phản hồi đợc sử dụng rất nhiều trong thực tế

x nếu i

i

p i 0 ) t ( ),

t ( y

p i 0 ) t ( ,

)) t ( x ( g ) 1 t ( y

0 ) ( 1

)) ( (

t

t t

x nếu

(1.24)

Luật Hebb đợc dùng để mã hoá P mẫu; yk, k=1, ,P là các điểm cân bằng của

hệ đợc mô tả từ (1-22) đến (1-24) bằng cách chọn các trọng số theo luật sau:

j i nếu n 0

) 1 y 2 )(

1 y 2 (

h 1

p pi

Ii wijj

( ) (

1

i n

k k ik i

i i i

x 0

n 1 k , jk j j k ki

i i

i c d ( x ) d ( x )

2

1 d ) ( d ) ( b )

1 k

n 1

k ik k ki

i i i i

i ( x ) d ( x ) b ( x ) c d ( x ) a

: (1.31)

Đối với các hệ kỹ thuật, các điều kiện của định lý này khó thực hiện.Bởi vậy, mô hình ít đợc thoả mãn trong thực tế Loại mô hình khác, mô hìnhHopfield liên tục, đã đợc thực hiện bằng các mạch điện dạng hoặc các vi mạchtích hợp mật độ cao VLSI và đã có nhiều ứng dụng

 Mạng Hopfield liên tục

Năm 1984 trên cơ sở mô hình rời rạc, Hopfield đã nêu mô hình nơronphản hồi liên tục đợc mô tả luật tác động bằng tập các phơng trình vi phânsau:

i n

j j ij i

i i

R

x dt

V w y yij i R g d I y

j

n

j i

n

i i

n

i

y

i i i

1 ( / ) ( )   (1.34)

và đã chứng minh tính ổn định của mạng theo tiêu chuẩn ổn định của

Liapunov:

dV/dt  0

(1.35)

Từ (1.35) cho thấy hệ luôn ổn

định, sau một khoảng thời gian chuyển

động trong không gian trạng thái, đạt

cực tiểu trong miền V và dừng ở điểm

đó với dV / dt  0, dyi/ dt  0tức yi=const

với mỗi i Với hệ này tồn tại nhiều điểm

cân bằng ứng với mức năng lợng cực

tiểu (hay là đáy năng lợng) trên một siêu

phẳng năng lợng của siêu diện n chiều

Giả sử các mẫu vào (input patterns) tuỳ

ý đợc đa vào hệ nh trạng thái ban đầu,

hệ sẽ đạt đến điểm cân bằng gần nhất

ứng với điểm ổn định Hình 1.6 cho thấy một phác hoạ ngắn gọn về năng lợng

của hệ E(x) Nếu E(x) là một hàm vô hớng của x với các cực tiểu địa phơng,các điểm cực tiểu địa phơng này đợc gắn vào mạng làm các đặc trng xử lýthông tin Nếu hệ thống xuất phát ở trạng thái ban đầu x(0), thì theo thời gian

hệ trợt xuống đáy năng lợng của điểm cực tiểu gần nhất

Với đặc trng nh vậy, mạng Hopfield có khả năng dùng làm một bộ nhớcác mẫu lệnh, để sau đó có thể gọi lại Dựa trên nguyên lý đó, mạng Hopfieldcũng có thể dùng trong hệ nhận dạng các tham số, làm các bộ suy diễn mờ(fuzzy interference) trong điều khiển thông minh, giải các bài toán tối u.Trong những mạng thuộc nhóm phản hồi còn có các mô hình mạng khác nh:máy Bolzmann, Mc.Culloch-Pitts

Mạng nơron tự tổ chức: (Self-Organizing Feature Maps)

Con ngời có khả năng sử dụng những kinh nghiệm quá khứ để thíchnghi với những thay đổi của môi trờng Sự thích nghi đó không cần ngời hớngdẫn hoặc chỉ đạo từ bên ngoài Mạng nơron nhân tạo thực hiện theo nguyên lý

đó gọi là mạng tự tổ chức Kohonen đã nêu lên loại mạng với tên gọi đặc trng

là tự tổ chức Trong mạng tự tổ chức, tại một thời điểm chỉ có một tế bàonơron hoặc một nhóm nơron cục bộ cho đáp ứng đối với đầu vào tại thời điểm

đó Mạng có một lớp đơn nh là một lớp đầu vào Các trọng của mạng đợc mãhoá tơng ứng với các mẫu đầu vào Các ánh xạ đặc trng đợc sử dụng nhiềutrong nhận mẫu, điều khiển rô bốt và điều khiển quá trình Mức tác động củamỗi nơron đợc tính theo tích của véc tơ vào và véc tơ trọng

xi = UWi

(1.36)

15

Hình 1.6: Năng l ợng mạng E(x)

trong đó: xi là trạng thái (mức tác động) của nơron thứ i; Wi là véc tơ trọngcủa phần tử nơron thứ i; U là véc tơ vào.

Gần đây, vài mô hình mới nh Fourier, Gabor ứng với các dạng hàm phituyến cũng đợc sử dụng Những mạng này thờng là tổ hợp của các loại mạngkhác nhau hoặc là phát triển trên các loại mạng có sẵn

1.2 Khả năng ứng dụng của mạng nơron

Khó khăn nhất trong ứng dụng mạng nơ ron nhân tạo trong mấy chụcthập kỷ qua là hạn chế về mặt công nghệ và tốc độ tính toán Cấu trúc mạngnơron đòi hỏi hàng nghìn, hàng vạn liên kết và số lợng tính toán lớn cho nênphức tạp cả về mặt cấu trúc (phần cứng) cả về mặt phần mềm Ngày nay, vớicác chip với độ siêu tích hợp, tốc độ cao đã mở ra nhiều khả năng ứng dụngthực tế

1.2.1 Các ứng dụng trong tin học

Trong vài chục thập niên trở lại đây, nhiều bộ xử lý trên cơ sở nguyên lýmạng nơ ron đã đợc hình thành Những chế thử đầu tiên của Hopfield trên cơ

sở các mạch tơng tự đã hình thành từ những năm 1982 Ngày nay nhiều ICtrên cơ sở nguyên lý của mạng nơ ron đã đợc sản xuất Điển hình hiện nay đã

có những hãng sản xuất các vi mạch với độ tích hợp cao đợc gọi là Bộ xử nơron thay cho các bộ vi xử lý (kinh điển đợc dùng trong máy tính) chứa đếnhàng trăm vạn phần tử tính toán-nơron và có khả năng ghép nối hàng chục bộkhác nhau Các liên kết trong tính toán theo kiểu nơron đã đạt đến hàng tỷtrong một thời điểm Nhiều bộ chơng trình phát triển xử lý theo kiểu nơ ron đã

lý-đợc bán ra thị trờng để giải các bài toán tối u, xử lý tín hiệu, nhận dạng tiếngnói, chữ viết, nhận mẫu, dự báo, đặc biệt là dự báo tài chính Những đặc trngchính của ứng dụng này chủ yếu dựa trên các nguyên lý xử lý nơ ron theo tậpmẫu thay vì xử lý từng bớc của máy tính kinh điển Nói cách khác các xử lýmang tính song song

+ Nhận dạng Nhiều kiến trúc và thuật toán theo kiểu nơron đợc dùng

để nhận dạng cấu trúc và tham số, đặc biệt là các mạng nơ ron truyền ngợc.Chang, Zhang và Sami cho biết mạng Hopfield cũng có thể kết hợp với mạngGabor để nhận dạng hệ phi tuyến có những kết quả khả quan Trong trờng hợpnày, mạng bao gồm ba lớp Lớp thứ nhất gọi là bộ tạo hàm sử dụng mạngGabor để tạo hàm phi tuyến Lớp thứ hai dùng mạng Hopfield để tối u các hệ

số trọng cha biết Lớp thứ ba đợc gọi là mạng điều khiển để tính sai số ớc lợng

và điều khiển hoạt động của các lớp mạng thứ nhất và lớp thứ hai Hệ khôngyêu cầu phải ổn định tiệm cận mà chỉ cần các đầu vào-ra giới hạn và ổn định

đối với các kết quả đợc coi là hợp lý theo miền vào-ra lớn Thành công của

ph-ơng pháp ở chỗ đã đạt đợc lý luận của phph-ơng pháp và cho kết quả mô phỏng.Các ứng dụng này đang mở ra một tơng lai phát triển của các máy tính thế hệthứ năm: thế hệ máy tính ở đó các quá trình vào ra dữ liệu không thủ côngbằng tay mà bằng ngôn ngữ, hình ảnh với khả năng nhận dạng đạt độ chínhxác chấp nhận đợc

+ Mạng nơron nhân tạo có thể sử dụng làm bộ biến đổi A/D Ta có thểxây dựng mạng Hopfield một lớp có bốn nơron với các đầu vào ngoài x=[x0,

x1, x2, x3], các đầu ra y=[y0, y1, y2, y3] cho bộ biến đổi A/D bốn bit Thànhcông này của Hopfield từ 1984 đã chứng minh một cách tiếp cận mới trongviệc biến đổi các giá trị tơng tự sang số theo nguyên lý “não ngời” thay chocác phần cứng hoặc phần mềm kinh điển

+ Nhận mẫu ký tự Các mạng nơron đã đợc nhiều tác giả nghiên cứu

ứng dụng trong xử lý chữ viết, nh: nhận dạng ký tự, nhận dạng chữ viết, nhậndạng tiếng nói và ảnh Viện CNTT trong khuôn khổ dự án kết hợp với Công tyFuzisju (Nhật) cũng đã bắt đầu ứng dụng công nghệ này cho nhận mẫu chữtiếng Việt viết tay Phần 3 và 4 trong nghiên cứu này sẽ trình bày ứng dụngmạng “Nhớ liên kết hai chiều: BAM) để nhận dạng ký tự tiếng Việt

+ Nhận dạng ảnh Trong các lĩnh vực nghiên cứu về hình ảnh cũng đợc

các tác giả sử dụng mạng nơron để xử lý hình ảnh nh nhận dạng, xử lý

+ Thực hiện các thuật toán tối u Ngay sau khi đề xuất các kiến trúc

và thuật học, năm 1986 Hopfield cùng với Tank đã ứng dụng mạng giải bài

toán tối u tìm đờng đi ngắn nhất thay cho thuật toán Tin học kinh điển “Ngờibán hàng” Với phơng tiện giải quyết bằng phần cứng trên các chip nơronhoặc phần mềm theo thuật học mạng nơron, phơng pháp này đã bớc vào kỷnguyên ứng dụng mạng nơron cho những bài toán khác tơng tự nh bài toán

định tuyến tối u (sẽ trình bày ở phần sau)

1.2.2 Các ứng dụng trong viễn thông

+ Nhận dạng, mô hình hoá kênh phi tuyến Mạng nơron đã dần đợcmột số tác giả nh Mohamed Ibnkahia ứng dụng vào các lĩnh vực truyền thông:nhận dạng kênh, mô hình hoá kênh, mã hoá và giải mã, hiệu chỉnh kênh, phântích phổ, lợng tử hoá véc tơ ở đây các mạng nơron truyền thẳng, phản hồi,mạng tự tổ chức đợc ứng dụng trong các lĩnh vực phù hợp Ví dụ mạngPerceptron nhiều lớp với thuật học lan truyền ngợc đã đợc sử dụng để nhậndạng và điều khiển hệ thống tự động dẫn đờng bay cho ngành hàng không

+ ứng dụng trong ATM (sẽ trình bày ở phần 3 và 4) Atsush đã đề

xuất bộ điều khiển mạng viễn thông ATM trên cơ sở mạng nơ ron truyền ngợc

để học mối quan hệ giữa lu lợng thực tế và chất lợng dịch vụ Phơng pháp họcbảng mẫu đợc đề xuất để học các mối quan hệ đó

+ ứng dụng trong bài toán định tuyến((sẽ trình bày ở phần 3 và 4) + Tách mã địa chỉ trong CDMA sử dụng mạng nơron xử lý tín hiệu

số lai

1.2.3 ứng dụng trong đo lờng, điều khiển, điều khiển robot, y tế

 Mạng nơ ron nhân tạo đợc phỏng theo trí não con ngời Trong toàn bộcơ thể sống, các cảm nhận (đo lờng), đảm bảo cân bằng mọi chế độ và duy trìhoạt động nh một cỗ máy tinh vi (robot) đều thông qua sự điều hành của bộnão Rõ ràng, việc ứng dụng mạng nơ ron trong các lĩnh vực đo lờng, điềukhiển, đặc biệt là điều khiển robot với khả năng xử lý song song của mạng nơron là không nghi ngờ và thực tế đã có nhiều thành công đáng ghi nhận Trong

17

phạm vi nghiên cứu này chúng tôi không tập trung vào hớng này, nên các

đồng nghiệp quan tâm xin sẽ có những thảo luận riêng

 Mạng nơron ứng dụng trong xử lý điện não Trong điện não đồ thì sóng

điện não EEG bao gồm bốn sóng là Delta, Theta, Alpha và Beta Để nhậndạng bốn loại sóng đó tiến hành so sánh điện não đồ của ngời mắc bệnh vàngời không mắc bệnh giúp cho quá trình chuẩn đoán bệnh đợc dễ dàng Mạngnơron có thể thực hiện đợc việc đó Mạng nơron Back-propagation có trễ vớihàm kích hoạt Sigmoid đã đợc sử dụng để nhận dạng các thông số của điệnnão đồ

1.2.4 ứng dụng mạng nơ ron trong xử lý tín hiệu

Mạng BAM đợc sử dụng để xử lý tín hiệu điều khiển [6] Mạng có hai

lớp (Hình 1.7), lớp vào có n phần tử x1, x2, ,xn; lớp ra có m phần tử y1,

y2, ,ym Ma trận trọng có kích thớc mn Phơng trình trạng thái phần tử thứ ilớp y có thể mô tả nh sau (i=1, ,n, k: bớc lặp):

0 ) 1 k ( )

k ( y

0 ) 1 k ( 1

* i

* i

y nếu

y nếu

y nếu

;

0 ) 1 k ( )

k ( x

0 ) 1 k ( 1

* i

* i

x nếu

x nếu

x nếu

E   YWX T (1.39)

Luật cập nhật là luật Hebb hay luật tích ngoài để mã hoá liên kết{Xi,Yi} trong mạng BAM bằng cách đổi mô tả véc tơ nhị phân thành mô tả l-ỡng cực 0 đến 1 Giả sử các véc tơ cột Ai và Bi có giá trị lỡng cực thì ma trậntrọng W đợc cho:

Bài toán tách lỗi với mạng BAM đợc dùng nh một ánh xạ từ không gian

đầu vào đến không gian đầu ra Chúng ta định nghĩa ba véc tơ vào và ra theobảng:

Để mã hoá với việc sử dụng luật Hebb thì các véc tơ cần đợc đổi thành dạng

có giá trị nhị phân đổi dấu (xem bảng trên bên phải)

Tổng các tích ngoài của các véc tơ này cho ma trận trọng W

1 3 3 3 3

1 3 3 3 3

3 1 1 1 1 ' C ' N ' B ' M ' A ' L

Điều đó chứng tỏ nếu có một mẫu vào nh là một véc tơ A mạng BAM

xử lý và gọi ra mẫu nh là một véc tơ L Mạng BAM lúc đó nh là một bộ nhớliên kết W, nhớ các tình huống theo phơng trình (1.38) và các giá trị của nóthể hiện trên ma trận bằng số nh đã tính ở trên

Để thể hiện khả năng chỉnh lỗi cho véc tơ vào A   trong đó

) 0 0 0

 Các cách liên kết (truyền thẳng, phản hồi, một hoặc nhiều lớp)

Từ cách chọn đó, hàng loạt các cấu trúc mạng nhân tạo đựơc nghiêncứu và sáng tạo nhằm giải quyết các bài toán khoa học và kỹ thuật Các thiết

bị cứng, các chơng trình, bộ công cụ phát triển mềm đã đợc sản xuất

Không thể không nói đến các luật học của mạng nơ ron Những luật học

sẽ đề cập đến ở phần ba Các chơng trình mô phỏng sẽ đề cập đến ở phần bốn

19

A’=( 1 -1 1 -1 1) B’=(1 -1 1 -1 -1) C’=(-1 1 -1 1 1)

L’ = (1 1 1 1) M’= (-1 1 1 -1) N’ = (1 -1 -1 1)

Phần 2

logic mờ và khả năng ứng dụng

Ngành khoa học của logic mờ, hệ mờ và mô hình mờ đã có sự thành côngvợt bậc và có nhiều ứng dụng thực tế Quá trình xử lý thông tin dựa trên lýthuyết logic mờ đòi hỏi khối lợng tính toán lớn và do đó thời gian tính toán trởnên quan trọng Các công trình khoa học gần đây đã ghi nhận những nỗ lựcnghiên cứu của các tổ chức về logic mờ nhằm mục đích phát triển phần cứnghiện đại cho việc thực hiện logic mờ nhanh hơn Ngoài ra, nhiều nhà cung cấp

đã đa ra các giải pháp kết hợp phần cứng và phần mềm lại để phát triển hệ mờ.Những ứng dụng cho tin học và viễn thông là tơng đối khó khăn đối với hệ mờsong một số cố gắng nh trình bày dới đây đã đợc áp dụng

2.1Những vấn đề về logic mờ

2.1.1 Các khái niệm cơ bản

a Khái niệm tập mờ

Trong lý thuyết về tập hợp kinh điển đã nêu lên các định nghĩa về tậphợp, về các phép tính của các tập hợp nh phép bù, hợp, giao, hiệu Trong lôgic

mờ cũng có những khái niệm và phép tính tơng tự Trớc tiên, ta xem xét sựkhác nhau giữa tập mờ và tập hợp kinh điển thông qua khái niệm hàm liênthuộc Hàm liên thuộc A của tập hợp kinh điển A đợc định nghĩa là:

A x nếu 1

Do vậy nếu ta đã biết tập hợp A thì cũng

xác định đợc hàm liên thuộc A(x) của

nó và ngợc lại

Hình 2.1: Hàm liên thuộc của tập kinh điển

A(x)

x 0

1

Trong lôgic mờ, vấn đề này lại khác Hàm liên thuộc của tập mờ không

chỉ nhận 2 giá trị là 0 và 1 mà là toàn bộ các giá trị từ 0 đến 1 tức là

1

)

x

(

0  B  Trên hình 2.2 là hai hàm liên thuộc của hai tập mờ B và C Nh

vậy ở lôgic mờ không có sự suy luận thuận ngợc nh với tập hợp kinh điển Vìvậy, trong định nghĩa tập mờ phải nêu thêm về hàm liên thuộc này do vai tròcủa nó là làm rõ ra chính tập mờ đó

b Định nghĩa tập mờ

Tập mờ F xác định trên tập kinh điển M là một tập mà mỗi phần tử của

nó là một cặp các giá trị (x, f (x)), trong đó xM và f là ánh xạ f : M  [ 0 , 1 ]

ánh xạ f đợc gọi là hàm liên thuộc (phụ thuộc) của tập mờ F Tập kinh điển

M đợc gọi là cơ sở của tập mờ F

Các hàm liên thuộc f (x) có dạng trơn nh hình 2.2a gọi là hàm liên

thuộc kiểu S Đối với các hàm liên thuộc kiểu S, do các công thức biểu diễn

Một hàm liên thuộc có dạng tuyến tính từng đoạn đợc gọi là hàm liên

thuộc có mức chuyển đổi tuyến

hình thang nh hình 2.3 Từ hàm liên thuộc ta xác định đợc độ phụ thuộc (liên

thuộc) của các số trong tập này: f( 4 )  0 , 5; f( 4 , 5 )  0 , 75; f( 5 )  1;

1

0,5 0

3

9

4

5

6

8

Hình 2.3: Hàm liên thuộc có mức chuyển đổi tuyến tính

Hình 2.2: Hàm liên thuộc của tập mờ.



B (x)

x 0

1



C (x)

x 0

Tuy nhiên, không phải bắt buộc các hàm liên thuộc phải có giá trị lớnnhất bằng 1 ứng với điều đó thì không phải mọi hàm liên thuộc đều có độ caobằng 1.

 Độ cao của tập mờ F (định

con của M thoả mãn

công thức khác để tính hàm liên thuộc của

phép hợp hai tập mờ nh: Phép hợp Lukasiewier,

tổng Einstein, tổng trực tiếp

+ Phép hợp Lukasiewier: A B(x)=min{1, A(x) + B(x)(2.5a)

+ Tổng Einstein:

) x ( ) x ( 1

) x ( ) x ( )

x (

B A

B A

B A

Hình 2.5: Phép hợp của hai tập mờ

Miền tin cậy

Miền xác định

Hình 2.4: Miền xác định và miền tin cây của tập mờ

x



f (x)

1 0

{ min nếu

0 )}

x ( ), x (

0 )}

x ( ), x ( )}

x ( ), x ( max{

) x (

B A

B A

B A

B

Nếu hai tập mờ không cùng cơ sở, tập mờ A với hàm liên thuộc A(x)

định nghĩa trên cơ sở M và tập mờ B với hàm liên thuộc B(x) định nghĩa trêncơ sở N thì ta đa chúng về cùng một cơ sở bằng cách lấy tích của hai cơ sở đã

có là (MN) Ta ký hiệu tập mờ A là tập mờ định nghĩa trên cơ sở MN vàtập mờ B là tập mờ định nghĩa trên cơ sở MN Nh vậy, hợp của hai tập mờ A

và B tơng ứng với hợp của hai tập mờ A và B kết quả là một tập mờ xác địnhtrên cơ sở MN với hàm liên thuộc:

AB( x , y )  MAX { A( x , y ), B( x , y )} (2.5e)trong đó:

A( x , y )  A( x ) Với mọi y  N và

B( x , y )  B( y ) Với mọi x  M

b Phép giao hai tập mờ:

Giao của hai tập mờ A và B có cùng

cơ sở M là một tập mờ cũng xác định trên

cơ sở M với hàm liên thuộc

A B(x) = MIN{A(x), B(x)}

(2.6)

Phép giao của hai tập mờ đợc thể hiện trên Hình 2.6 Ngoài công thức

(2.6) còn có một số công thức tính khác để tính hàm liên thuộc của giao haitập mờ nh: Phép giao Lukasiewier, tích Einstein, tích đại số

+ Phép giao Lukasiewier: A B(x) = max{0, A(x) + B(x)-1}(2.6a)

+ Tích Einstein:

) x ( ) x ( )) x ( ) x ( ( 2

) x ( ) x ( )

x (

B A B

A

B A

B A

0

{ max nếu

1 )}

x ( ), x (

1 )}

x ( ), x ( )}

x ( ), x ( min{

) x (

B A

B A B

A B

* Nếu hai tập mờ không cùng cơ sở, tập mờ A với hàm liên thuộc A(x)

định nghĩa trên cơ sở M và tập mờ B với hàm liên thuộc B(x) định nghĩa trêncơ sở N thì ta đa chúng về cùng một cơ sở bằng cách lấy tích của hai cơ sở đã

có là (MN) Ta ký hiệu tập mờ A là tập mờ định nghĩa trên cơ sở MN vàtập mờ B là tập mờ định nghĩa trên cơ sở MN Nh vậy giao của hai tập mờ

A và B tơng ứng với giao của hai tập mờ A và

B kết quả là tập mờ xác định trên cơ sở MN

với hàm liên thuộc:

)}

y , x ( ), y , x ( { MIN )

C A



trong đó: A( x , y )  A( x ) Với mọi y  N và B( x , y )  B( y ) Với mọi x  M

c Phép bù của một tập mờ:

Bù của tập mờ A có cơ sở M và hàm liên thuộc A(x) là một tập mờ AC

xác định trên cùng cơ sở M với hàm liên thuộc:

) x ( 1 ) x

Các biến ngôn ngữ chuẩn hoá thờng dùng là: âm lớn NB (negative big),

âm trung bình NM (negative medium), âm nhỏ NS (negative small), không Z(zero), dơng nhỏ PS (positive small), dơng trung bình PM (positive medium),dơng lớn PB (positive big) Với trờng hợp tối giản có thể biến ngôn ngữ chỉgồm: âm N, không Z và dơng P

Biến ngôn ngữ chỉ cần thiết trớc tiên là cho quá trình mờ hoá(Fuzzifiezs) các giá trị rõ của đầu vào các bộ điều khiển mờ, sau là để chuẩnhoá các hàm liên thuộc khác nhau

2.2 Các Khả năng ứng dụng của logic mờ

2.2.1 Các ứng dụng trong điều khiển

 Gasos và các cộng sự đề xuất một hệ thống mờ cho các robot di động tựhành Trong hệ thống này các biến điều khiển (vận tốc, góc quay của tay lái)

đều đợc tính toán nhanh bởi ba module dựa trên logic mờ Hệ thống cho phép

đạt tốc độ và gia tốc cực đại là: 0,6m/s và 0,4m/s2 mặc dù góc quay tay láinằm trong phạm vi: 280280 Tốc độ chuyển tay lái cực đại là 80/s và thời gianlấy mẫu cực đại là: 0,25s

 Akahoshi giới thiệu bộ điều khiển logic mờ (FLC), điều khiển thành côngquá trình tự động phóng to hay thu nhỏ tiêu cự của camera thấu kính phản xạ(SLR) Thiết bị hợp thành mờ thực hiện việc hợp thành sau vài mili giây vớihai đầu vào, năm nhãn và hai luật điều khiển mờ và hàm liên thuộc đợc mô tả

nh là một bảng dùng 8 bit xếp loại và 16 bit kết hợp, thiết bị hợp thành mờchiếm khoảng 500byte trong chơng trình

 Zimmermann nghiên cứu về khả năng của động cơ khi đến tốc độ 80km/hdựa trên cơ sở những hiểu biết đã đợc xây dựng Điều này cho thấy, nó hoàntoàn độc lập với bất kỳ thông tin bên ngoài nào Động cơ dùng bộ transputer

để tạo ra khả năng tính toán tơng đơng 40 MIPS/6 nhằm làm cho thiết bị hợpthành mờ nhanh hơn và thời gian tơng tác dới 10ms

 Marrtinez và Iamshidi đề xuất hệ thống mờ cho việc điều khiển tốc độchạy không tải của xe ô tô Điều này tạo ra sự cải tiến đáng kể liên quan đến

hệ thống vòng mở và đạt đợc thời gian ổn định là 1,4s, độ quá tải 12% Họ lu

ý rằng, trong khi hệ mờ tận dụng đầu ra và phát sinh từ vòng mở hồi tiếp thì

trong mô hình hệ thống điều khiển Crisp PD, khi thời gian ổn định và thựchiện vợt quá giới hạn thì hệ thống mờ với chỉ một đầu ra sẽ đem lại thời gian

ổn định tốt hơn nhng chế độ làm việc quá tải xấu hơn

2.2.2 Logic mờ trong mạng viễn thông

Hệ mờ đã đợc mô hình hoá bằng công cụ toán học để mô tả khả năngbền vững trong việc giải quyết những vấn đề không chính xác và không xác

định trong thế giới thực Các biến ngôn ngữ cho phép biểu diễn một miền cácgiá trị số dới dạng thuật ngữ miêu tả đơn giản của hệ mờ Thực tế hiện naycho thấy các mạng thông tin trở nên phức tạp và động hơn nhiều, chứa đựngmột độ bất định lớn trong mối quan hệ giữa lu lợng thông tin đầu vào và cáctham số môi trờng khác, nảy sinh từ các sự cố lỗi, nhiễu và quá tải khôngmong muốn Nó đi ngợc lại mô hình phân tích chính xác, Fuzzy Logic (logicmờ) ra đời mở ra một hớng mới cho phép giải quyết nhiều bài toán quan trọngcủa mạng Khả năng mô hình hoá mạng bằng các công thức toán học của hệ

mờ thì cao hơn các giá trị rời rạc thông thờng, cùng với việc mô phỏng hệ mờtạo ra sự phối hợp nhịp nhàng giữa kiểu phân tích kinh điển

 Bonde và Ghosh dùng biến hệ thống ngôn ngữ mềm để mô hình hoá việcsắp xếp các bộ đệm trong trạng thái chuyển mạch CELL Họ đa ra khái niệmngỡng mờ trớc ổn định, quản lý bộ đệm thích nghi ở khía cạnh tơng phản vớingỡng thông thờng, rời rạc và không ngụ ý rằng: có sự chuyển giao mềm dầndần giữa FULL hoàn toàn và FULL không hoàn toàn (riêng) Các giá trị liênthuộc đợc định nghĩa thông qua một hàm dạng “sigmoid” không đối ứng.Boude và Ghost đã nghiên cứu một nguyên lý cơ bản là: nguyên lý

“underlying”; hoặc từ chối, hoặc là chấp nhận (cho phép) thâm nhập vào cácCELL ví dụ nh: từ các bộ chuyển đổi khác hay đến các bộ đệm chuyển đổi, từviệc kết hợp mô hình logic mờ và ngỡng mờ

Họ mô tả rằng, ngỡng mờ là nguyên nhân gây ra việc sắp xếp bộ đệm

để trình bày các hành vi “mềm” ví dụ nh khả năng thích nghi điều kiện động

và không ổn định tốt hơn, khả năng phục hồi mau lẹ với những thay đổi nhanhcủa lu lợng mạng và chỉ ảnh hởng tới việc loại bỏ tế bào

 Schefer và Knuicki giới thiệu kỹ thuật mô hình hoá dùng cho mạng dữ liệugói Phạm vi phân tích của họ bao gồm kỹ thuật giải tích, không giải tích vàtham số nh mạng Nơron, logic mờ, và hệ thồng Fractal Nó đợc dùng để đánh

độ chính xác độ trễ và tính năng không ổn định của quá trình thực hiện

 Gần đây, Cellmins đã đề xuất phơng pháp điều khiển truy xuất phân phốihiệu quả của mạng thông tin dùng mô hình điều khiển logic mờ ở mô hìnhnày, mỗi nút mạng sẽ thu thập thông tin trên cùng trạng thái nh nhau củamạng và đa ra các quyết định thông minh liên quan đến việc truy nhập mạngmột cách độc lập và cùng lúc Chúng ta có thể đạt đợc điều này bởi các nútmạng ngày nay đợc trang bị các máy điện toán hết sức tinh vi

 Pithani và Secthi cho rằng thông tin đợc dùng trên mạng trong việc địnhtuyến có hiệu quả là các thực thể lu lợng động và sự thay đổi mô hình mạng,còn các thực thể khác là không xác định họ mô hình hoá tính bất định ở bộ trễ

25

bên trong qua hệ mờ để cải thiện chế độ làm việc của một lớp trong thuật toán

định tuyến

 Tanaka và Hosaka: xem xét những khó khăn của các hàm liên thuộc đã cócho việc điều khiển mạng có hiệu quả trong việc quản lý cuộc gọi và địnhtuyến thông qua việc điều hởng giá trị đầu vào và giá trị đạt đợc của mạng vàgiá trị tối u đợc chọn ra từ các giá trị này và cuối cùng đa vào các bộ lu

 Asia thừa nhận rằng việc đa ra các quy tắc là rất phức tạp, do ngăn chặn từnguồn ngẫu nhiên tự nhiên của lu lợng và sự xung đột tài nguyên mạng Họ đềxuất một quy tắc dựa trên logic mờ đó là: mềm và thực hiện cơ chế thông th -ờng trong đáp ứng có lựa chọn và động Họ cũng giới thiệu bộ xử lý mờ tíchphân trong giới hạn rất rộng (VLSI), đợc tổ chức nh là một tầng của các lớptruyền dẫn thực hiện hợp thành mờ cho phơng pháp này trong mô hình songsong

 Cheung và Chang cũng đa ra một bộ điều khiển lu lợng mờ Nó quản lý cảviệc tắc nghẽn và điều khiển thâm nhập cuộc gọi cho mạng ATM Bộ điềukhiển là bộ thực hiện mờ của hai bộ điều khiển ngỡng tắc nghẽn và phơngpháp điều khiển thâm nhập dung lợng tơng đơng ở đó, tham số của các hàmliên thuộc và luật điều khiển mờ đợc đợc rút ra qua việc phân tích các nhómdữ liệu Họ cho biết đã cải thiện khả năng sử dụng của hệ thống tới 11% trongkhi vẫn duy trì đợc chất lợng của dịch vụ khi so sánh với phơng pháp cải tiếndung lợng tơng đơng

 Catania đã đề xuất cơ cấu quy luật mờ cho tổng đài không đồng bộ (ATM)

để phát hiện ra sự vi phạm của các thông số trong quá trình thu hẹp các tìnhhuống báo lỗi Cơ cấu sẽ giám sát số lợng tế bào đợc phát đi bởi ngời dùng kể

từ lúc kết nối và dùng luật mờ để gia tăng mức ngỡng cho hệ thống và giảm nókhi không tơng thích Để làm giảm sự tắc nghẽn và đạt chất lợng cao trongmạng ATM, Pitsillides và Sekereiglu dùng kỹ thuật điều khiển mờ để pháttriển hệ thống thông báo nghẽn hớng về dựa trên mô hình mờ thông báo

 Sekereiogh và Pitsillides cũng cho thấy ở mạng nội hạt ATM thì hệ thốngFBCN tối thiểu hóa việc mất CELL tại hàng đợi cung cấp mạch và ngăn chặnthời gian phát lại gói ngời sử dụng

 Hohzmann đã đề cập ứng dụng kỹ thuật logic mờ trong dự đoán các dịch

vụ Vô Tuyến tơng lai và trong việc mô hình hoá lu lợng băng rộng khôngchính xác

 Millstow et al cũng đề xuất cấu trúc lai duy nhất cho việc quản lý tần sốcao Đó là ứng dụng logic mờ trong quá trình phát hiện tín hiệu enchanel và đ-

a ra các quyết định Hai ứng dụng của kỹ thuật mô hình hoá mờ cho hệ thốngtìm lỗi của mạng đợc giới thiệu bởi Linov và Lewis và Dreo Chakrabortycũng đa ra sự phát triển của mô hình trong quản lý mạng và giám sát việcdùng logic mờ nh một công cụ tốt trong hiểu biết về bộ thích nghi mờ Hệthống đợc đa ra nhằm mục đích thực hiện dễ dàng hơn vai trò cơ bản của nó.Maravall nhận định rằng trong vấn đề điều khiển thích nghi và định tuyếncuộc gọi trọng mạng điện thoại, phơng pháp thích nghi mờ đã xây dựng kỹ

thuật khả thi cho phép đa ra quyết định xoá cuộc gọi khi xuất hiện sự quá tải

và lỗi không mong muốn

 Abdul - Halean et al nghiên cứu một kỹ thuật phân định kênh động phânphối mờ nhằm mở ra một kênh vô tuyến hở cho nhiệm vụ ấy Kỹ thuật của họ

đã mang lại hiệu quả kinh tế khi các kênh hoàn toàn đợc đa ra Mặt khác, nócũng tham gia liên tục ở chế độ cạnh tranh Các kết quả này cho thấy, khi lu l-ợng kênh quá nhiều thì kỹ thuật mờ sẽ đa ra các phân định kênh động tuỳchọn toàn cục trong các yếu tố hiệu ứng đặc biệt trong khi sự suy giảm chất l-ợng thoại không nhiều

 Edward và Sankar báo cáo một kết quả khả quan về thuật toán mờ điềukhiển mạng di động tế bào nơi mà kích thớc tế bào đợc thu nhỏ từ 10-100m.Thuật toán kết hợp cờng độ tín hiệu thu đợc với việc đo khoảng cách để tạo ranhân tố chuyển giao Các thành phần này giảm một cách đơn điệu giống nhtrạm di động di chuyển ra xa trạm gốc Vì vậy, quá trình đồng chỉnh tín hiệuthực tế diễn ra một cách nghiêm ngặt

 Gavnilop đã phát triển kiểu ngôn ngữ của kênh thông tin và lý thuyến mờ

để phỏng đoán tình trạng hiện thời của kênh Kết quả mô phỏng cho thấy, thờigian trung bình để đa ra khẳng định khả năng hoạt động của kênh bị suy giảmrất lớn

 Lý thuyết hệ thống Grey và các phép toán mở sẽ đánh giá chất lợng củamạng I evin đa ra một phép tính và phân tích việc thực hiện của mạng máytính với các tham số thời gian mờ không xác định

2.2.3 Đề xuất những nghiên cứu về logic mờ trong mạng tốc độ cao

a Cấu trúc phần cứng mới cho việc tính toán mờ nhanh

Mặc dù logic mờ đợc triển khai thành công trong điều khiển máy móccông nghiệp, nó cũng đã có một số kết quả trong mạng viễn thông, nhng cũng

đặt ra một số thử thách Mạng hiện tại và tơng lai sẽ phát triển rất nhanh vớiviệc chuyển mạch các gói có kích thớc nhỏ ở tốc độ hàng Gb/s Đối với tốc độchuyển mạch ATM nhanh và mạng tốc độ cao khác (cần dùng phần cứng songsong) và phạm vi chuyển mạch của các máy tính là rất nhỏ nên cần thực hiệnhợp thành mờ trớc khi xử lý các gói tin

 Catania và các cộng sự dự tính rằng kiến trúc VLSI mà ông đề xuất có thể

đáp ứng các yêu cầu của lu lợng thoại một cách dễ dàng Nó đủ khả năng vợtqua yêu cầu của lu lợng video, tại tốc độ 1 Mbps Với các kết quả nghiên cứu

đợc trình bày [ ] thì tỏ ra thành công trong các mạng đang hoạt động Nó bắtbuộc quá trình hợp thành mờ phải đợc thực hiện nhanh bởi các nút tính toán

đồng bộ với quá trình xử lý gói Mặc dù chi tiết về mạng đợc đề xuất bao gồmnhững yêu cầu thực hiện vẫn cha đợc xác định, song một hệ thống hợp lý yêucầu mỗi nút phải thực hiện nh quá trình hợp thành mờ, với các thông số đợctính nh sau:

Bốn đầu vào, năm đầu ra, năm ngôn ngữ cho mỗi đầu vào và mỗi đầu ra, phạm

vi từ âm lớn, âm không đến dơng và dơng lớn, tổng cộng có 20 hoặc nhiều

27

hơn 20 luật và một hàm liên thuộc hình thang đối xứng Hiện tại, có một cơchế trong việc lựa chọn hai nguyên lý:

1) Tích hợp mô hình hợp thành mờ vào phần cứng chuyển mạch

2) Thiết kế và phát triển một hệ thống cứng/ mềm đồng xử lý để làm việctrong cấu trúc chuyển mạch cơ sở

+ Yêu cầu: nghiên cứu và đầu t từ phía các công ty sản xuất mạng tốc

độ cao

+ Bản thân nó có bốn sự lựa chọn phụ: dùng bộ xử lý chuẩn có sẵn,dùng bộ điều khiển mờ có hiệu quả thơng mại, thiết kế bộ xử lý mờVLSI hoặc dùng bộ đồng xử lý mờ tốc độ cao

 Watanabe: Lee và Bien lu ý rằng ứng dụng của máy tính và các chơngtrình phần mềm cho mục đích chung để nhận ra ứng dụng của điều khiển logic

mờ là muốn nói lên rằng đó là một quá trình xử lý lâu dài và cho các hệ thốngnhỏ thì không kinh tế lắm Việc thiết kế và sử dụng các phần cứng thông quacác mạch tơng tự (nhanh, linh động) để làm giảm sự trôi trong các thành phầncủa mạch thì còn nhiều hạn chế Các hỗ trợ phần cứng số đa ra các liên kết dễdàng trong chơng trình của các hàm liên thuộc và các luật điều khiển, đợc kếtnối với các hệ thống điều khiển số

Một ví dụ gần đây là thiết bị FP-500; có thể giải quyết đợc 128 biếnvào/ra, với tốc độ 500 triệu suy luận logic mờ trong mỗi giây Tuy nhiên,trong thiết kế tồn tại 129 biến, trong đó có một biến phải dùng cho 2 trong sốcác chip, nghĩa là gây ra sự lãng phí đáng kể

 Costa và các cộng sự giới thiệu một nghiên cứu và kiến trúc phần cứngcủa các bộ điều khiển mờ Họ lu ý rằng, trong khi bộ điều khiển mờ dùng chomục đích đặc biệt có thể đạt tốc độ xử lý bằng 64 s/rule thì bộ điều khiểnASIC có thể thực hiện ở tốc độ cao hơn Sau đó là những nghiên cứu của ông

ta về hệ thống phần cứng xử lý thông tin có thể chấp nhận đợc, trong đó có cảcác thiết bị quang

 Yamakawa kết luận rằng: những nghiên cứu về các kiến trúc mới để thựchiện việc hợp thành mờ ở tốc độ cao và thấp thì vẫn đợc tiếp tục Nhận ra hạnchế về mặt tốc độ của hệ thống phần cứng mờ hiện thời, Watanabe đã đề xuấtviệc phát triển bộ đồng xử lý hợp thành mờ cơ sở với ba yêu cầu cắt giảm chủyếu:

1) Giảm phần chỉ dẫn kiến trúc của hệ mờ từ việc xử lý thông tin mờ.2) Số lợng sơ đồ miêu tả hệ mờ

3) Phần cứng logic mờ đợc tổ chức nh một đơn vị vec tơ

Để tạo ra chỉ dẫn thì mỗi chỉ dẫn cần phân tích một phần nào đó của

ch-ơng trình điều khiển mờ thông thờng để xác định sự kết hợp tốt nhất của cácchỉ dẫn cho thông tin, hợp thành mờ, truy xuất bộ nhớ và điều khiển ứng dụng

Để đạt đợc điều này, một hoặc nhiều hệ mờ phải đợc điều khiển một cách hiệuquả thông qua các thuật toán lý thuyết mờ trong logic mờ và không có sự phụthuộc trong các phần tử của tập mờ với nhau Sự cải tiến đáng kể trong chế độlàm việc đã đạt đợc thông qua việc tổ chức các thuật toán logic mờ nh là bộ xử

lý véc tơ Không giống các vec tơ thông thờng, bộ xử lý này chứa các số dấuphẩy động trong các thanh ghi Bộ xử lý véc tơ mờ sẽ lu lại các tập mờ trongthanh ghi vec tơ Việc thiết kế nh vậy có thể đợc thực hiện từ những hiểu biếthiện có, thông qua thiết kế các máy siêu vi tính.

Phần 3

Nghiên cứu các phơng pháp tính toán và xử lý trên

cơ sở mạng nơron và logic mờ

3.1 Các thuật học của mạng nơ ron

3.1.1 Các thuật học

Các tính toán trong mạng nơron phần lớn đợc thực hiện bằng các biến

đổi với trọng liên kết Cũng nh học trong nơ ron sinh học, quá trình học củamạng nơ ron nhân tạo là quá trình chỉnh dần (hay cập nhật) các giá trị trọng

wij dựa trên bộ dữ liệu vào/ra để đầu ra đạt tới giá trị mong muốn Thông ờng, ngời ta tách quá trình học trong nơ ron nhân tạo thành hai giai đoạn gọi

th-là hai pha: pha học và pha gọi lại thành hai quá trình riêng:

* Pha học (hoặc huấn luyện) là quá trình gắn các thông số cho mạng Các

trọng dựa vào các tập dữ liệu và luật học xác định giá trị tức thời Mạng nơroncần học: cấu trúc: là xác định số lớp, số nơron trong mỗi lớp; học tham số: làxác định các trọng wij, các tham số của hàm kích hoạt g(.) Có hai kiểu học cơbản là: học có giám sát (có thầy), học không có giám sát (không có thầy)

* Pha gọi lại là quá trình các thông tin đợc lấy ra từ mạng khi dữ liệu đợc đa

vào

+ Học có giám sát

Điển hình của nhóm này là luật học Delta của Widrow nêu ra đầu tiêndùng để xấp xỉ trọng của Adaline dựa trên nguyên lý hạ gradient (Gradient làmột phơng pháp hay là một nguyên lý tiệm cận điểm (giá tri) dựa trên đạo

29

hàm bậc nhất (chỉ tốc độ) mang dấu âm của một giá trị vô hớng của các biến

để khảo sát khả năng biến đó tiệm cận tới điểm ổn định (hội tụ) hay không)

x

x



(3.2)

k = (dk - yk) = WkT Xk

(3.3)

trong đó :k là chỉ số thời gian W là véc tơ trọng X là véc tơ vào  là hệ số

chỉ tốc độ học, thờng đợc chọn 0<<=1 dk là đầu ra mong muốn

Khi có đầu vào và đầu ra, tập các trọng đợc chỉnh theo (3.2) Trong thực

tế, để có bộ trọng thích hợp, cần giới hạn miền xác định các trọng Đây là bàitoán thuận trong việc định mẫu, hoặc phân tích dữ liệu

Trong nhóm thuật học này cũng cần kể đến luật học Perceptron Về cơbản thuật học Perceptron giống thuật học Delta Điểm khác nhau là luật Deltathay đổi các giá trị của trọng trong thời gian học, còn luật học Perceptronthêm hoặc bỏ trọng tuỳ theo giá trị sai số đầu ra là dơng hay âm

Một loạt các thuật học khác cũng dựa trên t tởng này Luật Oja là cảitiến và nâng cấp của luật Delta Luật truyền ngợc là luật mở rộng của luậtDelta cho mạng nhiều lớp

+ Học không giám sát

Luật học không có tín hiệu chỉ đạo điển hình là luật Hebb thờng dùngcho các mạng tự liên kết Luật học LVQ (Learning Vec tơ Quantization) th-ờng dùng cho mạng tự tổ chức Luật học Hebb là luật sinh học xuất phát từtiên đề của Hebb cho rằng: giữa hai phần tử nơron có quan hệ và có thay đổithế năng màng thì giữa chúng có sự thay đổi trọng liên kết Nh vậy, luật Hebb

là luật tơng quan Dạng cơ bản của nó có thể mô tả nh sau:

Luật LVQ thờng dùng cho các mạng tự tổ chức một lớp đơn thuộc lớpmạng ánh xạ đặc trng của Cohonen Trong trờng hợp này, các đầu vào đợcnối song song với nhiều tập trọng có các giá trị khác nhau Khi một mẫu đợc

đa vào mạng, có sự so sánh giữa đầu vào và các tập giá trị trọng Véc tơ trọng

nào có sự chênh lệch nhỏ nhất giữa nó với đầu vào là đợc chọn (thắng cuộc)

để chỉnh theo luật sau:

Nếu coi cấu trúc mô hình mạng là phần xơng thịt, thể xác thì các luậthọc là phần trí tuệ thông minh của mạng nơron và các công trình nghiên cứuluật học chiếm số lợng lớn nhất trong mấy chục thập kỷ qua

n 1 i

p 1 k

n 1 i

l 1 q

2 ) k ( q iq )

k ( i 2

) k ( i ) k (

2

1 ] y d

[ 2

+ Xác định nơron thắng: có véctơ tâm kí hiệu m v gần x nhất.

x m Min x mv

l q 1

Các véctơ tâm của những nơron khác giữ nguyên

Độ lựa chọn q của nơron lớp ẩn có thể cập nhật bằng nhiều cách theonhững quan điểm khác nhau Đơn giản nhất là công thức của Lin, Lee, 1991:

 q  m q  m gần / 

(3.9)

trong đó: mgần là véctơ gần m q nhất,  là tham số chồng lấn

Để khử sai số do cách học nhanh không giám sát gây ra, cần thực hiện

học có giám sát ở lớp ra Sai số e (k)

i = d i (k) - y i (k) là hàm tuyến tính với véctơ

trọng W i Để sai số đạt cực tiểu toàn cục, áp dụng phơng pháp bình phơng cực

tiểu truy hồi Phơng pháp tuy phức tạp khó “cứng hoá” nhng vẫn đợc sử dụng

31

rộng rãi trong các trờng hợp tính toán off-line vì cho kết quả tốt nhất Đơngiản hơn ta có luật học Delta từ (1.21):

(qk)

) k ( i ) k ( i

iq ( d y ) Z

(3.10)

(với  đủ nhỏ, E có thể đạt điểm cực tiểu duy nhất là đỉnh của siêu parabol

i i i m

y ) y d ( m

q i n

1

i iq

m

y ) yi d (

Nếu một mẫu x(k) quá xa nơron hiện có, thì một nơron mới đợc thêm

vào làm cho mạng có khả năng tự tăng trởng (growing network)

3.1.2 Phơng pháp, thuật toán nơ ron dùng cho bài toán địều khiển lu ợng

Các điều kiện dới đây đã đợc ứng dụng trong việc định tuyến:

+) Không phát trở lại và phát quẩn giữa hai tổng đài

+) Tiến trình chọn và thủ tục điều khiển nên đơn giản

+) Mạch điện nên đợc dùng cho hiệu quả

+) Việc thiết kế và quản lý mạng nên dễ dàng

 Các kỹ thuật định tuyến trong mạng viễn thông

+ Định tuyến thay đổi

Nh đã trình bày trong Hình 3.1, khi tất cả mạch của đờng thứ nhất bận thì

đờng thứ hai đợc chọn Nếu đờng thứ hai bận thì đờng thứ ba đợc chọn và cứ

nh vậy Tiến trình này lặp lại cho đến khi một đờng có thể dùng đợc tìm thấyhoặc cho đến khi đờng cuối cùng đợc phát hiện là bận và cuộc gọi bị mất

+ Luân phiên từ xa đến gần

Nh đã trình bày trong Hình 3.1, đờng đến tổng đài xa nhất từ tổng đài

gốc đợc chọn đầu tiên (đờng này qua ít tổng đài quá giang nhất) Nếu đờngnày bận thì đờng thứ hai đợc chọn Phơng pháp này đợc gọi "Luân phiên từ xa

đến gần" và đợc sử dụng tại nhiều nớc

+ Định tuyến động

Kỹ thuật định tuyến kiểu này mềm dẻo trong tắc nghẽn và giờ bận trong

lu thông điểm tời điểm Kỹ thuật này không đợc áp dụng ở Việt Nam

b Thuật toán cho mạng nơron dùng để định tuyến.

 Đặt vấn đề

Phần này trình bày cách sử dụng thuật toán tính toán bằng mạng nơron

để xác định tuyến tối u cho các mạng thông tin Bài toán nêu ra là: hãy chọnmột trong các đờng dẫn tối u từ nút này tới nút kia theo nghĩa tổn thất nhỏnhất đặc trng bởi trễ hoặc một vài nguyên nhân khác Thuật toán này đợc thực

hiện bằng cách biến dạng của thuật toán ngời bán hàng lu động cho mạng

nơron (Việc minh họa các kết quả mô phỏng trên máy vi tính đảm bảo hội tụ

hợp lý trong 250 lần lặp cho mạng 16 nút với bốn đờng nối từ nút gốc đến nút

đích sẽ trình bày ở phần 4)

Mạng nơron là một hệ thống lớn các phần tử xử lý phân phối song songkết nối trong một đồ thị cấu trúc Mạng nơron có khả năng giải quyết bài toántối u tơng đối nhanh chóng nếu:

+ định nghĩa các chức năng xử lý chính xác đối với mỗi nút mạng viễnthông;

33

Tuyến thứ 4 Tuyến thứ 3

Tuyến thứ 2 Tuyến thứ 1

National Transit

(Chuyển tiếp quốc gia)

Switch Local/Tandem (Chuyển mạch chuyển tiếp/nội hạt)

Hình 3.1: Khái niệm định tuyến

Đ ờng truyền có độ sử dụng cao

Đ ờng truyền cơ bản

Hình 3.2: Mạng viễn thông với 2 trạm vệ tinh,

8

13 14

15

16

S 1

S 2

+ định nghĩa các trọng liên kết đối với mỗi liên kết

Xét mạng nơron nh một hệ thống động phi tuyến diện rộng đợc xác địnhbởi tập hợp các phơng trình vi phân phi tuyến bậc nhất Các phơng trình nàycũng có thể chọn khác nhau nh đã giới thiệu về các cấu trúc mạng nơ ron ởphần 1 ở đây, chúng tôi giới thiệu cách tiếp cận và thuật toán mạng nơron chobài toán này

 Cách tiếp cận bài toán

Mục đích giải quyết bài toán tối u thực tế sử dụng cấu trúc mạng nơron

là tìm các thuật toán nhằm xác định các liên kết và các trọng của mạng nơron

để nó hội tụ tới lời giải phù hợp Cách tiếp cận gồm ba bớc

+ Thứ nhất: giải bài toán tối u sử dụng phơng pháp tiếp cận truyền thống + Thứ hai: đa công thức bài toán tối u dới dạng cấu trúc mạng nơron + Thứ ba: mô phỏng hệ thống mạng nơron sử dụng máy tính số thông th-

ờng Cách tiếp cận này đợc xác định trong bài báo [3] đối với bài toán địnhtuyến tối u trong truyền dẫn thông tin

Hiện nay, các công ty điện thoại sử dụng các bảng định tuyến và địnhtuyến động để chọn đờng truyền với mức trễ tối thiểu Các hệ thống thông tin

đặc biệt (ví dụ cho quân sự) yêu cầu thêm khả năng truyền dẫn các bản tin utiên cao dới sự thay đổi của điều kiện môi trờng Cách tiếp cận mạng nơ ronthực tế cha sử dụng

Để minh họa thuật toán định tuyến bằng mạng nơron, ta giả sử mạngviễn thông có 16 nút ở Hình 3.2

Giả sử muốn xác định tuyến

truyền từ nút 1 tới nút 13 với

bốn đờng nối hoặc ít hơn Rõ

ràng, đờng phù hợp với bốn

đ-ờng nối (bao gồm hai đđ-ờng nối

vệ tinh) đi qua năm nút

1-4-9-16-13 Nút đầu tiên và nút cuối

cùng là các nút gốc và đích và

ba nút trung gian chỉ các điểm

trong liên kết gồm bốn đờng

thứ năm có các phần tử (trừ phần tử 13) bằng 0 Thuật toán mạng nơron bắt

đầu với các giá trị ớc tính ban đầu cho các vét tơ điều khiển U i và sau đó tìmcách đạt hội tụ tới giá trị cuối cùng của các véc tơ điều khiển Điều này tơng

đơng với việc xác định năm nút

Năm véc tơ ở Bảng 3.1 cho thấy các điều kiện ban đầu đặc trng cho cácvéc tơ điều khiển ở Bảng 3.1 các phần tử trong mỗi cột có tổng bằng 1 (đơn

vị) Véc tơ gốc U 1 và véc tơ đích U 5 đều đã biết Do đó, các phần tử đều bằng

Bảng 3.1: Các điều kiện đặc trng

ban đầu cho năm véc tơ điều khiển

16 thành phần U1, U2, U3, U4 và U5

Bảng 3.2: Hội tụ véc tơ điều

khiển U3 sau 150 lần lặp vớiviệc chạy mô hình

Vì véc tơ gốc U 1 và véc tơ đích U 5 đã biết nên mục đích của thuật toán

định tuyến là tìm cách hội tụ cho ba véc tơ trung gian U 2 , U 3 , U 4 Trong ví dụ,véc tơ thứ ba đợc hội tụ tới một giá trị "đúng" đợc minh họa ở Bảng 3.2 Bảng

này chỉ ra giá trị của 16 phần tử của véc tơ U 3 sau khi thực hiện mô hình môphỏng với 150 lần Ban đầu, 14 phần tử có giá trị 0,06, các phần tử tơng ứngvới véc tơ gốc và đích đều có giá trị giống nhau bằng 0 Sau 50 lần lặp, các

35

phần tử đều giảm xuống tới giá trị 0 trừ các phần tử tơng ứng với nút 3, 5 và 9

có giá trị lần lợt là 0,10; 0,28 và 0,37 Sau 100 lần lặp, các phần tử đều giảmxuống tới giá trị 0 trừ các phần tử tơng ứng với nút 5 và 9, với nút 9 có giá trịlớn hơn (0,57 so với 0,26) Phần tử tại nút 9 tăng lên nữa và đạt giá trị 0,96 sau

150 lần lặp lại

 Thuật toán định tuyến sử dụng mạng nơron

Thuật toán định tuyến mạng nơron sử dụng phép xấp xỉ gradient để

giảm hàm tổn thất Hàm tổn thất J 1 là hàm của ma trận W cỡ 16x16 với các véc tơ điều khiển U k

1 k

k T

k W U

(3.12)

Hàm tổn thất J 1 đợc chọn sao cho trên sự hội tụ, khi tất cả các véc tơ U k

cũng bằng 0 hoặc 1, thì tổn thất giảm xuống một giá trị thích hợp cho mỗi ờng nối Bất kỳ một sự tổn thất nào nh một trong các phơng trình (3.1) và (3.3)

đ-có thể sử dụng cho thành phần W ij miễn là có một giới hạn trên cho mức tổnthất tối đa Đối với việc mô phỏng bằng trị số ngời ta sử dụng hàm tổn thấtbậc hai nh phơng trình (3.3) Một đặc điểm dễ nhận thấy của hàm tổn thất vớicác đờng nối hở (khi không có liên lạc giữa các nút) sẽ có một tổn thất lớn

Hàm tổn thất J 1 đợc gia tăng bởi hảm J 2, để thỏa mãn điều kiện bắt buộc

1

ki U(3.13)

Để ý rằng hàm J 2 bao gồm ba véc tơ trung gian U 2 , U 3 , U 4 Theo giả thiết,

véc tơ đầu U 1 và véc tơ đích U 5 chỉ có một phần tử khác 0 và bằng đơn vị

Toàn bộ hàm tổn thất J là tổng của J 1 và J 2 Sự thay đổi trong toàn bộ hàm tổn

thất J gây ra do sự thay đổi điều khiển U k, đợc tính trực tiếp với quy ớc rằng

véc tơ gradient của hàm nằm trong ngoặc và véc tơ e có các phần tử bằng đơn

k W U W U e e U U

Chú ý rằng, phía bên phải của phơng trình (3.16), hiệu chỉnh theo

gradient cho véc tơ điều khiển U k tại mỗi lần lặp đợc chia thành hai số hạng

trong ngoặc Số hạng đầu tiên do véc tơ điều khiển U k-1 và số hạng thứ hai ban

đầu do véc tơ điều khiển U k+1 tác động Việc đánh giá riêng rẽ hai số hạngtrong ngoặc đa ra thông tin liên quan đến các đặc trng về lu lợng Số hạng đầutiên trong ngoặc ở phơng trình (3.10) xuất phát từ đờng nối đánh số thấp hơntrong đờng truyền lu lợng; trong khi số hạng thứ hai trong ngoặc xuất phát từ

đờng nối cao hơn Nếu cả hai số hạng trong ngoặc cho các giá trị hiệu chỉnhdơng, nghĩa là có lu lợng dơng cho nút đó từ cả hai đờng nối đánh số thấp hơn

và cao hơn Bởi vì điều kiện lu lợng dơng là mong muốn, sự lựa chọn cần đợc

bổ sung, nhờ đó việc hiệu chỉnh từ một nút đợc tăng lên bằng một hệ số tăng

cờng R khi có một lu lợng dơng qua nút đó Hệ số tăng cờng từ 10 đến 30 đợc

sử dụng để tăng tốc độ hội tụ

Cách xác định nhanh số lợng tối thiểu các đờng nối đối với lu lợng từ

các nút gốc i tới các nút đích j từ các phần tử của ma trận dung lợng C Các phần tử khác 0 của ma trận C đặc trng cho các cặp điểm gốc-đích; trong đó

đờng truyền nhỏ nhất yêu cầu chỉ cần một đờng nối Các phần tử khác 0 của

tích hai ma trận dung lợng (CxC) đại diện cho các cặp nút mà đờng truyền

nhỏ nhất yêu cầu hai đờng nối hoặc ít hơn Tổng quát, các phần tử khác 0

của L tích ma trận dung lợng (C L ) đại diện cho các cặp nút, trong đó đờng

nhỏ nhất yêu cầu L hoặc đờng nối hoặc ít hơn Đối với các tích bậc cao ta

có thể phân nhỏ ra để tính toán Ví dụ, C 4 là tích của C 2 xC 2 Thủ tục này đã

đợc lập trình, và là một phơng pháp hiệu quả giảm thời gian tính toán khibiết trớc số lợng tối thiểu các đờng nối đối với mỗi cặp nút gốc-đích

3.1.3 Phơng pháp và thuật toán trong nhận dạng ký tự tiếng việt

A Tổng quan về phơng pháp và thuật toán nhận dạng

văn bản

Thu và lu giữ ảnh

 Thu nhập ảnh: Bao gồm một số phơng pháp: bàn số hoá; máy quét

(scanner), Camera;

 Biểu diễn ảnh Các ảnh nhận đợc là một tập các giá trị điểm ảnh Để

nâng cao chất lợng ảnh đòi hỏi một lợng lớn các điểm ảnh Việc này chi phốithời gian xử lý và biểu diễn ảnh Có hai nguyên tắc biểu diễn ảnh:

+ Biểu diễn ảnh dới dạng véc tơ Phơng pháp này sử dụng hớng của các

véc tơ giữa các điểm ảnh lân cận để mã hoá hình ảnh Để tái tạo lại hình ảnhban đầu ta dựa vào tọa độ của điểm ảnh xuất phát và hớng của các véc tơ đểdần dần khôi phục lại ảnh gốc

+ Biểu diễn ảnh dới dạng bitmap Đây là phơng pháp khá phổ biến, dễ

thực hiện và có thể biểu diễn đợc một ảnh bất kỳ Theo phơng pháp này, hình

ảnh có thể biểu diễn dới dạng một ma trận hai chiều Giá trị của mỗi điểm ảnh

đợc thể hiện bằng một phần tử ma trận tại dòng và cột tơng ứng Các chi tiết

ảnh đợc thể hiện thông qua giá trị từng phần tử, do đó chất lợng ảnh phụ thuộc

37

hoàn toàn vào độ phân giải của các thiết bị hiện ảnh Mặt khác, do phải thểhiện ảnh theo từng điểm nên khối lợng bộ nhớ để lu trữ cũng nh thời gian thểhiện ảnh rất lớn.

Hình 3.3 Hệ thống nhận dạng văn bản

 Cách định dạng tệp ảnh Tuỳ thuộc vào thiết bị số hoá ảnh, các tệp ảnh

có cấu trúc khác nhau Căn cứ vào nhu cầu, chúng ta có thể lựa chọn các tệp

ảnh theo yêu cầu đó

Trong phơng pháp này chỉ dùng tệp PCX là loại tệp sử dụng phơng phápmã loại dài để nén dữ liệu ảnh Quá trình nén và giải nén đợc thực hiện trêntừng dòng ảnh Tệp gồm hai phần: phần đầu là 128 byte chứa các thông tin về

ảnh; phần dữ liệu đợc nén theo phơng pháp trên Các tệp PCX lu giữ ảnh đơngiản việc nén và giải nén nhanh Tuy vậy, nó có hạn chế là khối lợng lu giữlớn

Giai đoạn tiền xử lý

a Tăng cờng ảnh ảnh sau khi đợc thu thập và số hoá có thể bị nhiễu dochất lợng các thiết bị thu thập do những yếu tố ngẫu nhiên khác Do đó, tr ớckhi nhận dạng phải khử nhiễu và khôi phục lại ảnh gốc ban đầu

b Tách hình Trong văn bản có thể có các hình ảnh minh hoạ Chính vìvậy, các hình này phải đợc tách ra khỏi văn bản trớc khi nhân dạng Tuynhiên, trong văn bản không chỉ có ảnh mà còn có các vùng ký tự với các kiểu

phông, kích cỡ và các kiểu định hớng ngang dọc khác nhau Vì vậy, để nângcao độ chính xác trong nhận dạng cần phải tách từng vùng ra để xử lý riêng.Thủ tục này là một yếu tố đánh giá mức độ toàn vẹn đa năng của hệ thống.

c Quá trình đợc bắt đầu bởi giai đoạn kết nối các vùng liên thông ở gầnnhau ảnh đợc duyệt trên từng dòng quét Tại mỗi dòng, nếu có hai điểm đennằm cách nhau một khoảng nhỏ hơn ngỡng đã định trớc thì hai điểm đó sẽ đợcnối với nhau Kết quả các ký tự trong một từ, các từ trong một dòng đợc nốithành một vùng liên thông Để giảm bớt các thành phần liên thông của ảnh,

ảnh đợc duyệt theo từng cột, nếu tồn tại hai điểm đen cách nhau một khoảngnhỏ hơn ngỡng thì hai thành phần ứng với hai điểm đen đó đợc hoàn thànhmột phần duy nhất Kết quả các dòng trong từng vùng ảnh sẽ đợc hoà nhậpthành một vùng liên thông duy nhất đại diện cho vùng ảnh đó

d Để tìm một hình chữ nhật bao quanh các vùng liên thông đợc tạo ra cóthể sử dụng các phơng pháp phân đoạn ảnh nh: tạo ngỡng độ rộng, gán nhãnthành phần, tiếp cận biên cơ sở, tiếp vùng biên cơ sở Phơng pháp đợc sửdụng trong trờng hợp văn bản có các vùng lồng nhau (ví dụ nh các viền ở bênngoài vùng ký tự) là gán nhãn các thành phần liên thông

e Ngoài ra còn có một phơng pháp khác đó là lần theo biên

f Làm trơn biên: nhằm phục hồi các đờng biên của ký tự do nhiễu làmxuất hiện những răng ca giả tạo trên biên ký tự

g Làm đầy chữ, áp dụng cho các ký tự bị nén đứt một cách ngẫu nhiên,gây khó khăn cho thủ tục tách chữ (ví dụ nh chữ m có thể bị thành hai thànhphần liên thông r và n)

h Xoá văn bản Khi đa văn bản vào máy quét, do không cẩn thận, hoặc do

sự cố in ấn mà các hàng bị lệch với lề một góc  nào đó, gây khó khăn chothủ tục tách chữ, trong trờng hợp đó phải tính toán lại tọa độ cho các điểm

ảnh

i Làm mảnh ký tự:

Khi quét văn bản có chế độ 300 dpi, các ký tự nén không còn là đờngmảnh Thủ tục này nhằm : loại bỏ các điểm cực biên và giữu lại phần cấu trúccủa một chữ; bỏ đi các điểm bên phải, bên dới, bên trên, hoặc bên phải ký tự.Nói chung, thủ tục này làm dễ dàng cho việc tìm kiếm các dấu hiệu đặc trng.Tuy nhiên, nó cũng tạo ra các hiệu ứng phụ và mất khá nhiều thời gian

39

Đ S

Hết VB Kết thúc

Hình 3.4 Giải nén tệp ảnh PCX

Bắt đầu

Hai bit cao bật lên

Lấy 1 byte vào Index = 1

Hình 3.5 Nén tệp ảnh PCX

Giai đoạn tách ký tự

Là giai đoạn cô lập một ký tự đơn ra khỏi tổng thể văn bản để đi tới nhận

đạng chữ đó Quá trình tách chữ bao gồm các việc tách vùng ký tự ra khỏivăn bản thành từng dòng, tách từng chữ ra khỏi dòng, và tách từng ký tự ra