Nội dung nghiên cứu của LTTT Ở góc độ khoa học kỹ thuật, LTTT nghiên cứu nhằm tạo ra một “cơ sở hạ tầng” tốt cho việc truyền thông tin chính xác, nhanh chóng và an toàn; lưu trữ thông
Trang 1BÀI GIẢNG MÔN HỌC
LÝ THUYẾT THÔNG TIN
Trang 2Trang 2
NỘI DUNG MÔN HỌC
Chương 1 Giới thiệu
Chương 2 Một số kiến thức cơ sở
Chương 3 Lượng tin và Entropy
Chương 4 Nguồn rời rạc và kênh rời rạc
Chương 5 Mã hiệu
Chương 6 Mã hóa nguồn rời rạc không nhớ
Chương 7 Mã hóa nguồn phổ quát
Chương 8 Mã hóa chống nhiễu
Chương 9 Mã khối tuyến tính
Chương 10 Mã vòng
Chương 11 Mật mã
Trang 3Trang 3
CÁC MÔN LIÊN QUAN
Lý thuyết xác suất
Kỹ thuật truyền số liệu
Xử lý tín hiệu số
Trang 4Trang 4
Chương 1 Giới thiệu
1. Khái niệm thông tin và ý nghĩa
2. Nội dung nghiên cứu của Lý thuyết thông tin
3. Đối tượng nghiên cứu của Lý thuyết thông tin
4. Ứng dụng của Lý thuyết thông tin
5. Lịch sử hình thành ngành Lý thuyết thông tin
Trang 5Trang 5
1 Khái niệm thông tin và ý nghĩa
Thông tin là gì?
Hai người nói chuyện với nhau Cái mà trao đổi giữa họ gọi là thông tin
Một người đang xem tivi/nghe đài/đọc báo, người đó đang nhận thông tin từ đài phát/báo
Quá trình giảng dạy trong lớp
Các máy tính nối mạng và trao đổi dữ liệu với nhau
Máy tính nạp chương trình, dữ liệu từ đĩa cứng vào RAM để thực thi
Trang 6Trang 6
Thông tin là gì? (tt)
Nhận xét
Thông tin là cái được truyền từ đối tượng này đến đối tượng khác để báo một “điều” gì đó Thông tin chỉ có ý nghĩa khi
“điều” đó bên nhận chưa biết
Thông tin xuất hiện dưới nhiều dạng âm thanh, hình ảnh,
Những dạng này chỉ là “vỏ bọc” vật chất chứa thông tin “Vỏ bọc” là phần “xác”, thông tin là phần “hồn”
Ngữ nghĩa của thông tin chỉ có thể hiểu được khi bên nhận hiểu
được cách biểu diễn ngữ nghĩa của bên phát
Một trong những phương tiện để diễn đạt thông tin là ngôn ngữ
Có hai trạng thái của thông tin: truyền và lưu trữ Môi trường truyền/lưu trữ được gọi chung là môi trường chứa tin hay kênh
tin
Trang 7Trang 7
Vai trò của thông tin
Các đối tượng sống luôn luôn có nhu cầu hiểu về thế giới xung quanh, để thích nghi và tồn tại Đây là một quá trình quan sát, tiếp nhận, trao đổi và xử lý thông tin từ môi trường xung quanh
Thông tin trở thành một nhu cầu cơ bản, một điều kiện cần cho
sự tồn tại và phát triển
Khi KHKT, XH ngày càng phát triển, thông tin càng thể hiện được vai trò quan trọng của nó đối với chúng ta
Ví dụ, hành động xuất phát từ suy nghĩ, nếu suy nghĩ đúng, thì hành động mới đúng Suy nghĩ lại chịu ảnh hưởng từ các nguồn thông tin được tiếp nhận Vì vậy thông tin có thể chi phối đến suy nghĩ và kết quả là hành động của con người
Trang 8Trang 8
2 Nội dung nghiên cứu của LTTT
Ở góc độ khoa học kỹ thuật, LTTT nghiên cứu nhằm tạo ra một
“cơ sở hạ tầng” tốt cho việc truyền thông tin chính xác, nhanh chóng và an toàn; lưu trữ thông tin một cách hiệu quả
Ở các góc độ nghiên cứu khác LTTT nghiên cứu các vấn đề về cách tổ chức, biểu diễn và truyền đạt thông tin, và tổng quát là các vấn đề về xử lý thông tin
Ba lĩnh vực nghiên cứu cơ bản của môn học
Mật mã hoá
Mã hoá tối ưu (hay nén dữ liệu)
Mã hoá chống nhiễu
Trang 93 Đối tượng nghiên cứu LTTT
Theo Shannon, Lý thuyết thông tin nghiên cứu quá trình xử lý tín hiệu như sau:
Đầu vào (input): nhận tín hiệu từ một lĩnh vực cụ thể, tức là tín hiệu xuất
hiện theo các ký hiệu (symbol) từ một tập hợp cho trước và theo phân phối xác suất đã biết
Tín hiệu được truyền đi trên kênh truyền (channel) và có thể bị nhiễu cũng
theo một phân phối xác suất nào đó Kênh truyền có thể được hiểu dưới hai nghĩa:
Dưới nghĩa vật lý: kênh truyền là một hệ thống truyền tín hiệu (dây dẫn, mạch, sóng, ) và gây nhiễu tùy theo chất lượng của hệ thống
Dưới nghĩa toán học: kênh truyền là các phân phối xác suất xác định trên lớp các tín hiệu đang xét ở đầu nhận tín hiệu (output)
Ở đầu ra (output): dựng lại tín hiệu chân thật nhất có thể có so với tín hiệu ở
đầu vào
Trang 9
Trang 103 Đối tượng nghiên cứu LTTT (tt)
Shannon xây dựng mô hình lý thuyết thông tin trên cơ sở giải quyết bài toán: sinh mã độ dài tối ưu khi nhận tín hiệu đầu vào Tính tối ưu được xét trên 3 yếu tố sau:
Phân phối xác suất của sự xuất hiện của các tín hiệu
Tính duy nhất của mã và cho phép tự điều chỉnh mã sai nếu có với độ chính xác cao nhất
Giải mã đồng thời tự động điều chỉnh mã hoặc xác định đoạn mã truyền sai
Theo Wiener, LTTT lại nghiên cứu phương pháp xử lý tín hiệu ở đầu ra: ước lượng tối ưu chuỗi tín hiệu so với chính nó khi nhận ở đầu vào không qua quá trình sinh mã Phương pháp Wiener được áp dụng trong những trường hợp con người không kiểm soát được quá trình truyền tín hiệu
Trang 10
Trang 11Trang 11
4 Ứng dụng của LTTT
Cuộc cách mạng thông tin đang xảy ra, sự phát triển mạnh mẽ của các phương tiện mới về truyền thông, lưu trữ thông tin làm thay đổi ngày càng sâu sắc xã hội chúng ta
LTTT đóng một vai trò quyết định trong sự phát triển này bằng cách cung cấp cơ sở lý thuyết và một cái nhìn triết học sâu sắc đối với những bài toán mới và thách thức mà chúng ta “chạm trán” – hôm nay và mai sau
Những ứng dụng phổ biến của LTTT là truyền thông và xử lý thông tin bao gồm: truyền thông, nén, bảo mật, lưu trữ,
Các ý tưởng của LTTT đã được áp dụng trong nhiều lĩnh vực như vật lý, hóa học, sinh vật học, khoa học máy tính, ngôn ngữ
học, tâm lý học
Trang 12Trang 12
4 Ứng dụng của LTTT (tt)
Mối quan hệ giữa LTTT và thống kê đã được tìm thấy, các
phương pháp mới về phân tích thống kê dựa trên LTTT đã được
đề nghị
Ứng dụng vào quản lý kinh tế Ví dụ, lý thuyết đầu tư tối ưu
xuất hiện đồng thời với lý thuyết mã hóa nguồn tối ưu
Ứng dụng vào ngôn ngữ học
Trang 13Trang 13
5 Lịch sử hình thành ngành LTTT Khái quát tổng thể
Cuộc cách mạng lớn nhất về cách nhìn thế giới khoa học là chuyển hướng từ Thuyết Quyết định Laplacian (Pierre-Simon de Laplace 1749-1827) đến bức tranh xác suất của tự nhiên
Thế giới chúng ta đang sống trong đó chủ yếu là xác suất Kiến thức của chúng ta cũng là một dạng xác suất
LTTT nổi lên sau khi cơ học thống kê và lượng tử đã phát triển, và
nó chia sẻ với vật lý thống kê các khái niệm cơ bản về entropy
Theo lịch sử, các khái niệm cơ bản của LTTT như entropy, thông tin tương hỗ được hình thành từ việc nghiên cứu các hệ thống mật
mã hơn là từ việc nghiên cứu các kênh truyền thông
Về mặt toán học, LTTT là một nhánh của lý thuyết xác suất và các
quá trình ngẫu nhiên (stochastical process).
Trang 14Trang 14
5 Lịch sử hình thành ngành LTTT (tt)
Quan trọng và có ý nghĩa nhất là quan hệ liên kết giữa LTTT và
vật lý thống kê.
Trong một thời gian dài trước khi LTTT được hình thành, L Boltzman và sau đó là L.Szilard đã đánh đồng ý nghĩa của thông tin với khái niệm nhiệt động học của entropy Một mặt
khác, D Gabor chỉ ra rằng “lý thuyết truyền thông phải được
xem như một nhánh của vật lý”
Trang 15Lược sử
Người đặt viên gạch đầu tiên để xây dựng LTTT là Hartley R.V.L Năm 1928, ông đã đưa ra số đo lượng thông tin là một khái niệm trung tâm của LTTT Dựa vào khái niệm này, ta có thể so sánh định
lượng các hệ truyền tin với nhau (đơn vị đo lường thông tin:
Hartley)
Năm 1933, V.A Kachenhicov chứng minh một loạt những luận
điểm quan trọng của LTTT trong bài báo “Về khả năng thông qua
của không trung và dây dẫn trong hệ thống liên lạc điện”.
Năm 1935, D.V Ageev đưa ra công trình “Lý thuyết tách tuyến
tính”, trong đó ông phát biểu những nguyên tắc cơ bản về lý thuyết
tách các tín hiệu
Trang 15
Trang 16Lược sử
Năm 1946, V.A Kachenhicov thông báo công trình “Lý thuyết thế
chống nhiễu” đánh dấu một bước phát triển rất quan trọng của
LTTT
Trong hai năm 1948 – 1949, Shanon C.E công bố một loạt các công trình vĩ đại, đưa sự phát triển của LTTT lên một bước tiến mới chưa từng có Những công trình này là nền tảng vững chắc của LTTT
Khái niệm lượng thông tin và tính cấu trúc thống kê của tin;
Chứng minh một loạt định lý về khả năng thông qua của kênh truyền tin
khi có nhiễu và các định lý mã hoá
C E Shannon là cha đẻ của LTTT.
Trang 16
Trang 17Mô hình lý thuyết thông tin theo quan điểm Shannon
Theo quan điểm của Shannon, đối tượng nghiên cứu của LTTT là
một hệ thống liên lạc truyền tin (communication system) như sơ đồ
dưới đây:
Trang 17
Trang 18Mô hình lý thuyết thông tin theo quan điểm Shannon
Diễn giải:
Nguồn (source) thông tin còn gọi là thông báo cần được truyền ở đầu vào (Input)
Mã hóa (encode) là bộ sinh mã Ứng với một thông báo, bộ sinh mã sẽ gán cho một đối tượng (object) phù hợp với kỹ thuật truyền tin Đối tượng có thể là:
Dãy số nghị phân (Digital) dạng: 01010101, cũng giống như mã máy tính
Sóng liên tục (Analog) cũng giống như truyền radio
Kênh (channel) là phương tiện truyền mã của thông tin
Nhiễu (noise) được sinh ra do kênh truyền tin Tùy vào chất lượng của kênh truyền mà nhiễu nhiều hay ít
Giải mã (decode) ở đầu ra (output) đưa dãy mã trở về dạng thông báo ban đầu với xác suất cao nhất Sau đó thông báo sẽ được chuyển cho nơi nhận
Trang 18
Trang 19Hướng phát triển chủ yếu của LTTT
tuý toán học và những cơ sở toán học chặt chẽ của lý thuyết thông
tin Cống hiến chủ yếu trong lĩnh vực này thuộc về các nhà bác học lỗi lạc như: N.Wiener, A.Feinstain, C.E Shanon, A.N.Kanmôgorov, A.JA Khintrin
nghiên cứu các bài toán thực tế quan trọng do kỹ thuật liên lạc đặt
ra có liên quan đến vấn đề chống nhiễu và nâng cao độ tin cậy của việc truyền tin Các bác học C.E Shanon, S.O RiCe, D Midleton,
W Peterson, A.A Khakevich, V Kachenhicov đã có những công trình quý báu trong lĩnh vực này.
Trang 19