tiểu luận xử lý ảnh số kỹ thuật nén ảnh

Nế n1 và n2 biểu diễn cho số lượng thông tin mang trong hai đơn vị dữ liệu cùng thể hiện một thông tin như nhau, thì sự dư thừa dữ liệu liên quan RD của gói dữ liệu đầu tin có thể được đ

Tiểu luận xử lý ảnh số: Kỹ thuật nén ảnh

8.1.Cơ bản về nén ảnh

Lĩnh vực nén ảnh thường xử lý để giảm lượng dữ liệu cần thiết để thể hiện một thông tin cho trước Cần phân biệt rõ ràng giữa dữ liệu và thông tin Chúng không đồng nghĩa với nhau Trên thực tế, dữ liệu có thể được sử dụng để mô tả một lượng thông tin tương đương Chỉ trong trường hợp như một người nói rất nhiều và một người nói theo cách ngắn gọn hơn nhưng cùng mô tả một câu chuyện Ở đây, thông tin của câu chuyện là những từ hoặc dữ liệu được dùng đến liên quan đến nội dung thông tin Nếu cả hai trườnghợp dùng số lượng từ ngữ khác nhau để nói về cùng một vấn đề, hai phiên bản của câu chuyện được tạo ra, và ít nhất một bao gồm những dữ liệu không cần thiết điều đó có nghĩa là nó cung cấp những thông tin không thích đáng hoặc hiểu đơn giản là những cái

đã biết Nó còn có thể nói theo cách khác là chứa sự dư thừa dữ liệu

Sự dư thường dữ liệu là một vấn đề quan trọng tron kỹ thuật nén ảnh số nó không chỉ là một lĩnh vực trừu tượng mà còn là một vấn đề toán học phức tạp Nế n1 và n2 biểu diễn cho số lượng thông tin mang trong hai đơn vị dữ liệu cùng thể hiện một thông tin như nhau, thì sự dư thừa dữ liệu liên quan RD của gói dữ liệu đầu tin có thể được định nghĩa bằng:

Trong đó CR thường được gọi là tỉ số nén, được tính:

Trong trường hợp n2=n1, CR = 1 và RD = 0, có thể nói rằng sự biểu diễn thông tin đầu tiên không bị dư thừa dữ liệu Khi n2 rất nhỏ so với n1, CR tiến đến vô cùng và RD tiến tới 1, nó

là sự nén tồi và dư thừa quá nhiều duex liệu Cuối cùng, nếu n2 rất lớn so với n1, CR tiến tới 0 và RD tiến tới âm vô cùng thifnosi rằng gói dữ liệu thứ hai chứa nhiều dữ liệu hữu ích hơn Tất nhiên, điều này chỉ là trường hợp mô tả bình thường của sự mở rộng dữ liệu Trong thực tế, CR và RD nằm trong khoảng (0, ∞) và (-∞, -1), một tỉ số nén , ví dụ bằng

10 hai 10:1, nghĩa là với mỗi đơn vị của gói dữ liệu nén, sự dư thừa thông tin của gói tin thứ hai là 90% so với gói tin đầu tiên

Trong kỹ thuật nén ảnh só, ba sự dư thừa cơ bản có thể được phát hiện và khai thác: Dư thừa mã hóa, dư thừa liên pixel và dư thừa do tâm lý Nén dữ liệu được thực hiện khi mộthoặc nhiều sự dư thừa này đựa giảm hoặc loại bỏ.

8.1.1 dư thừa do mã hóa:

ở chương 3 chúng ta đã xây dựng kỹ thuật tăng cường ảnh dựa vào xử lý histogram với giả thiết rằng mức xám của ảnh có số lượng biến đổi ngẫu nhiên Chúng ta đã thấy việc biểu diễn hình ảnh bằng biểu đồ mức xám của nó được sử dụng rất nhiều trong chương này, chúng ta sử dụng một công thức tương tự để chỉ ra tại sao biểu đồ mức xám của hìnhảnh có thể cung cấp rất nhiều thông tin bên trong bức ảnh vào trong chương trình để có thể cải thiện dữ liệu được sử dụng và thể hiện nó

Chúng ta một lần nữa giả sử rằng biến ngẫu nhiên rời rạc rk trong khoảng [0;1] thể hiện mức xám của một bức ảnh và mỗi giá trị rk xuất hiện với xác suất prrk theo chương 3:

Trong đó L là số lượng mức xám, nk là số lần mà mức xám thứ k xuất hiện trong bức ảnh,

và n là tổng số pixel trong ảnh Nếu số lượng bít dùng để biểu diễn mỗi giá trị rk là l(rk) thì số lượng bít trung bình cần thiết để biểu diễn một pixel là:

Có nghĩa là, độ dài trung bình của từ mã gắn cho các giá trị mức xám khác nhau sẽ được tính bằng cách tổng hợp các bit dùng để biểu diễn mỗi giá trị mức xám và xác suất để mỗimức xám xuất hiện do đó tổng số bit dùng để mã hóa một bức ảnh kích thước M*L là M.N.Lavg

Việc biểu diễn mức xám của một bức ảnh bằng việc xây dựng mã nhị phân m bit cải thiện

vế phải của phương trình (8.1-4) thành m bít Có nghĩa là, Lavg = m khi m được thay thế

cho L(rk) Sau đó hằng số m có thể được lấy bằng phép cộng Ngoại trừ phép tính tổng

pr(rk) với 0<= k <= L-1, vì dĩ nhiên nó bằng 1

Một bức ảnh 8 mức có mức xám được biểu diễn như trong bảng 8.1 Nếu một mã nhịphân 8 bit được dùng để biểu diễn 8 mức xám, khi đó Lavg sẽ bằng 3, bởi vì l1(rk) bằng 3bit cho tất cả rk Nếu sử dụng mã 2 trong bảng 8.1, Lavg sẽ được cải thiện như sau:

Từ phương trình (8.1-2), tỷ lệ nén là CR bằng 3/2.7 hay 1.11 Do đó có khoảng 10% dữliệu được tính toán bằng mã 1 bị dư thừa Mức độ dư thừa có thể tính bởi phương trình(8.1-1):

ở trong ví dụ trước, ta gán ít bít hơn cho những mức xám có xác suất xuất hiện lớn hơntrong bức ảnh so với mức xám có xác suất bé hơn Quá trình này thường được gọi là mãhóa với chiều dài thay đổi Nếu mức xám cảu một bức ảnh được mã hóa theo một cách

mà sử dụng nhiều từ mã hơn mức cần thiết để biểu diễn các mức xám( có nghĩa là mã đókhông đạt được số từu mã tối thiểu như trong phương trình (8.1-4)), thì bức ảnh đó đượcgọi là có chứa mã dự phòng Trong thực tế dư thừa do mã hóa được sử dụng khi từ mãgắn cho một mức xám không được lựa chọn để đạt được sự tối ưu của xác suất xuất hiện

sự kiện Nó hầu như luôn luôn được sử dụng khi mức xám của một bức ảnh được thể hiệnbởi một mã nhị phân thẳng hoặc tự nhiên Trong trường hợp này, nền tảng cơ bản cho dưthùa do mã hóalà bức ảnh thường bao gồm những đối tượng mức xám có hình thái bìnhthường và phần nào dự đoán được, và được lấy mẫu sao cho các đối tượng được mô tảlớn hơn so với các thành phần khác của bức ảnh Và kết quả tự nhiên là trong hầu hết cácbức ảnh, một số mức xám nhất định có thể có xác suất nhiều hơn các mức xám khác(cónghĩa là lược đồ xám của hầu hết các bức ảnh là không đồng đều) một mã nhị phân tựnhiên của những mức xám đó gán số lượng bit giống nhau cho cả những giá trị có xácsuất lớn nhất và nhỏ nhất, do đó không đạt được sự tối ưu hóa số lượng bít và kết quả rơivào mã hóa dự phòng

8.1.2 Dự thừa liên điểm ảnh

Xét những bức ảnh được cho trong hình 8.2(a) và (b) Như hình 8.2 (c) và (d) cho thấy,những bức ảnh này chứa những lược đồ xám hầu như giống hệt nhau Cũng lưu ý rằng cả

2 lược đồ xám là trimodal, cho thấy sự hiện diện sự chi phối của ba giá trị mức xám Bởi

vì mức xám của các bức ảnh có xác suất không giống nhau, mã hóa chiều dài có thể được

sử dụng để cải thiện dư thừa từ mã mà sẽ cho kết quả từ mã nhị phân thẳng hoặc tự nhiêncủa những điểm ảnh đó, tuy nhiên, sẽ không thay đổi mức độ liên quan giữa các điểm ảnhtrong bức ảnh Nói cách khác, các mã được sử dụng để thể hiện mức xám của mỗi bứcảnh không thể hiện sự tương quan giữa các điểm ảnh Sự liên quan là kết quả từ cấu trúchay quan hệ hình học giữa các đối tượng trong bức ảnh.

Bức ảnh 8.2(c) và (f) cho thấy các hệ số tương quan được tính toán trong suốt một hảngcủa bức ảnh Những hệ số này được tính toán sử dụng một phiên bản của phương trình(4.6-30) trong đó:

Các thông số trong phương trình (8.1-6) giải thích cho số lượng khác nhau của tổng màphát sinh trong mỗi giá trị nguyên của ∆n Tất nhiên, ∆n phải nhỏ hơn N, là số lượng củacác điểm ảnh trong một hàng Biến x là thứ tự của hàng được dùng trong tính toán Lưu ýrằng sự khác biệt giữa biểu đồ của các hàm được chỉ ra trong hình 8.2(e) và (f) Mối quan

hệ này có thể nhận thấy một phần trong hình 8.2(f), nơi mà độ tương quan giữa

các điểm ảnh được chia ra bằng 45 hoặc 90 mẫu có thể liên quan trực tiếp đến khoảng cách giữa các đường dọc tương ứng của hình 8.2(b) Hơn nữa, những điểm ảnh liền kề nhau của cả 2 bức ảnh có sự tương quan lớn với nhau Khi mà ∆n bằng 1 thì γ = 0.9922

và 0.9928 cho ảnh trong hình 8.2(a) và (b) Những giá trị này thường được lấy mẫu như các bức hình trong tivi

Sự minh họa này phản ánh một hình thức quan trọng khác của dư thừa dữ liệu, một mối quan hệ trực tiếp tới mối tương quan liên pixel trong hình ảnh Bởi vì giá trị của bất kỳ một điểm ảnh cho trước nào có thể được dự đoán từ giá trị của các điểm ảnh lân cận, thông tin được mang bởi một điểm ảnh riêng lẻ thì thường nhỏ Nhiều thông tin ảo của

một điểm ảnh riêng lẻ đến bức ảnh là dư thừa, nó có thể được đoán dựa trên cơ bản của giá trị của những điểm ảnh lân cận Những tên khác nhau, bao gồm dư thừa không gian,

dư thừa hình học, và dư thừa giữa các khung đã được dùng để tham chiếu đến sự độc phụthuộc giữa các pixel Chúng ta dùng thuật ngữ “interpixel redundancy” để bao hàm tất cả.Thay vì cải thiện dư thừa xuyên pixel trong một bức ảnh, mảng pixel 2-D bình thường sử dụng cho việc nhìn của con người và việc giải thích phải được biến đổi sang một dạng khác hiệu quả hơn Ví dụ như, sự khác nhau giữa các điểm ảnh lân cận có thể được dùng

để biểu diễn một bức ảnh Sự chuyển đổi của dạng này (có nghĩa là loại bỏ dư thừa giữa các điểm ảnh) thì được tham chiếu vào một bản đồ Việc làm này được gọi là sự sắp xếp ngược nếu các thành phần trong bức ảnh có thể được xây dựng từ dữ liệu được sắp xếp.Hình 8.3 mô tả một thủ tục sắp xếp đơn giản Hình 8.3(a) miêu tả một 1-in bằng 3-in của một bức vẽ điện đơn giản mà được lấy mẫu ở xấp xỉ 330 dpi (điểm mỗi inch) Bức ảnh 8.3(b) chỉ một phiên bản nhị phân của bức ảnh Và hình 8.3(c) miêu tả chi tiết mức xám của một dòng của bức ảnh và ngưỡng dùng để xác định phiên bản nhị phân(xem phần

Bời vì bức ảnh nhị phân chứa nhiều vùng có cường độ sáng không đổi, một sự biểu diễn

có hiệu quả có thể được cấu trúc bởi sự sắp xếp các điểm ảnh suốt mỗi dòng f(x,0), f(x,1),

…, f(x,N-1) vào trong một dãy cặp đôi (g1, w1), (g2,w2),…, trong đó gi biểu diễn mức xám thứ i được tính toán trong hàng và wi là độ dài dich của lần dịch thứ i Nói cách khác, bứcảnh đã lấy ngưỡng có thể được biểu diễn hiệu quả hơn bằng những giá trị và độ dài của các mức xám không đổi (dạng biểu diễn không thấy được) hơn là bằng một mảng 2 chiềucủa những điểm ảnh nhị phân

Hình 8.3(d) cho thấy dữ liệu mã hóa theo chiều dài tương ứng với chi tiết của dòng lấy ngưỡng của hình 8.3(c) Chỉ cần thiết 88 bit để biểu diễn 1024 bit của dữ liệu nhị phân

Trên thực tế, tất cả 1024×343 phần được thấy trên hình 8.3(b) có thể giảm xuống còn 12,166 runs Nếu cần 11 bit để thể hiện mỗi cặp run-length , kết quả của ti lệ nén và sự

dư thừa tương ứng là:

8.1.3 Dư thừa do tâm lý nhìn:

Chúng ta lưu ý trong phần 2.1 rằng độ sáng của một vùng, nếu được nhận thấy bằng mắt, phụ thuộc vào những yếu tốt khác nhiều hơn là ánh sáng thông thường phản chiếu bởi cácvùng Ví dụ, cường độ biến đổi có thể nhận thức được trong một vùng có cường độ là hằng số Nhưng kết quả hiện tượng từ sự thật rằng mắt người không thể phản ứng với những mức độ như nhau đối với tất cả các thông tin có thể nhìn thấy Những thông tin đơn giản đã biết ít liên quan quan trọng hơn những thông tin khác trong xử lý có thể nhìn thấy bình thường thông tin này được gọi là dư thừa có thể nhìn thấy Nó có thể bị loại trừ

mà không làm giảm suy yếu chất lượng của tấm ảnh

Mà dư thừa hình ảnh tâm lý tồn tại không cần đến như là một bất ngờ, bởi vì con người nhận thức của các thông tin trong một hình ảnh bình thường không liên quan đến phân tích định lượng của tất cả các giá trị điểm ảnh trong hình ảnh Nói chung, một người quansát tìm kiếm để phân biệt các tính năng như các cạnh hoặc các khu vực kết cấu và kết hợpchúng thành các nhóm nhận biết Não sau đó tương quan những nhóm với kiến thức để hoàn tất quá trình giải đoán ảnh

Dự phòng tâm lý hình ảnh về cơ bản là khác nhau từ dư thừa thảo luận trước đó Không giống như mã hóa và dự phòng liên pixel, dự phòng tâm lý kết hợp với thông tin hình ảnhthật hay định lượng ta có thể loại bỏ nó vì những thông tin đó là không cần thiết để xử lýhình ảnh bình thường Kể từ khi loại bỏ các dữ liệu kết quả psychovisually dư thừa gây ramột sự mất mát thông tin định lượng, nó thường được gọi là lượng tử Thuật ngữ này là phù hợp với việc sử dụng bình thường của từ này, mà thường có nghĩa là bản đồ của một loạt các giá trị đầu vào cho một số lượng hạn chế của giá trị đầu ra đã thảo luận trong

phần 2.4 Vì nó là một hoạt động không thể đảo ngược (thông tin thị giác bị mất), kết quảlượng tử trong quá trình nén dữ liệu tổn hao.

Ví dụ 8.3: Xem xét các hình ảnh trong hình 8.4 Hình 8.4 (a) cho thấy một hình ảnh đơn sắc với 256 mức màu xám Hình 8.4 (b) cho thấy cùng một hình ảnh sau khi lượng tử thống nhất bốn bit hoặc 16 cấp độ Tỉ lệ nén kết quả là 2:1 Lưu ý, như được thảo luận trong Phần 2.4, đường nét sai hiện diện trong khu vực trơn tru trước đây của bức ảnh Đây là hiệu ứng tự nhiên khi biểu diễn một bức ảnh thô dùng mức xám của hình ảnh.Hình 8.4 (c) cho thấy những cải tiến đáng kể có thể với lượng tử hóa để tận dụng những đặc thù của hệ thống thị giác của con người Mặc dù tỉ lệ nén từ thủ tục này lượng tử thứ hai cũng là 2:1, đường nét sai sẽ giảm đáng kể, nhiễu giống hạt bụi có thể tăng nhưng có thể chấp nhận được Phương pháp dùng để cải thiện ảnh cho ra kết quá này gọi là lượng

tử mức xám (IGS) Nó nhận ra sự nhạy cảm của mắt đối với các cạnh và cải thiện chúng bằng cách thêm vào mỗi điểm ảnh một số giả ngẫu nhiên được tạo ra từ các bít thấp của các điểm ảnh lân cận Bởi vì cá bít thấp là khá ngẫu nhiên, công việc này là để tạo thêm một mức độ ngẫu nhiên cho tấm ảnh mà phụ thuộc vào đặc tính riêng của bức ảnh Để các cạnh được tạo ra kết hợp với các đường nét sai

Bảng 8.2 minh họa phương pháp này Một tổng mà ban đầu được thiết lập bằng không-là lần đầu tiên hình thành từ giá trị màu xám cấp hiện tại 8-bit và bốn bit thấp nhất của một tổng được tạo ra trước đó Nếu bốn bit quan trọng nhất của giá trị hiện tại là 11112, tuy nhiên, 00002 sẽ thay thế Bốn bit quan trọng nhất của tổng kết quả được sử dụng như các giá trị điểm ảnh được mã hóa

Cải thiện lượng tử xám là điển hình của một nhóm các phương pháp lượng tử mà hoạt động trực tiếp trên các cấp độ màu xám của hình ảnh được nén Những phương pháp này thường đòi hỏi giảm độ phân giải không gian và / hoặc mức xám của hình ảnh Các đường nét sai kết quả hoặc hiệu ứng khác có liên quan đòi hỏi phải sử dụng các kỹ thuật heuristic để bù đắp cho tác động trực quan của lượng tử quét dòng bình thường 02:01 xen kẽ được sử dụng trong truyền hình phát sóng thương mại,là một ví dụ,đó là một hình thức của lượng tử trong đó phần đan xen của khung liền kề cho phép giảm tỷ lệ quét video nhưng ít giảm chất lượng hình ảnh về mặt nhận thức.

Những tiêu chí phải theo:

Như đã đề cập, loại bỏ các dư thừa do tâm lý dự phòng dữ liệu cho kết quả là mất mát thông tin trực quan thực tế hoặc định lượng Bởi vì thông tin quan tâm có thể bị mất, một phương tiện lặp lại và tái sản xuất định lượng tính chất, mức độ mất mát thông tin là rất quan trọng Hai lớp tiêu chí được sử dụng làm cơ sở cho việc đánh giá như: (1) tiêu chí khách quan trung thực và (2) các tiêu chí chủ quan trung thực.

Khi mức độ mất mát thông tin có thể được thể hiện như một chức năng của hình ảnh ban đầu hoặc đầu vào và nén và giải nén hình ảnh đầu ra sau đó, nó được cho là dựa trên một tiêu chí trung thực khách quan Một ví dụ là root-mean-square (rms) lỗi giữa một đầu vào

và hình ảnh đầu ra Cho f(x/y) đại diện cho một hình ảnh đầu vào và để cho f (x/y) biểu thị một ước tính hoặc xấp xỉ của f (x/ y) là kết quả của nén và sau đó giải nén đầu vào Đối với bất kỳ giá trị của x và y, các sai lệch e(x.,y) giữa f (x, y) và xấp xĩ f (x, y) có thể được định nghĩa là:

Giá trị rms của tỉ số tín hiệu trên nhiễn, kí hiệu SNRrms được tính bằng cách lấy căn của phương trình (8.1-9).

Mặc dù tiêu chí trung thành cung cấp một cơ chế đơn giản và thuận tiện cho việc đánh giá sự mất mát thông tin, hình ảnh nén nhất cuối cùng được xem bởi con người Do đó,

đo lường chất lượng hình ảnh của các đánh giá chủ quan của một người quan sát con người thường thích hợp hơn Điều này có thể được thực hiện bằng cách hiển thị một hình ảnh nén phù hợp của người xem và đánh giá trung bình của họ Các đánh giá có thể được thực hiện bằng cách sử dụng thang đánh giá tuyệt đối hoặc bằng so sánh cạnh theo cạnh của f(x, y) và Bảng 8.3 cho thấy một thang đánh giá tuyệt đối có thể, so sánh Side-by-side có thể được thực hiện với quy mô như vậy như {-3, -2, -1,0,1,2, 3} để đại diện cho các đánh giá chủ quan {tồi tệ hơn nhiều, tệ hơn, hơi tồi tệ hơn, giống nhau, tốt hơn một chút, tốt hơn, tốt hơn nhiều}, tương ứng Trong cả hai trường hợp, việc đánh giá được cho là dựa trên các tiêu chí trung thực chủ quan

Ví dụ 8.4: lỗi rms trong những hình ảnh lượng tử hóa của Hình 8.4 (b) và (c) là 6.93 và 6.78 So sánh các mức độ màu xám, tương ứng Rms tỷ lệ tín hiệu trên nhiễu tương ứng

là 10,25 và 39 Mặc dù các giá trị này khá tương tự, một đánh giá chủ quan của chất lượnghình ảnh của hai hình ảnh được mã hóa có thể dẫn đến một đánh biên cho hình ảnh trong hình 8.4 (b) và một đánh giá khá cho rằng trong hình 8.4 (c)

8.2 Mô hình xử lý ảnh

Trong phần 8.1, chúng tôi thảo luận riêng ba kỹ thuật chung để giảm hoặc nén số lượng

dữ liệu cần thiết để đại diện cho một hình ảnh Tuy nhiên, những kỹ thuật này thường được kết hợp để hình thành hệ thống nén hình ảnh thực tế Trong phần này, chúng ta xemxét các đặc điểm chung của một hệ thống và phát triển một mô hình chung để đại diện cho nó

Như hình 8.5, một hệ thống nén ảnh bao gồm hai khối cấu trúc riêng biệt: một bộ mã hóa

và một bộ giải mã Một hình ảnh đầu vào f {x, y) được đưa vào bộ mã hóa, nó tạo ra một tập hợp các ký hiệu từ các dữ liệu đầu vào Sau khi truyền qua các kênh, các thông tin đã

mã hóa được đưa vào các bộ giải mã, nơi một hình ảnh đầu ra được xây dựng lại,

được tạo ra Tất nhiên, không thể bằng f(x,y) một cách chính xác Nếu nó chính xác hoàn toàn thì hệ thống là không có lỗi hay tín hiệu được bảo toàn, nếu không, một vàilỗi sẽ xuất hiện trong bức ảnh được giải mã

Cả bộ mã hóa và giả mã được chỉ ra trong hình 8.5 bao gồm hai tính năng hoặc khối phụ tương đối độc lập Các bộ mã hóa được tạo thành từ một bộ mã hóa nguồn, trong đó loại

bỏ nhiễu đầu vào, và một bộ mã hóa kênh, làm tăng khả năng chống nhiễu của đầu ra nguồn mã hóa Như dự kiến, các bộ giải mã bao gồm một bộ giải mã kênh theo sau là một bộ giải mã nguồn Nếu các kênh giữa các bộ mã hóa và giải mã là không nhiễu (không bị lỗi), bộ mã hóa và giải mã kênh được bỏ qua, và bộ mã hóa và giải mã nguồn trở thành nguồn mã hóa và giải mã

8.2.1 Bộ mã hóa nguồn và giải mã nguồn

Nguồn mã hóa có trách nhiệm giảm hoặc loại bỏ bất kỳ mã hóa, xuyên điểm ảnh, hoặc dưthừa do tâm lý trong hình ảnh đầu vào Các ứng dụng cụ thể và ứng dụng liên quan đến yêu cầu độ chính xác cần có cách tiếp cận mã hóa tốt nhất để sử dụng trong bất kỳ tình huống nào Thông thường, phương pháp này có thể được mô phỏng theo một chuỗi ba hoạt động độc lập Như hình 8.6 (a) cho thấy, mỗi hoạt động được thiết kế để làm giảm một trong ba dư thừa được mô tả trong phần 8.1 Hình 8.6 (b) mô tả các bộ giải mã nguồntương ứng.

Trong giai đoạn đầu tiên của quá trình mã hóa nguồn, bộ Mapper biến đổi dữ liệu đầu vàosang một định dạng (thường không phải là hình ảnh) được thiết kế để giảm dư thừa xuyênđiểm ảnh trong hình ảnh đầu vào Hoạt động này thường có thể đảo ngược và có thể không trực tiếp làm giảm số lượng dữ liệu cần thiết để thể hiện hình ảnh Mã hóa chạy theo chiều dài (mục 8.1.2 và 8.4.3) là một ví dụ về một Mapping mà cho kết quả trực tiếptrong giai đoạn đầu của quá trình mã hóa nguồn Các đại diện của một hình ảnh của một tập hợp các hệ số biến đổi (Mục 8.5.2) là một ví dụ về trường hợp ngược lại

Đây là sơ đồ biến đổi hình ảnh thành một mảng các hệ số, làm cho dư thừa interpixel của

nó dễ tiếp cận hơn cho việc nén trong giai đoạn cuối của quá trình giải mã

Giai đoạn thứ 2, hay là khối quantizer trong hình 8.6(a), cải thiện độ chính xác của tín hiệu ra của khối Mapper cho phù hợp với tiêu chí chính xác Giai đoạn này cải thiện sự

dư thừa theo tâm lý của hình ảnh đầu vào Như đã đề cập trong mục 8.1.3, hoạt động này

là không thể đảo ngược Do đó nó phải được bỏ qua khi lỗi nén đạt được như mong muốn.

Trong giai đoạn thứ ba và cuối cùng của quá trình giải mã nguồn, bộ Symbol coder tạo ramột mã số cố định hoặc độ dài thay đổi để đại diện cho đầu ra bộ quantizer và làm cho đầu ra phù hợp với mã Khối symbol coder hạn phân biệt hoạt động này mã hóa từ quá trình mã hóa nguồn tổng thể Trong hầu hết các trường hợp, một mã chiều dài thay đổi được sử dụng để đại diện cho các thiết lập dữ liệu ánh xạ và lượng tử hóa Nó gán các từ

mã ngắn nhất cho các giá trị thường xuyên xảy ra nhất và do đó làm giảm dư thừa từ mã Các hoạt động, tất nhiên, có thể đảo ngược Sau khi hoàn thành các bước mã hóa biểu tượng, hình ảnh đầu vào đã được xử lý để loại bỏ một trong ba dư thừa được mô tả trong phần 8.1

Hình 8.6 (a) cho thấy quá trình mã hóa nguồn như ba hoạt động liên tiếp, nhưng cả ba hoạt động không nhất thiết phải bao gồm trong tất cả các hệ thống nén.Ví dụ như khối quantizer có thể được bỏ đi nếu lỗi là như mong muốn Ngoài ra, một số kỹ thuật nén thường được mô hình hoá bằng cách kết hợp các khối riêng biệt trong hình 8.6 (a) Trong các hệ thống nén của mục 8.5.1 ví dụ, bộ mapper và quantizer thường được đại diện bởi một khối duy nhất, mà đồng thời thực hiện cả hai hoạt động

Các bộ giải mã nguồn hình 8.6 (b) chỉ chứa hai thành phần: một bộ quantizer và một mapper ngược Các khối thực hiện theo thứ tự ngược, các hoạt động nghịch đảo của các nguồn mã hóa ký hiệu mã hóa và ánh xạ ngược Bởi vì kết quả lượng tử trong mất mát thông tin không thể đảo ngược, một khối quantizer ngược không được bao gồm trong các

mô hình bộ giải mã nguồn hình 8.6 (b)

Các bộ mã hóa và giải mã kênh đóng một vai trò quan trọng trong tổng thể quá trình mã hóa-giải mã khi các kênh của hình 8.5 là nhiễu hoặc dễ bị lỗi Chúng được thiết kế để giảm tác động của nhiễu kênh bằng cách chèn một hình thức kiểm soát dư thừa vào các

dữ liệu mã hóa nguồn Như đầu ra của bộ mã hóa nguồn có chứa một ít dư thừa, nó sẽ rất nhạy cảm với nhiễu không có sự bổ sung "kiểm soát dư thừa."

Một trong những kỹ thuật mã hóa kênh hữu ích nhất được đưa ra bởi RW Hamming (Hamming [1950]) Nó được dựa trên thêm đủ bit dữ liệu phụ được mã hóa để đảm bảo rằng một số lượng tối thiểu của các bit phải thay đổi giữa các từ mã hợp lệ Hamming chothấy, ví dụ, rằng nếu 3 bit dư thừa được thêm vào một từ 4-bit, do đó khoảng cách giữa hai từ mã hợp lệ là 3, tất cả các lỗi bit đơn có thể được phát hiện và sửa chữa (Bằng cách

phụ thêm các bit thêm dư thừa, lỗi nhiều bit có thể được phát hiện và sửa chữa.) 7-bit Hamming (7,4) từ mã h1h2 h5h6 h7 liên kết với một 4-bit số nhị phân là b3b2b1b0:

Để giải mã một kết quả mã hóa Hamming, các bộ giải mã kênh phải kiểm tra giá trị mã hóa cho bit chẵn trong các trường bit mà bit chẵn được thành lập trước đây Một lỗi đơn bit được chỉ định bởi một tính chẵn lẻ khác không từ c4c 2c1:

Nếu một giá trị khác 0 được tìm thấy, các bộ giải mã chỉ đơn giản là bổ sung mã từ vị trí bit chỉ định bởi các từ mã chẵn lẻ Giá trị nhị phân được giải mã sau đó được lấy từ các từ

mã sửa lỗi như h3 h5h6h7

Ví dụ 8.5: Mã hóa harming

Xem xét việc truyền tải dữ liệu IGS 4-bit của Bảng 8.2 trên một kênh truyền chứa nhiễu Một lỗi bit đơn có thể gây ra tại một điểm ảnh sau khi giải nén nhận giá trị không đúng giá trị của nó bằng nhiều đường đối với 128 mức màu xám Một mã hóa kênh harmming

có thể được sử dụng để tăng khả năng giảm nhiễu của nguồn này khi được mã hóa IGS

dữ liệu bằng cách chèn đủ bit dự phòng để cho phép phát hiện và sửa chữa sai sót trên cácbit đơn Từ biểu thức (8.2-1), các giá trị mã hóa Hamming cho IGS giá trị đầu tiên trong Bảng 8.2 là 11001102 - Bởi vì các kênh Hamming mã hóa làm tăng số lượng bit cầnthiết để đại diện cho IGS giá trị 4-7 tỉ số nén 2:01 trong ví dụ IGS được giảm xuống 8:7 hoặc 1.14:1 Điều này làm giảm tỷ lệ nén nhưng làm tăng khả năng chống nhiễu

8.3 Các yếu tố của lý thuyết thông tin

Trong phần 8.1 chúng tôi giới thiệu một số cách để giảm số lượng dữ liệu được sử dụng

để đại diện cho một hình ảnh Một câu hỏi tự nhiên phát sinh là: Làm thế nào vài dữ liệu thực sự cần thiết để đại diện cho một hình ảnh? Đó là, một số lượng tối thiểu của dữ liệu

đó đủ để mô tả hoàn toàn một hình ảnh mà không mất thông tin? Lý thuyết thông tin cung cấp khuôn khổ toán học để trả lời này và những gì liên quan đến nó

8.3.1 đo đạc thông tin:

Những tiền đề cơ bản của lý thuyết thông tin là thế hệ của thông tin có thể được mô hình hóa như một quá trình xác suất có thể đo đạc được một cách trực quan Theo giả thuyết này, một sự kiện ngẫu nhiên xảy ra với xác suất P(E) được gọi là có chứa các đơn vị thông tin

Số I(E) thường được gọi là lượng thông tin chứa trong của E Nói chung, số lượng thông tin tự do của sự kiện A là tỉ lệ nghịch với xác suất E Nếu P (E) = 1 (có nghĩa là, sự kiện này luôn luôn xảy ra), I(E) = 0 và không có thông tin chứa trong nó Đó là, bởi vì sự kiện này chắc chắn xảy ra, không cần có thông tin giao tiếp cho rằng sự kiện này đã xảy ra Tuy nhiên, nếu P (E) = 0,99, thì phiên giao tiếp rằng E đã xảy ra truyền đạt một số lượng nhỏ thông tin Giao tiếp mà E đã không xảy ra truyền tải nhiều thông tin, bởi vì kết quả này là ít có khả năng xảy ra

Cơ sở của logarit trong phương trình (8,3-1) xác định đơn vị dùng để đo thông tin Nếu logarit cơ sở m được sử dụng, đo lường được gọi trong đơn vị là m-phân Nếu cơ sở 2 được chọn, đơn vị kết quả của thông tin được gọi là một bit Lưu ý rằng nếu P(E) = 1/2, I(E) = —log21/2 or 1 bit Nghĩa là, 1 bit là số lượng thông tin được truyền khi một tronghai có thể đều có khả năng có thể xảy ra sự kiện Một ví dụ đơn giản của kiểu như vậy là lật một đồng xu và giao tiếp kết quả

Khi chính thông tin được chuyển giao giữa một nguồn thông tin và người sử dụng các thông tin, các nguồn thông tin gọi là được kết nối với người sử dụng thông tin bởi một kênh thông tin Kênh thông tin là phương tiện vật lý liên kết các nguồn cho người sử dụng Nó có thể là một đường dây điện thoại, một đường truyền năng lượng điện từ, hoặcmột văn bản trong một máy tính kỹ thuật số

Hình số 8.7 cho thấy một mô hình toán học đơn giản cho hệ thống thông tin rời rạc Ở đây, các tham số đặc biệt quan tâm là dung lượng của hệ thống, được định nghĩa như khả năng truyền thông tin của nó Chúng ta hãy giả định rằng nguồn thông tin trong hình 8.7 tạo ra một chuỗi ngẫu nhiên các ký tự từ một tập hợp hữu hạn hoặc vô hạn đếm được các biểu tượng Nghĩa là, đầu ra của nguồn là một biến ngẫu nhiên rời rạc Tập hợp các nguồn kí tự{a1, a2, , aj} được gọi là nguồn bảng chữ cái A, và các yếu tố của thiết lập này, ký hiệu là aj, được gọi là kí tự hoặc chữ cái Xác suất của sự kiện đó là nguồn gốc sẽtạo ra kí tự aj thường được sử dụng để đại diện cho tập hợp tất cả các nguồn biểu tượng là

P (aj) và:

vector z = [P(a1), P(a2),…,P(aj)]T liên quan được sử dụng để đại diện cho tập tất cả các nguồn kí tự xác suất P { P(a1), P(a2),…,P(aj)} Tập hợp hữu hạn (A, z) mô tả các nguồn thông tin đã hoàn thành

Xác suất nguồn rời rạc sẽ tạo ra aj là P(aj), nên chính thông tin được tạo ra bởi sự sản xuấtcủa một nguồn kí tự đơn lẻ, phù hợp với phương trình (8.3-1), I(aj) =-log P(aj) Nếu nguồn k những kí tự được tạo ra, luật của một số lượng lớn quy định rằng, đối với một giá trị đủ lớn của k, kí tự aj (trên trung bình) được xuất đi kP(aj) lần Do đó, chính thông tin trung bình thu được từ nguồn k xuất ra là

Hay

Thông tin trung bình mỗi đầu ra nguồn, ký hiệu là H (z), là

Số lượng này được gọi là sự không chắc chắn hoặc sự ngẫu nhiên của nguồn Nó xác định số lượng trung bình của thông tin (trong m-phân đơn vị cho mỗi ký hiệu) thu được bằng cách quan sát đầu ra của một nguồn đơn lẻ Nếu tăng giá trị của nó,giá trị càng không chắc chắn và do đó có nhiều thông tin có liên quan đến nguồn gốc Nếu kí tự nguồn có thể như nhau, ngẫu nhiên hoặc không chắc chắn của phương trình (8.3-3) là tối

đa và nguồn cung cấp thông tin trung bình lớn nhất có thể cho mỗi ký hiệu nguồn

Có mô hình hóa nguồn thông tin, chúng ta có thể phát triển các đặc điểm đầu vào-đầu ra của các kênh thông tin khá dễ dàng Bởi vì chúng ta đã mô hình hóa đầu vào đến kênh trong hình 8,7 như là một biến ngẫu nhiên rời rạc, thông tin chuyển giao cho đầu ra của kênh này cũng là một biến ngẫu nhiên rời rạc Như biến ngẫu nhiên mã nguồn, nó tăng giá trị từ một tập hợp hữu hạn hoặc vô hạn đếm được của các kí tự{b1, b2 , bk} được gọi là kênh bảng chữ cái, B Xác suất của sự kiện mà kí tự bk được giới thiệu thông tin cho người sử dụng thông tin là P(bk) Tập hợp hữu hạn (B, v, trong đó v =[P(b1), P(b2),

…,P(bK)]T), mô tả các kênh đầu ra hoàn chỉnh và do đó người dủng nhận được thông tin Xác suất P(bk) của một kênh nhận đầu ra và phân phối xác suất của nguồn z có liên quan của biểu thức:

trong đó P(bk| aj) là xác suất có điều kiện mà đầu ra biểu tượng bk được nhận, nhận nguồn biểu tượng aj được tạo ra Nếu xác suất có điều kiện được tham chiếu trong trình (8.3-4) được bố trí trong một ma trận K x J ma trận Q, như sau:

sau đó xác suất phân phối của đầu ra alphabet hoàn chỉnh có thể được tính từ:

trong đó P (aj|bk) là xác suất biểu tượng aj, được truyền qua các nguồn, đưa người sử dụngnhận được bk Dự kiến giá trị trung bình của biểu thức này hơn tất cả bk.

Sau sự thay thế của phương trình (8.3-7) cho H(z|bk) và một số sự sắp xếp, phương trình

có thể viết lại:

ở đây, P(aj,bk) là xác suất chung của aj và bj Đó là, P (aj, bk) là xác suất mà aj được truyền

đi và bk nhận được

Tợp hợp H(z|v) được gọi là sự không rõ nghĩa của z với sự liên quan đến v Nó đại diện cho thông tin trung bình của một kí hiệu nguồn, giả sử sự quan sát của ký hiệu đầu ra do kết quả từ chính thế hệ của nó Vì H(z) là thông tin trung bình của một biểu tượng nguồn,giả sử không có kiến thức về kết quả đầu ra của biểu tượng, sự khác biệt giữa H(z) và H(z|v) là những thông tin trung bình nhận được khi quan sát một biểu tượng đầu ra đơn

lẻ Sự khác biệt này, ký hiệu là I(z, v) và được gọi là thông tin hòa hợp của z và v, là:

Thay thế các phương trình (8.3-3), (8.3-9) cho H(z) và H(z |v), và gọi lại là P(aj) =

P(aj,b1) + P(aj,b2)+…+P(aj,bk), suy ra:

sau nhiều thao tác tính toán, có thể được viết lại như sau:

Do đó, thông tin trung bình nhận được khi quan sát một đầu ra đơn lẻ của kênh thông tin

là một chức năng của đầu vào hoặc nguồn biểu tượng vector z và kênh ma trận Q Giá trị tối thiểu có thể của I(z,v) là 0 và xảy ra khi đầu vào và đầu ra kí tự là thống kê độc lập, trong trường hợp P(aj,bk) = P (aj) P(bk) và log tập hợp trong phương trình (8.3-11) là với mọi j và k 0 Giá trị lớn nhất của I(z, v), trên tất cả các lựa chọn có thể của nguồn xác suấttrong vector z là dung lượng C của kênh được mô tả bởi kênh ma trận Q Đó là:

là nơi lấy giá trị lớn nhất xác suất tất cả các đầu vào có thể của biểu tượng Dung lượng của kênh xác định tỷ lệ tối đa (trong m-phân đơn vị thông tin cho mỗi nguồn ký hiệu) mà thông tin có thể được truyền tin cậy qua kênh Hơn nữa, dung lượng của một kênh không

phụ thuộc vào xác suất đầu vào của nguồn (có nghĩa là, làm thế nào các kênh được sử dụng) nhưng là một chức năng của các xác suất có điều kiện xác định các kênh riêng lẽ.Xem xét một nguồn thông tin nhị phân với nguồn bảng chữ cái A={a1,a2}={0,1} xác suất

mà nguồn sẽ tạo ra các biểu tượng a1 và a2 là P(a1)= pbs and P(a2)= 1- pbs= p¯bs, tương ứng

Từ phương trình (8,3-3), dữ liệu ngâũ của nguồn là:

duy nhất, vế phải của phương trình được gọi là chức năng dữ liệu ngẫu nhiên nhị phân,

ký hiệu Hbs(.),Vì vậy, ví dụ, Hbs(t) là chức năng –tlog2t –¯tlog2t¯ Hình 8.8(a) là biểu đồ của Hbs(pbs) cho pbs là 0 ≤ pbs ≤1 Chú ý rằng Hbs lấy được giá trị lớn nhất chính nó (của 1 bit)khi pbs bằng ½ Đối với tất cả các giá trị khác của pbs, nguồn cung cấp ít hơn 1bit của thông tin

Bây giờ giả sử rằng thông tin được truyền qua một kênh thông tin nhị phân hỗn loạn và

để cho xác suất của một lỗi trong quá trình truyền của bất kỳ kí tự pe Một kênh như vậy được gọi là một kênh đối xứng nhị phân (BSC) và được xác định bởi ma trận kênh:

Đối với mỗi đầu vào hoặc nguồn biểu tượng, BSC sản xuất một đầu ra bj từ đầu ra

alphabet B ={b1, b2} = {0,1} Xác suất biểu tượng b1 và b2 nhận ở đầu vào có thể được xác định từ biểu thức (8.3-6):

Các thông tin của BSC bây giờ có thể được tính từ biểu thức (8,3-12) Mở rộng kết quả tổng hợp của phương trình này:

Nơi HBS(.) Là hàm dữ liệu ngẫu nhị phân của hình 8.8(a) Cho một giá trị cố định của

pe , I(z,v)là 0 khi pbs là 0 hoặc 1 Hơn nữa, I(z,v) đạt được giá trị tối đa của chính nó khi nguồn kí tự nhị phân có thể như nhau Hình 8.8(b) cho thấy I(z,v) với tất cả các giá trị của pbs và một kênh lỗi cho trước pe

trong quy định với phương trình (8.3-13) dung lượng của BSC được lấy từ tối đa của các thông tin trên tất cả các nguồn phân phối có thể

Từ hình 8.8(b), trong đó I(z, v) cho tất cả nguồn nhị phân có thể phân bố(có nghĩa là, cho

0 ≤ pbs ≤1 or for z = [0,1]T to z=[1,0]T), ta thấy rằng I(z,v) là tối đa (cho bất kỳ pe nào) khi

pbs = 1/2 Giá trị này của pbs tương ứng với xác suất nguồn vector z = [1/2,1/2]T Giá trị tương ứng của I(z, v) là 1- Hbs(pe) Do đó, dung lượng của BSC, vẽ trong hình 8.8 (c).Lưu ý rằng khi không có khả năng xảy ra một kênh lỗi (pe =0), cũng như một kênh lỗi chắc chắn (pe=1)—dung lượng cửa kênh thu được chính nó giá trị lớn nhất của 1 bit/kí tự.Hay trong 2 trường hợp, thông tin truyền lớn nhất là có thể vì đầu ra của kênh hoàn toàn

dự đoán được Tuy nhiên, khi pe=1/2, đầu ra của kênh hoàn toàn không thể đoán trước được và không thông tin nào có thể truyền được qua nó

8.3.3 Lý thuyết mã hóa cơ bản

Khuôn khổ toán học tổng thể giới thiệu trong phần 8.3.2 được dựa trên mô hình thể hiện trong hình 8.7, trong đó có chứa nguồn thông tin, kênh, và người sử dụng Trong phần này, chúng ta thêm một hệ thống thông tin liên lạc cho các mô hình và kiểm tra ba định lý

cơ bản liên quan đến việc mã hóa hoặc biễu diễn thông tin Như hình 8,9 cho thấy, hệ thống thông tin liên lạc được chèn vào giữa nguồn thông tin và người sử dụng và bao gồm một bộ mã hóa và giải mã

Định lý mã hóa không nhiễu

Khi cả hai kênh thông tin và hệ thống thông tin liên lạc không gây ra lỗi, chức năng chủ yếu của hệ thống thông tin liên lạc là thể hiện thông tin cho các nguồn càng gọn càng tốt Trong hoàn cảnh này, các định lý mã hóa không có nhiễu, còn được gọi là định lý đầu tiên của Shannon (Shannon [1948]), xác định các độ dài trung bình tối thiểu của mã có thể đạt được để biểu diễn cho nguồn thông tin

Một nguồn thông tin với số hữu hạn (A, z) và ký tự nguồn độc lập thống kê được gọi là một nguồn không nhớ Nếu chúng ra mô tả đầu ra của nó là một bộ n kí hiệu từ các ký tự nguồn (tốt hơn là một ký tự đơn lẻ), ngõ ra của nguồn sẽ có n thành phần tạo thành

A’={α1, α2,… αjn,}, nói cách khác, mỗi αi (được gọi là chuỗi biễn ngẫu nhiên) bao gồm n

ký tự từ A.(cần phân biệt ký hiệu từ tập hợp A với chuỗi các ký tự từ A và chuỗi các ký

tự từ các chuỗi đơn) Xác suất của một αi là P(αi),… liên quan đến ký hiệu riêng lẽ với xácsuất P(aj) bằng công thức

Nơi các hệ số j1,j2… được sử dụng để đánh số n ký hiệu từ A mà lập thành αi Như trước đây, các vector Z’ (được thêm vào để chỉ việc sử dụng khối các biến ngẫu nhiên) là tập tất cả các nguồn xác suất { P(α1), P(α2),…, P(αn)} và entropy của nguồn là:

Thay thế phương trình (8.3-14) cho P (αi) và đơn giản hóa:

do đó entropy của nguồn thông tin không nhớ (trong đó chứa các khối biến ngẫu nhiên) bằng n lần entropy của nguồn ký tự riêng lẽ tương ứng Một nguồn như vậy được gọi là phần mở rộng thứ n của các ký tự đơn hoặc nguồn không mở rộng Lưu ý rằng phần mở rộng đầu tiên của bất cứ nguồn nào là nguồn không mở rộng bản thân nó

Bởi vì thông tin ngõ ra của một nguồn αi là log[1/ P (αi)], có vẻ như là hợp lý khi mã hóa

αi với một từ mã của các số nguyên có chiều dài l (αi) như vậy:

Trực giác cho thấy rằng các nguồn đầu ra αi được đại diện bởi một từ mã có chiều dài là

số nguyên nhỏ hơn thông tin của αi Nhân kết quả này với P(αi) và sau đó thu được kết quả:

Định lý mã hóa có nhiễu

Nếu các kênh của hình 8.9 là chứa nhiễu hoặc dễ bị lỗi, việc thay đổi phương thức thể hiện cho thông tin là có thể giúp cho mã hóa nó để thông tin liên lạc trở nên đáng tin cậy

là có thể Một câu hỏi tự nhiên được đặt ra là có thể làm cho nhiễu nhỏ đi bao nhiêu?

Ví dụ 8.8: Suppose that a BSC has a probability of error Pe ~ 0.01, đó là 0.99 các kí tự

của nguồn được truyền đi chính xác trên kênh truyền Một phương thức đơn giản để làm tăng độ tin cậy của thông tin là lặp lại mỗi gói tin hay các ký tự nhị phân nhiều lần Giả

sử, ví dụ, thay vì truyền một 0 hoặc 1, các thông điệp được mã hóa 000 và 111 được sử dụng Xác suất để không xảy ra lỗi trong trường hợp truyền liên tiếp 3 ký tự trên kênh là (1-pe)3 Xác suất để cho 1 bit bị lỗi là 3pe(1-pe)2, và xác suất để cho 1 bit lỗi là 3p2

e(1-pe) Bởi vì xác suất để một bit bị lỗi trên đường truyển nhỏ hơn 50%, bản tin nhận được có thể được giải mã bằng các sử dụng ký tự nhiều hơn ở 3 ký tự nhận được Nhưng xác suất của việc giải mã sai của từ mã dùng 3 ký tự là tổng của xác suất của hai ký tự bị lỗi và ba

ký tự bị lỗi, hay là bằng Nếu không có lỗi xảy ra hoặc một kí tự bị lỗi, sự bầu chọn sẽ giải mã bản tin một cách chính xác Với pe= 0.01, xác suất của một lỗi được giảm xuống là 0.0003

Bằng cách mở rộng các chương trình mã hóa lặp đi lặp lại vừa mô tả, chúng ta có thể làmcho các lỗi tổng thể trong thông tin liên lạc như nhỏ như mong muốn Trong trường hợp tổng quát, chúng ta làm như vậy bằng cách mã hóa phần mở rộng thứ n của các nguồn sử dụng chuỗi K-ary có độ dài r, nơi Kr <=Jn điều quan trọng của phương pháp này là lựa chọn φ của Kr chuỗi mã có thể là từ mã hợp lệ và đưa ra một quy tắc quyết định tối ưu hóa khả năng giải mã chính xác Trong ví dụ trước, việc lặp lại mỗi biểu tượng nguồn ba lần là tương đương để mã hóa các nguồn nhị phân không mở rộng sử dụng hai trong số

23, hoặc 8, có thể từ mã nhị phân Hai từ mã hợp lệ là 000 và 111 Nếu một từ mã không hợp lện được nhận ở bộ giả mã, sự bầu chọn giữa 3 bit sẽ cho kết quả đầu ra

Một nguồn thông tin không bộ nhớ tạo ra thông tin trong dải (đơn vị thông tin cho mỗi kýhiệu) bằng entropy của nó Phần mở rộng thứ n của các nguồn cung cấp thông tin với tốc

độ của H (z ') trong đơn vị thông tin cho mỗi ký hiệu Nếu các thông tin được mã hoá, như trong ví dụ trên, tỷ lệ tối đa của thông tin được mã hóa là log (φ/r) và xảy ra khi φ từ

mã hợp lệ được sử dụng để mã nguồn là như nhau Do đó, một mã kích thước φ và khối chiều dài r được cho là có một tỷ lệ của đơn vị thông tin trên mỗi ký tự:

Định lý thứ hai của Shannon (Shannon [1948), cũng được gọi là định lý mã hóa chứa nhiễu, cho chúng ta biết cho bất kỳ R <C, trong đó C là dung lượng của kênh không bộ nhớ với ma trận Q, thì có tồn tại một số nguyên r, và mã hóa khối chiều dài r và tỷ lệ R sao cho xác suất của một giải mã lỗi khối nhỏ hơn hoặc bằng ε cho bất kỳ ε > 0 Do đó xác suất lỗi có thể được nhỏ tùy ý, miễn là tỉ lệ gói tin được mã hóa ít hơn so với dung lượng của kênh

Định lý mã hóa nguồn

Các định lý được mô tả cho đến nay thiết lập giới hạn cơ bản về lỗi do truyền qua các kênh cả đáng tin cậy và không đáng tin cậy Trong phần này, chúng tôi chuyển sang các trường hợp trong đó kênh là lỗi nhưng quá trình giao tiếp chính nó là mất dữ liệu Trong hoàn cảnh này, các chức năng chính của hệ thống truyền dữ liệu là "nén thông tin." Tronghầu hết các trường hợp, sai số trung bình được nhận ra bằng cách tối đa mức cho phép D Chúng ta muốn định tỷ lệ lỗi nhỏ nhất, đáp ứng được tiêu chí an toàn thông tin, mà thông tin của nguồn có thể được chuyển tải đến người sử dụng Vấn đề này giải quyết bởi một chi nhánh của lý thuyết thông tin biết như lý thuyết biến dạng tỷ lệ

Để cho các nguồn thông tin và kết quả đầu ra bộ giải mã trong hình 8,9 được xác định bởi các cụm hữu hạn (A, z) và (B, z),một cách tương ứng.Giả định rằng các kênh của hình 8,9 là không bị lỗi, do đó, một ma trận kênh Q, liên quan đến z với v theo phương trình (8,3-6), có thể được coi như mô hình hóa các quá trình mã hóa-giải mã xử lý một mình Bởi vì quá trình mã hóa-giải mã là xác định, Q mô tả một kênh không bộ nhớ nhân tạo mô hình hiệu quả của việc nén và giải nén thông tin Mỗi lần các nguồn cho ra ký tự nguồn aj, nó được đại diện bởi một mã ký tự mà sau đó được giải mã để mang ra biểu tượng bk với xác suất qkj (xem Phần 8.3.2)