MULTIMEDIA chap 1 docx

– Truyền hình, môi trường truyền thông của thế kỷ 20, truyền hình ảnh và âm thanh đến mọi nơi.– Các hệ thống máy tính tích hợp nhiều dạng môi trường số khác nhau, khả năng biểu diễn, tư

MULTIMEDIA

Lecturer: Nguyen Duy Nhat Vien

July, 2006.

TÀI LIỆU THAM KHẢO

• CMPT 365 Course Contents, Spring 2000, Website:

http://www.cs.sfu.ca/CourseCentral/365/li/index.html

• “Principles of Digital Audio”, Ken C.Pohmanm Fourth

Edition McGraw-Hill.

• “Digital Video processing”, A Murat Tekalp, University

of Rochester, Prentice Hall PTR.

• “Multimedia processing”, Andrew Calway, COMS72200.

• “Fundamentals of Digital Image Processing”., Anil.K.Jan,

Prentice Hall, 1996.

• MPEG Home Page, http://www.cselt.it/mpeg/

• “Emerging Wireless Multimedia Services and Technologies”,

JohnWileySons, Aug 2005

• “Multimedia Content and the Semantic Web Standards Methods and

Tools”, John Wiley Sons, Jun 2005

• “Introduction To Digital Audio Signal Processing”, Davide Rocchesso,

NỘI DUNG

TỔNG QUAN

– Truyền hình, môi trường truyền thông của thế kỷ 20, truyền hình ảnh và âm thanh đến mọi nơi.

– Các hệ thống máy tính tích hợp nhiều dạng môi trường

số khác nhau, khả năng biểu diễn, tương tác với các dạng thông tin, tiềm năng lớn phục vụ nhu cầu trao đổi thông tin chất lượng cao.

– Các hệ thống đa môi trường trở nên phong phú, kết hợp các công nghệ khác nhau với khả năng di động,

TỔNG QUAN VỀ MULTIMEDIA

Văn bản thường

(tuyến tính)

Siêu văn bản

Âm thanh

TỔNG QUAN VỀ MULTIMEDIA

• Siêu môi trường và đa môi trường (hypermedia – multimedia)

– Hypertext: Văn bản chứa các liên kết đến các văn bản khác

– “Siêu văn bản là một tài liệu không tuyến tính, bằng cách

kích vào một điểm nóng nào đó trên văn bản, nó có thể chuyển đến một tài liệu hay một văn bản khác, rồi có thể quay về, thuận tiện cho người đọc trong việc duyệt văn bản hoặc muốn tổng quan một văn bản từ phần mục lục” (Ted

Nelson ,1965)

– Hypermedia: Bao gồm nhiều môi trường truyền thông khác nhau như đồ thị, hình ảnh, đặc biệt là âm thanh, hoạt hình

và ảnh động (Ted Nelson)

TỔNG QUAN VỀ MULTIMEDIA

• Multimedia: thông tin máy tính có thể được mô tả bằng audio,

video hay hoạt hình ngoài những môi trường truyền thống (text, graphic, images…).

– Thương mại điện tử.

– Truyền hình tương tác iTV, truyền hình theo yêu cầu.

– Truyền hình hội nghị.

– Thực tế ảo.

TỔNG QUAN VỀ MULTIMEDIA

• Các đặc trưng của hệ thống multimedia:

– Hệ thống multimedia phải được điều khiển bởi máy tính.– Hệ thống multimedia phải được tích hợp

– Thông tin được xử lý được biểu diễn ở dạng số

– Giao diện trình diễn cuối cùng của môi trường thường có tính tương tác

TỔNG QUAN VỀ MULTIMEDIA

TỔNG QUAN VỀ MULTIMEDIA

• Các dạng môi trường và tín hiệu:

audio video animation

graphictext

images

dạng môi trường

gốc tín hiệutổng hợp

thu nhậnrời rạc

liên tục

TỔNG QUAN VỀ MULTIMEDIA

• Âm thanh (audio)

• Âm thanh: Là dao động sóng âm gây ra áp lực làm dịch chuyển các hạt vật chất trong môi trường đàn hồi làm tai người cảm nhận được các dao động này Tai người có thể nghe được trong khoảng tần số từ 20Hz đến 20kHz

• Âm thanh tự nhiên: Là sự kết hợp phức giữa các sóng âm có tần số và dạng sóng khác nhau

• Dải động của tai: Giới hạn bởi ngường nghe thấy (0dB) đến ngưỡng đau (120dB) của người

• Ngưỡng nghe tối thiểu: Mức thấp nhất của biên độ mà tai người có thể cảm nhận được âm thanh tuỳ thuộc vào từng người, mức áp lực và tần số của âm thanh

TỔNG QUAN VỀ MULTIMEDIA

• Hiệu ứng che khuất âm thanh: Hiện tượng âm thanh mà tại

đó ngưỡng nghe của một âm tăng lên trong khi có mặt của một

âm khác (khó nghe hơn) Được sử dụng trong kỹ thuật nén

• Hướng âm thanh: Tai và não có thể giúp ta xác định hướng

âm thanh, điều này có thể ứng dụng để tạo các hiệu ứng âm thanh như stereo, surround

• Vang và trễ: Vang là hiện tượng kép dài âm thanh sau khi nguồn âm đã tắt Trễ là thời gian  âm thanh phản xạ đến đích

so với âm thanh trực tiếp Nếu >50ms thì trễ đó gọi là tiếng vọng Biên độ của âm thanh cứ sau 1 lần phản xạ thì bị suy giảm

• Âm nhạc: Là âm thanh có chu kỳ ở những tần số mà tai người cảm nhận một cách dễ chịu, êm ái, được kết hợp một cách phù hợp Âm nhạc gồm cao độ, âm sắc và nhịp điệu

TỔNG QUAN VỀ MULTIMEDIA

• Video

• Tín hiệu video: Là sự tái tạo ảnh tự nhiên với những khoảng cách về không gian, thời gian hoặc cả hai

• Ảnh tự nhiên: được tạo nên từ các nguồn sáng mặt trời

hay ánh sáng nhân tạo phản xạ lên các vật thể mà ta có thể nhìn thấy được

• Ảnh: Là một ma trận các điểm ảnh mang thông tin về độ chói và màu sắc

• Sự lưu ảnh: Khả năng lưu hình của mắt trong một giây

Mắt có thể lưu được 24 hình trong một giây Chọn số hình trong một giây của ảnh động phù hợp

• EY=0,299ER+0,587EG+0,114EB (1-2)

• Thông tin màu được xác định:

• EB-EY=0,587EG+0,889EB+0,229ER

• ER-EY=0,587EG+0,114EB+0,701ER (1-3)

• Độ tương phản: Tỷ số của độ chói thành phần sáng nhất so với độ chói của thành phần tối nhất

Tạo xung đồng bộ

Chuyển đổi tín hiệu - ảnh Xử lý tín hiệu

Tách xung

Lưu trữ hoặc truyền dẫn

Xử lý, Lưu trữ, Truyền dẫn

(Digital)

Chuyển đổi Digital - Analog

Xuất âm, hiển thị (Analog)

HỆ THỐNG AUDIO-VIDEO

• Các thành phần của hệ thống:

– Bộ phận thu: Micro và Camera thu và chuyển tín hiệu (âm thanh hoặc ảnh) sang tín hiệu điện tương tự Đối với các hệ thống số phải thực hiện việc chuyển đổi tương tự sang số.

– Lưu trữ: Thiết bị lưu trữ là băng từ hoặc đĩa từ Có thể là các thiết bị riêng biệt sử dụng với muc đích thuận tiện và yêu cầu một chất lượng nào đó.

– Xử lý tín hiệu: Điều chỉnh đặc tuyến tần số, màu sắc, tạo hiệu ứng

– Truyền dẫn: Truyền tín hiệu từ vị trí này sang vị trí khác với một khoảng cách không gian nào đó qua một môi trường truyền dẫn nào đó.

HỆ THỐNG AUDIO-VIDEO

• Phân loại các hệ thống Audio-Video:

Lớp hệ thống Giá Chất

lượng Dễ sử dụng hoạt Linh Khả năng mở rộng Yếu tố quan trọng nhất

Bán chuyên

trữ

họat Sản xuất chương

họat

HỆ THỐNG AUDIO-VIDEO

• Hệ thống Audio – Video dân dụng:

– Xây dựng hoặc tạo lại một số chương trình nhất định

– Ghi, lưu trữ những sự kiện cá nhân

– Hầu hết các chương trình được thu và tạo ra tại chỗ

– Hệ thống đáp ứng nhu cầu giá thành thấp, dễ sử dụng để phổ biến rộng rãi

– Sử dụng phương pháp sản xuất hậu kỳ với chất lượng giới hạn nhất định

– Đa hệ và tương thích với mọi tiêu chuẩn

– Mối quan tâm của các nhà sản xuất

HỆ THỐNG AUDIO-VIDEO

• Hệ thống Audio-Video dân dụng

Interface card Camera

VCR, VCD, DVD

PAL, NTSC

HỆ THỐNG AUDIO-VIDEO

• Hệ thống Audio – Video bán chuyên dụng

Interface card Camera

VCR, VCD, DVD

PAL, NTSC

VCR, VCD, DVD Băng, đĩa

Băng, đĩa Tới khách hàng

HỆ THỐNG AUDIO-VIDEO

• Hệ thống phân phối:

– Tập hợp chương trình thành một dòng dữ liệu để phát quảng bá, truyền hình cáp hay vệ tinh

– Khả năng chuyển tải đến người xem thông qua máy phát, mạng hay một phương thức nào đó

– Máy chủ phải đáp ứng khả năng lưu trữ đối với tín hiệu nhằm tạo đường truyền thông suốt giữa các chương trình.– Yêu cầu tự động cao, giảm chi phí nhân công

– Truyền hình tương tác yêu cầu khả năng xử lý và chất lượng đường truyền khá cao, đồng thời hệ thống phải có khả năng phát các chương trình khác nhau trong cùng thời điểm

HỆ THỐNG AUDIO-VIDEO

• Hệ thống Audio – Video studio sản xuất chương

Camera2 Camera3 Camera4

Bộ tạo

kỹ xảo

Đầu ra video

Cam1 Cam2 Cam3 Cam4 VCR1 VCR2 VCR3 EFF LINE VCR1

HỆ THỐNG AUDIO-VIDEO

• Hệ thống sản xuất chương trình ngoài trời:

– Được sử dụng để thu các bản tin hay một chương trình nào

đó mà không cần nhiều người thực hiện, thường sử dụng các thiết bị cầm tay

– Các chương trình truyền trực tiếp thì hệ thống có thể là các

hệ thống cố định nhưng với quy mô nhỏ và chất lượng thấp hơn

– Yêu cầu tính cơ động cao

– Camera được nối với máy ghi riêng mà khôg sử dụng ma trận chuyển mạch

– Máy ghi âm đa đường được sử dụng để thuận tiện trong hậu kỳ âm thanh nhưng phải yêu cầu đồng bộ với hình

HỆ THỐNG AUDIO-VIDEO

• Hệ thống sản xuất hậu kỳ

Bộ tạo tiêu đề Camera copy

Kỹ xảo A

TITL1 GRPH1 Cam1 VCR1 VCR2 VCR3

EFFA EFFB

HỆ THỐNG AUDIO-VIDEO

• Hệ thống cầu hội thảo

Monitor Camera Micro Audio

Máy chiếu

Bộ xử lý và điều khiển số

Monitor Camera

Micro Audio

Bộ xử lý và điều khiển số

Vị trí A

Vị trí B

HỆ THỐNG AUDIO-VIDEO

– PC dùng để trình diễn, lưu trữ, xử lý âm thanh, hình ảnh.– Điều khiển bằng phần mềm chuyên dụng kết hợp với các card đồ họa, xử lý kỷ xảo

– Đa dạng về tiêu chuẩn dẫn đến khó tương thích

– Có thể yêu cầu nhiều dạng card thích ứng khác nhau và có thể sử dụng hơn một màn hình để hiển thị

– Dữ liệu có thể yêu cầu nén và giải nén vì phạm vi ứng dụng khả rộng

MỘT SỐ VẤN ĐỀ VỀ TÍN HIỆU

• Tín hiệu và hàm

– Tín hiệu tương tự là hàm theo thời gian

– Biên độ âm thanh được biểu diễn bằng mức độ âm thanh tại thời điểm đã cho

– Tín hiệu được biểu diễn bằng hàm f(t).

MỘT SỐ VẤN ĐỀ VỀ TÍN HIỆU

• Phân tích Fourier

– Trong thực tế, rất ít khi ta có được một tín hiệu đơn tần, mà thông thường là các tín hiệu phức tạp, kết hợp bởi nhiều tần số và các hài của nó

– Việc phân tích Fourier cho kết quả là tổng của các hàm sin và cosin của các tần số khác nhau.

• Phân tích Fourier một chiều:

)

( arctan(

)

(

u F

u

F u

R

I





MỘT SỐ VẤN ĐỀ VỀ TÍN HIỆU

• Tín hiệu Audio và Video

– Tín hiệu âm thanh thường là tín hiệu một chiều

– Tín hiệu ảnh là tín hiệu hai chiều

– Tín hiệu Video là tín hiệu 3 chiều

– Với các chiều khác nhau, ta sẽ có số biến khác nhau tương ứng

• Chuyển đổi Fourier 2 chiều

F( , ) ( , ) j2  (ux vy)

vy j ux

j vy

ux



hue: màu nào.

saturation: sự tinh khiết

– Sự cảm quan này đối với

mỗi người là mỗi khác biệt,

do đó, không thể so được

giữa người này với người kia

NÉN DỮ LIỆU

• Đại lượng đo thông tin

– Lượng thông tin trong tín hiệu có thể không bằng lượng dữ liệu của nó mà quan

hệ mật thiết với xác suất xuất hiện của nó.

• Tự-thông tin (lượng tin)

– Thông tin được mang bởi một biến cố A có xác suất xuất hiện P[A] là:

– Thông tin không (lượng tin =0):

NÉN DỮ LIỆU

• Entropy

– Lượng tin trung bình của nguồn tin, một cách gần đúng, là số bit trung bình của

thông tin yêu cầu để biểu diễn các ký hiệu của nguồn tin.

– Với nguồn N ký hiệu X i thì entropy được định nghĩa như sau:

• H(S)0; đối với mã hoá nhị phân, H(S) thể hiện mã hoá với số bít/ký hiệu tối thiểu

NÉN DỮ LIỆU

• Mã hoá độ dài cố định FLC (Fixed-Length Code)

– Đặc điểm:

• Sử dụng số bit cố định để biểu diễn mọi ký hiệu của nguồn.

• Đơn giản trong quá trình mã hoá/giải mã.

– Ví dụ

• Mã ASCII (American Standard Code for Information Interchange)

sử dụng 8 bits để mã hoá các ký tự.

– Truyền chuỗi: DTVT: 68 84 86 84: 01101000 10000100 10000110 10000100

– Nhược điểm:

• Không hiệu quả

NÉN DỮ LIỆU

• Mã hoá độ dài thay đổi VLC (Variable-Length Code)

– Đặc điểm

• Sử dụng số bit khác nhau để biểu diễn các ký tự khác nhau.

• Các ký tự có xác suất xuất hiện cao được phân bố bởi từ mã ngắn

NÉN DỮ LIỆU

• Thuật toán Shannon-Fano

• Ví dụ mô tả thuật toán:

• Mã hoá theo thuật toán Shannon-Fano:

- Sắp xếp các ký tự theo thứ tự giảm dần của tần suất xuất hiện.

1

1 0

- Lặp lại cho đến hết.

NÉN DỮ LIỆU

– Xét ví dụ trên

– Số bít trung bình: 87/39=2.23 /SYMBOL(<2.28)

– Hiệu quả hơn Shannon – Fano.

0

1 11/39

1

24/39

NÉN DỮ LIỆU

• Mã hoá Lempel-Zip-Welch:

– Nén từ điển được Jacob Lampel và

Abraham Ziv đề xuất năm 1977, phát

triển thành họ LZ, LZ77, LZ78.

– Năm 1984, Terry Welch cải tiến thành

LZW.

– Nguyên tắc: Dựa vào việc xây dựng một

từ điển lưu các chuỗi ký tự có tần suất

cao và thay thế bằng một từ mã mới

– LZW tổ chức từ điển tốt hơn nên nâng

- còn không thì thêm wk vào

trong từ điển, mã hoá ngõ ra cho

NÉN DỮ LIỆU

• Lưu đồ

Start w=nil count=0 k=str[count]

Y

N

Y

N

NÉN DỮ LIỆU

các bước như sau:

1 Lấy pixel ở góc trên, bên trái làm giá trị gốc cho block (pixel A).

2 Tính 3 chuyển đổi khác nhau là sự khác biệt giữa các pixel tương

ứng và pixel A (B-A, C-A, D-A).

3 Lưu giá trị gốc và 3 chuyển đổi của các pixel.

NÉN DỮ LIỆU

• Giảm dư thừa dữ liệu bởi phép chuyển đổi

– Độ dư thừa được chuyển đổi thành giá trị Xi

– Nén dữ liệu nhờ sử dụng ít bit để biểu diễn sự khác biệt

(lượng tử)

• Ví dụ: Nếu mã hóa đều sử dụng 8 bit để mã hóa cho pixel, ta cần tổng cộng 8x4=32 bits để mã hóa cho 4 pixel.

• Đối với mã hóa chuyển đổi, pixel gốc vẫn dùng 8 bit Các giá trị chuyển đổi còn lại sử dụng 4 bit để

mã hóa Như vậy, tổng bit dùng là 20bits, số bit

mã hóa cho 1 pixel trung bình là 5 bít.

NÉN DỮ LIỆU

• Nhược điểm:

• Quá đơn giản.

• Cần tổ chức các block lớn (tiêu biểu là 8x8pixel).

• Khi mã hóa với sai biệt lớn sẽ là lý do mất mát

thông tin.

• Ví dụ, đối với các sai biệt, sử dụng 4 bit để mã hóa, nhưng giá trị sai biệt lớn hơn 16 sẽ gây mất mát

thông tin.

NÉN DỮ LIỆU

• Mã chuyển đổi sai biệt

– Sai biệt được sử dụng trong 1 số thuật tóan nén

• Nén JPEG.

• Nén phần tĩnh trong video MPEG.

• Mã hóa tiếng nói.

• Hiệu quả trong các đáp ứng liên tục.

• Kém đối với các tín hiệu có đặc tính biến đổi nhanh.

NÉN DỮ LIỆU

• Mã hóa sai biệt:

– Mã hóa sai biệt giữa giá trị thực của mẫu và giá trị dự đóan.– Còn gọi là mã hóa sai biệt dự đoán hay mã hóa dự đóan

– Ví dụ: DPCM, DM và ADPCM

– Thích hợp với các dữ liệu liên tiếp không khác nhau nhiều lắm như Video

– Không thích hợp đối với các tín hiệu thay đổi liên tục.

• Điều chế xung mã sai biệt thích nghi ADPCM

(Adaptive PCM):

– Dữ liệu thực được trừ cho 1 hàm của những giá trị thực

trước đó Ví dụ: giá trị trung bình của những giá trị trước đó

– Đặc trưng lấy mẫu tốt hơn