Page 5• Các dạng của tín hiệu Video màu –Tín hiu video thành phn: • Các tín hiệu video thành phần ñược xử lý riêng lẻ.. –Tín hiu video tng hp: Là tín hiệu video mà trong ñó thông tin ñộ
Trang 1MULTIMEDIA
Lecturer: Nguyen Duy Nhat Vien
July, 2006.
Page 2
TÀI LIỆU THAM KHẢO
• CMPT 365 Course Contents, Spring 2000, Website:
http://www.cs.sfu.ca/CourseCentral/365/li/index.html
• “Principles of Digital Audio”, Ken C.Pohmanm Fourth Edition McGraw-Hill.
• “Digital Video processing”, A Murat Tekalp, University of Rochester, Prentice Hall PTR.
• “Multimedia processing”, Andrew Calway, COMS72200.
• “Fundamentals of Digital Image Processing”., Anil.K.Jan, Prentice Hall, 1996.
• MPEG Home Page, http://www.cselt.it/mpeg/
• “Emerging Wireless Multimedia Services and Technologies”, JohnWileySons, Aug 2005
• “Multimedia Content and the Semantic Web Standards Methods and Tools”, John Wiley Sons, Jun 2005
• “Introduction To Digital Audio Signal Processing”, Davide Rocchesso,
2003
Trang 2Page 3
NỘI DUNG
4
VIDEO ENGINEERING
Trang 3Page 5
• Các dạng của tín hiệu Video màu
–Tín hiu video thành phn:
• Các tín hiệu video thành phần ñược xử lý riêng lẻ
- Tập các thành phần RGB: Là các tín hiệu cơ bản video màu ñược camera cung cấp Ba tín hiệu màu có cùng ñộ rộng băng tần
- Tập các thành phần Y, R-Y, B-Y: Là tổ hợp của các giá trị màu cơ cản Thông thường tín hiệu Y có băng tần rộng hơn hai tín hiệu R-Y và B-Y
Tái tạo hình ảnh tốt nhất nhưng yêu cầu băng thông và ñồng bộ tốt cho các thành phần
–Tín hiu video tng hp:
Là tín hiệu video mà trong ñó thông tin ñộ chói (luminance), màu (chrominance) và ñồng bộ (synchronization) ñược phối hợp với nhau (theo tần số, thời gian và biên ñộ) ñể tạo ra một tín hiệu duy nhất
Phổ năng lượng tập trung vào hài của tần số tín hiệu quét dòng
Cho phép quét cách dòng ñể nhận ñược cảm nhận tốt hơn
Yêu cầu băng thông nhỏ, không ñồng bộ nhưng xử lý khó khăn
Page 6
• Video tương tự
• Thông tin về cảnh vật truyền ñi mang các tính chất về ñộ choi, màu sắc và sự thay ñổi theo thời gian
• Một tín hiệu video bao gồm các ảnh theo trình tự thời gian, mỗi ảnh bao gồm ñiểm ảnh Các ñiểm ảnh mang thông tin về ñộ chói và màu sắc của vật thể, cảnh quan
– K thut quét
Hình 3-1 Quét liên tục và quét cách dòng
Quét liên tục: Tần số quét
lớn
Quét cách dòng: Giảm
ñược tần số quét dòng
nhưng vẫn ñảm bảo ñược
cảm nhận liên tục, không
bị trôi, nhấp nháy
Trang 4Page 7
• ðặc ñiểm của video tương tự
• Tín hiệu ñơn cực, mức 1 chiều (DC=0V) biểu diễn mức ñen và 0.7V biểu diễn mức trắng –25mV biểu thị mức xoá.
Hình 3-2 Tín hiệu video tương tự ñiều chế âm
Page 8
• Các tiêu chuẩn video màu
– NTSC Video:
525 dòng trên một khung, 30 khung hình trong một giây
Quét cách dòng Chia làm hai trường (mỗi trường 262.5 dòng)
Có 20 dòng dự trữ cho thông tin ñiều khiển tại thời ñiểm bắt ñầu mỗi trường Phù hợp vì ñộ phân giải của Laser Disk và S-VHS là 420 và TV thông thường có ñộ phân giải khoảng 320 dòng
Hình 3-3 Tín hiệu video với thông tin ñiều khiển
Trang 5Page 9
Biểu diễn màu:
NTSC sử dụng kiểu màu YIQ.
Thành phần tổng hợp =Y+Icos(fsct)+Qsin(fsct).
Trong ñó, fsclà tần số của sóng mang phụ của màu.
– PAL Video:
625 dòng trên một khung, 25 khung hình trong một giây.
Quét cách dòng
Khung gồm hai trường chẵn lẻ, mỗi trường 312.5 dòng.
Sử dụng kiểu màu YUV.
Dải tần tín hiệu chói Y rộng 5MHz Tín hiệu U và V ñược xác ñịnh theo công thức:
V=0.877(R-Y)=0.615R-0.515G-0.100B U=0.493(B-Y)=-0.147R-0.293G+0.473B
Page 10
• Video số
– Thuận lợi:
• Truy cập ngẫu nhiên trực tiếp thuận tiện,
• Việc tạo, lưu trữ và ghi ñọc nhiều lần không ảnh hưởng ñến chất lượng ảnh
• Không cần xung xoá và xung ñồng bộ
• Xử lý thuận tiện, không gặp trở ngại về giới hạn tần số, băng thông
– Khó khăn
• Tuy nhiên, tín hiệu số gặp một số trở ngại xoay quanh vấn ñề về tính hiệu quả, chẳng hạn bộ lọc số có giá thành tương ñối cao
– Tiêu chuẩn lấy mẫu màu:
• Thuận lợi trong việc xử lý ñối với tín hiệu video thành phần, nhưng băng thông yêu cầu lớn
• ðiểm khác nhau chủ yếu của các tiêu chuẩn lấy mẫu là ở tỷ lệ giữa tần số lấy mẫu
và phương pháp lấy mẫu tín hiệu chói và các tín hiệu màu Tần số chuẩn là 3,375MHz Mẫu tín hiệu ñược lấy chỉ ñối với phần tử tích cực của tín hiệu video Cấu trúc lấy mẫu là trực giao
Trang 6Page 11
Lấy mẫu Y, CR, CB Lấy mẫu Y
Hình 3-4 Các tiêu chuẩn lấy mẫu màu
4:4:4:
Tần số lấy mẫu màu cho các thành phần Y, CR, CBlà 13.5MHz.
4:2:2:
Y: 13.5MHz, CR, CBlà 6.75MHz.
Khi giải mã, màu ñiểm ảnh sau ñược suy từ ñiểm ảnh trước.
4:1:1:
Y:13.5MHz,CR, CBlà 3.375MHz.
4:2:0:
Y:13.5MHz,CR, CBlà 3.375MHz Lấy mẫu màu xen kẻ.
Page 12
• Tín hiệu video số
t Ảnh
ðiểm ảnh Mang thông tin về
ñộ chói, màu sắc
Hình 3-5 Video số
Trang 7Page 13
• Các tiêu chuẩn video số của CCIR (Consultative Committee for International Radio)
Liên tục Liên tục
Cách dòng Cách dòng
Cách quét
30,15,10,7.5 30,15,10,7.5
50 60
Số trường /s
4:2:0 4:2:0
4:2:2 4:2:2
Lấy mẫu màu
88x72 176x144
360x576 360x480
ðộ phân giải sắc
176x144 352x288
720x576 720x480
ðộ phân giải chói
QCIF CIF
CCIR 601625/50 PAL/SECAM
CCIR 601525/60 NTSC
Page 14
JPEG
• Khái niệm
• Chuẩn JPEG mô tả một họ kỹ thuật nén ảnh cho tone liên tục (mức xám hay màu) của ảnh JPEG khai thác ñộ dư thừa sinh lý thị giác trong ảnh JPEG ñược tiến hành vào tháng 3 năm
1986, ñến tháng 1 năm 1988 thì JPEG ñược nhất trí với giải pháp DCT thích nghi ñể cải thiện
và tăng cường ảnh
• DCT liên tục: Ảnh ñược mã hoá từ trái sang phải, từ trên xuống dưới dựa vào DCT
• DCT luỹ tiến: Ảnh mã hoá quét phức hợp theo chế ñộ phân giải không gian cho các ứng dụng băng hẹp
• Không tổn hao: Khôi phục chính xác, tỷ
lệ nén thấp, chỉ loại bỏ thông tin không
cảm nhận ñược
• Thứ bậc (phân cấp): Mã hoá quét phức
hợp phân giải không gian, hiệu quả với
những ảnh có ñộ phân giải cao
Tài liệu này chỉ xét DCT liên tục
Thứ bậc
DCT liên tục
DCT luỹ tiến
Không tổn hao Baseline
Hình 3-6 Các kiểu hoạt ñộng của JPEG
Trang 8Page 15
JPEG
• Mã hoá JPEG
Hình 3-7 Mã hoá JPEG
Page 16
JPEG
• Chuyển ñổi Cosin rời rạc DCT (Discrete Cosine Transform)
• DCT thuận:
• DCT ngược:
Hình 3-8 DCT
Trang 9Page 17
JPEG
• Thành phần DC:
• Các giá trị còn lại là thành phần AC
DCT làm giảm ñộ tương quan không gian của thông tin trong khối, biểu diễn DCT
có ñộ dư thừa thông tin ít hơn, ñồng thời, DCT chứa thông tin về nội dung tần số không gian của thông tin trong khối, dựa vào ñặc tính sinh lý thị giác, ta chỉ mã hoá những hệ số DCT quan trọng, nén
7 7
0 0
1 (0, 0) ( , ) 591
8i j
= =
DC
Page 18
JPEG
• Lượng tử hoá
• Lượng tử các hệ số F(u,v) ñể giảm số bits
• Các hệ số tương ứng với các tín hiệu tần số thấp là các giá trị lớn nên phải ñược lượng tử chính xác
• Các hệ số tương ứng với các tín hiệu tần số cao (AC) có giá trị bé nên cho phép sai
số, ta có thể chia với một số lớn hơn
• Lượng tử hoá thay ñổi theo khoảng cách ñể ñạt ñược hiệu quả nén cao
• Trong ñó, q(u,v) là giá trị trong bảng lượng tử hoá 8x8, tuỳ thuộc vào kênh chói hay kênh sắc
• Mắt người ít cảm nhận ñược các nội dung ở tần số cao và càng kém ñối với các nội dung tần số cao của kênh sắc
( , ) ( , )
( , )
q
q u v
F u v
F u v
Trang 10Page 19
JPEG
• Ma trận lượng tử kênh chói và kênh sắc:
• Nhận xét:
Hệ số lượng tử q(u,v) càng xa thì có giá trị càng lớn, kết quả của các thành phần ñược lượng tử có tần số càng cao càng tiến về 0
ðây là quá trình tổn hao thông tin duy nhất trong nén ảnh không tổn hao
Ma trận lượng tử kênh chói Ma trận lượng tử kênh sắc
tăng
Page 20
JPEG
• Quét zigzag
• Ánh xạ ma trận 8x8 thành vector 1x64, ñáy của vector là giá trị EOB (End of Block)
• Mục ñích: Nhóm các thành phần tần số thấp vào ñỉnh của vector
• Ví dụ: Xét ví dụ trên, với các thành phần ñã ñược lượng tử hoá
0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 3
0 0 0 1 2 -2 10 40
EOB -1 0 2 -2 0 0 3 10 40
Quét zigzag
7
0
DC AC(0,7)
AC(7,0) AC(7,7)
64 Hình 3-9 Quét zigzag
Trang 11Page 21
JPEG
• ðiều chế xung mã sai biệt trên các thành
phần DC
• Thành phần DC là thành phần ñầu sau quét zigzag
• Giá trị của thành phần DC là lớn, thay ñổi nhưng
gần với giá trị của block trước ñó
• ðiều chế DPCM cho thành phần DC
• Mã hoá loạt dài cho thành phần AC
• Trừ thành phần DC, các thành phần còn lại là AC
gồm nhiều giá trị 0 liên tiếp
• Mã hoá loạt daì giá trị 0 sẽ mang lại hiệu quả rất
cao
• Ví dụ: Giả sử block trước có giá trị của thành phần
7,-1 0,2 2,-2 0,3 0,10
15 DPCM cho tp DC
Không có bước chạy 0 trước giá trị 10
Có 2 bước chạy 0 trước giá trị -2
Kết thúc khối
Hình 3-10 Mã hoá các thành phần DC và AC
Page 22
JPEG
• Mã hoá Entropy
• Mã hoá Entropy sử dụng kỹ thuật mã hoá Huffman với các bảng mã hoá gồm bảng phân loại và bảng Huffman dựa vào ñặc tính thống kê của tín hiệu
• Mã hoá Entropy cho thành phần DC:
100 0
0
00 1
-1;1
01 2
-3;-2; 2;3
101 3
-7…-4; 4…7
110 4
-15…-8; 8…15
1110 5
-31…-16; 16…31
1111 0 6
-63…-32; 32…63
1111 10 7
-127…-64; 64…127
1111 110 8
-255…-128; 128…255
Từ mã (chói) Phân loại
Các hệ số DC sai lệch
Hình 3-11 Bảng phân loại và bảng Huffman cho thành phần DC chói
Trang 12Page 23
JPEG
• Sơ ñồ mã hoá
•
• Mã hoá các thành phần AC
• Các từ mã với ñộ dài thay ñổi có tần suất xuất hiện cao ñược mã hoá ngắn và ngược lại Quá trình mã hoá như vậy gọi là mã hoá ñộ dài từ mã thay ñổi VLC
• Bảng phân loại giống như bảng phân loại của thành phần DC nhưng khác bảng Huffman
Mã hoá DPCM Bảng phân loại Bảng Huffman
110 1111
Mã hoá nhị phân
40
Hệ số DC
sau quét
zigzag
∆=40-25=15
DC trước =25
15
15 ~ loại 4 loại 4 có mã 110
15 mã nhị phân là 1111 Hình 3-12 Mã hoá entropy thành phần DC
Page 24
JPEG
1010 4
EOB
1111 011 7
1 6
1111 010 7
1 5
111 011 6
1 4
111 010 6
1 3
11111 000 8
2 2
11011 5
1 2
111001 6
2 1
1100 4
1 1
1011 4
4 0
100 3
3 0
01 2
2 0
00 2
1 0
Từ mã
ðộ dài mã Phân loại
Bước chạy
Hình 3-13 Bảng Huffman các hệ số AC
Trang 13Page 25
JPEG
• Ví dụ trên:
Mã hoá RLC Bảng phân loại Bảng Huffman AC
1011 1010
Mã hoá nhị phân
0,10
2,-2
Hệ số AC
sau quét
zigzag
Bước chạy 0,2 Mức 10,-2
10,2
10 ~ loại 4
2 ~ loại 2
bước chạy 0, loại 4 có mã 1011 bước chạy 2, loại 2 có mã 11111000
10 mã nhị phân là 1010
2 ~’10’; -2~ ’01’
Hình 3-14 Mã hoá entropy thành phần AC
11111 000| 01
EOB 7,-1 0,2 2,-2 0,3 0,10
1010
11111 001 0
01 10
11111 000 01
01 11
1011 1010
Bước chạy loại
VLC
Page 26
CÁC CHUẨN NÉN VIDEO
• MPEG-7
