là cấu trúc của b mã hoá và giải mã Video MPEG - 4, các thiết bị mã hoá và giải mã video ều áp dụng sơ ồ mã hoá nh nhau cho mỗi ối t ợng video video-object ri ng bi t.Ví dụ khi ta mã hoá
Trang 11 Kĩ thuật mã hóa Video của chuẩn MPEG4
Sự tổ hợp khung hình trong MPEG 4
Tr n hình th hi n m t tr ng hợp i n hình của tổ hợp khu n hình MPEG-4, cho thấy nhiều ối t ợng (bàn, quả cầu, bảng en, ng i h ớng dẫn và audio) ợc ặt vào m t h thống toạ kh ng gian 3 chiều (3-D) ối với vị trí ng i xem giả ịnh Các thiết bị mã hoá và giải mã video ều áp dụng sơ ồ mã hoá nh nhau cho mỗi ối t ợng video VO (Video Object) ri ng bi t (hình 2), nh vậy ng i sử dụng có th thực hi n các hoạt ng
t ơng tác ri ng với từng ối t ợng (thay ổi tỷ l , di chuy n, kết nối, loại bỏ, bổ xung các
ối t ợng…) ngay tại vị trí giải mã hay mã hoá
Hình 1 Sự tổ hợp khung hình trong MPEG-4
Trang 2Các b phận chức năng chính trong các thiết bị MPEG-4 bao gồm:
B mã hoá hình dạng ngoài Shape Coder dùng nén oạn th ng tin, giúp xác ịnh khu vực và ng viền bao quanh ối t ợng trong khung hình scene;
B dự oán và tổng hợp ng giảm th ng tin d thừa theo th i gian
B mã kết cấu mặt ngoài Texture coder dùng xử lý dữ li u b n trong và các dữ
li u còn lại sau khi ã bù chuy n ng
Đ có th thực hi n vi c tổ hợp khung hình, MPEG-4 sử dụng m t ng n ngữ m tả khung hình ri ng, ợc gọi là Định dạng nhị phân cho các khung hình BiFS (Binary Format for Scenes) BiFS kh ng chỉ m tả ở âu và khi nào các ối t ợng xuất hi n trong khung hình, nó cũng m tả cách thức hoạt ng của ối t ợng (làm cho m t ối t ợng xoay tròn hay chồng m hai ối t ợng l n nhau) và cả iều ki n hoạt ng ối t ợng và tạo cho MPEG-4 có khả năng t ơng tác Trong MPEG-4, tất cả các ối t ợng có th ợc mã hoá với sơ ồ mã hoá tối u ri ng của nó – video ợc mã hoá theo ki u video, text ợc mã hoá theo ki u text, các ồ hoạ ợc mã hoá theo ki u ồ hoạ - thay vì vi c xử lý tất cả các phần tử ảnh pixels nh là mã hoá video ảnh ng Do các quá trình mã hoá ã ợc tối u hoá cho từng loại dữ li u thích hợp, n n chuẩn MPEG-4 s cho phép mã hoá với
hi u quả cao tín hi u ảnh video, audio và cả các n i dung tổng hợp nh các b mặt và cơ
th hoạt hình
Cấu trúc b mã hóa và giải mã của MPEG 4
Hình 2 Cấu trúc của b mã hoá và giải mã video MPEG-4
Trang 3là cấu trúc của b mã hoá và giải mã Video MPEG - 4, các thiết bị
mã hoá và giải mã video ều áp dụng sơ ồ mã hoá nh nhau cho mỗi ối t ợng video (video-object) ri ng bi t.Ví dụ khi ta mã hoá và tổng hợp m t khung hình, nhiều ối
t ợng ầu vào nh : t , nhà, ng i… ợc tách ra khỏi video ầu vào Mỗi ối t ợng video sau ó ợc mã hoá ri ng r bởi b mã hoá ối t ợng video VO (video object)
và ợc truyền i tr n mạng Tại vị trí thu, những ối t ợng này ợc giải mã ri ng r
nh b giải mã VO decoder và gửi ến b tổng hợp Compositor Vì vậy ng i sử dụng
có th thực hi n các hoạt ng t ơng tác ri ng với từng ối t ợng (thay ổi tỷ l , di chuy n, kết nối, loại bỏ, bổ xung các ối t ợng…) ngay tại vị trí giải mã hay mã hoá Ngoài ra, ng i dùng có th download các ối t ợng khác từ th vi n cơ sở dữ li u (có sẵn tr n thiết bị hay từ xa th ng qua mạng LAN, WAN hay Internet) chèn th m vào hay thay thế các ối t ợng có trong khu n hình gốc
Các b phận chức năng chính trong các thiết bị MPEG -4 bao gồm:
B mã hoá hình dạng ngoài Shape coder dùng nén oạn th ng tin, giúp
xác ịnh khu vực và ng viền bao quanh ối t ợng trong khung hình scene
B dự oán và tổng hợp ng giảm th ng tin d thừa theo th i gian
B kết cấu mặt ngoài Texture coder dùng xử lý dữ li u b n trong và các
dữ li u còn lại sau khi ã bù chuy n ng
Trong MPEG -4, tất cả các ối t ợng có th có th ợc mã hoá với sơ ồ mã hoá
tối u ri ng của nó: video ợc mã hoá theo ki u video, text ợc mã hoá theo ki u
text, các ồ hoạ ợc mã hoá theo ki u ồ hoạ… thay vì vi c xử lý tất cả các phần tử ảnh pixels nh là mã hoá ảnh ng Do các quá trình mã hoá ã ợc tối u hoá cho từng loại dữ li u thích hợp, n n chuẩn MPEG -4 s cho phép mã hoá với hi u quả cao tín hi u ảnh video, audio và cả các n i dung tổng hợp nh các b mặt và cơ th hoạt hình
Trang 4Hình 3 Sơ ồ cấu trúc giải mã video MPEG-4 Nhiều ối t ợng nh ng i, bản ồ, bản tin, ợc tách ra khỏi video ầu vào Mỗi ối
t ợng video sau ó ợc mã hóa bởi b mã hoá ối t ợng video VO (Video Object) và sau ó ợc truyền i tr n mạng Tại vị trí thu, những ối t ợng này ợc giải mã ri ng
r nh b giải mã ri ng VO và gửi tới b compositor Ng i sử dụng có th t ơng tác với thiết bị cấu trúc lại khung hình gốc, hay xử lý các ối t ợng tạo ra m t khung hình khác Ngoài ra, ng i sử dụng có th download các ối t ợng khác từ các th vi n cơ sở
dữ li u (có sẵn tr n thiết bị hay từ xa th ng qua mạng LAN, WAN hay Internet) chèn
th m vào hay thay thế các ối t ợng có trong khu n hình gốc
Trang 51 MPEG 4 video
Các c ng cụ ại di n cho video tự nhi n trong ti u chuẩn hình ảnh MPEG-4 cung cấp c ng ngh cốt lõi ti u chuẩn cho phép hi u quả l u trữ, truyền tải và xử lý các kết cấu, hình ảnh và dữ li u video cho các m i tr ng a ph ơng ti n Những c ng cụ này cho phép giải mã và ại di n các ơn vị nguy n tử của hình ảnh và n i dung video, ợc gọi là " ối t ợng video" (VOS) M t ví dụ về m t VOS có th là m t ng i nói (kh ng
có nền), sau ó có th ợc sáng tác với AVO khác (âm thanh, hình ảnh các ối t ợng) tạo ra m t cảnh Hình chữ nhật hình ảnh th ng th ng ợc xử lý nh m t tr ng hợp
ặc bi t của các ối t ợng nh vậy
Đ ạt ợc mục ti u r ng lớn hơn là m t giải pháp cho m t phạm vi hẹp của các ứng dụng, chức năng phổ biến cho nhiều ứng dụng ợc nhóm Do ó, phần hình ảnh của
ti u chuẩn MPEG-4 cung cấp giải pháp theo hình thức các c ng cụ và các thuật toán cho:
Hi u quả nén hình ảnh và video
Hi u quả nén của kết cấu lập bản ồ kết cấu tr n 2-D và mắt l ới 3-D
Hi u quả nén của vật ngầm 2-D
Hi u quả nén của th i gian hình học khác nhau suối ng mắt l ới
Hi u quả ngẫu nhi n truy cập vào tất cả các loại của các ối t ợng trực quan
Thao tác mở r ng chức năng cho hình ảnh và chuỗi video
N i dung dựa tr n mã hóa hình ảnh và video
N i dung dựa tr n khả năng mở r ng của kết cấu, hình ảnh và video
Kh ng gian, th i gian và chất l ợng khả năng mở r ng
Lỗi vững mạnh và khả năng phục hồi trong m i tr ng dễ bị lỗi
Nh ã ề cập tr ớc, MPEG-4 Vid eo hỗ trợ hình ảnh th ng th ng hình chữ nhật và video cũng nh hình ảnh và video của các hình dạng tùy ý Khái ni m này ợc minh họa trong hình 45 d ới ây
Hình 4 The VLBV Core and the Generic MPEG-4 Coder
Trang 6Các mã hóa hình ảnh th ng th ng và video cũng t ơng tự nh mã hóa th ng
th ng MPEG-1 / 2 Nó liên quan ến chuy n ng dự báo / bồi th ng theo sau bởi kết cấu mã hóa Đối với các chức năng dựa tr n n i dung, nơi mà các ầu vào trình chiếu hình ảnh có th có hình dạng bất kỳ và ịa i m, ph ơng pháp này là kéo dài cũng có mã hóa hình dạng và tính minh bạch th ng tin Hình dạng có th là ại di n bởi m t thành phần trong suốt bit - cho phép các m tả về tính minh bạch, nếu V là m t trong những sáng tác với các ối t ợng khác - hoặc bởi m t mặt nạ nhị phân
Vi c mở r ng MPEG-4 ph ơng pháp tiếp cận dựa tr n n i dung có th ợc xem
nh là m t phần mở r ng hợp lý của MPEG-4 th ng th ng VLBV Core hoặc tốc bit cao ối với các c ng cụ ầu vào của hình dạng bất kỳ
Trang 71.1 Khả năng mở r ng mã hóa các ối t ợng Video
MPEG-4 hỗ trợ vi c mã hóa các hình ảnh và video với khả năng mở r ng kh ng gian và th i, cả hai hình chữ nhật với th ng th ng cũng nh với các hình dạng tùy ý Khả năng mở r ng ề cập ến khả năng giải mã chỉ là m t phần của m t bitstream và tái tạo lại hình ảnh hoặc các chuỗi hình ảnh với:
giảm phức tạp giải mã và do ó làm giảm chất l ợng
giảm phân giải kh ng gian
giảm phân giải th i
với phân giải th i gia4n và kh ng gian ngang nhau, nh ng với chất l ợng giảm Chức năng này là mong muốn cho tiến b mã hóa hình ảnh và video gửi qua mạng
kh ng ồng nhất, cũng nh cho các ứng dụng mà ng i nhận kh ng có khả năng hi n thị phân giải ầy ủ hoặc chất l ợng hình ảnh ầy ủ hoặc chuỗi video Điều này chẳng hạn có th xảy ra khi chế biến i n hoặc phân giải màn hình hi n thị có giới hạn
Có m t số ph ơng án có th mở r ng mã hóa trong MPEG-4 Visual: khả năng mở
r ng kh ng gian, khả năng mở r ng th i gian, khả năng mở r ng chi tiết tốt và ối
t ợng dựa tr n khả năng mở r ng kh ng gian
1.2 Khả năng khắc phn/ục lỗi mạnh m
MPEG-4 cung cấp khả năng phục hồi mạnh m lỗi và cho phép truy cập hoặc các
th ng tin hình ảnh video qua m t loạt các ph ơng ti n l u trữ và truyền tải i n Đặc bi t,
do sự tăng tr ởng nhanh chóng của truyền th ng di ng, nó là v cùng quan trọng là truy cập có sẵn th ng tin âm thanh và video qua mạng kh ng dây Điều này có nghĩa
là cần thiết cho hoạt ng hữu ích của các thuật toán nén âm thanh và video trong m i
tr ng dễ bị lỗi ở mức bit thấp (tức là ít hơn 64 kbit / s) Các khả năng phục hồi lỗi c ng cụ phát tri n cho MPEG-4 có th ợc chia thành ba khu vực chính: resynchronization, phục hồi dữ li u, và che giấu lỗi
1.2.1 Resynchronization
C ng cụ Resynchronization cố gắng kích hoạt resynchronization giữa các b giải
mã và bitstream sau khi m t lỗi còn sót lại hoặc lỗi ã ợc phát hi n Nói chung, các dữ
li u giữa các i m ồng b hóa tr ớc khi th ng báo lỗi và i m ầu ti n mà ồng b hóa
ợc tái lập, là bỏ i
Cách tiếp cận resynchronization ợc th ng qua bởi MPEG-4, ợc gọi là m t cách tiếp cận gói Nhóm các khối sử dụng bởi các ti u chuẩn ITU-T H.261 và H.263 Trong các ti u chuẩn này m t gob ợc ịnh nghĩa là m t hoặc nhiều hàng macroblocks (MBs) Vào lúc bắt ầu của m t gob mới, th ng tin gọi là ti u ề gob ợc ặt trong luồng bit này Th ng tin này có ti u ề chứa mã bắt ầu gob, ó là khác nhau từ m t mã số bắt ầu hình ảnh, và cho phép các b giải mã xác ịnh vị trí này gob Hơn nữa, ti u ề gob chứa th ng tin ó cho phép quá trình giải mã ợc khởi ng lại (tức là, ồng b hoá lại các b giải mã cho các bitstream và ặt lại tất cả dữ li u predictively mã hóa)
Trang 8Các gói dữ li u video tiếp cận ợc th ng qua bởi MPEG-4 là dựa vào vi c cung cấp dấu resynchronization ịnh kỳ trong suốt bitstream này Nói cách khác, dài của các gói dữ li u video kh ng dựa tr n số l ợng macroblocks, nh ng thay vào ó số bit có trong gói ó Nếu số bit chứa trong các gói dữ li u video hi n tại v ợt quá m t ng ỡng ịnh tr ớc, sau ó m t gói tin video mới ợc tạo ra ở ầu của các macroblock tiếp theo
M t i m ánh dấu resynchronization ợc sử dụng phân bi t sự bắt ầu của
m t gói tin video mới i m ánh dấu này là phân bi t ợc tất cả các từ mã VLC có th cũng nh các mã bắt ầu VOP Ti u ề th ng tin cũng ợc cung cấp vào lúc bắt ầu của
m t gói tin video Có trong ti u ề này là các th ng tin cần thiết khởi ng lại quá trình giải mã và bao gồm: số macroblock của macroblock ầu ti n có trong gói tin này và tham số l ợng tử hóa cần thiết giải mã mà macroblock ầu ti n Số macroblock cung cấp các resynchronization cần thiết kh ng gian trong khi các tham số l ợng tử cho phép các quá trình phân giải mã ợc resynchronized
Cũng bao gồm trong ti u ề gói tin video là phần mở r ng ti u ề mã HEC là m t chút rằng, khi kích hoạt, cho thấy sự hi n di n của resynchronization th ng tin bổ sung, bao gồm cả cơ sở th i gian un, VOP tăng th i gian, loại dự oán VOP, và mã F VOP
Th ng tin này bổ sung ợc làm sẵn có trong tr ng hợp ti u ề VOP ã bị hỏng
Cần l u ý rằng khi sử dụng các c ng cụ khả năng phục hồi lỗi trong vòng MPEG-4,
m t số c ng cụ hi u quả nén ợc sửa ổi Ví dụ, tất cả các th ng tin predictively mã hóa phải ợc giới hạn trong m t gói tin video ngăn chặn sự lan truyền của các lỗi
Kết hợp với cách tiếp cận gói video resynchronization, m t ph ơng pháp thứ hai gọi là cố ịnh ồng b hóa khoảng cũng ã ợc th ng qua bởi MPEG-4 Ph ơng pháp này òi hỏi VOP số bắt ầu và ánh dấu resynchronization (tức là khởi ầu của m t gói
dữ li u video) chỉ xuất hi n ở vị trí cố ịnh khoảng pháp lý trong bitstream này Điều này giúp tránh các vấn ề li n quan bắt ầu m phỏng mã Đó là, khi lỗi ợc hi n di n trong
m t bitstream, có th cho các lỗi này giả lập m t mã bắt ầu VOP Trong tr ng hợp này, khi cố ịnh khoảng cách ồng b hóa ợc sử dụng b giải mã chỉ cần thiết tìm kiếm m t mã bắt ầu VOP vào ầu mỗi khoảng cách cố ịnh Các ph ơng pháp cố ịnh ồng b mở r ng khoảng cách tiếp cận này là bất kỳ khoảng th i gian ịnh tr ớc
1.2.2 Phục hồi dữ liệu
Sau khi ồng b hóa ã ợc tái lập, c ng cụ phục hồi dữ li u cố gắng kh i phục
dữ li u nói chung s bị mất Những c ng cụ này kh ng chỉ ơn giản là các mã lỗi sửa chữa, nh ng thay vì kỹ thuật mã hóa dữ li u m t cách ki n c ng lỗi Ví dụ, m t c ng cụ
ặc bi t ã ợc xác nhận bởi Tập oàn Video là nghịch biến dài Codes (RVLC) Trong
ph ơng pháp này, các từ mã có dài biến ợc thiết kế sao cho chúng có th ợc ọc
cả ở phía tr ớc cũng nh h ớng ng ợc lại
Nói chung, trong m t tình huống nh thế này, nơi m t vụ nổ của các lỗi ã bị hỏng
m t phần của dữ li u, tất cả các dữ li u giữa các i m ồng b hóa hai s bị mất Tuy nhi n, nh trong hình này, RVLC m t cho phép m t số trong ó dữ li u ợc phục hồi Cần l u ý rằng các th ng số, QP và HEC th hi n trong hình sự, ại di n cho các lĩnh vực dành ri ng trong ti u ề gói video cho tham số l ợng tử hóa và mở r ng ầu mã, t ơng ứng
Trang 91.2.3 Che giấu lỗi
Lỗi che giấu là m t thành phần cực kỳ quan trọng của lỗi codec mạnh m bất kỳ video T ơng tự nh các c ng cụ khả năng phục hồi lỗi nói ở tr n, hi u quả của m t chiến l ợc che giấu lỗi phụ thu c nhiều vào vi c thực hi n các ề án resynchronization
Về cơ bản, nếu ph ơng pháp hi u quả resynchronization có th khoanh vùng các lỗi thì vấn ề trở n n che giấu lỗi d làm hơn nhiều Đối với các ứng dụng bitrate thấp, các ứng dụng chậm trễ thấp resynchronization hi n Đề án cung cấp kết quả rất chấp nhận ợc với m t chiến l ợc che giấu ơn giản, chẳng hạn nh sao chép các khối từ các khung hình tr ớc ó
Trong c ng nhận sự cần thiết cung cấp khả năng che giấu nâng cao, các oàn Video ã phát tri n m t chế àn hồi lỗi bổ sung cải thi n hơn nữa khả năng của b giải mã các ịa ph ơng hóa m t lỗi
Cụ th , ph ơng pháp này sử dụng dữ li u phân vùng bằng cách tách bi t các chuy n
ng và kết cấu Cách tiếp cận này y u cầu m t dấu resynchronization thứ hai ợc chèn vào giữa chuy n ng và th ng tin kết cấu Nếu th ng tin bị mất kết cấu, ph ơng pháp này sử dụng các th ng tin chuy n ng che giấu các lỗi này Đó là, do sự sai sót th ng tin kết cấu ợc bỏ i, trong khi chuy n ng ợc sử dụng chuy n ng bồi th ng cho ng i ợc giải mã tr ớc VOP
1.2.4 Nhanh chóng phục hồi trong thời gian thực mã hóa
M t kỹ thuật mới ợc phát tri n trong MPEG, gọi là NEWPRED, cung cấp m t sự phục hồi lỗi nhanh trong th i gian thực các ứng dụng mã hóa Nó sử dụng m t k nh ầu nguồn từ b giải mã mã hóa các B mã hóa Các thiết bị chuy n mạch khung tham chiếu adaptively theo các iều ki n lỗi của mạng NEWPRED kh ng sử dụng làm mới trong n i b và nó cung cấp hi u quả mã hóa cao Kỹ thuật này ã ợc chứng minh làm vi c trong iều ki n lỗi căng thẳng:
Burst lỗi tr n các mạng kh ng dây (trung bình tỷ l lỗi bit là 10e-3, 1ms burst chiều dài)
Packet Loss trên internet (tỷ l mất gói là 5%)
Trang 10
1.3 Cải thi n sự ổn ịnh với phân giải th i gian trễ thấp
M t kỹ thuật ặc bi t sử dụng trong các tình huống mã hóa th i gian thực hi n chuy n
ổi phân giải ng (DRC), m t cách ổn ịnh t ng truyền tải chậm m bằng cách giảm thi u các jitter của số l ợng các bit ầu ra ợc mã hóa tr n mỗi VOP bỏ qua khung hình lớn cũng ợc ngăn chặn và các b mã hóa có th iều khi n phân giải
th i ngay cả trong những cảnh ánh giá cao hoạt ng kỹ thuật này òi hỏi th ng tin backchannel ợc gửi ến các b mã hóa, iều này giải thích tại sao nó chỉ hữu dụng trong các tình huống th i gian thực
Các MPEG-4 hình ảnh và video mã hóa các thuật toán cho m t ại di n hi u quả của các ối t ợng trực quan của hình dạng bất kỳ, cũng hỗ trợ cái ợc gọi là chức năng dựa tr n n i dung Họ hỗ trợ hầu hết các chức năng ã ợc cung cấp bởi MPEG-1 và MPEG-2, bao gồm nén hi u quả của các chuỗi hình ảnh chuẩn hình chữ nhật có kích
th ớc ở cấp khác nhau của các ịnh dạng ầu vào, tỷ l khung hình, sâu pixel, tỷ l bit, và mức khác nhau của kh ng gian, th i gian và chất l ợng khả năng mở r ng
M t phân loại cơ bản của các tỷ l bit và chức năng hi n ang ợc cung cấp bởi các ti u chuẩn MPEG-4 Visual cho hình ảnh tự nhi n và video ợc m tả trong hình 46
b n d ới, mà các cụm tốc bit mức so với các b chức năng
Hình 5 Phân loại các hình ảnh MPEG-4 và Video Coding thuật toán và c ng cụ
Ở cuối m t "VLBV Core" (VLBV: Rất thấp tỷ l Bit-Video) cung cấp các thuật toán và các c ng cụ cho các ứng dụng hoạt ng ở mức bit-th ng từ 5 64 kbits / s, hỗ trợ các trình tự kh ng gian hình ảnh với phân giải thấp (th ng là l n ến phân giải CIF) và tỷ l khung hình thấp (th ng l n ến 15 Hz) Các ứng dụng cơ bản các chức năng cụ th ợc hỗ trợ bởi Core VLBV bao gồm:
Mã hóa các trình tự th ng th ng hình chữ nhật kích th ớc hình ảnh với hi u quả cao và mã hóa mạnh m lỗi cao khả năng phục hồi /, trễ thấp và phức tạp thấp cho th i gian thực các ứng dụng a ph ơng ti n truyền th ng
"Truy cập ngẫu nhi n" và "chuy n tiếp" và "nhanh chóng ảo ng ợc" hoạt ng cho VLB, cơ sở l u trữ dữ li u a ph ơng ti n và các ứng dụng truy cập
