Đồng bộ audio, video theo chuẩn MPEG

• Outline:• Tổng quan về đồng bộ đa phương tiện • Các kiểu đồng bộ, các nguyên tắc đồng bộ dữ liệu đa phương tiện • Các mô hình đồng bộ.. • Các phương pháp đồng bộ giữa các dòng dữ liệu

Đề tài 18:

Đồng bộ Audio, Video theo chuẩn MPEG

GVHD: PGS.TS Nguyễn Thị Hoàng Lan

Nội dung trình bày

Tổng quan về đồng bộ đa phương TIỆN

• Outline:

• Tổng quan về đồng bộ đa phương tiện

• Các kiểu đồng bộ, các nguyên tắc đồng bộ dữ liệu đa phương tiện

• Các mô hình đồng bộ

• Các phương pháp đồng bộ giữa các dòng dữ liệu

• Tài liệu tham khao

Tài liệu tham khảo

• Media Synchronization - Edward Chow

Based on the material in the IEEE JSAC Vol 14, No 1, Jan 1996

Tổng quan về đồng bộ đa phương tiện

• Dữ liệu đa phương tiện: Dữ liệu từ nhiều nguồn phương tiện khác nhau cả về thời gian và không gian nên

việc xử lý và truyền khác nhau.

Nguồn dòng dữ liệu đa phương tiện gồm 2 loại là:

• Nguồn thông tin trực tiếp: Các tín hiệu vật lý được thu nhận, số hóa và truyền đi ngay tới nơi nhận mà không qua lưu trữ trung gian.

• Nguồn thông tin được tái tạo hay tổng hợp: Các đối tượng media khác nhau được tổng hợp vốn được lưu

ở các thiết bị lưu trữ

Tổng quan về đồng bộ đa phương tiện

Các kiểu đồng bộ:

• Đồng bộ lien tục

• Đồng bộ điểm

• Đồng bộ trong 1 dòng dữ liệu phương tiện (intramedia synchronization)

• Đồng bộ giữa các dòng dữ liệu (intermedia synchronization)

Các nguyên tắc đồng bộ dữ liệu đa phương tiện:

Đồng bộ gồm hai nhiệm vụ chính:

• Xác lập lại các quan hệ thời gian thực trong 1 dòng dữ liệu của 1 dòng dữ liệu (audio, video)

• Xác lập lại các quan hệ thời gian thực giữa các dòng dữ liệu đa phương tiện (đồng bộ audio-video)

Hai kỹ thuật chủ yếu:

• Đồng bộ hướng bộ đệm

• Đồng bộ hướng thời gian

Đồng bộ hướng bộ đệm

Đồng bộ đa phương tiện là quá trình làm “trơn” các hiệu ứng trễ và điều khiển phối hợp thời gian trình chiếu đồng thời các dòng dữ liệu đa phương tiện (playout of data) để thỏa mãn độ cảm thụ audio, video

Bao gồm 2 bước:

• Đệm các đơn vị trình diễn (media unit - MU)

• Lập lịch trình diễn (playout scheduler):

Bộ lập lịch hướng đệm (Buffer-oriented scheduler) đánh giá jitter thông qua bộ đệm trình diễn (playout buffer)

Các mô hình đồng bộ

• Mô hình dòng thời gian (Timeline)

• Mô hình điểm tham chiếu (Reference point)

• Mô hình phân cấp (Hierarchic)

• Mô hình dựa trên sự kiện (Event based)

• Kỹ thuật đồng bộ audio-video thời gian thực tại nơi nhận

• Tích hợp audio-video

Các phương pháp đồng bộ giữa các dòng dữ liệu

• Phương pháp trộn dồn kênh (Multiplexing)

• Phương pháp dung kênh riêng chứa các thông tin đồng bô (Out-of-band)

• Phương pháp đồng bộ tại nơi nhận dựa trên các nhãn thời gian vào các gói dữ liệu trước khi truyền đi (Timestamping)

Đồng bộ audio, video theo chuẩn MPEG TS

• Giới thiệu MPEG2-TS

• Các khái niệm cơ bản

• Các phần tử cơ bản của TS

• Quá trình hình thành dòng truyền tải

• Đồng bộ giữa bộ mã hóa và giải mã

• Tài liệu tham khảo:

– A Realtime Software Solution for Resynchronizing Filtered MPEG2 Transport Stream - Bin Yu, Klara Nahrstedt, Department of Computer Science,

University of Illinois at Urbana-Champaign

– A Guide to MPEG Fundamentals and Protocol Analysis – Tektronix Company.– The MPEG Representation of Digital Media – Editor Leonardo Chiariglione,

CEDEO, Via Borgionera103, 10040 Villar Dora, Italy

• Transport Stream được định nghĩa trong MPEG-2 Part 1, Systems (thường được biết đến như

là chuẩn ISO/IEC 13818-1 hay ITU-T Rec H.222.0)

• Tên file mở rộng có dạng: ts, tsv, tsa.

Các khái niệm cơ bản

• PES : Packetized Elementary Streams, là gói tin sau khi gói hóa dòng cơ sở; được định danh bởi tiêu đề, bao gồm cả nhãn thời gian cho việc đồng bộ hóa PES được sử dụng để tạo PS hoặc TS

Các khái niệm cơ bản (tiếp)

• Time Stamps: Nhãn thời gian được kết hợp chặt chẽ từng giai đoạn trong mỗi ảnh để giữ audio và video cùng nhau

Nhãn thời gian là số 33 bit (33 bit cho phần chia 90kHz clock), chia 27MHz cho 300

• PTS/DTS: DTS: nhãn thời gian giải mã xác định thời điểm 1 ảnh được giải mã, PTS: nhãn thời gian trình chiếu chỉ thời điểm ảnh đấy được trình chiếu

Các phần tử cơ bản của TS

• TS Packet:

Các phần tử cơ bản của TS (tiếp)

• PCR: Program Clock Reference được truyền tại trường adaptation field của gói TS PCR được sử dụng bởi

bộ giải mã để tái tạo phiên bản điều khiển đồng hồ 27MHz (system_timing_clock ) cho mỗi chương trình PID với PCR được định nghĩa bởi giá trị pcr_pid, liên kết với PMT PCR gồm 42bit, được tái trình diễn bởi PCR cơ bản 33 bit, 9 bit mở rộng cung cấp cho giải pháp cao hơn.

• Null packets: là gói tin do bộ dồn kênh thêm vào để đảm bảo dòng duy trì tốc độ bitrate cố định như trong yêu cầu của một số hệ thống như ATSC hay DVB PID của gói mặc định là 0x1FFF Nội dung của gói tin rỗng không gồm bất kỳ dữ liệu nào.

Các phần tử cơ bản của TS (tiếp)

• PAT: Program Association Table Liệt kê tất cả các chương trình có sẵn trong TS Mỗi chương trình được định danh bởi 16 bit gọi là program_number Gói TS gồm PAT thông tin luôn có PID 0x0000.

• PMT: Program Map Tables chứa thông tin về chương trình Mỗi chương trình có 1 PMT

Các phần tử cơ bản của TS (tiếp)

• Programs: được miêu tả bởi PMT với PID duy nhất, các dòng cơ sở liên kết với chương trình

có PID riêng được liệt kê tại PMT.

Quá trình hình thành dòng truyền tải

Đồng bộ giữa bộ mã hóa và bộ giải mã

Giải pháp ứng dụng Video thời gian thực theo chuẩn MPEG2

Giải pháp ứng dụng Video thời gian thực theo chuẩn MPEG2

Giới thiệu phần mềm sử dụng

công cụ đồng bộ hóa âm thanh và video trong bộ phim Nếu âm thanh/video không đồng bộ, chương trình có thể giúp bạn khắc phục vấn đề.

Thử nghiệm

• Mở video, so sánh giọng nói và môi người

nói, hoặc phụ đề để đồng bộ âm

thanh/video Nếu âm thanh được phát

trước khi video, chuyển âm thanh quay

lùi lại Nếu âm thanh được phát sau khi

video, âm thanh chuyển về phía trước.

• Ta thử nhiều lần, bạn có thể có được một

điểm đồng bộ Thêm điểm vào danh sách

đồng bộ.

Thử nghiệm

• Thêm ít nhất 2 điểm ở đầu và cuối trong

vị trí đồng bộ của bộ phim sẽ tốt hơn.

• Tính thời gian bắt đầu và kết thúc với các

điểm đồng bộ của âm thanh và video.

• Xem trước đoạn video đầu ra Nếu không

có vấn đề thì bắt đầu chuyển đổi.

Ứng dụng thử nghiệm

Ứng dụng thử nghiệm

• Phần mềm miễn phí cung cấp nhiều thư viện mã hóa, giải mã

• Tích hợp bộ thư viện libavcodec từ FFmpeg

Ứng dụng thử nghiệm

• Cách thực hiện: Thay đổi giá trị cache trước khi mở file để đánh giá sự thay đổi chất lượng hiển thị của Video