Đồng bộ dữ liệu audio video, truyền dòng video đảm bảo đồng bộ dữ liệu

Ta có thể chia kiểu phương tiện thành hai loại: Phụ thuộc vào thời gian (temporal) và không phụ thuộc vào thời gian (nontemporal). Các kiểu phương tiện phụ thuộc vào thời gian bao gồm: audio, video, nhạc, ảnh động. Các kiểu dữ liệu không phụ thuộc vào thời gian bao gồm: văn bản text, ảnh tĩnh và đồ họa. Sau đây ta quan tâm đến dữ liệu phụ thuộc vào thời gian.

Bài BÁO CÁO

Môn: Truyền thông

đa phương tiện

Đề tài 14: Đồng bộ dữ liệu audio – video Truyền

dòng video đảm bảo đồng bộ dữ liệu.

Nội dung

• Các kiểu dữ liệu đa phương tiện

• Tổng quan về đồng bộ đa phương tiện

• Một số phương pháp đồng bộ audio – video

Đồng bộ dữ liệu audio - video

Truyền dòng video đảm bảo đồng bộ dữ liệu

• Truyền dòng là gì?

• Nghiên cứu mô hình truyền dữ liệu đa phương tiện trong hội nghị

I Đồng bộ dữ liệu audio – video.

1 Các kiểu dữ liệu đa phương tiện.

Ta có thể chia kiểu phương tiện thành hai loại: Phụ thuộc vào thời gian (temporal) và không phụ thuộc vào thời gian (nontemporal) Các kiểu phương tiện phụ thuộc vào thời gian bao gồm: audio,

video, nhạc, ảnh động Các kiểu dữ liệu không phụ thuộc vào thời gian bao gồm: văn bản text, ảnh tĩnh và đồ họa Sau đây ta quan tâm đến dữ liệu phụ thuộc vào thời gian

a Video số

video là một chuỗi các khung hình (frame), mỗi khung hình là một ảnh số có thể được nén dưới dạng nào đó Một số điểm cần quan tâm của video số:

-.Định dạng tín hiệu tương tự được lấy mẫu: các khung hình video

số có thể được tạo ra một cách nhân tạo hoặc có được từ lấy mẫu tương tự

- Tần số lấy mẫu: ảnh hưởng đến định dạng số do việc chọn tần số

quyết định yêu cầu về dung lượng, tốc độ truyền thông

- Kích thước lấy mẫu và lượng tử hóa

-Tốc độ dữ liệu (data rate).

-Tốc độ khung hình (frame rate): số khung hình được biểu diễn trong

một giây

-Nén: là quá trình xử lý để giảm tốc độ dòng bit.

-Hỗ trợ tương tác: trình diễn ở các tốc độ khác nhau: tua, cắt, chỉnh

-Tần số lấy mẫu: để có thể khôi phục lại tín hiệu Audio 1 cách chính

xác từ các mẫu,tần số lấy mẫu phải lớn hơn 2 lần tần số lớn nhất có trong tín hiệu Audio

- Kích thước mẫu: số bít dùng để mã hóa một mẫu audio sau quá

trình lượng tử hóa

- Số lượng kênh: tín hiệu stereo chứa 2 kênh,kênh trái và kênh

phải.1 số thiết bị có thể dùng tới 4 kênh hoặc hơn

- Xen(Interleaving): Audio đa kênh có thể được mã hóa bằng cách

xem xét các mẫu của kênh hoặc cung cấp nguồn riêng cho từng kênh

- Mã hóa(encoding):giảm chi phí truyền và lưu trữ.

1 Các kiểu dữ liệu đa phương tiện

-Đồng bộ đa phương tiện bao gồm việc định ngĩa và thiết lập mối qua

hệ về thời gian các kiểu phương tiện.Nó được áp dụng trong các lĩnh vực phim ảnh, ghi băng từ,đĩa,trình diễn và đặc biệt trong kho ứng dụng truyền thống đa phương tiện như truyền hình, đào tạo điện

tử…

-Người ta phân ra làm 2 kiểu đồng bộ:

+ Đồng bộ liên tục (continuous synchronization): là liên tục theo

nghĩa là ta phải luôn luôn theo dõi, điều chỉnh luồng dòng

+ Đồng bộ rời rạc:còn gọi là đồng bộ theo sự kiện (event

synchronization).Ở đây các hành động, thao tác được bắt đầu và kết

thúc ở thời điểm xác định

vd: trong một ứng dụng tương tác, việc ấn một nút, kích hoạt một menu sẽ hiển thị lên màn hình một ảnh và play một đoạn audio số… ở đây ta muốn hình ảnh và âm thanh đồng thời được phát

2 Tổng quan về đồng bộ đa phương tiện

-Đa phương tiện (multimedia): là sự kết hợp các thành phần nhân tạo

từ nhiều nguồn phương tiện

-Dữ liệu đa phương tiện (multimedia data): là biểu diễn của đa

phương tiện dưới dạng máy tính có thể hiểu được

-Đồng bộ (in sync): là việc thể hiện các dòng dữ liệu tạo cảm giác tự

nhiên cho người xem

-Mất đồng bộ (out of sync): việc trình diễn các dòng dữ liệu tạo cảm

giác không thật, thậm chí gây khó chịu cho người xem

-Đồng bộ trong một dòng (intrastream synchronization): thực hiện

trên 1 dòng dữ liệu logic

-Đồng bộ giữa các dòng (interstream synchronization): là mối quan

hệ thời gian giữa tất cả các đa phương tiện

-Độ lệch (skew): Là chênh lệch về thời gian giữa các đơn vị logic

2.1 Một số khái niệm trong đồng bộ đa

phương tiện

Một số nhân tố làm quá trình đồng bộ trở nên phức tạp:

-Lỗi đồng hồ: các thành phần trong hệ thống có thể không dùng một

đồng hồ chung, dẫn đến có sự sai lệch giữa các tín hiệu tham chiếu

-Thay đổi tải của thành phần: mỗi thành phần xác định có thể chịu tải

khác nhau dẫn đến chúng yêu cầu về tài nguyên khác nhau

2.2 Một số vấn đề trong đồng bộ

3 Một số phương pháp đồng bộ audio - video

3.1 Thuật toán đồng bộ dựa trên việc

xây dựng thời gian tham chiếu tuyệt đối

3.2 Thuật toán đồng bộ thích nghi 3.3 Khôi phục đồng bộ xảy ra do mất

khung hình bằng nội suy bậc hai song song.

Giao thức truyền thông thời gian thưc là giao thức nằm ở tâng ứng dụng và trở thành chuẩn cho tất cả các ứng dụng dựa trên kiến trúc

H323

-RTP (Read Tiem Tranpost Protocol): Sử dụng chức năng trộn và

truyền.RTP là hoàn toàn độc lập với kiến trúc mạng.Trong mạng TCP/IP

nó hoạt động trên tầng UDP trong khi trong môi trương ATM nó hoạt động trên AAL5 Tương tự UDP, RTP không có cơ chế đảm bảo các gói tin

được nhận đúng thời điểm và theo thứ tự gửi RTP chỉ đơn giản là cho

phép nhận theo thời gian thực, đồng thời thêm vào các thông tin về mặt thời gian, số thứ tự và xác định nguồn cho phần tử dữ liệu trong gói tin… cho phép phía nhận sắp xếp lại các gói tin theo đúng thứ tự.

-RTCP (RTP Control): chủ yếu để dùng cung cấp phản hồi về chất lượng

dịch vụ, vì nó mang thông tin về gói tin nhận được.

3.1 Thuật toán đồng bộ dựa trên việc xây

dựng thời gian tham chiếu tuyệt đối 3.1.1 Truyền thông thời gian thực

-Ý tưởng: khôi phục thời gian từ phía gửi từ gói tin RTCP và thường

xuyên cập nhật giá trị này bằng thông tin lấy từ các gói tin RTP.Nó dùng 2 thời gian tham chiếu, 1 là cho đồng hồ tuyệt đối, và 2 là tham chiếu đến RTP Để khởi động tiến trình, phía nhận phải chờ gói tin RTCP Sender Report đầu tiên từ phía gửi Sau đó sẽ phân tích 2 giá trị nhãn thời gian NTP được chuyển sang giây và micro giây và

được dùng để khỏi động đồng hồ thời gian tuyệt đối trong khi nhãn thời gian RTP tương ứng được dùng để khởi động thời gian tham

chiếu RTP Mỗi khi nhận được gói tin mới,nhãn thời gian của nó sẽ được lưu vào và đọc ở bộ nhớ Sau đó nó so sánh với thời gian tham chiếu RTP mới (thay cho giá trị trước đó).Và trong bước tiếp theo nó

sẽ sử dụng độ lệch mới khi nhận được gói tin tiếp theo Độ lệch này được cộng vào giá trị tham chiếu thời gian tuyệt đối

-Sơ đồ thuật toán sau đây:

3.1.2 Thuật toán xây dựng lại thời gian

Trong đó:

Ref_ts:Thời gian tham chiếu RTP Ts_RTPi :là nhãn thời gian của gói tin thứ i.

Tc: tgian lấy mẫu

Gọi Ts_NTP là tggian tuyệt đối lấy từ gói tin RTCP trong khi gtri t/ư ở định dạng RTP là: media_ts

⇒ Sau qtrinh khởi động: tgian tuyệt đối là: t0 = Ts_NTP

− Độ lệch đầu tiên: ∆ts1=ts_RTP1- media_st

− Đồng hồ tuyệt đối sau khi gói tin đầu tiên nhận được: t1 =

Mô hình đồng bộ:

-Mô hình đối xứng: ứng dụng audio và video có độ ưu tiên như nhau

đối với kết quả đồng bộ

-Mô hình chủ tớ 1: được điều khiển bởi ứng dụng audio, ứng dụng

audio gửi thông điệp đến ứng dụng video, nó căn cứ vào thông tin trong thông điệp để điều chỉnh, phục hồi lại sự đồng bộ như ở phía gửi

-Mô hình chủ tớ 2: tương tự như mô hình chủ tớ 1 tuy nhiên được

điều khiển bởi ứng dụng video

3.1.3 Phục hồi đồng bộ

3.2 Thuật toán đồng bộ thích nghi

3.2.1 Đồng bộ cơ bản

Mối quan hệ giữa thời gian bên gửi và bên nhận

Thuật toán tuân theo quy tắc: B(i,w)=t(i,g) (1)

B(i,d)= B(i,w)+Ema= t(i,g) +Emax (2)

Thuật toán đồng bộ tuân theo quy tắc sau:

1.Nếu đối tượng nhãn thời gian t(i,g) đến trước B(i,d) nó sẽ đợi

2 Nếu đối tượng nhãn thời gian t(i,g) đến sau B(i,w) nhưng vẫn đến trước B(i,d) (trong vùng không đợi) nó sẽ đi ngay.

3.Nếu đối tượng nhãn thời gian t(i,g) đến sau B(i,d) (trong vùng huy bỏ) Nó sẽ bị bỏ qua

Thuật toán đồng bộ như sau:

1 Sau khi nhận được đối tượng đầu tiên thiết lập thời gian khởi đầu của

PBC là nhãn tgian của đối tượng đó

2 Sau khi nhận được đối tượng thứ I, so sánh giữa nhãn thời gian t(i,g) của

nó với nhãn tgian t(i,ar): nếu t(i,g)>t(i,ar) tăng bộ đếm đợi lên 1 và không play đối tượng đó cho đến thời điểm B(w); nếu t(i,g)<t(i,ar)<t(i,g)

+E(max) tăng bộ đếm không đợi lên 1 và play đối tượng; nếu t(i,ar)>t(i,g) +E(max) tăng bộ đếm hủy bỏ lên 1 và hủy đối tượng.

3 Kiểm tra bộ đếm mới tăng gần nhất; nếu tràn (Cx > Ct (x thuộc {w, nw,

d}) tiếp tục), nếu không quay lại bước 2.

4 Nếu bộ đếm không đợi hoặc bộ đếm hủy bỏ tràn, nếu bộ đếm chưa đầy,

giảm PBC: PBC(t)=PBC(t)-∆; khi bộ đếm đợi tràn tăng PBC:

PBC(t)=PBC(t)+∆ và chuyển tới bước 5

5 Khởi động lại toàn bộ các bộ đếm sự kiện và quay lại bước 2

3.2.1 Đồng bộ cơ bản

Việc áp dụng thuật toán đồng bộ intramedia là khá dễ dàng Nhãn thời gian của mỗi đối tượng của 1 phương tiện được sánh với PBC.Sự sai lệch giữa 2 thời gian này được đưa vào đồng bộ intramedia Đồng

bộ intramedia bao gồm 3 bộ đếm (Cw,Cnw,Cd) và các bộ đếm cần thiết

để điều khiển thời gian của mỗi đối tượng

3.2.2 Đồng bộ intramedia

Đồng bộ intramedia

-Độ tin cậy của các mạng là khác nhau,hiện tượng mất mát dữ liệu có

thể xẩy ra trong quá trình truyền,đặc biêt là đối với dữ liệu video Việc mất mát các khung hình video có thể xây ra mất mát đồng bộ giữa tín hiệu audio và khung hình dẫn đến không nhất quán giữa

audio và video và làm giảm chất lượng của đa phương tiện xuống dưới mức chấp nhận được

3.3 Khôi phục đồng bộ xảy ra do mất khung

hình bằng nội suy bậc hai song song

Vấn đề xảy ra do mất đồng bộ dữ liệu video

-Với phương pháp nội suy bậc 2,giá trị tại các điểm ảnh cho 1 giá trị xác

định trong khung hình đã nhận được dùng để xây dựng 1 đường cong

Panabol sát với các điểm đó nhất.Đây là đương cong nội suy bậc 2 với sai

số bình phương bế nhất.Ta có thể sử dụng 3,4 hoặc nhiều hơn các khung hình xung quanh để sinh ra các đường cong nội suy đó.Mỗi 1 vị trí điểm ảnh trên khung hình sẽ có 1 đường cong tương ứng nó.

3.3 Khôi phục đồng bộ xảy ra do mất khung

hình bằng nội suy bậc hai song song

 Truyền dòng là gì?

- Có rất nhiều ứng dụng hiện nay đòi hỏi tính thời gian thực 

(real time).  Trong  các  dịch  vụ  truyền  hình  qua  mạng,  hội  thảo  trực tuyến,  chat  hình,  chat  tiếng…

mỗi  ứng  dụng  có những  đặc  điểm riêng của nó, tuy nhiên có một số điều 

chung nhất mà các dịch vụ này đều yêu cầu đó là việc truyền dữ  liệu theo dòng (streaming).

- Khái niệm truyền dòng có thể hiểu là khi nội dung của audio

hay video được truyền tới nơi nhận, nơi nhận có thể thể hiện được ngay trong

quá trình truyền mà không cần phải đợi đến khi toàn bộ nội dung video được

truyền xong Cơ chế này hoàn toàn khác với cơ chế download file của các

giao thức HTTP hay FTP

II Truyền dòng video đảm bảo đồng bộ dữ liệu.

Để có thể hình dung một cách đơn giản về cơ chế truyền dòng thời gian thực, chúng ta lấy một ví dụ như sau: Giả thiết có hai máy

được kết nối với nhau,một máy đóng vai trò là máy truyền và một

máy đóng vai trò là máy nhận Bên truyền được trang bị camera để

thu hình giảng viên giảng bài và dữ liệu video thu được được truyền

tới máy nhận.

Bên nhận có nhiệm vụ nhận dòng dữ liệu từ bên truyền gửi tới và

thể hiện lên thiết bị ra như TV hay màn hình máy tính Khi đó với

việc sử dụng cơ chế truyền dòng thời gian thực, các hình ảnh của

giảng viên mà bên nhận thể hiện sẽ phản ánh một cách tức thời

(về mặt lí thuyết) những gì đang xảy ra đối với giảng viên ở bên

truyền

-> Truyền dòng là gì?

Còn với các bài giảng được lưu trữ trước, truyền dòng thời gian thực sẽ đảm bảo việc thể hiện của video tương đương như khi nó được thể hiện trên máy truyền Khi đó, môi trường mạng là trong suốt đối với người sử dụng, người sử dụng có cảm giác việc thể hiện đoạn video như là được thực hiện ngay trên máy cục bộ.

-> Truyền dòng là gì?

Hệ thống hội nghị video trực tuyến thời gian thực dựa trên mô hình client-server Các thành viên của hội nghị gồm chủ tịch, thành viên hội nghị

và quan sát viên.

1 Nghiên cứu mô hình hội nghị

1.1 Tổ chức hội nghị

 Khai mạc hội nghị

 Vào ngày giờ bắt đầu họp các thành viên phải có mặt tại các máy trạm,kết

nối với máy chủ và chờ sự điều khiển của người chủ tịch.

 Người chủ tịch khai mạc hội nghị bằng cách gửi hình ảnh và tiếng nói của

mình tới tất cả các thành viên trong hội nghị.

 Các thành viên chính thức của hội nghị gửi thông điệp bằng text đến chủ

tịch để yêu cầu được phát biểu.

 Tại server sẽ hiện ra danh sách các thành viên được yêu cầu phát biểu Chủ

tịch chỉ cho phép một thành viên phát biểu tại một thời điểm,và thành viên

đó sẽ được đánh dấu lại đồng thời cũng gửi thông điệp text đến tất cả các thành viên tham gia.

 Thành viên chính thức phát biểu sẽ gửi âm thanh hình ảnh đến tất cả các

thành viên khác và cà người chủ tịch.

 Trong khi một thành viên đang phát biểu, các thành viên chính thức khác

cũng vẫn có thể gửi yêu cầu phát biểu đến chủ tịch.

 Thành viên sẽ ngừng lại khi phát biểu xong.

 Khi kết thuchs hội nghị Chủ tịch gửi dòng video và audio đến tất cả các

thành viên tuyên bố kết thúc buổi họp trực tuyến.

1.2 Hoạt động và công việc của hội nghị

Để có thể tham gia vào hội nghị ở máy trạm của các thành viên chính

thức cũng như chủ tịch đều phải có

+ thiết bị thu nhận video, audio

+ Webcam, microphone, loa

+ Các máy trạm của thành viên cũng như người quan sát đều được kết nối mạng LAN.

2 Mô hình ứng dụng 2.1 Yêu cầu phần cứng

 Chương trình hội nghị video trong hệ đào tạo điện tử dựa trên mô hình

client/server nên sẽ có mô hình như sau:

 Trong mô hình này dữ liệu đa phương tiện được truyền theo cơ chế

multicast từ một máy trạm đến trực tiếp các máy trạm khác và cả máy chủ trong hội nghị.Sử dụng cơ chế multicast để truyền dữ liệu audio và video trực tiếp đến các thành viên sẽ cho phép tăng số lượng các thành viên tham gia trong một phiên, giảm băng thông đòi hỏi.

2.2 Mô hình phần mềm

 Trong các hệ thống phân tán, luôn luôn có thời gian trễ giữa thời điểm gửi các gói tin và thời điểm nhận chúng Thời gian trễ này có thể gây ra đứt quãng trong dòng dữ liệu liên tục

hoặc nó có thể rút ngắn thời gian chơi của dòng lại.

 Bên cạnh đó, do độ tin cậy của mạng là không đảm bảo, có thể gây ra hiện tượng mất mát các dữ liệu được truyền trong hội nghị, đặc biệt là các dữ liệu có dung lượng cao như audio,

video…Vì vậy trong hệ thống hội nghị tương tác ta đồng thời phải truyền cả audio và video.( Một số trường hợp băng thông lớn ta sẽ phải truyền audio va video trên hai dòng riêng để có thể giảm tải cho mạng).

2.3 Một số vấn đề trong quá trình truyền dữ liệu

 Như vậy, đối với các ứng dụng thời gian thực, tương tác ta gặp phải là vấn đề đồng bộ giữa các phương tiện

 Khi có một lỗi nhỏ xảy ra, người sử dụng thường không chú ý

và không biết đích xác là nó có tồn tại hay không Nếu các lỗi này không được hiệu chỉnh thì chúng sẽ tích lũy lại và sẽ làm suy giảm chất lượng dịch vụ xuống dưới mức chấp nhận được Trong khi việc đồng bộ trong một phương tiện(intramedia) có thể giải quyết bằng việc sử dụng bộ đệm, đệm dữ liệu trước khi trình diễn thì đồng bộ giữa các phương tiện vẫn là một

thách thức mặc dù nhiều kĩ thuật khác nhau đã được đưa ra.

2.3 Một số vấn đề trong quá trình truyền dữ liệu

The End