chuẩn mã hoá MPEG 7

Tìm hiểu về chuẩn mã hoá MPEG 7

TÌM HIỂU VỀ MPEG-7

Mục lục

I Khái niệm MPEG-7

MPEG-7 là chuẩn cung cấp một mô tả chuẩn hoá cho phép truy cập và xử lý hiệu quả nội dung đa phương tiện MPEG-7 sẽ chuẩn hoá tập các bộ mô tả, tập các sơ đồ mô tả, một ngôn ngữ định nghĩa mô tả và các sơ đồ cho mã hoá các mô tả

Nhờ có MPEG-7 mà chúng ta có thể tương tác với dữ liệu đa phương tiện qua nội dung của chúng Với sự xuất hiện của MPEG-7, rất nhiều ứng dụng hay có thể thực hiện được, đơn giản hơn hãy tưởng tượng một vài ứng dụng được mô tả dưới đây:

- Bạn bước vào một kho dữ liệu khổng lồ để tìm một bài hát nhưng quên mất thông tin về bài hát đó như là: tên, tác giả, ca sỹ, mà chỉ nhớ một đoạn giai điệu của bài hát đó Không sao, bạn hãy hát lên giai điệu đó qua một hệ thống recorder, âm thanh của bạn sẽ được lấy mẫu rồi trích các đặc trưng rồi hệ thống tự động so sánh và tìm trong kho dữ liệu những bài hát "thích hợp" nhất với những đặc trưng tìm kiếm

- Bạn không muốn xem hết một trận đá bóng mà chỉ muốn xem những bàn thắng trong trận đấu đó? Chỉ cần gửi câu truy vấn đến hệ thống với từ khóa "Goal" hay gì đó (theo hệ thống định nghĩa), lần lượt các bàn thắng sẽ được trình chiếu trước bạn

- Bạn muốn tìm một picture nào đó giống một ảnh cho trước hoặc giống một hình

do bạn tự vẽ ra? Hệ thống cũng có thể thực hiện được thông qua trích chọn đặc trưng và so sánh với kho dữ liệu đã có và trả về kết quả

II Lĩnh vực ứng dụng

Lưu trữ và phục hồi cơ sở dữ liệu nghe nhìn (hình ảnh, phim ảnh, phát thanh lưu trữ)

Lựa chọn phương tiện truyền thông phát sóng (phát thanh, chương trình truyền hình)

Giám sát (điều khiển giao thông, bề mặt giao thông vận tải, dây chuyền sản xuất)

Thương mại điện tử và mua sắm trực tuyến (tìm kiếm quần áo / mẫu)

Viễn thám (bản đồ học, sinh thái học, quản lý tài nguyên thiên nhiên)

Giải trí (tìm kiếm một trò chơi, cho karaoke)

Dịch vụ văn hóa (bảo tàng, phòng trưng bày nghệ thuật)

Báo chí (tìm kiếm cho các sự kiện, con người)

- Tìm video với quỹ đạo chuyển động của đối tượng cụ thể.

III Thành phần chính của MPEG-7

Definition

Language Description Definition ⇒ extension

Definition

Description Schemes

D1

D3 D2

D5 D4 D6

D5 D4 D6

D5 D4 D6

Gồm nhiều cái mô tả hoặc lược đồ mô tả (thành phần) Nó đặc tả cấu trúc và ngữ nghĩa của quan hệ giữa các thành phần

Description Definition Language (DDL)

Định nghĩa cú pháp của các công cụ mô tả MPEG-7 và cho phép tạo mới, sửa đổi,

mở rộng các lược đồ mô tả và/hoặc cái mô tả

IV Các chức năng chính của MPEG-7

System: Quy định cụ thể các công cụ để chuẩn bị mô tả cho truyền và lưu trữ có hiệu quả (dạng nhị phân), nén mô tả, và cho phép đồng bộ hóa giữa nội dung và mô tả

DDL: xác định các tiêu chuẩn (cú pháp) của các công cụ mô tả (DSs, Ds, và kiểu dữ liệu)

và để xác định các công cụ mô tả mới

Visual: mô tả nội dung hình ảnh

Audio: mô tả nội dung âm thanh

MDS: quy định cụ thể các công cụ mô tả tổng quát liên quan đến đa phương tiện bao gồm các nội dung âm thanh và hình ảnh

Reference Software: cung cấp một phần mềm thực hiện các tiêu chuẩn

IV.1 MPEG-7 Multimedia Description Schemes(MDS)

Thành phần chính

Basic datatypes

Links & media localization

Basic Tools

Structural aspects

User interaction

User Preferences

Schema

Tools

User History Views

IV.1.1 Basic elements.

- Schema Tools( Công cụ giản đồ): hỗ trợ sự hình thành, đóng gói, và chú thích của

MPEG-7

- Basic datatypes (Các kiểu dữ liệu cơ bản): các loại cung cấp một tập hợp các

kiểu dữ liệu mở rộng và cấu trúc toán học như vector và ma trận, đó là cần thiết bởi DSS để mô tả nội dung AV

- Links & media localization (Liên kết & Truyền thông địa điểm): địa phương

hóa phần của nội dung, và mô tả thời gian, địa điểm, con người, cá nhân, nhóm, tổ chức, và chú thích văn bản khác

- Basic Tools: Hỗ trợ về ngôn ngữ, con người, địa điểm.

IV.1.2 Content management (Quản lý nội dung)

Cho phép các mô tả về vòng đời của nội dung, từ nội dung đến tiêu dùng

giới thiệu mô tả nội dung MPEG-7 có thể có sẵn trong các hình thức khác nhau, định dạng, chương trình mã hóa, và có thể có một số trường hợp Ví dụ, một buổi hòa nhạc có

các phương thức có thể được mã hóa bởi chương trình mã hóa khác nhau Điều này tạo ra một số hồ sơ phương tiện truyền thông

Bao gồm:

- Creation & Production(Sáng tạo và sản xuất)

Chủ đề, mục đích, ngôn ngữ,

- Media(Phương tiện truyền thông )

- Usage(sử dụng nội dung)

Sử dụng quyền (Quyền to use), hồ sơ sử dụng, Chủ sở hữu, quyền truy cập,

Sử dụng Record, các khía cạnh tài chính, vv…

Chỉ một phần của mô tả đó phụ thuộc vào các phương tiện lưu trữ hoặc định dạng mã hóa

là MediaInformation mô tả trong phần này Phần còn lại của mô tả MPEG-7 không phụ thuộc vào các cấu hình khác nhau hoặc các trường hợp và, kết quả là, có thể được sử dụng

để mô tả cùng tất cả các bản sao có thể của nội dung

1 Creation & Production

thể không thường được chiết xuất từ các nội dung Thông tin này có liên quan đến vật chất

mà nó không được mô tả một cách rõ ràng trong nội dung thực tế

Mô tả các thông tin sáng tạo và sản xuất có như yếu tố hàng đầu cấp, các

CreationInformation DS, trong đó bao gồm một sáng tạo D, bằng không hoặc một phân loại D, và số không hoặc nhiều RelatedMaterial Ds

Việc tạo ra D có chứa các công cụ Mô tả liên quan đến việc tạo ra các nội dung, bao gồm địa điểm, ngày, hành động, nguyên vật liệu, nhân viên (kỹ thuật và nghệ thuật) và các tổ chức liên quan

Phân loại D chứa các công cụ Mô tả cho phép phân loại nội dung AV Phân loại D được sử dụng để mô tả việc phân loại các nội dung AV Nó cho phép tìm kiếm và lọc dựa trên sở thích người dùng về phân loại theo định hướng người sử dụng (ví dụ, ngôn ngữ, phong cách, thể loại, vv) và phân loại dịch vụ theo định hướng (ví dụ, mục đích, hướng dẫn của cha mẹ, phân khúc thị trường, phương tiện truyền thông đánh giá, vv.)

Các vật liệu liên quan D chứa các công cụ Mô tả liên quan đến thông tin bổ sung về nội dung AV có sẵn trong các vật liệu khác

2 Media

- Mô tả của các phương tiện truyền thông liên quan đến một yếu tố cấp cao duy nhất, MediaInformation DS Nó bao gồm một tùy chọn MediaIdentification D và một hoặc một

số Ds MediaProfile

Truyền thông xác định D chứa Công cụ Mô tả được cụ thể cho việc xác định các nội dung

AV, độc lập với các trường hợp khác nhau có sẵn Các phương tiện thông tin cấu hình khác nhau của nội dung được mô tả thông qua truyền thông của họ và hồ sơ cho mỗi hồ sơ có thể có trường hợp khác nhau có sẵn phương tiện truyền thông

Truyền thông Hồ sơ D chứa các công cụ Mô tả khác nhau cho phép mô tả của một hồ sơ cá nhân của AV nội dung truyền thông được mô tả Khái niệm hồ sơ liên quan đến các biến thể khác nhau mà có thể được sản xuất từ một phương tiện truyền thông ban đầu hoặc chủ phụ thuộc vào các giá trị được lựa chọn cho mã hóa, định dạng lưu trữ, vv Các hồ sơ tương ứng với bản gốc hoặc chủ của nội dung AV được xem là bậc thầy hồ sơ phương tiện truyền thông Đối với mỗi hồ sơ cá nhân có thể có một hoặc nhiều trường hợp phương tiện truyền thông của hồ sơ phương tiện truyền thông tổng thể

• MediaTranscodingHints D: chứa Mô tả Các công cụ chuyển mã định gợi ý của các

phương tiện truyền thông được mô tả Mục đích của D này là để nâng cao chất lượng và giảm độ phức tạp cho các ứng dụng chuyển mã Các gợi ý chuyển mã có thể được sử dụng trong chuyển mã video và kiến trúc đánh giá chuyển động để giảm sự phức tạp tính toán

• MediaQuality D: đại diện cho thông tin đánh giá chất lượng của một nội dung âm thanh hoặc hình ảnh Nó có thể được sử dụng để đại diện cho cả hai xếp hạng chất lượng chủ quan và xếp hạng chất lượng khách quan

Điều quan trọng cần lưu ý là mô tả UsageInformation DS có thể kết hợp giới thiệu mới mỗi lần nội dung được sử dụng (ví dụ, UsageRecord DS, thu nhập trong kiểu dữ liệu tài chính), hoặc khi có những cách thức mới để truy cập vào các nội dung (ví dụ, trống D).Kiểu dữ liệu quyền cho phép truy cập các thông tin cho chủ sở hữu quyền của nội dung chú thích (IPR) và quyền truy cập.

Kiểu dữ liệu chứa thông tin tài chính liên quan đến các chi phí phát sinh và thu nhập được tạo ra bởi nội dung AV Các khái niệm về phần chi phí và thu nhập cho phép việc phân loại chi phí khác nhau và thu nhập như một chức năng của loại của họ Tổng số và tổng phụ chi phí và thu nhập sẽ được tính toán bởi các ứng dụng từ các giá trị một phần

DS trống có chứa các công cụ Mô tả liên quan đến sự sẵn có để sử dụng nội dung

Các UsageRecord DS chứa các công cụ Mô tả liên quan đến việc sử dụng quá khứ của nội dung

IV.1.3 Content description (Mô tả nội dung)

- Structural aspects(lĩnh vực cấu trúc): mô tả nội dung âm thanh-hình ảnh từ điểm

nhìn của cấu trúc của nó, chẳng hạn như cấu trúc không gian, thời gian hoặc thời gian của nội dung âm thanh hình ảnh, hoặc một cấu trúc phân cấp)

không Conceptual aspects(Lĩnh vực khái niệm): mô tả nội dung nghe nhìn từ quan điểm

của ngữ nghĩa thực tế và khái niệm khái niệm như vật, sự kiện, khái niệm trừu tượng và các mối quan hệ

IV.1.4 Navigation & access( Danh mục và truy cập)

DSS để tạo điều kiện thuận lợi cho duyệt web và truy xuất nội dung nghe nhìn bằng cách định nghĩa tóm tắt, phân vùng và phân tách, và các biến thể của các tài liệu nghe-nhìn

Summary(Tóm tắt)

- Cấu trúc tóm tắt tổ chức các thông tin thành các cấp độ kế tiếp, mỗi mô tả nội dung âm thanh-hình ảnh ở mức độ chi tiết khác nhau Nói chung, mức độ gần vào thư mục gốc của hệ thống phân cấp cung cấp bản tóm tắt thô hơn, và mức độ hơn nữa từ gốc cung cấp các bản tóm tắt chi tiết hơn

- Tóm tắt tuần tự cung cấp một chuỗi các hình ảnh hoặc khung hình video, có thể đồng bộ hóa với âm thanh, có thể soạn một slide-show hoặc audio-visual skim

Variations (Biến thể)

- Cung cấp thông tin về các biến thể khác nhau của các chương trình nghe nhìn, chẳng hạn như bản tóm tắt và tóm tắt, phiên bản thu nhỏ, nén và độ phân giải thấp,

và các phiên bản với các ngôn ngữ và các phương thức khác nhau - âm thanh, video, hình ảnh, văn bản, và vv

Cho phép lựa chọn sự thay đổi phù hợp nhất của một chương trình nghe nhìn, mà có thể thay thế nội dung ban đầu, nếu cần thiết, để thích ứng với các khả năng khác nhau của các thiết bị đầu cuối, điều kiện mạng, sở thích của người dung

1. Summaries

Tổng kết các DS mô tả tóm tắt nhỏ gọn nội dung khác nhau AV để tạo điều kiện phát hiện, trình duyệt, và chuyển hướng các nội dung AV Các mô tả tóm tắt cho phép nội dung AV để được lái trong cả hai một cách phân cấp hoặc tuần tự Tóm tắt phân cấp tổ chức các nội dung thành các cấp độ kế tiếp của chi tiết Tóm tắt tuần tự sáng tác trình tự của hình ảnh, có thể đồng bộ hóa với âm thanh, để mô tả một slide-show hoặc AV gầy

DS tổng kết: các-7 MPEG tóm tắt cho phép duyệt web nhanh chóng và hiệu quả và định hướng bởi trừu tượng hóa các thông tin nổi bật từ nội dung AV Tổng kết các DS chứa các liên kết đến nội dung AV, ở cấp độ của các phân đoạn và khung Đưa ra một mô tả MPEG-7 tổng hợp, một thiết bị đầu cuối, chẳng hạn như một hộp truyền hình kỹ thuật số set-top, truy cập vào các tài liệu AV sáng tác các bản tóm tắt và làm cho kết quả tương tác tiếp theo với người sử dụng DS Tổng kết có thể mô tả nhiều tóm tắt nội dung AV nhau, chẳng hạn như cung cấp mức độ chi tiết khác nhau hoặc làm nổi bật các tính năng cụ thể, các đối tượng, các sự kiện, hoặc ngữ nghĩa Bằng cách bao gồm các liên kết đến nội dung

AV trong tóm tắt, nó có thể tạo ra và lưu trữ nhiều bản tóm tắt mà không cần lưu trữ nhiều phiên bản của bản tóm tắt nội dung AV

HierarchicalSummary DS: Các HierarchicalSummary DS mô tả việc tổ chức tổng

kết thành nhiều cấp độ để mô tả mức độ chi tiết khác nhau theo thời gian Các

HierarchicalSummary DS được xây dựng xung quanh khái niệm chung chung của các phân đoạn thời gian nội dung AV, được mô tả bởi DSS HighlightSegment

HighlightSummary HighlightSummary

Hierarchical Summary

Highlight Segment Highlight Segment Highlight Segment Highlight Segment Highlight Segment Highlight Segment Highlight Segment

Video Data

Audio Data

SequentialSummary DS: các SequentialSummary DS mô tả tóm tắt bao gồm một

chuỗi các hình ảnh hoặc khung hình video, mà có thể đồng bộ hóa với âm thanh Các

SequentialSummary cũng có thể chứa một chuỗi các clip âm thanh Nội dung AV đã tạo nên SequentialSummary có thể được lưu giữ riêng với nội dung AV ban đầu để cho phép nhanh chóng chuyển hướng và truy cập Ngoài ra, các SequentialSummary có thể liên kết trực tiếp đến nội dung AV ban đầu để giảm lưu trữ

2 Variations

phiên bản, tóm tắt, ngôn ngữ khác nhau, và các hình thức khác nhau, chẳng hạn như âm thanh, video, hình ảnh, văn bản, và vv độ phân giải thấp Một trong những chức năng nhắm mục tiêu của Biến DS là để cho phép một máy chủ hoặc proxy để chọn sự thay đổi phù hợp với hầu hết các nội dung AV giao theo khả năng của thiết bị đầu cuối, điều kiện mạng, hoặc sở thích người dùng Những biến tấu DS mô tả các biến thể thay thế khác nhau Các biến thể có thể tham khảo mới được tác giả nội dung AV, hoặc tương ứng với nội dung AV

có nguồn gốc từ một nguồn khác Một biến thể trung thực giá trị cho chất lượng của sự thay đổi so với bản gốc Các loại thuộc tính khác biệt cho thấy các loại biến thể, chẳng hạn như bản tóm tắt, trừu tượng, chiết xuất, dịch phương thức, dịch ngôn ngữ, giảm màu, giảm không gian, giảm tốc độ, nén, và vv…

V I D E O I M A G E T E X T A U D IO

Modality

Fidelity Source

Va riatio n

A

I H

G F

E

D C

B

IV.1.5 Content Organization(Tổ chức nội dung)

MPEG-7 cung cấp cũng DSS tổ chức và mô hình hóa các bộ sưu tập của nội dung

âm thanh, hình ảnh và mô tả Bộ sưu tập DS tổ chức các bộ sưu tập nội dung nghe nhìn, phân đoạn, các sự kiện, và / hoặc các đối tượng Điều này cho phép mỗi bộ sưu tập được mô tả như một tổng thể dựa trên tài sản chung Đặc biệt, mô hình khác nhau và thống kê có thể được chỉ định cho đặc trưng cho giá trị thuộc tính của bộ sưu tập(Collections)

1. Collections(Sưu tập)

Cấu trúc bộ sưu tập nội dung nghe nhìn, miếng vật liệu nghe nhìn như phân đoạn thời gian của video Cơ cấu tổ chức Bộ sưu tập các nhóm DS nội dung âm thanh, hình ảnh, phân đoạn, các sự kiện, hoặc các đối tượng vào cụm thu thập và xác định tính được phổ biến đến các yếu tố DS CollectionStructure cũng mô tả thống kê và các mô hình của các giá trị thuộc tính của các yếu tố, chẳng hạn như một biểu đồ màu trung bình cho một bộ sưu tập các hình ảnh DS CollectionStructure cũng mô tả mối quan hệ giữa các cụm bộ sưu tập

2. Model(Mô hình)

Các DSS mẫu cung cấp công cụ để mô hình hóa các thuộc tính và các tính năng nội dung nghe nhìn Xác suất các mẫu DS cung cấp DSS cơ bản để xác định chức năng thống kê khác nhau và các cấu trúc xác suất Xác suất các mẫu DS có thể được sử dụng để đại diện cho các mẫu dữ liệu âm thanh, hình ảnh và các lớp học của Descriptors sử dụng xấp xỉ thống kê

DSS các mẫu phân tích mô tả bộ sưu tập các ví dụ của dữ liệu âm thanh, hình ảnh hay cụm Quát cung cấp mô hình cho các lớp ngữ nghĩa cụ thể Các phân tích mẫu DS xác định nhãn ngữ nghĩa chỉ ra các lớp học được mô hình hóa DSS các mẫu phân tích cũng tùy chọn chỉ định sự tự tin trong đó các nhãn ngữ nghĩa được gán cho các mô hình Tiếp tục xây dựng từ các mô hình phân tích ở định dạng MPEG-7 là phân loại Các phân loại DSS giảm dần

IV.1.6 User Interaction (Tương tác người dùng)

liệu đa phương tiện

Điều này cho phép, ví dụ, kết hợp giữa sở thích người dùng và MPEG-7 mô tả nội dung để tạo điều kiện cho cá nhân hoá các truy cập nội dung nghe nhìn, trình bày và tiêu thụ