Hệ thống thực tế tăng cường tương tác thời gian thực trong công nghệ truyền hình tại việt nam

Tại đó, người dẫn chương trình sẽ tương tác với hệ thống thực tế tăng cường, tận dụng thiết kế đồ họa ảo để thỏa sức sáng tạo, không bị giới hạn về không gian và thiết kế của trường quay

ĐẠI HỌC BÁCH KHOA HÀ NỘI

TRƯỜNG ĐIỆN – ĐIỆN TỬ

====o0o====

Đề tài:

TƯƠNG TÁC THỜI GIAN THỰC

Học viên: VŨ ANH TUẤN MSHV: 20202367M

GVHD: TS HÀN HUY DŨNG

Hà Nội, 09/2022

ĐẠI HỌC BÁCH KHOA HÀ NỘI

TRƯỜNG ĐIỆN – ĐIỆN TỬ

====o0o====

Đề tài:

TƯƠNG TÁC THỜI GIAN THỰC

Học viên: VŨ ANH TUẤN MSHV: 20202367M

GVHD: TS HÀN HUY DŨNG

Hà Nội, 09/2022

This page is intentionally left blank

L ỜI CẢM ƠN

Trong suốt quá trình học tập tại Trường Đại học Bách Khoa Hà Nội, tôi luôn nhận được sự hướng dẫn, chỉ bảo và giúp đỡ tận tình của các thầy, cô giáo trong Viện Điện tử - Viễn thông cùng với sự động viên, đồng hành của bạn bè và đồng nghiệp

Tôi xin gửi lời cảm ơn chân thành đến Tiến sĩ Hàn Huy Dũng của Đại học

Bách Khoa Hà N ội đã nhiệt tình chỉ dạy và hướng dẫn để tôi có thể hoàn thiện

được các chuyên đề nghiên cứu cùng với luận văn này Tôi xin kính chúc thầy nhiều sức khỏe và thành công hơn nữa trong sự nghiệp trồng người

Tôi xin gửi lời cảm ơn chân thành đến Trung tâm Phát thanh – Truyền hình

Quân đội đã tạo điều kiện để tôi thực hiện các mô phỏng trong luận văn này

Cuối cùng, tôi xin gửi lời cảm ơn đến gia đình, bạn bè và đồng nghiệp đã cùng tôi chia sẻ những niềm vui, nỗi buồn, áp lực trong cuộc sống cũng như trong

suốt quá trình học tập và nghiên cứu

Tôi xin chân thành cảm ơn!

TÓM T ẮT

Ngày nay, công nghệ truyền hình tại Việt Nam đã rất phát triển và dần bắt kịp với xu hướng công nghệ trên thế giới Tương lai của công nghệ truyền hình chính là các trường quay ảo Tại đó, người dẫn chương trình sẽ tương tác với hệ thống thực tế tăng cường, tận dụng thiết kế đồ họa ảo để thỏa sức sáng tạo, không

bị giới hạn về không gian và thiết kế của trường quay, từ đó tiết kiệm đáng kể chi phí sản xuất Với sự phát triển mạnh mẽ của công nghệ thực tế tăng cường và trường quay ảo, các chương trình truyền hình trực tiếp nếu được ứng dụng sẽ giúp truyền hình thêm hấp dẫn người xem, thu hút lượng lớn các khán giả Tuy nhiên cho tới nay, tôi chưa tìm thấy nghiên cứu nào tìm hiểu đầy đủ và hoàn chỉnh về ứng dụng công nghệ thực tế tăng cường trong truyền hình tại Việt Nam Do đó, tôi quyết định lựa chọn “Hệ thống thực tế tăng cường tương tác thời gian thực trong công ngh ệ truyền hình tại Việt Nam” làm đề tài luận văn của mình Trong khuôn

khổ báo cáo này, tôi tập trung vào ba vấn đề chính:

“Chương I: Thực tế tăng cường” sẽ tìm hiểu thế nào là công nghệ thực tế

tăng cường, công nghệ này hoạt động như thế nào và được ứng dụng ra sao trong

cuộc sống hiện nay

“Chương II: AR trong truyền hình tại Việt Nam” sẽ nghiên cứu về trường

quay ảo trong truyền hình hiện đại và hai giải pháp AR đến từ các công ty hàng đầu đang được ứng dụng trong tryền hình như Vizrt và Aximmetry Trong chương này, tôi cũng đặt ra bài toán lựa chọn giải pháp công nghệ để triển khai đối với một trung tâm truyền hình có quy mô nhỏ

trình thiết lập hệ thống và triển khai giải pháp AR của Aximmetry trong trường quay thực tế Sau đó, tôi sẽ đánh giá kết quả triển khai thử nghiệm và định hướng nâng cấp trong tương lai

T ừ khóa: truyền hình, trường quay ảo, thực tế tăng cường

M ỤC LỤC

L ỜI CẢM ƠN 1

TÓM T ẮT 2

M ỤC LỤC 3

DANH M ỤC HÌNH VẼ 5

DANH M ỤC BẢNG BIỂU 7

B ẢNG CHỮ VIẾT TẮT 8

CHƯƠNG 1 TH ỰC TẾ TĂNG CƯỜNG 9

1.1 Công ngh ệ AR trong truyền hình tại Việt Nam 9

1.1.1 Thách thức của công nghệ AR trong truyền hình và tại Việt Nam 9

1.1.2 Mục tiêu cần đạt được của luận văn 10

1.2 Công ngh ệ AR 10

1.3 S ự khác biệt giữa AR và VR 11

1.4 Cơ chế hoạt động của hệ thống AR 12

1.5 Phân lo ại công nghệ AR 13

1.5.1 AR dựa trên điểm đánh dấu 13

1.5.2 AR không dựa trên điểm đánh dấu 14

1.5.2.1 AR dựa trên vị trí 14

1.5.2.2 AR dựa trên phác thảo 15

1.5.2.3 AR dựa trên máy chiếu 16

1.5.2.4 AR dựa trên định nghĩa người dùng 17

1.6 Các ứng dụng của AR 17

1.6.1 Truyền hình 17

1.6.2 Marketing 18

1.6.3 Giáo dục 19

1.6.4 Giải trí 20

CHƯƠNG 2 AR TRONG TRUY ỀN HÌNH TẠI VIỆT NAM 22

2.1 Trường quay ảo 22

2.2 Nghiên c ứu giải pháp AR của Vizrt 25

2.2.1 Viz Virtual Studio 25

2.2.2 Ứng dụng giải pháp AR của Vizrt trong truyền hình tại Việt Nam 28

2.3 Nghiên c ứu giải pháp AR của Aximmetry 31

2.3.1 Một số sơ đồ hệ thống được đề xuất 32

2.3.1.1 Camera ảo, 3 camera, 1 PC 33

2.3.1.2 Camera tracking, 3 camera, 1 PC 33

2.3.1.3 Camera traking, 3 camera, 3 PC 34

2.3.1.4 Camera tracking, 3 camera, 3 PC, key chuyên dụng 35

2.4 L ựa chọn công nghệ 36

2.4.1 So sánh giải pháp AR của Vizrt và Aximmetry 36

2.4.2 Yêu cầu thiết kế 37

CHƯƠNG 3 TRI ỂN KHAI GIẢI PHÁP AR CỦA AXIMMETRY 40

3.1 Thi ết lập hệ thống trường quay ảo 40

3.2 Thi ết lập hệ thống phần mềm 44

3.2.1 Unreal Editor 44

3.2.2 Aximmetry 46

3.2.2.1 Thiết lập cơ bản 46

3.2.2.2 Thiết lập chuyên sâu 49

3.2.2.3 Vận hành phần mềm 55

3.3 K ết quả thử nghiệm thực tế 58

3.4 Định hướng nâng cấp 58

K ẾT LUẬN 64

TÀI LI ỆU THAM KHẢO 65

DANH M ỤC HÌNH VẼ

Figure 1.1: Cơ chế hoạt động của hệ thống AR trong truyền hình 12

Figure 1.2: Quy trình xử lý dữ liệu của hệ thống AR [12] 13

Figure 1.3: Thực đơn nhà hàng được thiết kế bởi Oscar Falmer [13] 14

Figure 1.4: Chỉ dẫn lối đi tại sân bay Frankfurt, Đức [13] 15

Figure 1.5: Ứng dụng mua sắm nội thất [13] 15

Figure 1.6: Mô phỏng hoa văn bát cổ thời Lý bằng máy chiếu AR 16

Figure 1.7: Đo kích thước bằng ứng dụng Measure trên Iphone [13] 17

Figure 1.8: Chương trình trực tiếp Bầu cử tổng thống Mỹ năm 2020 18

Figure 1.9: Ứng dụng AR trong dịch vụ bán hàng của IKEA Place 18

Figure 1.10: Y học giải phẫu ứng dụng AR của Microsoft 19

Figure 1.11: Trò chơi Pokemon GO 20

Figure 2.1: Trường quay ảo của Atlanta North Studios với back procyc 180o 23

Figure 2.2: Trường quay ảo của Dock 10 với nhân vật thật 23

Figure 2.3: Trường quay thời sự của VTV1 24

Figure 2.4: Quy trình xử lý dữ liệu hình ảnh của Viz Virtual Studio 26

Figure 2.5: Trường quay ảo của BBC Sport sau khi kết xuất đồ họa 3D 27

Figure 2.6: Trường quay ảo của BBC Sport tại Salford, Vương quốc Anh 27

Figure 2.7: Trường quay ảo của BBC Sport sau khi kết xuất đồ họa 3D 28

Figure 2.8: Công nghệ AR trong trường quay của VTVcab 29

Figure 2.9: Khu vực xử lý kỹ thuật hình ảnh cho trường quay 30

Figure 2.10: Sơ đồ hệ thống đề xuất 1 33

Figure 2.11: Sơ đồ hệ thống đề xuất 2 33

Figure 2.12: Sơ đồ hệ thống đề xuất 3 34

Figure 2.13: Sơ đồ hệ thống đề xuất 4 35

Figure 2.14: Sơ đồ hệ thống thử nghiệm 38

Figure 3.1: Sơ đồ hệ thống thử nghiệm 40

Figure 3.2: Camera trường quay 41

Figure 3.3: Phòng điều khiển trường quay 42

Figure 3.4: Sơ đồ khối rút gọn 43

Figure 3.5: Unreal Editor của Aximmetry 44

Figure 3.6: Màn hình chính trong Unreal Editor 45

Figure 3.7: Cửa sổ thiết kế vật liệu trong Unreal Editor 45

Figure 3.8: Thiết kế không gian ảo cơ bản 46

Figure 3.9: Thiết lập chế độ màn hình trong Aximmetry 46

Figure 3.10: Thiết kế trường quay tin tức ảo của Aximmetry 47

Figure 3.11: Cảnh rộng 48

Figure 3.12: Cảnh trung 48

Figure 3.13: Cảnh cận 49

Figure 3.14: Sơ đồ khối sau khi thiết lập các kết xuất hình ảnh 49

Figure 3.15: Sơ đồ tín hiệu trong khối VirtualCam 50

Figure 3.16: Các thao tác với camera 50

Figure 3.17: Khối đồ họa màn hình LCD 51

Figure 3.18: Khối đồ họa cái bàn 52

Figure 3.19: Thiết lập chạy đồ họa Logo kênh truyền hình 52

Figure 3.20: Thiết lập chạy đồ họa chữ chân 53

Figure 3.21: Sơ đồ tín hiệu trong khối Lights 53

Figure 3.22: Sơ đồ tín hiệu trong khối Studio 54

Figure 3.23: Sơ đồ tín hiệu trong khối Record 54

Figure 3.24: Chỉnh sửa các hiệu ứng ở tab Main 55

Figure 3.25: Lựa chọn các góc máy quay ảo đã được thiết lập sẵn 56

Figure 3.26: Cửa sổ Billboards để thiết lập các chế độ key hình 56

Figure 3.27: Cửa sổ Overlays 57

Figure 3.28: Cửa sổ Record 57

Figure 3.29: Cấu hình kết nối cho thiết bị tracking (1) 59

Figure 3.30: Cấu hình kết nối cho thiết bị tracking (2) 59

Figure 3.31: Căn chỉnh phông nền xanh và MC (1) 60

Figure 3.32: Căn chỉnh phông nền xanh và MC (2) 60

Figure 3.33: Căn chỉnh phông nền xanh và MC (3) 60

Figure 3.34: Wall trước, 8m x 3.5m, cong, 2816 x 1232 pixel 61

Figure 3.35: 2 wall sau, 2.5m x 3m, phẳng, 520 x 624 pixel 61

Figure 3.36: LED wall trong Aximmetry khớp với LED wal thực 62

Figure 3.37: LED wall thực hiển thị đồ họa ảo 62

DANH M ỤC BẢNG BIỂU

Table 2-1: So sánh giải pháp AR của Vizrt và Aximmetry 37Table 3-1: Đánh giá kết quả thực nghiệm giải pháp AR của Aximmetry 58

B ẢNG CHỮ VIẾT TẮT

AR Augmented Reality – Thực tế tăng cường

VR Virtual Reality – Thực tế ảo

XR Extended Reality – Thực tế mở rộng

GPS Global Positioning System – Hệ thống định vị toàn cầu

2D 2 Dimensional – 2 chiều

3D 3 Dimensional – 3 chiều

HDR High Dynamic Range – Dải tương phản rộng

CCD Charge Coupled Device – Linh kiện tích điện kép

HHD Hand-Held Displays – Màn hình cầm tay

HMD Head-Mounted Displays – Màn hình gắn mũ

HCI Human-Computer Interaction – Giao tiếp người-máy

VDA Video Distribution Amplifier – Khuếch đại phân chia tín hiệu hình

ASP Advanced Signal Processing – Xử lý tín hiệu nâng cao

HD High Definition – Độ nét cao

UHD Ultra High Definition – Độ nét siêu cao

SDI Serial Digital Interface – Chuẩn video giao diện kỹ thuật số

VJ Video Jockey – Người dẫn chương trình

OSC Oscillator

MIDI Musical Instrumental Digital Interface – Giao tiếp âm nhạc kỹ thuật số

DMX Digital Multiplex Signal – Tín hiệu kỹ thuật số đa kênh

FBX Proprietary File Format

PC Personal Computer – Máy tính cá nhân

CHƯƠNG 1 THỰC TẾ TĂNG CƯỜNG

Theo thống kê trên statista, thị trường toàn cầu của thực tế mở rộng đã đạt 14.7 tỉ đô vào năm 2020, và ước đạt gần 300 tỷ USD vào năm 2024 Trong đó, thị trường AR mới chỉ chiếm 4.2 tỉ đô vào năm 2020 nhưng được dự đoán sẽ sớm cán

mốc 97.8 tỉ đô vào năm 2024, gấp hơn 23 lần chỉ sau 4 năm Như vậy để thấy rằng,

AR có tiềm năng phát triển rất lớn khi công nghệ đang đi vào từng ngõ ngách của

cuộc sống [9]

1.1 Công ngh ệ AR trong truyền hình tại Việt Nam

1.1.1 Thách th ức của công nghệ AR trong truyền hình và tại Việt Nam

Tại Việt Nam hiện nay, đa số người dùng đang sử dụng những thiết bị di động như điện thoại thông minh, máy tính bảng để xem các nền tảng video trực tuyến Ngay cả những khán giả trung thành nhất cũng đang dần rời xa truyền hình truyền thống vì sự thiếu hấp dẫn của các chương trình truyền hình Trong khi đó,

với sự phát triển của khoa học công nghệ, các đài truyền hình nổi tiếng trên thế

giới như NBC, BBC, hay CNN đã sớm ứng dụng công nghệ AR vào trong truyền hình từ năm 2008 Do đó, truyền hình tại Việt Nam cần nhanh chóng thay đổi, ứng

dụng công nghệ, tăng tính hấp dẫn cho các chương trình nhằm giữ chân những khán giả trung thành và lôi kéo những khán giả mới, để mọi khán giả được trải nghiệm những sản phẩm truyền hình chất lượng, đa dạng về nội dung và hình thức

thể hiện Hiện nay, có rất nhiều giải pháp AR đến từ các công ty công nghệ hàng đầu trên thế giới, tuy nhiên ứng dụng công nghệ AR trong truyền hình luôn có

những thách thức khác biệt

Thứ nhất, hệ thống AR trong truyền hình phải đảm bảo những tiêu chuẩn

về chất lượng hình ảnh Hiện nay, đa số các đài truyền hình đang vận hành hệ

thống theo tiêu chuẩn hình ảnh HD 1080i/1080p Do đó, hệ thống AR phải hỗ trợ các tiêu chuẩn chất lượng hình ảnh phổ biến

Thứ hai, hệ thống AR trong truyền hình phải đảm bảo tính thời gian thực

Do khung hình tối hiểu để mắt người xem có cảm giác mượt mà là 25 hình/s, đồ

họa AR phải được kết xuất đồng bộ (trễ ≤ 5 hình) so với khung hình thực để khán

giả không cảm thấy đồ họa AR đi sau nhân vật

Thứ ba, mặc dù có nhiều hãng trên thế giới cung cấp giải pháp AR ứng dụng trong truyền hình, tuy nhiên mỗi hãng lại có hệ thống phần cứng và phần mềm khác nhau, dẫn đến sơ đồ triển khai khác nhau và quy mô triển khai cũng rất khác nhau

Ngoài những thách thức đó, thực tế truyền hình tại Việt Nam cũng có thách

thức riêng Lựa chọn giải pháp công nghệ như thế nào, triển khai thực tế ra sao để phù hợp với yêu cầu kỹ thuật hiện có, cân bằng nhu cầu sản xuất và tiềm lực tài chính luôn là bài toán đau đầu đối với mỗi trung tâm truyền hình

1.1.2 M ục tiêu cần đạt được của luận văn

• Tìm hiểu tổng quan về công nghệ AR và ứng dụng của công nghệ AR

• Nghiên cứu trường quay ảo kết hợp công nghệ AR – xu hướng công nghệ truyền hình tại Việt Nam, tìm hiểu một số giải pháp AR ứng dụng trong truyền hình

• Đặt ra bài toán yêu cầu thiết kế, từ đó lựa chọn giải pháp AR phù hợp, xây

dựng cấu hình và thiết lập sơ đồ hệ thống, triển khai thử nghiệm trong môi trường truyền hình thực tế, tối ưu hóa phần cứng của hệ thống về giá thành

và chức năng, tiết kiệm chi phí

• Đánh giá kết quả và định hướng nâng cấp

như Tim Cook – CEO tại Apple – cũng rất quan tâm đến AR Ở buổi công bố lợi nhuận quý 1 năm 2020, ông cho biết: “Hiếm khi nào mà chúng ta phát triển được

một loại công nghệ mới mà doanh nghiệp và người tiêu dùng đều đánh giá cao Vì

vậy, tôi cho rằng, AR sẽ sớm có mặt ở khắp mọi nơi trong cuộc sống” [10]

Nếu nói về một trường hợp đã áp dụng thành công AR vào ứng dụng di động, thì phải kể đến Pokemon GO Được phát triển bởi công ty phát triển phần mềm Niantic, Pokemon GO đã bổ sung AR để người dùng được trải nghiệm game một cách chân thực – người dùng có thể tìm và bắt Pokemon ngay trong thế giới thực Game tương tác ảo Pokemon GO nhanh chóng trở thành hiện tượng toàn cầu

và thu về 207 triệu USD chỉ trong tháng đầu tiên – cao hơn bất kỳ game nào khác trước đó Sau ba tháng ra mắt, game trở nên phổ biến đến mức, tính trong nhóm

20 game Android đứng đầu, Pokemon GO chiếm đến 45% thời lượng người dùng

bỏ ra để chơi game Android Nhưng AR không chỉ hữu dụng cho mỗi game Instagram và Snapchat là hai ví dụ cho thấy AR hoàn toàn có thể áp dụng vào mạng xã hội để cải thiện trải nghiệm và tăng mức độ tương tác của người dùng

Cụ thể, Snapchat đã cho ra mắt “City Painter” vào năm 2020 Người dùng có thể phun sơn ảo lên các cửa hàng trên phố để tạo ra các mảng màu bắt mắt Cùng năm, Snapchat đã giới thiệu thêm chức năng Local Lenses

1.3 S ự khác biệt giữa AR và VR

Một điều quan trọng cần lưu ý, đó là AR và VR không giống nhau VR là công nghệ tạo ra một thế giới ảo, mà khi đi vào đó, người dùng có thể dùng các giác quan để cảm nhận được như thế giới thực, thậm chí có thể tương tác qua lại với thế giới ảo đó tạo ra một môi trường số Mục tiêu là làm sao cho người dùng

có thể trải nghiệm được “thế giới ảo” một cách “thật” nhất, làm cho người dùng hoà nhập hẳn vào thế giới ảo đó, và quên hết đi thế giới thực tế xung quanh mình

Còn với AR, bạn đưa những thứ ảo đưa vào thế giới thật, giúp người dùng nhìn thấy, cảm nhận thấy và tương tác được với các vật ảo đó tại thế giới thật Với mục tiêu làm sao cho những thứ ảo (được đưa vào thế giới thật) được trở nên thật nhất Số lượng người dùng AR ước tăng 17% vào năm 2022 Chỉ tính riêng tại Mỹ,

hiện đã có đến 83,1 triệu người sử dụng AR hàng tháng [10] AR phổ biến hơn VR

vì cho phép truy cập ngay trên thiết bị mà gần như ai cũng đem theo hàng ngày

Hệ thống AR được xây dựng bằng cách thực hiện bốn nhiệm vụ cơ bản và riêng biệt [11]

1 Capture: Thu thập hình ảnh, các camera sẽ ghi lại hình ảnh và chuyển thành dữ liệu số gửi về hệ thống AR

2 Identification: Hệ thống AR sẽ định vị dữ liệu thu thập được bao gồm hình ảnh và dữ liệu tracking so với dữ liệu tham chiếu (ví dụ: điểm đánh dấu AR)

3 Processing: Hệ thống sẽ kích hoạt AR dựa trên các dữ liệu tracking Kết

hợp với thiết bị tương tác, hệ thống xử lý dữ liệu sẽ đưa ra những thay đổi tương ứng Dữ liệu sau đó được kết xuất thành hình ảnh

4 Visualization: Hiển thị trên các loại màn hình theo nhu cầu

• Nguyên lý hoạt động [12]

Đầu tiên, thiết bị ghi hình sẽ chụp một khung hình, dữ liệu hình ảnh sau đó được xử lý để chuyển sang dạng dữ liệu số Kết hợp với dữ liệu tracking, hệ thống

sẽ định vị hình ảnh thu được so với đối tượng tham chiếu (ví dụ: điểm đánh dấu AR) trong thời gian thực Các kỹ thuật tracking có thể được phân loại dựa trên:

- Cảm biến: thiết bị đo quán tính, GPS, hồng ngoại, siêu âm

- Hình ảnh: sử dụng các điểm đánh dấu

Sau đó, hệ thống sẽ kích hoạt AR dựa trên: hình ảnh, vị trí GPS, điểm đánh

dấu hoặc giá trị cảm biến từ gia tốc kế, con quay hồi chuyển, la bàn, máy đo độ cao hoặc cảm biến nhiệt Kết hợp với thiết bị xử lý tương tác, hệ thống quản lý dữ

liệu sẽ đưa ra những thay đổi tương ứng Dữ liệu sau đó được kết xuất thành dữ

liệu hình ảnh và hiển thị trên các loại màn hình theo nhu cầu:

- Màn hình cầm tay (HHD) như: máy tính bảng, điện thoại thông minh

- Màn hình gắn mũ (HMD) như: kính thông minh, mũ bảo hiểm thông minh

- Máy chiếu không gian

1.5.1 AR d ựa trên điểm đánh dấu

Trong trường hợp này, camera của thiết bị sẽ được sử dụng để nhận diện marker (ví dụ mã vạch) để cung cấp các thông tin liên quan đến đối tượng đang có trên màn hình Để loại hình AR này hoạt động hiệu quả, hình ảnh do camera chụp được phải rõ ràng, có thể được đánh dấu bởi các điểm riêng biệt [13]

Figure 1.3: Th ực đơn nhà hàng được thiết kế bởi Oscar Falmer [13]

Trên đây là thực đơn nhà hàng được thiết kế bởi Oscar Falmer Sau khi nhận

dạng menu, hệ thống AR sẽ định vị các điểm đánh dấu là hình ảnh những món ăn trên menu Sau đó, hệ thống sẽ hiển thị đồ họa 3D của món ăn đó kèm với đánh giá người dùng tương ứng bên cạnh menu thực Người dùng thay vì chỉ nhìn thấy menu giấy, món ăn thì đơn giản, hình ảnh không rõ ràng, thì giờ sẽ thấy đồ ăn hiện

ra rất trực quan và kèm theo đánh giá để lựa chọn

1.5.2 AR không d ựa trên điểm đánh dấu

Trong AR không dựa trên điểm đánh dấu lại được chia thành 4 nhóm nhỏ

Về bản chất thì bất kì một loại công nghệ AR nào đều phải dựa trên 1 thông tin tracking nào đó

1.5.2.1 AR d ựa trên vị trí

Thông qua nguồn dữ liệu như gia tốc kế và chức năng theo dõi GPS, loại hình AR này có thể xác định vị trí và đo lường tốc độ Thiết bị có thể hiển chỉ dẫn, giúp người dùng tìm kiếm địa điểm dễ dàng trong khu vực [13]

Figure 1.4: Ch ỉ dẫn lối đi tại sân bay Frankfurt, Đức [13]

Đây là chỉ dẫn lối đi tại sân bay Frankfurt, Đức Với hệ thống định vị toàn

cầu, sai số của những ứng dụng bản đồ như google map, hay apple map chỉ là vài

m Công nghệ AR dựa trên hệ thống định vị sẽ dễ dàng đưa ra chỉ dẫn trực quan cho người dùng tại những địa điểm có không gian lớn, thiết kế phức tạp

1.5.2.2 AR d ựa trên phác thảo

Loại hình AR này sử dụng chức năng nhận diện đối tượng để thay thế hoặc thay đổi hình ảnh thực Nhận diện đối tượng đóng vai trò cực kỳ quan trọng để loại hình này hoạt động hiệu quả [13]

Với ví dụ là ứng dụng mua sắm nội thất, hệ thống sau khi nhận dạng căn phòng sẽ đưa ra những gợi ý thiết kế nội thất tương ứng Người dùng có thể quan sát và lựa chọn mà không cần mua sản phẩm thực tế đặt vào xem có phù hợp hay không

1.5.2.3 AR d ựa trên máy chiếu

Loại hình AR này sẽ chiếu ánh sáng ảo vào không gian thực và chủ yếu được sử dụng cho các sự kiện có quy mô, ít được áp dụng đối với thiết bị di động [13]

Đây là bức ảnh do chính tay tôi chụp khi được tới thăm triển lãm “Báu vật hoàng cung” tổ chức tại khu di tích Hoàng Thành Thăng Long Cái bát mà mọi người đang nhìn thấy ở đây thực ra là một cái bát cổ thời Lý được khai quật được Theo thời gian, gần như toàn bộ hoa văn trên bát đã bị xóa nhòa Nhưng bằng công nghệ AR và thuật toán nội suy, chiếc bát cổ thời Lý này đã được tái hiện lại với đầy đủ hoa văn như trước Đây là một ứng dụng vô cùng hữu ích trong việc lưu

giữ những giá trị lịch sử mà không công nghệ nào có được Khi nhìn một cái bát

cổ đã gần như mất hết hoa văn, khó ai có thể hiểu được giá trị lịch sử của chúng

nếu không phải là những nhà khảo cổ Nhưng với công nghệ AR, mọi người được chiêm ngưỡng những vật dụng tinh xảo của các triều đại và hiểu được giá trị văn hóa và sự phát triển kỹ nghệ của thời đại đó đã đến mức độ nào

1.5.2.4 AR d ựa trên định nghĩa người dùng

Những ứng dụng này được xây dựng, phát triển để giải quyết các vấn đề trong cuộc sống hàng ngày Thường là tùy chỉnh, có các điểm tương tác do người dùng xác định [13]

Trên ảnh là ứng dụng Measure đo kích thước trên Iphone Người dùng hoàn toàn có thể đo kích thước 1 cái bàn thật bằng 1 cái thước ảo bằng điện thoại thông minh

1.6 Các ứng dụng của AR

1.6.1 Truy ền hình

Trong lĩnh vực báo chí truyền hình, việc sử dụng VR và AR sẽ giúp tác giả kéo người xem tiếp cận vào trong chính câu chuyện, thay vì đơn thuần chỉ kể chuyện bằng hình ảnh hoặc video như thông thường

Figure 1.8: Chương trình trực tiếp Bầu cử tổng thống Mỹ năm 2020

Hẳn mọi người còn nhớ cuộc đua vào nhà Trắng giữa hai ứng viên Joe Biden và Donal Trump năm 2020 Rất nhiều bản tin trực tiếp đã lên sóng và cập

nhật số phiếu của từng ứng viên theo thời gian thực Và những hình ảnh trên sóng truyền hình như thế này chính là sản phẩm của công nghệ AR

1.6.2 Marketing

AR hoàn toàn có thể thay đổi thói quen bán hàng và thói quen mua hàng

của người dùng với những ứng dụng mua sắm nội thất như IKEA place với sự hiệu

quả và tiện dụng của nó

Ví dụ, bạn đặt mua một bộ tủ và đang phân vân không biết khi đặt vào góc nào của phòng ngủ và nó có vừa hay không? Lúc này công nghệ thực tế ảo tăng cường AR sẽ giúp ích rất nhiều, bằng cách tái hiện lại kích thước thật của đồ vật cần mua lên không gian tại nơi bạn sống thông qua camera trên chính chiếc smartphone hay máy tính của bạn

Và điều này không phải là tưởng tượng cho tương lai, một số trang web bán hàng hiện nay như PrestaShop hay SnapShop đã ứng dụng AR vào trong kinh doanh Khách hàng có thể ướm thử bất kỳ trang phục nào đang được bày bán thông qua camera smartphone, hoặc có thể xem bên trong bao bì của sản phẩm mà không cần mở

Converse chính là một trong những hãng giày đầu tiên sử dụng công nghệ thực tế ảo tăng cường cho khách hàng của mình Với công nghệ này, khách hàng của Converse giờ đây không còn phải tốn thời gian cho việc thử nhiều đôi giày khác nhau để tìm ra sản phẩm ưng ý Ứng dụng The Sampler cho phép người dùng ướm thử nhiều đôi giày và có hình ảnh những mẫu giày trên chính bàn của mình chỉ với vài thao tác đơn giản Ứng dụng cũng cho phép lưu ảnh và chia sẻ tiện lợi

Với ứng dụng y học giải phẫu của Microsoft, AR sẽ tái hiện chân thực các

bộ phận cấu tạo cơ thể người và rất nhiều thứ khác vào trong không gian thực tế Người học được thực hành trên môi trường số hóa 3D, y như thật, nhưng nội dung phong phú hơn, tình huống đa dạng hơn và có thể thực hành được nhiều lần, dễ dàng tiếp cận Như vậy chi phí thực hành sẽ giảm xuống, giảm thiểu nguy hiểm, hiệu quả cao

Thực tế ảo cũng giúp các công ty, nhà máy dây chuyền sản xuất có một công cụ đào tạo công nhân thao tác chính xác trong môi trường làm việc tại vị trí

của mình, giảm bớt thời gian đào tạo, tăng năng suất lao động Giải pháp tương tác

thực tế ảo tăng cường AR cũng giúp đào tạo kỹ năng tham gia giao thông, thực hành các bài tập hát múa, cách sử dụng nhạc cụ Đối với các lớp dạy nghề, AR giúp hiển thị hình ảnh 3D học viên sửa chữa, tháo lắp các động cớ, bộ phận điện, mác móc, dây chuyền công nghệ

1.6.4 Gi ải trí

Một ứng dụng không thể không nhắc đến, chính là giải trí bằng công nghệ

AR Đây được xem là một hướng đầu tư khá hấp dẫn trong tương lai Chỉ một trò chơi mà đem lại doanh thu hàng tỷ USD Điển hình là Pokemon GO, trò chơi này

đã mang lại 1.2 tỷ USD doanh thu cho Niantic với lượng người lúc đỉnh điểm có

thể đạt mốc 380 triệu người

K ết luận chương

AR thực sự là ứng viên tiềm năng đang được nhiều công ty lớn trên thế giới tìm hiểu và khám phá Các trang mạng xã hội lớn như Facebook, Pinterest, Instagram, … luôn dẫn đầu trong công cuộc thay đổi phương pháp tra cứu thông tin Bên cạnh đó, qua những cuộc khảo sát uy tín, chúng ta có thể thấy rằng 80% lượng thông tin được tiêu thụ thông qua hình ảnh, trong đó chỉ 10% thông qua việc đọc hiểu AR vẫn đang trên con đường tiếp tục chứng tỏ tiềm năng vô tận của mình đối với thế giới công nghệ và bất cứ ai cũng có thể hiểu được giá trị của nó thông qua một so sánh “một bức hình có thể thay thế vạn lời nói”

CHƯƠNG 2 AR TRONG TRUYỀN HÌNH

Trước sự phát triển mạnh mẽ của mạng xã hội, sự gia tăng các dịch vụ video

trực tuyến, sự tăng trưởng nhanh chóng về số lượng thiết bị di động và xu hướng

sử dụng video trực tuyến qua thiết bị kết nối Internet, các đơn vị truyền hình đã nhanh chóng ứng dụng các trường quay ảo được hỗ trợ bởi đồ hoạ 3D theo thời gian thực, điều khiển tự động hoá trường quay Các công nghệ mới như VR/AR được sử dụng trong sản xuất truyền hình mang lại trải nghiệm khác biệt đến với người xem, tăng tính chân thực và sống động cho từng chương trình

2.1 Trường quay ảo

Đối với mỗi hệ thống truyền hình dù truyền thống hay hiện đại, trường quay luôn là một phần không thể thiếu Với sự phát triển của truyền hình hiện đại, các

kịch bản giờ đây đều có yêu cầu phức tạp về thiết kế, décor trường quay để đạt được mục đích truyền tải thông điệp Tuy nhiên, trong nhiều trường hợp, trường quay thực không đáp ứng được yêu cầu ngữ cảnh như toàn cảnh lịch sử dân tộc, địa lý, thời tiết, chính trị, tôn giáo Thêm vào đó, việc thay đổi thiết kế của trường quay để phục vụ các bối cảnh khác nhau trong thời gian ngắn gần như là điều không thể Vì lí do đó, trường quay ảo ra đời và nó được xem là kỹ thuật tân tiến nhất hiện nay trong truyền hình hiện đại

Để ứng dụng kỹ xảo trong trường quay ảo, người ta nghĩ đến việc tách nhân

vật với phông nền phía sau và thay bằng một khung cảnh khác theo chủ đề nội dung của câu chuyện Điều đó yêu cầu trường quay ảo phải có một phông nền đồng

nhất và màu đặc trưng để có thể dễ dàng thay bối cảnh kỹ xảo theo yêu cầu Đối

với truyền hình hiện nay, trường quay ảo sẽ sử dụng một tấm vải màu xanh lá hoặc xanh dương

Figure 2.1 : Trường quay ảo của Atlanta North Studios với back procyc 180 o

Trường quay ảo Atlanta North Studio sử dụng phông xanh 180 độ để đảm

bảo khi các nhân vật di chuyển theo kịch bản không bị lọt ra ngoài khung hình lẫn

với cảnh thật Sau đó, đội ngũ kỹ thuật viên sẽ lồng ghép các hình ảnh, video, phù

hợp với sự kiện lên phông xanh tạo ra một phông nền ảo Qua các thao tác xử lý chuyên nghiệp sẽ khiến người xem cảm thấy không khác gì ngoài đời thực

Ưu điểm của trường quay ảo:

• Không bị chi phối bởi những yếu tố như thời tiết, nắng mưa, địa hình, … nên không bị giảm tiến độ công việc

• Tiết kiệm chi phí và tối ưu ngân sách, ví dụ: khi ghi hình có thể triển khai cảnh quay tại chỗ mà không cần phải vận động và di chuyển toàn bộ con người, dụng cụ đến khu vực trường quay

• Khắc phục những hạn chế mà trường quay thực không đáp ứng được yêu cầu ngữ cảnh như toàn cảnh lịch sử dân tộc, địa lý, thời tiết, chính trị, tôn giáo

• Dễ dàng sáng tạo

Trường quay ảo đang trở thành xu hướng hiện nay, bởi khi kết hợp với công nghệ tiến bộ, những thiết bị âm thanh ánh sáng hiện đại có thể đáp ứng nhu cầu

sản xuất các chương trình giải trí, truyền hình có chất lượng cao, lồng ghép được nhiều kỹ xảo không thể quay thực tế được

2.2 Nghiên c ứu giải pháp AR của Vizrt

2.2.1 Viz Virtual Studio

Viz Virtual Studio cung cấp cho các nhà sản xuất truyền hình khả năng sáng tạo những trường quay 3D ảo, tương tác thời gian thực và có thể dễ dàng được tạo

ra với giao diện trực quan [14] Các ứng dụng trong bộ phần mềm Vizrt hỗ trợ đầy

đủ các giải pháp công nghệ mà không phải tích hợp đồ họa của bên thứ 3 Vizrt Virtual Studio hỗ trợ tất cả các giải pháp camera-tracking tiên tiến và các thiết bị ngoại vi khác trong trường quay, cung cấp một giải pháp vượt trội trong việc tạo

ra các trường quay ảo Với ưu điểm:

1 Dễ dàng triển khai trong trường quay hoặc sự kiện ngoài trời

2 Hỗ trợ đa dạng các giao thức dữ liệu tracking

3 Được sử dụng cho các trường quay ảo và đồ họa nhập vai

Cùng những đặc điểm chính:

• Trường quay ảo 3D

• Các mẫu template tùy chỉnh

• Giao diện trực quan

• Ghi lại các dữ liệu tracking

• Hiệu chỉnh màu ở hình ảnh đầu vào

• Dễ dàng mở rộng

• Công cụ hiệu chuẩn ống kính

• Kiểm soát đồ họa của bên thứ 3

Figure 2.4: Quy trình x ử lý dữ liệu hình ảnh của Viz Virtual Studio

Vizrt Virtual Studio có thể tích hợp với một loạt các camera-tracking và các thiết bị ngoại vi trong trường quay Các nhà thiết kế xây dựng những bối cảnh bằng việc sử dụng Viz Artist và sáng tạo ra môi trường ảo của họ Viz Artist có thể tạo

ra một trường quay ấn tượng chỉ trong một diện tích sân khấu nhỏ Những trường quay có sẵn có thể được bổ sung những đối tượng ảo (virtual object), những đối tượng này có thể tương tác với thiết ngoại vi Dữ liệu từ mạng xã hội hoặc ứng dụng của bên thứ 3 có thể được lấy để kết hợp dễ dàng vào trong môi trường ảo giống như một phần của bối cảnh được thiết kế trong Viz Artist Viz Virtual Studio cho phép chỉ cần một người điều khiển duy nhất xử lý các sản phẩm truyền hình phức tạp, những sản phẩm mà bình thường phải yêu cầu một vài người điều khiển khác nhau, cho phép những nhân viên có thể tập trung vào những công việc khác, cải thiện hiệu suất làm việc

Vizrt cung c ấp hệ sinh thái trường quay ảo cho BBC Sport ở Salford, Vương quốc Anh [15]

Sử dụng Viz Engine 4 tích hợp cùng đồ họa từ Unreal Engine 4 và Fusion Keyer, cùng với hệ thống tracking quang học 6 trục Mo-Sys StarTracker và thiết

kế trường quay của BK Design và Lightwell, hệ thống truyền hình của BBC Sport

có thể tạo ra 5 không gian trường quay chỉ từ 1 trường quay ảo để phục vụ cho các chương trình thể thao khác nhau

Vào tháng 4 năm 2021, BBC Sport bắt đầu sử dụng hoàn toàn hệ sinh thái Vizrt để thực hiện nhiều giải đấu và chương trình thể thao trong năm Trung tâm truyền hình sản xuất các chương trình như Match of The Day, Euros 2020 và Olympics - cung cấp cho khán giả đồ họa AR đi kèm với phân tích thể thao, highlight trong trận đấu và tạo ra những câu chuyện hình ảnh đặc biệt

VTVcab là đơn vị truyền hình đầu tiên tại Việt Nam ứng dụng sản xuất chương trình dựa trên công nghệ tăng cường thực tế ảo từ Vizrt mà nhiều hãng truyền thông trên thế giới đang dùng [16]

(3D Graphic System) và Trường quay tự động (Studio Automation System)

Figure 2.8: Công ngh ệ AR trong trường quay của VTVcab

Đây là hệ thống sản xuất chương trình sử dụng giải pháp phần mềm để quản

lý và quy trình hóa tất cả các khâu sản xuất chương trình từ tổ chức sản xuất tiền

kỳ, sản xuất hậu kỳ, phê duyệt files thành phẩm và phát hành Điểm nổi bật của hệ thống này đó là ứng dụng các trường quay ảo được hỗ trợ bởi đồ họa 3D theo thời gian thực, điều khiển tự động hóa trường quay Điều này sẽ đảm bảo cho việc sản xuất các chương trình với ý tưởng mang tính đột phá, hiện đại, cách tiếp cận hoàn toàn mới, mang đến cảm nhận thông tin, hình ảnh nhanh nhất, chân thực và sinh động nhất cho khán giả

Hiện VTVcab đang từng bước ứng dụng công nghệ này trong sản xuất các bản tin thể thao, tiến tới sẽ ứng dụng trong sản xuất các chương trình bình luận, chuyên mục và hệ thống các giải thể thao trong nước trên kênh Thể thao TV, Bóng

đá TV, Thể thao Tin tức HD, các chương trình giải trí, văn hóa trên các kênh sóng

Figure 2.9: Khu v ực xử lý kỹ thuật hình ảnh cho trường quay

VTVcab là đơn vị truyền hình đầu tiên tại Việt Nam và thứ 2 trong khu vực Đông Nam Á (sau Media Corp của Singapore) ứng dụng sản xuất chương trình dựa trên công nghệ tăng cường thực tế ảo, và đại diện của Vizrt cho biết việc đầu

tư xây dựng Trung tâm Kỹ thuật sản xuất chương trình ứng dụng công nghệ hiện đại là bước đặt nền móng đầu tiên cho những công nghệ hiện đại sẽ tiếp tục được ứng dụng trong tương lai

Ngoài VTVcab và Media Corp, các hãng truyền thông lớn trên thế giới cũng đang chọn giải pháp của Vizrt, bao gồm CNN, NBC, FOX, ABC, CBS, NFL (Mỹ); BBC World, SKY, Canal Plus, NRK (châu Âu); Aljazeera, MBC, Be-in channel (Các Tiểu Vương quốc Ả Rập Thống nhất)

2.3 Nghiên c ứu giải pháp AR của Aximmetry

Virtual Studio của Aximmetry hỗ trợ thiết lập một trường quay ảo với khả năng tạo ra những nội dung đồ họa chất lượng và có đầy đủ các chức năng để xây

dựng các bối cảnh và hiệu ứng tương tác với đèn ảo, chuyển động của máy quay

ảo và công nghệ AR [17] Với những đặc điểm chính sau:

• Đồ họa 3D nâng cao: HDR, độ sâu trường ảnh, bóng đổ, phản xạ, khúc xạ

• Kết xuất 2D/3D thời gian thực, xử lý hậu kỳ, hiệu ứng, chroma key

• Mức độ tương tác cao và khả năng kiểm soát thời gian thực

• Giao diện lập trình đồ họa dựa trên sơ đồ kéo thả rất linh hoạt

• Bộ tính năng của Aximmetry được phát triển đặc biệt cho truyền hình: key nâng cao, công cụ xây dựng thương hiệu kênh, thu thập thông tin, trộn hình

và các tính năng khác

• Đồ họa thiết kế trong Unreal Engine 4 hoàn toàn tương thích và hoạt động mượt mà trong Aximmetry Trong quá trình sản xuất truyền hình, Aximmetry có thể gửi thông tin như văn bản, hình ảnh hoặc sự kiện nào đó đến bối cảnh trong Unreal

• Xây dựng bối cảnh/hiệu ứng tương tác bằng node logic

• Hệ thống mở cho phép tích hợp bất kỳ thiết bị camera tracking nào

• Giải pháp tất cả trong một phần mềm: Không cần phải mua thêm các đun và phần mở rộng riêng biệt cho chroma key, đồ họa 2D, studio ảo 3D, màn hình video wall, trình chiếu

mô-• Có khả năng mở rộng nhiều video card trong một hệ thống, mỗi card sử

dụng cho một mục đích khác nhau

• Hỗ trợ 4K – SDI input/output

• Hỗ trợ tương tác với khán giả qua màn hình

• Nhận thông tin chuyên sâu để kết hợp thực tế giữa các yếu tố thực và ảo

 Cùng kh ả năng triển khai và hỗ trợ tương tác:

• Hỗ trợ xuất nhiều tín hiệu video ouput đồng thời tới các màn hình, máy chiếu, LED wall, v.v

• Hỗ trợ mapping: cho phép chiếu lên các bề mặt phức tạp

• Tạo chế độ xem toàn cảnh bằng nhiều máy chiếu kết hợp

• Có thể tùy chỉnh giao diện điều khiển trên sân khấu, sử dụng màn hình cảm ứng

• Hỗ trợ người dẫn chương trình: một giao diện điều khiển trực quan riêng

biệt cho các buổi biểu diễn của VJ

• Điều khiển bất kỳ sự kiện hoặc thông số hiệu ứng nào thông qua màn hình

cảm ứng, GPIO, OSC, MIDI, DMX /ArtNet

• Điều khiển các thiết bị đồng bộ từ Aximmetry qua GPIO, OSC, MIDI, DMX /ArtNet

• Chế độ chạy tự động cho triển lãm

• Tạo mẫu vật liệu; full PGR pipeline

• Tạo mẫu bối cảnh 3D: tích hợp sẵn, hỗ trợ import FBX và Collada

• Hỗ trợ tạo nhiều vật liệu phức tạp

• Chroma key

• Xem lại video

• Chuyển đổi video: định dạng, độ phân giải, không gian màu, v.v.; từ /đến chuỗi hình ảnh

• Tổng hợp video và thêm hiệu ứng

• Xử lý hình ảnh/text: chuyển đổi định dạng, thay đổi kích thước, xếp lớp, điều chỉnh màu sắc, chuyển đổi không gian màu, phân lớp

• Tạo kết cấu đơn giản: bản vẽ 2D, text, hiệu ứng 2D

• Xử lý bản đồ khối: có thể chuyển đổi qua lại với định dạng DDS 6 mặt; được tạo từ cảnh 3D

• Điều khiển các thiết bị GPIO, OSC, MIDI, DMX /ArtNet

2.3.1 M ột số sơ đồ hệ thống được đề xuất

Với sự linh hoạt của hệ thống Aximmetry, các nhà sản xuất có thể dễ dàng tùy biến hệ thống theo yêu cầu, có thể sử dụng tracking hoặc trackless, có thể đầu

tư từng phần, sau đó nâng cấp lên và hỗ trợ nhiều hãng sản xuất phần cứng tracking Sau đây là một số sơ đồ hệ thống được đề xuất [18]