293 Hội Thảo Quốc Gia 2015 về Điện Tử, Truyền Thông và Công Nghệ Thông Tin (ECIT 2015) Đánh Giá Trải Nghiệm Khách Hàng Sử Dụng Dịch Vụ IPTV Phan Thanh Vy Lê Tuấn Anh Trung tâm Kỹ thuật Khu vực III Kho[.]
Trang 1Đánh Giá Trải Nghiệm Khách Hàng Sử Dụng
Dịch Vụ IPTV
Tổng Công ty Mạng lưới Viettel Trường Đại học Thủ Dầu Một
Tóm tắt— Quality of Experence (QoE) là nhận xét chủ
quan của khách hàng về dịch vụ họ đang sử dụng Việc tìm
hiểu những yêu cầu ảnh hưởng đến chất lượng trải nghiệm
QoE IPTV là cơ sở đánh giá đầy đủ chất lượng dịch vụ
IPTV đang cung cấp Trong bài báo này, chúng tôi trình
bày phương pháp mới để đánh giá độ trải nghiệm dịch vụ
truyền hình IPTV giúp nhà cung cấp dịch vụ IPTV hiểu
biết chính xác chất lượng dịch vụ đang cung cấp, và từ đó
có phương án xử lý hợp lý góp phần nâng cao chất lượng
dịch vụ và làm tăng mức độ hài lòng của khách hàng khi
sử dụng dịch vụ Qua kết quả thực nghiệm thu được đã
chứng minh tính đúng đắn và hiệu quả của phương pháp
đề xuất.
Từ khóa— QoE chất lượng trải nghiệm dịch vụ, QoS
chất lượng dịch vụ, IPTV dịch vụ truyền hình tương tác trên
nền IP, Key Performance Indicator (KPI) chỉ số chất lượng
chính yếu để đánh giá hiệu năng của hệ thống.
I. GIỚI THIỆU Tại Việt Nam truyền hình IPTV được rất nhiều nhà
mạng lớn đang cung cấp, tuy nhiên việc đánh giá chất
lượng dịch vụ truyền hình này chỉ hạn chế ở việc đánh
giá dựa vào những thông số Key Performance Indicator
(KPI) về tình hình phản ánh của khách hàng Tuy nhiên,
những thông số KPI chưa phản ánh được mức độ hài
lòng của khách hàng khi trải nghiệm dịch vụ
Xuất phát từ nhu cầu đó, việc nghiên cứu đo lường,
đánh giá mức độ trải nghiệm dịch vụ truyền hình IPTV
và xây dựng công cụ để giám sát, đánh giá chất lượng
dịch vụ gần nhất với mức độ hài lòng của khách hàng là
một nhu cầu rất thiết thực và hứa hẹn sẽ mang lại một
hướng đi mới giúp nhà cung cấp dịch vụ truyền hình trả
tiền ở Việt Nam Một công cụ như thế có thể phản ánh
được chính xác chất lượng dịch vụ nhà mạng đang cung
cấp, dự đoán được khả năng lỗi của hệ thống và từ đó có
phương án xử lý hợp lý góp phần nâng cao chất lượng
dịch vụ và làm tăng mức độ hài lòng của khách hàng khi
sử dụng dịch vụ
Một số nghiên cứu gần đây về QoE IPTV chỉ tập
trung vào nghiên cứu đánh giá chất lượng luồng video từ
đó đánh giá QoE hoặc đưa ra mối liên quan giữa QoE
với QoS trong mạng IPTV nhưng chưa đứng từ phía
khách hàng để nhìn nhận chất lượng dịch vụ, chưa biết được độ hài lòng của khách hàng
Trong bài báo này, chúng tôi sẽ đi sâu vào phương pháp đo và đánh giá chất lượng IPTV đặc biệt là đánh giá độ trải nghiệm dịch vụ truyền hình IPTV (QoE IPTV) và trên cơ sở đó sẽ đề xuất phương pháp mới để đánh giá QoE IPTV Các kết quả thực nghiệm trên hệ thống IPTV tại Tập đoàn Viễn thông Quân đội Viettel đã cho thấy phương pháp đề xuất là phù hợp và tính chính xác khá cao
Phần còn lại của bài báo được cấu trúc như sau: Phần
II sẽ trình bày các nghiên cứu liên quan; Phương pháp đề xuất đánh giá QoE IPTV tại đầu cuối khách hàng sẽ được trình bày chi tiết tại Phần III; Kết quả thực nghiệm
và đánh giá được trình bày ở Phần IV; Kết luận sẽ được trình bày trong Phần V
II. CÁC NGHIÊN CỨU LIÊN QUAN ITU-T G.1080 đề cập phương pháp đánh giá QoE IPTV gồm hai phương pháp chính là đánh giá khách quan (Objective) tập trung vào việc phân tích ảnh hưởng của các thành phần QoS đến QoE và phương pháp đánh giá chủ quan (Subjective) dựa vào những yếu tố mang tính chủ quan như cảm xúc, giá cả và độ trải nghiệm dịch vụ [13] như trong Hình 1
QoE
Quality of Services ComponentsHuman Objective Subjective
Emotions Pricing Experience Services
factors Transport factors Application factors
Hình 1 QoE IPTV theo ITU-T G.1080.
Tuy nhiên, việc nghiên cứu đánh giá QoE IPTV hiện nay đang tập trung nhiều vào đánh giá khách quan đến những khía cạnh của dịch vụ IPTV như: chất lượng luồng video và audio trên mạng, ảnh hưởng QoS của mạng lưới, có rất ít nghiên cứu đi vào đánh giá chủ quan
Trang 2
dựa vào những yếu tố cảm xúc, giá cả, hay độ trải
nghiệm của khách hàng sử dụng
Một mô hình tương quan giữa QoE và QoS được đề
cập trong [5] cho thấy được mối liên quan giữa QoE và
QoS và mức độ quan trọng của những tham số QoS
được lựa chọn Một số biến thể gần đây như: Phương
pháp đánh giá QoE dựa trên các tham số QoS trong
IPTV [1] cho thấy mối liên quan giữa QoE và QoS mà
chưa đề cập đến phương pháp đo và chưa đứng ở góc độ
người sử dụng để đánh giá dịch vụ Một biến thể khác
chỉ tập trung vào việc nghiên cứu ảnh hưởng của tham
số QoS là Packet loss đến QoE [2]
Một mô hình khác được sử dụng để đánh giá QoE là
sủ dụng mạng neural Chẳng hạn, H.EL Khattabi và
đồng sự đã trình bày dự đoán được kết quả chất lượng
video theo điểm số Mean Opinion Score (MOS) cho
mạng LTE sử dụng mạng neural [7] Liu Jing và đồng sự
cũng cho thấy được khả năng ứng dụng của mạng neural
nhân tạo để giải quyết bài toán dự đoán chất lượng trải
nghiệm QoE [6]
III. PHƯƠNG PHÁP ĐỀ XUẤT
Với yêu cầu cải thiện chất lượng dịch vụ phục vụ
khách hàng, nâng cao chất lượng mạng lưới, nhiều nhà
cung cấp dịch vụ đã đầu tư chi phí khá lớn để nâng cao
chất lượng QoS cho toàn mạng lưới thông qua nhiều tiêu
chí chất lượng
Những tiêu chí chất lượng đó được thể hiện rõ ràng
qua chỉ tiêu KPI của toàn mạng lưới được đo kiểm, giám
sát thường xuyên Chính vì thế, độ hài lòng của khách
hàng không còn phụ thuộc nhiều vào QoS mà phụ thuộc
lớn vào sự trải nghiệm thông qua những tiện ích mang
tính tương tác giữa hệ thống với người sử dụng Vì vậy,
đánh giá độ trải nghiệm dịch vụ của người dùng IPTV
thông qua khả năng đáp ứng, và thời gian tương tác giữa
người sử dụng với hệ thống là một vấn đề rất mới, cần
thiết cho việc đánh giá độ hài lòng của khách hàng sử
dụng dịch vụ IPTV Do đó, đánh giá QoE IPTV nên xuất
phát từ ý kiến chủ quan của khách hàng (phần màu đỏ
trong Hình 1)
Làm cách nào để có thể hiểu biết được chính xác
được cảm nhận của chính khách hàng sử dụng là vấn đề
thực sự cần thiết Xuất phát từ nhu cầu đó, tác giả đề
xuất phương pháp đánh giá QoE IPTV theo độ trải
nghiệm từ những yếu tố thu thập được bằng cách đo tính
tương tác của thao tác điều khiển (Control function) và
khả năng tương tác EPG tại phía đầu cuối khách hàng
kết hợp với ứng dụng mạng neural nhân tạo để đưa ra
kết quả đánh giá trải nghiệm khi sử dụng dịch vụ truyền
hình IPTV như trong phần đóng khung trong Hình 2
Hình 2 QoE IPTV theo Control funtion & EPG (theo ITU-T
G.1080).
Nội dung chính của phương pháp được đề xuất gồm các bước như sau:
- Xác định những yếu tố chính (K1, K2,…, Kn) ảnh hưởng đến trải nghiệm của khách hàng sử dụng IPTV Những yếu tố này là những tiêu chí chất lượng chính ảnh hưởng lớn đến QoE IPTV được khuyến nghị bởi ITU-T G.1080 Trong nghiên cứu này, chúng tôi sử dụng 8 yếu tố (n = 8, chi tiết trong Phụ lục A)
- Khảo sát đánh giá cảm nhận chủ quan khả năng trải nghiệm dịch vụ của khách hàng sử dụng theo điểm
số MOS Thu thập kết quả đánh giá chủ quan theo điểm MOS từ phía khách hàng sử dụng theo những trải nghiệm dựa vào những yếu tố (K1, K2,…, Kn) đưa ra theo “Phiếu khảo sát đánh giá trải nghiệm dịch
vụ IPTV” Phụ lục A
- Thiết kế mạng neural để dự đoán kết quả của khách hàng sử dụng IPTV Viettel quy đổi ra thang điểm MOS Từ những yếu tố thu thập sẽ được đưa vào mạng neural xử lý để cho ra kết quả đánh giá là điểm
số MOS có giá trì từ 1 đến 5 tương ứng với đánh giá chất lượng từ “Kém” đến “Xuất sắc” như trong Hình
3
Hình III Mô hình mạng neural đề xuất đánh giá QoE IPTV. IV. THỰC NGHIỆM VÀ ĐÁNH GIÁ
a) Mô hình đề xuất
Chúng tôi đề xuất mô hình thực nghiệm để đánh giá QoE IPTV theo mô hình sau:
Trang 3
Hình III Mô hình ứng dụng thiết kế để đánh giá QoE IPTV.
Set Top Box (STB) của người dùng sinh ra log file
và được lưu trong server lưu trữ Chúng tôi xây dựng
một công cụ phần mềm thực hiện phân tích log file của
mỗi STB thành những yếu tố cần thiết ( K1, K2, …, K8),
và sau đó sử dụng mạng neural đã được huấn luyện
trước để đánh giá cho ra kết quả QoE dựa vào những yếu
tố đầu vào được phân tích ra từ log file
b) Đánh giá kết quả thực nghiệm
Dữ liệu thu thập được 80 mẫu, trong quá trình khảo
sát tác giả nhận thấy một số phiếu đánh giá không đạt
những tiêu chuẩn mà nghiên cứu đề ra, tỉ lệ này chiếm
khoảng 5% mẫu khảo sát Đồng thời theo nguyên tắc
thống kê chọn mẫu, tỉ lệ mẫu khảo sát không đạt tiêu
chuẩn xoay quanh mức 5% vì vậy sau khi kiểm tra, tác
giả loại bỏ đi 5% những giá trị mang tính cực đoan 95%
kết quả còn lại sẽ thực hiện 70% cho việc training và
25% cho việc kiểm tra và đánh giá
Kết quả thực nghiệm được trình bày trong Hình 5
Độ chính xác của quá trình huấn luyện (trainning) hơn
90% cho thấy quá trình huấn luyện có độ chính xác rất
lớn, đáp ứng được mục tiêu của quá trình huấn luyện
Kết quả quá trình kiểm tra (validation) là hơn 91% cho
thấy được tính chính xác của bài toán cũng khá cao, phù
hợp với yêu cầu Kết quả tổng hợp của ứng dụng với
mức độ chính xác trên 85% (All) là khá cao, hoàn toàn
phù hợp với yêu cầu mà tác giả đặt ra
V. KẾT LUẬN Với phương pháp đề xuất và kết quả thực nghiệm
Tác giả nhận định, đây là một phương pháp mới để đánh
giá chất lượng dịch vụ, nó giúp nhà mạng có cái nhìn
mới hơn về chất lượng dịch vụ Thông qua việc thu thập
đánh giá từ khách hàng sử dụng, nhà mạng có được
thông tin phản hồi chính xác từ người dùng trực tiếp,
biết thêm về nhu cầu khách hàng của mình từ đó có thể
nắm bắt được nhu cầu để phục vụ khách hàng tốt hơn
giúp nâng cao uy tín, năng lực cạnh tranh của doanh
nghiệp
Phương pháp đề xuất cũng mở ra cách nhìn mới hơn
về giám sát dịch vụ theo hướng cá thể hóa phù hợp với
xu thế chuyển dịch của công nghệ giám sát mạng lưới theo nhận định của Gartner
Bên cạnh đó, ứng dụng được triển khai giúp tăng tính chủ động của nhà mạng, giúp nhà mạng có khả năng nhìn thấy chất lượng từng cá nhân trong cả một đám đông hàng triệu, hàng chục triệu khách hàng để giám sát chất lượng tới mức thiết bị đầu cuối từng khách hàng, từng dịch vụ mà khách hàng sử dụng
Hình 5 Kết quả thực nghiệm mô phỏng độ chính xác của
ứng dụng theo tỉ lệ chính xác R TÀI LIỆU THAM KHẢO [1] Vũ Minh Khánh (2013), Nghiên cứu phương pháp đánh giá QoE dựa trên các tham số QoS, Học viện Công nghệ Bưu chính Viễn thông, Hà Nội.
[2] Hoàng Quang Khải (2014), Nghiên cứu phương pháp đánh giá chất lượng trải nghiệm QoE trong mạng IPTV, Học viện Công nghệ Bưu chính Viễn thông, Hà Nội.
[3] Vụ Khoa học và Công nghệ (2014) QCVN 84:2014/BTTTT Quy chuẩn chất lượng Quốc gia về chất lượng dịch vụ IPTV trên mạng viễn thông công cộng cố định, Bộ Thông tin và Truyền thông, Hà Nội, 12 trang
[4] T Ghalut, H Larijani, A Shahrabi (2013), “Video Quality Prediction over LTE Using Random Neural Networks”, HET-NET 2013 Working Conference
[5] Hyun Jong Kim, Ki Seong Cho, Hwa Suk Kim, Seong Gon Choi (2010), “A Study on a QoS/QoE Correlation Model for QoE Evaluation on IPTV Service”, Advanced Communication Technology (ICACT), 2, p.1377 – 1382
[6] Liu Jing, Sunyoung Han, Li Xuan, Han Li and Sungchol Cho (2014), “An Effective Quality of Experience Measurement and Calculation Method for IPTV Service”, International Journal of Future Generation Communication and Networking, 7(3),
p.141-154
[7] H.EL Khattabi, A Tamtaoui, D Aboutajdine (2011), “Video Quality assessment Measure with Neural Network”, International Scholarly and Scientific Research & Innovation, 5(3)
[8] R ruzgiene, L Narbutaite, T Adomkus, R Cibulskis (2013),
“Subjective and Objective MOS Evaluation of User’s Perceived
Trang 4
Quality Assessment for IPTV Service: a Study of the
Experimental Investigations”, ELEKTRONIKA IR
ELEKTROTECHNIKA, 19(7)
[9] Akira Takahashi (2009), “Framework and Standardization of
Quality of Experience (QoE) Design and Management for
Audiovisual Communication Services” NTT Technical Review,
7(4)
[10] Kira Takahash (2007), Applications of objectives quality
assessment models in IPTV, ETSI, Japan
[11] Agilent Technologies (2008) MDI measurement in the IPTV
Understanding and interpreting MDI value, 5 pages
[12] DSL Forum (2006) Triple play service Quality of
Experience(QoE) Requirements and Mechanism
[13] International Telecommunication Union (2008)
Recommendation ITU-T G.1080 Quality of experience
requirements for IPTV services
[14] International Telecommunication Union (2008)
Recommendation ITU-T G.1081 Performance monitoring points
for IPTV
[15] Tech Mahindra Pune (2010) IPTV End-to-End Performance
Monitoring, India, 13 pages
[16]
http://ictpress.vn/Tri-thuc-chuyen-nganh/Vien-thong/Tu-QoS-
den-QoE-Van-de-can-quan-tam-khi-cung-cap-cac-dich-vu-vien-th, truy cập 21 tháng 4 năm 2015.
[17] http://www.ntt.co.jp/qos/qoe/eng/technology/visual/01_5_1.html
, truy cập ngày 25 tháng 4 năm 2015.
[18]
https://takinginitiative.wordpress.com/2008/04/03/basic-neural-network-tutorial-theory/, truy cập ngày 21 tháng 6 năm 2015.
PHỤ LỤC A
Phiếu Khảo Sát Đánh Giá Trải Nghiệm Dịch Vụ IPTV
Với mục đích nâng cao chất lượng, đáp ứng mức độ
hài lòng khi sử dụng dịch vụ, đặc biệt mức độ trải
nghiệm dịch vụ truyền hình tương tác NextTV, chúng tôi
tiến hành khảo sát mức độ hài lòng của quý khách hàng
với những tiêu chí chính sau:
(K1) Thời gian chuyển kênh
Thời gian chuyển kênh là khoảng thời gian tính từ
lúc bấm nút chuyển kênh hoặc chọn kênh mới trên điều
khiển tới khi kênh mới bắt đầu hiển thị trên Tivi
Bấm số để chọn một kênh bất kỳ trên remote
Bấm phím CH + hoạc CH- hoặc up/down để chuyển
đổi giữa các kênh
(K2) Thời gian vào MENU chương trình
Thời gian di chuyển vào Menu được xác định từ lúc
bấm chọn phím “MENU“ trên điều khiển cho đến khi
màn hình Tivi hiển thị các Menu dịch vụ(Ca nhạc/Phim
truyện/Thiếu nhi/TV xem lại/ Bạn cần biết)
(K3) Thời gian yêu cầu nội dung phim
Thời gian yêu cầu nội dung phim được xác định từ
lúc thao tác chọn Menu “Phim Truyện” trên màn hình
đến khi màn hình hiển thị đầy đủ danh sách các phim để
lựa chọn
(K4) VoD Navigation
Là thời gian từ lúc sử dụng remote di chuyển giữa các Tab và Thể loại trong menu “Phim Truyện” đến khi nội dung hiển thị đầy đủ trên màn hình
(K5) Thời gian yêu cầu dịch vụ ca nhạc
Thời gian yêu cầu dịch vụ ca nhạc được tính từ khi thao tác nút điều khiển vào menu “Ca nhạc” cho đến khi toàn bộ chương trình hiện lên đầy đủ
(K6) Music navigation
Là thời gian từ lúc sử dụng remote di chuyển giữa các Tab và các thể loại trong menu “Ca nhạc” đến khi nội dung được hiển thị đầy đủ trên màn hình
(K7) Thời gian yêu cầu dịch vụ TVoD
Thời gian yêu cầu dịch vụ TVoD được tính từ khi thao tác nút điều khiển vào menu “TV xem lại” cho đến khi toàn bộ chương trình hiển thị đầy đủ
(K8) Tính thân thiện của giao diện EPG
Giao diện hiển thị trên màn hình rõ ràng, dễ hiểu, thuận tiện cho người sử dụng
Sau khi thực hiện những thao tác đã hướng dẫn như trên, anh/chị có nhận xét gì về thời gian đáp ứng của hệ thống theo những tiêu chí đã nêu ở trên và cho điểm đánh giá từ 1 đến 5 tương ứng với mức độ hài lòng từ
“Kém” đến”Xuất sắc”
Điểm đánh giá:
Xuất sắc Tốt Trung bình Tạm chấp nhận
Kém
5 4 3 2 1
