Bài viết đề xuất một mẫu sáng mức xám sử dụng trong hệ thống ánh sáng cấu trúc nhằm ước lượng độ sâu và tái tạo hình ảnh 3D của bề mặt vật thể. Mẫu sáng được đề xuất gồm bốn phần tử cơ bản có tính chất đối xứng, với một giải thuật giải mã đơn giản có thể giải mã ảnh thu được từ camera với độ chính xác cao.
Trang 1ƯỚC LƯỢNG ĐỘ SÂU ẢNH
SỬ DỤNG PHƯƠNG PHÁP ÁNH SÁNG CẤU TRÚC
Nguyễn Thúy Bình1*, Võ Lê Cường2
Tóm tắt: Bài báo đề xuất một mẫu sáng mức xám sử dụng trong hệ thống ánh
sáng cấu trúc nhằm ước lượng độ sâu và tái tạo hình ảnh 3D của bề mặt vật thể Mẫu sáng được đề xuất gồm bốn phần tử cơ bản có tính chất đối xứng, với một giải thuật giải mã đơn giản có thể giải mã ảnh thu được từ camera với độ chính xác cao Các điểm tương ứng giữa ảnh chụp và ảnh mẫu sáng được xác định và độ sâu ảnh được ước lượng dựa vào nguyên lý tam giác (triangulation principle) Ngoài ra, nhằm tăng độ phân giải trong việc giải mã ảnh, một mẫu sáng gồm 8 phần tử cơ bản tạo nên bởi 4 phần tử trên kết hợp với 2 mức sáng khác nhau được đề xuất
Từ khóa: Thị giác máy tính, Ước lượng độ sâu, Xây dựng ảnh 3D, Ánh sáng cấu trúc.
1 ĐẶT VẤN ĐỀ
Ước lượng độ sâu ảnh là một hướng nghiên cứu với nhiều tiềm năng và được các nhà khoa học trên thế giới đặc biệt quan tâm trong những năm gần đây Vấn đề ước lượng độ sâu ảnh được ứng dụng trong nhiều lĩnh vực khác nhau, có thể kể đến: cảm biến từ xa, nhận dạng đối tượng, công nghiệp giám sát và các hệ thống robot tự động Phương pháp ước lượng độ sâu ảnh sử dụng ánh sáng cấu trúc được đánh giá là một trong các phương pháp đạt được độ chính xác và độ phân giải cao
Hệ thống ánh sáng cấu trúc gồm một hoặc nhiều camera, và một máy chiếu (projector) Mẫu sáng được mã hóa theo các phương pháp khác nhau và được chiếu lên bề mặt của vật thể Sau đó, camera có nhiệm vụ thu ảnh của vật thể trong điều kiện được chiếu sáng Kỹ thuật ánh sáng cấu trúc được chia thành ba nhóm phương pháp cơ bản [1-3]: Ghép kênh theo thời gian (time multiplexing), mã hóa trực tiếp (direct coding), và mã hóa dựa vào các điểm lân cận (neighbor coding) Với phương pháp ghép kênh theo thời gian, một tập hợp các mẫu sáng được chiếu liên tiếp lên bề mặt của vật thể Phương pháp này đạt được độ phân giải và độ chính xác cao, tuy nhiên không áp dụng được trong trường hợp vật thể chuyển động Phương pháp mã hóa trực tiếp mặc dù cũng đạt được độ phân giải cao nhưng lại chịu ảnh hưởng nhiều của nhiễu Với các phương pháp thuộc nhóm cuối cùng, mỗi
ký tự kết hợp với bốn ký tự liền kề để tạo nên một từ mã duy nhất trên mẫu sáng Nhóm phương pháp này có thể áp dụng với cả các đối tượng tĩnh và động, thuật toán giải mã đơn giản và ít chịu ảnh hưởng của nhiễu
Trên thế giới đã có nhiều nghiên cứu giải quyết bài toán ước lượng độ sâu điểm ảnh theo hướng tiếp cận xây dựng từ mã dựa trên các giá trị lân cận [4-7] Một trong những nghiên cứu quan trọng nhất được Griffin đề xuất năm 1992 [8] Trong phương pháp này, một ma trận sinh được tạo nên bởi các con số (1, 2, 3, 4,…) Vị trí của mỗi phần tử được định nghĩa bởi một từ mã được tạo nên bởi chính phần tử
đó và bốn phần tử lân cận Mỗi từ mã này được xác định là duy nhất trong ma trận sinh Mỗi phần tử của ma trận được thay thế bởi một ký hiệu khác nhau, ví dụ: hình vuông, hình tròn, hình vành khăn, Đã có một số nghiên cứu phát triển theo hướng này Năm 1998, Davies và Nixon đề xuất một mẫu sáng gồm các đốm tròn màu để ước lượng độ sâu của bề mặt vật thể di chuyển [9] Sau đó, Morano [10]
Trang 2đưa ra mẫu sáng được tạo nên bởi các sơ đồ con hoàn hảo (perfect sub-map) gồm những ký tự hình tròn có màu sắc khác nhau Mẫu sáng màu sẽ bị ảnh hưởng của nhiễu nếu các đối tượng có màu sắc giống với màu của mẫu sáng Một hướng nghiên cứu nhằm loại bỏ nhiễu khi chiếu lên vật thể màu là tạo nên các mẫu sáng mức xám (grey level pattern) Trong nghiên cứu của Griffin, ông cũng đã đề xuất mẫu sáng gồm năm ký tự khác nhau Tuy nhiên, mẫu sáng này chưa được đưa ra thực nghiệm với một hệ thống ánh sáng cấu trúc thực tế Bài báo này đề xuất một mẫu sáng mức xám gồm các ký tự đối xứng Với mẫu sáng được đề xuất, ảnh thu được từ camera có thể dễ dàng được giải mã Các cặp điểm tương ứng giữa ảnh thu được và ảnh mẫu sáng được xác định là cơ sở để ước lượng độ sâu của bề mặt vật thể so với gốc tọa độ tại camera Bài báo được bố trí theo thứ tự sau: Phần 1 Đặt vấn đề; Phần 2 Hiệu chuẩn camera và máy chiếu; Phần 3 Mã hóa mẫu sáng và giải mã ảnh thu được; Phần 4 Thực nghiệm và kết luận
2 HIỆU CHUẨN CAMERA VÀ MÁY CHIẾU
Hình 1 mô tả các bước cơ bản nhằm ước lượng độ sâu điểm ảnh với phương pháp ánh sáng cấu trúc Trước hết, cần phải hiệu chuẩn hệ thống nhằm đưa ra các tham số nội và tham số ngoại của camera và máy chiếu Trong bài báo này, chúng tôi sử dụng phương pháp hiệu chuẩn của Zhang [11] Quá trình hiệu chuẩn cần
15-20 ảnh với các góc độ chụp khác nhau Hệ thống được bố trí như trong hình 2 Khoảng cách giữa camera và máy chiếu được giữ nguyên không đổi, khoảng 30
cm Khoảng cách giữa bảng và hệ thống khoảng 50 cm Kết quả của quá trình hiệu chuẩn là các tham số trong và tham số ngoài của camera và máy chiếu
Hiệu chuẩn camera
Hiệu chuẩn máy
chiếu
Ảnh hiệu chuẩn hệ thống
Tiền xử lý ảnh
Phân loại các phần tử
Xác định các phần tử liền kề
Điểm tương ứng
Ảnh đầu vào
Tham số nội, tham số
ngoại của hệ thống
Ước lượng độ sâu
Hình 1 Uớc lượng độ sâu điểm ảnh sử
dụng phương pháp ánh sáng cấu trúc
Hình 2 Hiệu chuẩn hệ thống
Hình 3 Tham số ngoài của Camera
Trang 33 MÃ HÓA MẪU SÁNG VÀ GIẢI MÃ ẢNH THU ĐƯỢC
3.1 Mã hóa mẫu sáng
Trong phần trước, chúng ta đã đề cập đến phương pháp mã hóa theo đề xuất của Griffin Mẫu sáng được tạo nên bằng cách thay thế các con số trong ma trận sinh bằng các ký tự hoặc ký hiệu khác nhau Mỗi vị trí trong mẫu sáng được định nghĩa bởi một từ mã duy nhất Do mẫu sáng được đề xuất gồm bốn phần tử đối xứng, nên chỉ với một thuật toán giải mã duy nhất có thể giải mã được vị trí của tất cả các
phần tử trên ảnh thu được cũng như trên ảnh mẫu sáng (hình 4)
Hình 4 Mẫu sáng mức xám a) Mẫu sáng nhị phân sử dụng 5 ký tự theo phương
pháp của Griffin b) Mẫu sáng đề xuất gồm 4 ký tự đối xứng
3.2 Giải mã mẫu sáng và ảnh chụp
Nhiệm vụ của quá trình giải mã là tìm từ mã tương ứng cho mỗi ký tự, từ đó xác định được vị trí của mỗi phần tử trên ảnh thu được cũng như trên ảnh mẫu sáng Hai ký tự có cùng từ mã được gọi là các điểm tương ứng, từ đó tọa độ thực của các điểm trên bề mặt vật thể được xác định dựa vào nguyên lý tam giác Trong bài báo này, để tối ưu số lượng phần tử được giải mã, chúng tôi đưa ra giải thuật nhằm giải mã các phần tử nằm ở biên, vấn đề này chưa được đề cập bởi Yi-Chih [12]
3.2.1 Tiền xử lý ảnh
Bước tiền xử lý ảnh bao gồm hai bước nhỏ: nhị phân hóa và trích chọn các khối
ký tự Trong hệ thống ánh sáng cấu trúc, mẫu sáng được chiếu lên bề mặt của vật thể bằng máy chiếu, do đó các vùng không gian được rọi với cường độ ánh sáng khác nhau Trong bước nhị phân hóa ảnh thu được từ camera cần sử dụng ngưỡng thích nghi cho từng vùng ảnh [13] Sau đó, các khối ký tự được tách ra bằng kỹ thuật connected component [14] Cần chọn kích thước cho các connected component phù hợp nhằm loại bỏ nhiễu có thể xuất hiện trong bước này (hình 5)
3.2.2 Phân loại các ký tự
Phân loại các ký tự sau bước tiền xử lý ảnh là một bước khá quan trọng trong việc giải mã ảnh thu được Sau khi trích chọn được các khối connected component, mỗi khối sẽ tương đương với một ma trận mà các phần tử chỉ mang một trong hai giá trị “0” hoặc “1” Thuật toán được đề xuất nhằm giải quyết bài toán trong bước này đó là chia mỗi khối đó thành bốn phần bằng nhau, tính giá trị trung bình của mỗi góc phần tư Góc khuyết được xác định là góc tương ứng với giá trị trung bình lớn nhất Sau đó, các phần tử được phân chia thành bốn nhóm khác nhau và được đánh dấu bởi các ký hiệu khác nhau (hình 6)
Trang 4Tested region
(a)
3.2.3 Tìm phần tử lân cận và ghép tương ứng
Để xác định từ mã tương ứng với mỗi phần tử, cần phải xác định bốn lân cận của phần tử trung tâm Tuy nhiên, để xác định chính xác bốn lân cận, trước hết cần xác định tám lân cận tương ứng với tám khoảng cách nhỏ nhất tới phần tử trung tâm Dựa vào điều kiện ràng buộc về tọa độ nhằm loại bỏ bốn phần tử ở các góc và giữ lại bốn phần tử lân cận (Đông – Tây – Nam – Bắc) Sau khi tìm được các lân cận của mỗi phần tử, từ mã tương ứng với mỗi phần tử được xác định Quá trình giải mã được thực hiện trên cả ảnh thu được và ảnh mẫu sáng Vị trí của mỗi phần
tử được xác định sau quá trình giải mã Nếu hai phần tử (một phần tử trên ảnh thu được và một phần tử trên ảnh mẫu sáng) có từ mã giống nhau thì được gọi là hai phần tử tương ứng Kết quả này là cơ sở để ước lượng độ sâu ảnh dựa trên nguyên
lý tam giác (hình 7)
4 THỰC NGHIỆM VÀ KẾT LUẬN
Với mẫu sáng được đề xuất ở phần trên, chúng tôi thực hiện thí nghiệm chiếu mẫu sáng lên bề mặt vật thể trong trường hợp mặt phẳng (plane) Các cặp điểm tương ứng trên ảnh thu được và ảnh mẫu sáng được xác định trong quá trình giải mã Ước lượng độ sâu điểm ảnh dựa trên nguyên lý tam giác với việc sử dụng các tham
số nội và tham số ngoại có được trong quá trình hiệu chuẩn hệ thống Hình 8 biểu diễn kết quả của quá trình giải mã đám mây điểm (points cloud) thu được sau khi áp
Chia thành 4 phần bằng nhau
Giá trị trung bình cực đại
Hình 5 (a) Ảnh thu được (b) Nhị phân
hóa với ngưỡng toàn cục (c) Nhị phân
hóa với ngưỡng thích nghi
Hình 6 Phân loại các khối
connected component
Hình 7 Tìm các phần tử liền kề
và xác định từ mã
Trang 5dụng nguyên lý tam giác nhằm ước lượng độ sâu ảnh Bảng I thể hiện sai số của
phép đo so với khoảng cách thực tế, trong trường hợp thử nghiệm với mặt phẳng
Hình 8 Giải mã ảnh thu được và point cloud
Ngoài ra để thấy được hiệu quả của thuật
toán giải mã cũng như ưu điểm của mẫu sáng
đề xuất, mẫu sáng được chiếu lên các bề mặt
có hình dạng khác nhau: mặt phẳng, mặt cong
và tờ giấy gấp Để tính toán độ chính xác của
thuật toán giải mã, mỗi bề mặt được chụp 30
lần, với các góc độ và khoảng cách khác
nhau Độ chính xác được tính bằng độ chính
xác giải mã trung bình của 30 lần chụp đó
Khoảng cách giữa vật thể và hệ thống trong
khoảng 60 cm đến 90 cm Mặt cong có bán
kính khoảng 10cm, tờ giấy gấp có độ cao
khoảng từ 3cm đến 5 cm (hình 9) Độ chính
xác giải mã được so sánh với kết quả của
Albitar [15] và YangLei [16], được thể hiện
trên bảng II và bảng III
Trong bài báo này, chúng tôi đề xuất một mẫu sáng mức xám được sử dụng trong hệ thống ánh sáng cấu trúc Mẫu sáng gồm bốn phần tử cơ bản có tính chất đối xứng nên chỉ với kỹ thuật giải mã đơn giản có thể giải mã và đưa ra các điểm tương ứng giữa ảnh thu được và ảnh mẫu sáng Dựa vào nguyên lý Triangulation ước lượng độ sâu ảnh Chúng tôi thực nghiệm chiếu mẫu sáng lên mặt phẳng và mặt cong Nhằm tăng độ phân giải của phương pháp, chúng tôi để xuất mẫu sáng gồm tám phần tử cơ bản bằng cách kết hợp bốn phần tử trên với hai mức sáng (hình 10)
Với trường hợp mẫu sáng đề xuất gồm 8 phần tử thì các bước giải mã: tiền xử lý ảnh (nhị phân hóa và trích chọn các khối phần tử), phân loại các phần tử thành 4 nhóm cơ bản, tìm các phần tử lân cận được thực hiện giống trong trường hợp mẫu sáng gồm 4 phần tử Sau đó, dựa trên cơ sở kết hợp ảnh gốc và ảnh nhị phân để
Hình 9 Mẫu sáng được chiếu lên
mặt cong và tờ giấy gấp
a)
b)
Trang 6phân biệt mỗi phần tử đó có mức sáng là 0 hay 128 Kết quả này được thể hiện như trên hình 10 Thuật toán tìm các phần tử liền kề trong trường hợp này vẫn giữ nguyên so với trường hợp mẫu sáng 4 phần tử
Bảng 1 Sai số ước lượng độ sâu ảnh so với thực tế (với trường hợp mặt phẳng )
Bảng 2 So sánh độ chính xác giải mã với kết quả của albitar[13]
Trường hợp
Số phần tử được phát hiện
Số phần tử được giải mã Độ chính xác giải
mã
(1): Kết quả của Albitar[13] (2): Kết quả của chúng tôi
Bảng 3 Độ chính xác giải mã (%)
Điểm
[hàng,cột]
Khoảng cách ước lượng
Hình 10 Mẫu sáng gồm 8 phần
tử
Hình 11 Phân loại phần tử trong trường
hợp mẫu sáng gồm 8 phần tử cơ bản
Trang 7Kết quả thực nghiệm phụ thuộc vào những thông số đầu vào: thông số của camera, projector, khoảng cách và bề mặt đối tượng Các thông số nội và tham số ngoại của camera và projector cần được hiểu chuẩn một cách cẩn thận và chính xác, do ảnh hưởng trực tiếp đến kết quả của quá trình ước lượng độ sâu ảnh Ngoài
ra khoảng cách cũng là một thông số đầu vào ảnh hưởng đến kết quả Khoảng cách giữa hệ thống (camera và projector) và vật thể phải đảm bảo sao cho vật thể phải nằm trong miền hội tụ của cả camera và projector Trong hệ thống ánh sáng cấu trúc, bề mặt vật thể là một thông số rất quan trọng và ảnh hưởng đến quá trình giải
mã ảnh cũng như kết quả ước lượng độ sâu ảnh Với những bề mặt ảnh phẳng, liên tục thì kết quả giải mã tốt hơn so với những trường hợp bề mặt cong hoặc gấp khúc Bề mặt càng gấp khúc hoặc lồi lõm nhiều thì độ chính xác của quá trình giải
mã càng giảm Điều này được thể hiện rõ trong bảng II và bảng III, với 3 trường hợp: mặt phẳng (plane), mặt cong (curve) và tờ giấy gấp (folded-paper)
TÀI LIỆU THAM KHẢO
[1] Salvi, Joaquim, Jordi Pages, and Joan Batlle, "Pattern codification strategies
in structured light systems." Pattern recognition 37.4 (2004): 827-849
[2] Chi Zhang; Jing Xu; Ning Xi; Jianguo Zhao; Quan Shi, "A Robust Surface
Coding Method for Optically Challenging Objects Using Structured Light",
Automation Science and Engineering, IEEE Transactions on, On page(s): 775
- 788 Volume: 11, Issue: 3, July 2014
[3] Xu Zhang; Zhu, Limin; Liwen Chu "Evaluation of coded structured light
methods using ground truth", Cybernetics and Intelligent Systems (CIS),
2011 IEEE 5th International Conference on, On page(s): 117 - 123
[4] L Philippe, D Ionescu, and E Petriu, “A high precision 3D object
reconstruction method using a color coded grid and nurbs,” in Image
Analysis and Processing, 1999 Proceedings International Conference on IEEE, 1999
[5] T Etizon, "Constructions for perfect maps and pseudorandom arrays,"
Information Theory, IEEE Transactions on 34.5 (1988): 1308-1316
[6] M Hiroyoshi, K Yajima, and S Sakata, "Reconstruction of surfaces of 3D
objects by M-array pattern projection method," Computer Vision., Second
International Conference on IEEE, 1988
[7] Petriu, Emil M., et al, "Visual object recognition using pseudo-random grid
encoding," Intelligent Robots and Systems, 1992., Proceedings of the 1992
IEEE/RSJ International Conference on Vol 3 IEEE, 1992
[8] Griffin, Paul M., Lakshmi S Narasimhan, and Soung R Yee "Generation of
uniquely encoded light patterns for range data acquisition." Pattern
recognition25.6 (1992): 609-616
[9] Davies, Colin J., and Mark S Nixon "A Hough transform for detecting the
location and orientation of three-dimensional surfaces via color encoded spots." IEEE Transactions on Systems, Man, and Cybernetics, Part B
(Cybernetics)28.1 (1998): 90-95
Trang 8[10] Morano, Raymond A., et al, "Structured light using pseudorandom codes,"
IEEE Transactions on Pattern Analysis & Machine Intelligence 3 (1998): 322-327
[11] Zhang, Zheng "A flexible new technique for camera calibration." IEEE
Transactions on pattern analysis and machine intelligence 22.11 (2000): 1330-1334
[12] Hsieh, Yi-Chih, "Decoding structured light patterns for three-dimensional
imaging systems," Pattern Recognition 34.2 (2001): 343-349
[13] Blayvas, Ilya, Alfred Bruckstein, and Ron Kimmel, "Efficient computation of
adaptive threshold surfaces for image binarization," Pattern Recognition 39.1
(2006): 89-101
[14] A AbuBaker, R Qahwaji, S Ipson, M Saleh, "One scan connected
component labeling technique," Signal Processing and Communications,
2007 IEEE International Conference on IEEE, 2007
[15] Albitar, Chadi, Pierre Graebling, and Christophe Doignon, "Design of a
monochromatic pattern for a robust structured light coding," Image
Processing, 2007 ICIP 2007 IEEE International Conference on Vol 6 IEEE, 2007
[16] Yang Lei, Kurt R.Bengtson, Lisa Li, Jan P.Allebach, "Design and decoding of
an M-array pattern for low-cost structured light 3D reconstruction systems,"
Image Processing (ICIP), 2013 20th IEEE International Conference on IEEE,
2013
ABSTRACT
DEPTH ESTIMATION USING STRUCTURED LIGHT METHOD
In this paper, a pattern used in structured light system to estimate depth and reconstruct 3D image of the surface object is proposed The proposed pattern which consists of four symmetrical symbols with a simple decoding algorithm is provided to decode a captured image with high accuracy Correspondence points between captured image and pattern one are determined, and depth estimation is based on the triangulation principle Moreover, to increase the resolution of this method, an upgrade pattern is also proposed by combining the above four symbols and two intensity levels
Keywords: Computer vision, Depth estimation, Structured light, Reconstruction 3D image
Nhận bài ngày 10 tháng 10 năm 2016 Hoàn thiện ngày 03 tháng 12 năm 2016 Chấp nhận đăng ngày 20 tháng 02 năm 2017
Địa chỉ: 1 Trường Đại học Giao thông Vận tải;
2 Trường Đại học Bách Khoa Hà Nội;
* Email : thuybinh_ktdt@utc.edu.vn