Mô hình hóa màu da (Facial Skin Color Modeling)

Mô hình hóa màu da (Facial Skin Color Modeling)

Mô hình hóa màu da (Facial Skin Color Modeling)

Giới thiệu – Ứng dụng màu sắc

trong phát hiện mặt người

• Có thể nhần lẫn đối tượng tương tự màu

Ví dụ: Bàn tay, gỗ

• Cần những căn cứ khác để phát hiện

vùng mặt

Sử dụng như bước tiền xử lý để loại bỏ

những đối tượng sai rõ

• Yếu tố nào cần quan tâm khi chọn mô hình màu da?

• Làm sao để tìm mô hình phù hợp?

 Màu sắc được dùng khá phổ biến

trong phát hiện mặt người

Yếu tố nào cần quan tâm khi chọn

mô hình màu da?

• Nhân tố quan trọng cần quan tâm là độ chiếu sáng

• Sắc thái da (skin tone): những giá trị màu thể hiện da với chất lượng chấp nhận

được với con người.

• Khó khăn khi chọn mô hình: với skin tone tương ứng với mô hình, thay đổi màu

sắc (illumination)  vùng da trở thành

không phải da

Những nhân tố ảnh hưởng thể hiện

màu da

• Khác biệt về độ nhạy của máy

ảnh

• Sự phản xạ

• Tham số cài đặt của camera

 Ít ảnh hưởng hơn thay đổi về độ chiếu sáng

Màu da trong các không gian màu

• Không gian màu: Tạo ra bằng cách

chuyển đổi từ không gian RGB

• Tách thông tin màu: Cường độ

Màu da trong các không gian màu

Những nghiên cứu và so sánh

• Chỉ sử dụng những bộ chú thích sắc độ (chromaticity descriptor)

Những nghiên cứu và so sánh (tt)

• Sắc thái da khác nhau chủ yếu ở giá trị cường độ của chúng

• Do độ phản xạ của những nhóm sắc thái da là tương tự nhau

Những nghiên cứu và so sánh (tt)

• Brand và Mason so sánh 3 phương pháp

– Ratio between RGB channel

– One-dimensional indicator from IQ components of YIQ space

– RGB probability map

 RGB probability map có tỉ lệ lỗi sai thấp nhất, phát hiện đúng: 95% với tập huấn luyện

Những nghiên cứu và so sánh (tt)

• Một số nghiên cứu của Caetano,

Yang và Ahuja cho thấy: không gian normalized RGB có thể phù hợp với nhiều ứng dụng dùng skin tone

• Khó đưa ra mô hình tốt nhất vì còn tùy thuộc vào nhiều điều kiện

 Tùy vào ứng dụng mà chọn mô

hình

– PP Trên Chuỗi Ảnh Tuần Tự

• Mô hình hoá màu da với Skin locus

• Kết luận

• Demo

Mô Hình Màu Da

• Phương pháp trên ảnh đơn (single

image)

Đặc điểm: dựa trên xác suất phân bố

màu điểm ảnh hoặc vùng giới hạn của không gian màu đối tượng.

• Phương pháp trên chuỗi ảnh tuần tự

(image sequence)

Đặc điểm: theo vết một đối tượng, lợi

dụng tính chất những đặc trưng biến đổi rất chậm để tìm vùng da.

Phương Pháp Trên Ảnh Đơn (1)

• Dựa vào phân bố xác suất (Statistics)

Ý tưởng: mỗi đối tượng có tỉ lệ sắc màu

(color tone) riêng biệt  cần tính giá trị

ngưỡng (threshold).

Điểm yếu: giá trị ngưỡng mang tính chất

tương đối phụ thuộc vào tập huấn luyện, cách chọn ngưỡng, …

Các thuật toán áp dụng: biến đổi Gauss,

mạng Nơron, Histogram…

Phương Pháp Trên Ảnh Đơn (2)

• Dựa vào vùng không gian màu (region

in color space)

Ý tưởng: da người nằm trong một vùng không gian màu nhất định  cần xác

định hình dạng của vùng này.

Điểm yếu: định ra đường biên vùng

không dễ vì bị ảnh hưởng bởi nhiễu, tập ảnh, độ chiếu sáng,…

Phương Pháp Trên Ảnh Đơn (3)

• Tinh chỉnh màu cho phương pháp dựa vào vùng

không gian màu.

Mục đích: giảm ảnh hưởng của sự biến đổi độ sáng

- Hệ số scale các giá trị trên về 255 làm hệ số tinh chỉnh ảnh.

Phương pháp Trên Chuỗi Ảnh Tuần

Tự

• Mô hình bất biến (fixed model)

Xem mỗi bức ảnh là một tập các ảnh rời rạc  giống phương pháp trên.

• Mô hình thích ứng (adaptive model)

Ý tưởng: Phân bố màu trên một tập các ảnh tuần tự khá giống nhau hay

sự thay đổi ít Tuy nhiên độ chiếu

sáng thay đổi rất nhanh.

• Mô hình hoá màu da với Skin locus

– Tạo Skin locus

– Ứng dụng của skin locus

• Kết luận

• Demo

Mô hình hoá màu da với Skin locus

Ánh sáng thay đổi  màu da thay đổi.

Skin Locus là khoảng sắc độ da dưới sự thay đổi của cường độ sáng trong không gian màu NCC.

Ưu điểm của Skin Locus:

• Chịu được sự thay đổi cường độ sáng.

• Chịu được sự thay đổi sắc độ sáng.

Tạo Skin locus

Cách tiếp cận dựa trên quang phổ

Cần các thông tin về thông số máy ảnh

khó lấy

Đưa ra cách tiếp cận dựa trên

ảnh

Cách tiếp cận dựa trên tập ảnh

Bước 1:

Tạo tập ảnh dưới điều kiện chiếu sáng đã chọn

Cách tiếp cận dựa trên tập ảnh

Bước 2:

Trích xuất vùng da (tự động hoặc làm tay)

Cách tiếp cận dựa trên tập ảnh

Bước 3:

Chuyển từ không gian RGB 

NCC

Mô hình hoá bằng hàm thích hợp (đa thức)

NCC

Normalized Color Coordinate

White Balance

Quá trình loại bỏ các dải màu không thực (unrealistic color casts)

Ứng dụng của skin locus: một vài ví

dụ

• Các ảnh tĩnh

• Video

Ảnh tĩnh

• Xem skin locus như là bộ lọc

• Xác định màu da la mặt

• Điều kiện chiếu sáng quan trọng nhất.

• Skin locus cho kết quả tốt nhất.

Demo

Chân thành cảm ơn!