Nghiên cứu kỹ thuật phát hiện ảnh giả mạo và ứng dụng trong giám định kỹ thuật quân sự (tt)

Công tác giám định phát hiện ảnh giả mạo trong giám định kỹ thuật hình sự đã có từ lâu.. Ngày nay, dựa trên các chức năng của phần mềm xử lý ảnh, đối tượng tạo ra những tấm ảnh ghép rất

MỞ ĐẦU

1.1 Cơ sở khoa học và thực tiễn

Ảnh số là phương tiện truyền thông được sử dụng phổ biến, nó chứa đựng nhiều thông tin, cũng là cách để biểu diễn thế giới xung quanh Một câu hỏi đặt ra là ảnh

có độ tin cậy bao nhiêu? Rõ ràng, thông tin hình ảnh có tác động quan trọng đến xã hội, đóng vai trò cốt yếu trong đời sống con người Việc xác thực ảnh là bài toán quan trọng trong nhiều lĩnh vực xã hội, tính thật của một bức ảnh đóng vai trò cốt yếu vì nó chính là một bằng chứng

Công nghệ xử lý ảnh không ngừng được cải tiến và ngày một hoàn thiện Nhiều đối tượng dựa vào công nghệ

xử lý ảnh để tạo ra những bức ảnh giả mạo có nội dung sai lệch với mục đích truyền tải thông tin Nguồn đầu vào các bức ảnh cũng khá phong phú như qua quét lại những tấm ảnh dương bản hoặc qua phim âm bản

Công tác giám định phát hiện ảnh giả mạo trong giám định kỹ thuật hình sự đã có từ lâu Trước đây các đối tượng cắt ghép ảnh bằng phương pháp thủ công, do đó các đặc điểm thể hiện ảnh bị cắt ghép phát hiện khá dễ dàng Ngày nay, dựa trên các chức năng của phần mềm xử lý ảnh, đối tượng tạo ra những tấm ảnh ghép rất dễ dàng và tinh vi, với mắt thường không thể phát hiện được

1.2 Mục tiêu và nội dung nghiên cứu

Mục tiêu nghiên cứu

- Nghiên cứu về ảnh giả mạo và các kỹ thuật phát hiện ảnh giả mạo

- Xây dựng mô phỏng phần mềm hỗ trợ phát hiện ảnh số giả mạo

Nội dung nghiên cứu

- Nghiên cứu tổng quan về giả mạo ảnh

- Nghiên cứu các kỹ thuật nắn chỉnh biến dạng hình học ảnh và tạo lập ảnh giả mạo

- Nghiên cứu các các đặc điểm, đặc trưng xuất hiện thường xuyên trong các ảnh giả mạo

- Nghiên cứu các kỹ thuật phát hiện ảnh giả mạo

- Xây dựng phần mềm mô phỏng hỗ trợ phát hiện ảnh số giả mạo

1.3 Đối tượng và phạm vi nghiên cứu

Đối tượng nghiên cứu

- Ảnh giả mạo được tạo lập theo dạng phổ biến nhất (cắt/dán và ghép ảnh) và được lưu dưới dạng số theo các chuẩn cơ bản như bitmap, jpeg, tif, gif

- Cơ sở khoa học và một số kỹ thuật phát hiện ảnh giả mạo

Phạm vi nghiên cứu

- Nghiên cứu phát hiện ảnh kỹ thuật số giả mạo được tạo lập theo dạng phổ biến nhất (cắt/dán và ghép ảnh) và được lưu dưới dạng số theo các chuẩn cơ bản như ảnh bitmap, jpeg, tif, gif

- Nghiên cứu được ứng dụng trong giám định kỹ thuật hình sự

1.4 Cấu trúc của luận văn

Mở đầu: Cơ sở khoa học và thực tiễn phát hiện

ảnh kỹ thuật số giả mạo, mục tiêu và nội dung nghiên cứu

Chương I Tổng quan về ảnh giả mạo và phát hiện ảnh giả mạo: Tổng quan về ảnh giả mạo, các đặc

điểm đặc trưng, một số kỹ thuật giám định ảnh giả mạo

Chương II Nghiên cứu một số thuật toán phát hiện ảnh số giả mạo: Nghiên cứu một số thuật toán phát

hiện ảnh số giả mạo

Chương III Xây dựng phần mềm ứng dụng phát hiện ảnh giả mạo: Xây dựng phần mềm mô phỏng phát hiện ảnh số giả mạo dựa trên thuật toán ExactMath*

Kết luận: Phần kết luận về các công việc đã thực

hiện, những đóng góp của luận văn và hướng phát triển tiếp theo của đề tài

CHƯƠNG II TỔNG QUAN VỀ ẢNH GIẢ MẠO VÀ PHÁT

HIỆN ẢNH GIẢ MẠO

2.1 Giới thiệu chung

Ảnh số là phương tiện truyền thông được sử dụng rộng rãi, đóng vai trò quan trọng trong đời sống, có tác động đến xã hội, tham gia vào các quá trình pháp lý và kinh tế Sự phổ biến của máy ảnh kỹ thuật số và các phần mềm dẫn đến ảnh số có thể dễ dàng được chỉnh sửa Khi những hình ảnh bị chỉnh sửa được sử dụng cho mục đích xấu, nó có thể dẫn đến những hậu quả nghiêm trọng

Giám định ảnh là công tác nghiệp vụ thường xuyên của lực lượng kỹ thuật hình sự Hiện nay công tác giám định ảnh giả mạo vẫn được thực hiện một cách thủ công qua công tác phóng to, soi chụp và phụ thuộc vào kinh nghiệm, trình độ chuyên môn của giám định viên Vì vậy việc ứng dụng công nghệ thông tin trong hỗ trợ giám định ảnh là một yêu cầu cần thiết và có tính thực tiễn cao Mặt khác, với sự tính toán của máy tính, các mâu thuẫn trong bức ảnh giả mạo có thể được chỉ ra một cách định lượng,

là chứng cứ khoa học để chứng minh hành vi phạm tội

2.2 Một số kỹ thuật làm giả ảnh phổ biến

Để nhận biết đặc điểm thể hiện trên ảnh có lôgích hay không cần nghiên cứu và ra đưa các giai đoạn cơ bản

để thực hiện một tấm ảnh cắt ghép và sửa chữa Các công đoạn chủ yếu như sau:

- Chọn hai ảnh muốn ghép lại với nhau

- Ảnh đã được chọn và cắt dán vào ảnh bị ghép

- Làm sạch xung quanh vùng hình ảnh được ghép

- Đưa hình ảnh được ghép vào vị trí và điều chỉnh kích cỡ phù hợp với hình ảnh trên ảnh bị ghép

- Cắt cúp tấm ảnh cần ghép

- Điều chỉnh tông màu hình ảnh được ghép cho phù hợp với tông màu ảnh bị ghép

- Tấm ảnh bị cắt ghép, sửa chữa được hoàn thiện

2.4 Một số kỹ thuật giám định ảnh giả mạo thủ công

2.4.1 Quy trình giám định

- Bước 1: Thu nhận ảnh

- Bước 2: Quan sát ảnh quang học

- Bước 3: Quan sát ảnh qua phần mềm

- Bước 4: Kết luận ảnh giả mạo

2.4.2 Các đặc điểm đặc trưng làm cơ sở cho quá trình giám định ảnh

- Các đặc điểm tạo bởi các yếu tố về điều kiện khi chụp ảnh: Ảnh không phù hợp về độ nét, tông màu, góc độ chiếu sáng

- Các đặc điểm tạo bởi các yếu tố tác động của quá trình cắt ghép, sửa chữa ảnh

- Các đặc điểm tô, vẽ hoặc nhân bản trên hình ảnh được ghép

- Các đặc điểm ảnh bị sửa chữa, nhưng không phải ảnh cắt ghép

2.5 Tiếp cận giám định ảnh giả mạo kỹ thuật số bằng máy tính

Một tiếp cận được sử dụng là mẫu nhiễu của máy ảnh số Phương pháp này dựa trên việc dò tìm sự xuất hiện của mẫu nhiễu của camera trên một vùng ảnh nào đó Đây

là đặc trưng thống kê có tính duy nhất của cảm biến ảnh

Một tiếp cận khác là phát hiện các vùng ảnh giống nhau Tiếp cận này xuất phát từ việc kỹ thuật sao chép cắt dán các vùng trong cùng một ảnh thường hay được sử dụng khi giả mạo ảnh Phương pháp đối chiếu dựa trên việc so sánh về giá trị điểm ảnh của các vùng khác nhau trong ảnh

Tiếp cận dựa trên việc phân tích ánh sáng cũng thường được sử dụng trong việc phát hiện ảnh giả mạo Phương pháp này dựa trên giá trị điểm ảnh tại biên của vật thể, từ đó tính toán ra hướng của ánh sáng tới biên của vật thể

CHƯƠNG III NGHIÊN CỨU MỘT SỐ THUẬT TOÁN PHÁT HIỆN ẢNH GIẢ MẠO

3.1 Thuật toán dò tìm các khối bao giống nhau

3.1.1 Giới thiệu

Đối với ảnh giả mạo được tạo lập trên cơ sở cắt dán trên cùng một ảnh gốc, các vùng trên ảnh được thu nhận bởi cùng một camera, cùng một góc độ nên độ tương đồng

về ánh sáng và bóng là như nhau Thuật toán Exact Match nhằm mục đích phát hiện ảnh giả mạo trong trường hợp ảnh bị cắt dán bởi các phần khác trong ảnh Tuy nhiên, nó lại không giải quyết được trường hợp các đối tượng giả mạo sau khi được trích ra từ một phần nào đó trong ảnh đã được thay đổi kích thước

3.1.2 Thuật toán Exact match

- Bước 2: Xác định tập các khối bao dựa trên kích

thước khối bao nhỏ nhất

- Bước 3: Đưa mỗi khối bao vào một hàng của

mảng lưu xác định

- Bước 4: Sắp xếp các hàng trong mảng lưu ở bước

3 theo thứ tự tăng dần

- Bước 5: Kiểm tra hai hàng liên tiếp trong mảng

lưu sau khi đã sắp xếp, nếu chúng giống nhau thì đưa ra 2 tập khối bao giống nhau tương ứng

3.2 Phát hiện ảnh giả mạo dựa vào kỹ thuật thay đổi kích thước

3.2.1 Các kỹ thuật thay đổi kích thước

Việc thay đổi kích thước một vùng ảnh thường sử dụng kỹ thuật nội suy tuyến tính xác định để ánh xạ ảnh từ miền không gian này sang miền không gian khác Các kỹ thuật nội suy được sử dụng trong trong là: Láng giềng gần nhất (nearest neighbor), nội suy tuyến tính (bilinear interpolation) và Bicubic

(x,y) X  f x(x,y)orY  f y(x,y)

Hình 3.4: Ánh xạ các điểm ảnh từ ảnh gốc sang ảnh đích

Nearest-neighbor

Với mỗi điểm ảnh từ ảnh gốc sẽ tương ứng với một

vị trí phù hợp trong ảnh đích Các giá trị màu và tín hiệu của một điểm ảnh trong ảnh mới sẽ được gán bằng giá trị màu của điểm ảnh gần nhất thuộc ảnh gốc tương ứng

Bilinear interpolation

Phương pháp này xác định giá trị của một điểm ảnh mới dựa trên trung bình trọng số của 4 điểm ảnh láng giềng gần nhất 2x-2 của điểm ảnh thuộc ảnh gốc

Bicubic interpolation

Với phương pháp này bức ảnh sẽ được chia làm các khối hình vuông kích thước 4x4 Phương pháp này có thể được tính theo mô hình “hàng-hàng“ (row-by-row) và sau

đó là “cột-cột” (column-by-column)

3.2.2 Thuật toán cải tiến Exact match*

Khi thay đổi kích thước ảnh, thường sử dụng một trong các kỹ thuật nội suy được trình bày ở trên Dựa vào

đó ta tìm kiếm các cặp vùng trong ảnh có mối quan hệ tương quan theo một phương pháp nội suy xác định Một vùng  được gọi là vùng tương quan nếu tồn tại ít nhất một vùng  và một phép biến đổi tương ứng sao cho:

Đối sánh lần lượt các khối bao thuộc tập 1'với các khối bao thuộc tập  , nếu tồn tại một cặp khối bao 2

)

,

(a i' b j với '

1 '

Vậy tập hợp các cặp khối bao tương quan (a i,b j)

trong đó a i 1,b j 2 là các cặp giả mạo

Thuật toán Exact match*

- Bước 1: Lựa chọn các thông số đầu vào gồm:

Kích thước khối bao nhỏ nhất B, tỷ lệ co giãn theo chiều ngang và chiều dọc là p,q và một phương pháp nội suy f

- Bước 2: Xác định 2 tập hợp khối bao, gồm một

tập hợp các khối bao có kích thước tối thiểu B  B và một tập hợp các khối bao có kích thước pB  qB trên toàn bộ

ảnh

- Bước 3: Biến đổi tập các khối bao có kích

thước B  B sang tập các khối bao mới theo phép biến đổi

nội suy và các thông số về tỷ lệ co giãn theo chiều ngang

và chiều dọc đã cho trong bước 1

- Bước 4: Đối sánh các cặp khối bao, mỗi cặp

khối bao gồm một khối bao thuộc tập hợp các khối bao sau khi biến đổi ở bước 3 và một khối bao thuộc tập hợp

các khối bao có kích thước pB  qB trong bước 2 Nếu

chúng giống nhau thì đưa ra được cặp hai khối bao tương ứng gồm: một khối bao thuộc tập các khối bao có kích

thước B  B tạo ra ở bước 2 và một khối bao thuộc tập các khối bao có kích thước pB  qB tạo ra trong bước 2

3.3 Thuật toán phân tích nguồn sáng

3.3.1 Giới thiệu

Hình ảnh đối tượng ta có thể nhìn thấy hay thu nhận được là do chúng phản xạ ánh sáng Sự sáng tối là do khả năng phản xạ hay hấp thụ ánh sáng của vật thể

Khi giải bài toán ngược của bài toán chiếu sáng sẽ giúp ta tìm được hướng của nguồn sáng Việc xác định hướng của nguồn sáng trong ảnh sẽ giúp phát hiện được các ảnh giả mạo được cắt ghép từ các ảnh được thu nhận

có hướng nguồn sáng khác nhau

3.3.2 Ước lượng hướng nguồn sáng

- Bước 1: Xây dựng thuật toán dò biên ảnh và

nhóm các điểm biên thành các chuỗi theo quan hệ láng giềng liên thông

- Bước 2: Lọc bỏ các đường biên nhỏ và làm

mảnh biên

- Bước 3: Lựa chọn các đoạn biên liên thông của

đối tượng dùng ước lượng hướng nguồn sáng

- Bước 4: Xây dựng thuật toán xác định hướng

ánh sáng trên mỗi đường biên được chọn trong bước 3

3.3.4 Kết quả thực nghiệm

Thuật toán đã được cài đặt thử nghiệm trên một số ảnh giả mạo Kết quả sai số trung bình có thể chấp nhận được là 4.80 là mức sai số nhỏ nhất và lớn nhất lần lượt là 0.60 và 10.90 Như vậy việc xác định giả mạo nếu 2 đối

tượng có hướng chiếu sáng lệch nhau một góc lớn hơn 4.8

có thể kết luận chúng là giả mạo

3.4 Thuật toán phân tích mẫu nhiễu cảm biến

3.4.1 Giới thiệu

Phương thức này dựa trên cơ sở dò tìm các mẫu nhiễu thu nhận được bằng camera Vùng giả mạo được xác định như là một vùng thưa các mẫu nhiễu

3.4.2 Mẫu nhiễu và các phương thức biễu diễn

a) Xử lý tín hiệu camera số

Phần quan trọng nhất của mọi camera số là các bộ cảm biến tạo ảnh, ảnh cảm biến được hình thành từ các phần tử nhỏ nhất của ảnh (điểm ảnh), hay là tập hợp của các lượng tử ánh sáng và chuyển đổi chúng sang đơn vị điện áp, sau đó mẫu tín hiệu số hoá sẽ được đưa vào bộ chuyển đổi A/D

b) Mẫu nhiễu

Khi bộ cảm biến ảnh thu nhận một bức ảnh tuyệt đối từ môi trường, kết quả của ảnh vẫn có sự thay đổi nhỏ trong cường độ của các điểm ảnh Một phần nguyên nhân

do các thành phần nhiễu ngẫu nhiên gây ra Có hai thành

phần chính của mẫu nhiễu là: nhiễu cố định (FPN: fixed

pattern noise - mẫu nhiêu có cường độ biến đổi trong

miền biên độ ảnh) và nhiều hỗn tạp không đều (PRNU:

photo response non-uniformity noise), điểm ảnh bất định

(PNU: pixel non-uniformity) dựa trên sự khác nhau giữa

pixel-pixel khi mảng cảm biến không đặt vào nguồn sáng

3.4.3 Dò tìm mẫu nhiễu (phát hiện giả mạo)

Vùng giả mạo được phân biệt như là những vùng hỗn tạp nhiễu Bài toán yêu cầu tìm kiếm nhiễu PNU (pixel non-uniformity) trong vùng quan tâm (ROI: region

of interest) bằng cách tính toán độ tương quan giữa vùng nhiễu dư và mẫu nhiễu Do đó phát hiện giả mạo phải bắt đầu bằng việc xác định mẫu tham chiếu cho camera

3.4.4 Thuật toán phát hiện ảnh giả mạo

Thuật toán phát hiện ảnh giả mạo thực hiện qua 2 giai đoạn chính như sau:

 Giai đoạn 1: Tạo các mẫu tham chiếu của camera

 Giai đoạn 2: Nhận dạng ảnh giả mạo

a) Tạo các mẫu tham chiếu của camera

Giả sử có N bức ảnh ban đầu Ta có mẫu nhiễu P

cảm biến tính được:

N k k C

N

I n P

Khi đó nếu có một ảnh T bất kỳ và yêu cầu T là mẫu dữ liệu tạo mẫu cảm biến Gọi P CT là mẫu cảm biến

sẽ được tạo sau khi thêm T Ta có công thức được biến đổi như sau:

)()((1

11

N P

N

1

) ( ) ( ).

1 (

)()

1(N P  P CT  N P P C n T



)) ( (

) 1 (

1

T n nP N

- Bước 2: Chọn các vùng nghi vấn trong ảnh 

- Bước 3: Xác định mẫu tham chiếu P() tương ứng từ mẫu tham chiếu camera

- Bước 4: Tính độ tương quan giữa vùng  và mẫu tham chiếu P() theo (4) ta được  

- Bước 5: Chọn các vùng Q k (k  1 , ,N Q với 3



Q

N ) có cùng kích thước và tương tự histogram với 

- Bước 6: Tính độ tương quan giữa vùng Q k và mẫu tham chiếu P() theo (4) ta được

k

Q



- Bước 7: Áp dụng hàm phân loại tích lũy

Gaussian với các giá trị  và các 

được ghép vào hay bổ sung thường không có sự biến đổi tương đồng về độ sáng và tông màu

3.5.1 Màu sắc

Ba thuộc tính của một màu đó là: Sắc (Hue), Độ thuần khiết (Saturation), và độ sáng hay độ chói (Itensity)

Có 3 mô hình màu cơ bản:

- Mô hình màu RGB (Red, Green, Bule):

- Mô hình màu CMY (Cyan, Magenta, Yellow)

- Mô hình màu HSV (Hue, Saturation, Value)

3.5.2 Phân tích ảnh

Việc trích chọn đặc điểm là một bước quan trọng, các đặc điểm của đối tượng được trích chọn tuỳ theo mục đích nhận dạng trong quá trình xử lý ảnh:

Đặc điểm không gian: Phân bố mức xám, phân bố

xác suất, biên độ, điểm uốn,

Đặc điểm biến đổi: Các đặc điểm loại này được

trích chọn bằng thực hiện lọc vùng (zonal filtering) Các

bộ vùng thường là các khe hẹp với hình dạng khác nhau

Đặc điểm biên và đường biên: Các đặc điểm này có

thể được trích chọn nhờ toán tử gradient, toán tử la bàn, toán tử Laplace, toán tử “chéo không” (zero crossing),…