Xử lý ảnh (nguyễn thị hoàng lan viện CNTT)

Xử lý ảnh (nguyễn thị hoàng lan viện CNTT)

DAI HOC BACH KHOA HA NOI

KHOA CONG NGHE THONG TIN

Xw ly anh

Nguyén Thi Hoang Lan

Email: lannth@it-hut.edu.vn

N.T Hoang Lan - DHBK HN

Chuong 1

Giới thiệu chung về xử lý ảnh

(Digital Image Processing)

N.T Hoang Lan - DHBK HN

tính với đối tượng xử lý của đồ họa là ảnh vẽ - ảnh nhân tạo

e Hệ thống xử lý ảnh thu nhận (capture) khung cảnh hoặc ảnh ở đầu vào, thực hiện các phép xử lý để tạo ra một ảnh ở đầu ra thỏa mãn các yêu cầu về cảm thụ (hiệu chính sửa chữa, cải

thiện) và thực hiện quá trình phân tích rút ra các đặc trưng của

ảnh để cho phép hiểu được nội dung khung cảnh ảnh

N.T Hoàng Lan - ĐHBK HN

Khái niệm: anh tinh và chuôi anh

bởi hàm độ chói của các biễn Hàm độ chói của các biên

Khai niệm ảnh tĩnh, các phép xử lý

Ảnh số

Biểu diễn : ma trận số liệu

- anh nhị phân : 1 bit/pixel

- anh xam : 8 bits/pixel

- anh mau : 16, 24 bits/pixel

RGB, YUV, HSL, YCbCr

Xử lý : Hiển thị soạn thảo (Editing), các phép toán điểm ảnh

(Point operations), cac loai b6 loc (Filtering), phan ving anh

(segmentation), xu ly hinh hoc, (Geometric transform)

N.T Hoang Lan - DHBK HN

Khái niệm chuôi ảnh động

(Sequence image) va video

¢ Video : chudi cdc frame anh

(khung hinh), quan hé thoi gian giita

các frame biểu diễn ảnh động

¢ Tan so va do phan giải

ee

N.T Hoang Lan - DHBK HN 7

N.T Hoang Lan - DHBK HN 8

Sơ đồ khôi hệ thông xử lý ảnh

đối tượng, Tín hiệu Dữ liệu , Anh

anh quang hoc Bộ cảm anh Số hóa anh Xứ lý đã xử lý

> bien anh phân tích ———— —

/ (camera) Ảnh : - anh Miêu ta anh,

Các vẫn đề chủ yêu của xử lý ảnh

° Thu nhận ảnh, chụp ảnh và số hóa ảnh

-_ Hệ thông chụp ảnh (camera) và tín hiệu ảnh

-_ Hệ thống số hóa ảnh: lây mẫu, lượng tử hóa

- Phân tích ảnh và thị giác máy

Cải thiện nâng cấp ảnh, sửa lỗi, khôi phục ảnh

Phân tách đặc trưng : tách biên, phân vùng ảnh

Biểu diễn và xử lý đặc trưng hình dạng đôi tượng ảnh Nhận dạng đôi tượng ảnh, phân tích cảnh và hiểu ảnh

- Mã hóa, nén ảnh

Các phương pháp nén và các chuẩn nén

N.T Hoàng Lan - ĐHBK HN 10

Phan tich anh va thi giac may

Cái thiên, nâng cấp anh

Cải thiện tăng cường độ cảm thụ : thay đổi độ tương phản,

hiệu chỉnh, sửa chữa, phục chế ảnh

Cải thiện nâng cao chất lượng ảnh : lọc nhiêu, lọc tăng độ nét

Xử lý phân tích và thị giác máy

Phát hiện và tách biên (cạnh) ảnh

Phân vùng ảnh

Úng dụng trong nhận dạng và phân tích cảnh

Biểu diễn đối tượng ảnh nhị phán và xử lý ảnh nhị phản

Biểu diễn và mã hoá ảnh nhị phân

Các phép xử lý hình thể, biến đổi hình dạng

Các phương pháp tìm xương đối tượng ảnh và làm mảnh

Các biểu diễn tham số hình dạng

N.T Hoàng Lan - ĐHBK HN 1]

Người máy, tự động hoá

May thong minh, thi gi4c may nhan tao

Cac ứng dụng chủ yêu của

xử lý chuỗi ảnh động

Nén video, truyện thông video, truyện hình số

Giám sát theo dõi phát hiện chuyền động,

Điêu khiến lưu lượng chuyền động,

Hinh thanh anh tw nhién

va cam nhan anh

Anh sang va song dién tir

Hình thành ảnh tự nhiên

Đôi tượng được chiêu sáng: hấp thụ và phản xạ ánh sáng

Source primaire Source secondaire

Câu tạo của mắt

Cormdés

NGUYEN Thi Hoang Lan - IPH

Qua trinh hinh thanh anh trong mat

Mau sac va biéu dién mau

Khai niém vé mau sac va cam thu mau

Cam thu khach quan, cam thu chu quan

Tổng hợp màu: Một màu bất ky 1a su tong hop tir 3

mau co ban

thông lượng : RGB of RGB

-Tong hop bang

phép trir pho : YCM

NGUYEN Thi Hoang Lan - IPH 6

Màu sắc và không gian biêu diễn

° Không gian biêu diên màu

và hệ tọa độ màu: RGB, YUV,

Blue (0, 0, 255)

Magenta (255, 0, 255) Cyan (0 255, 255)

Cam nhan anh

— Cam thu vé cường độ độ sáng, độ chói

— Cam thụ về độ sắc màu

— _ Cảm nhận về độ bão hòa màu

© Cảm nhận ảnh và biéu diễn anh

— Cảm nhận ảnh đơn màu,

— Cảm nhận ảnh màu

NGUYEN Thi Hoang Lan - IPH

Tao anh bang camera

© Phép chiéu tir thé gidi thuc trong khong gian 3 chiéu vao khong gian 2 chiéu mat phang anh

Tao anh bang camera

Cac hé toa do

¢ Cac hé toa do

— Tọa độ tuyệt đối: Tọa độ điểm trong thế giới thực (x,y,z)

— Tọa độ camera: Tọa độ biểu diễn điểm ảnh trong hệ

thông camera (x’,y’,z’) voi diém nhin dat tại tâm

— Tọa độ hình chiêu điểm anh trong mat phang anh (x,y)

— Tọa độ điểm anh s6 (i,j)

¢ Qua trinh tao anh băng camera, quá trình thu nhận ảnh thực hiện phép chiếu chuyển đối hệ tọa độ từ

hệ tọa tuyệt đôi sang hệ tọa độ điểm ảnh trên mặt phăng ảnh

NGUYEN Thi Hoang Lan - IPH 10

Tao anh bang camera

Cac mo hinh

¢ Cac mo hinh thu nhận cảnh, đơn camera

— Camera cô định, vật thê cô định : Chụp ảnh tĩnh

— Camera cô định, vật thê chuyên động: chuỗi ảnh động

— Camera chuyền động, vật thê cô định: chuỗi ảnh động

— Camera chuyền động, vật thể chuyển động: chuỗi ảnh động

¢ Thu nhận canh stereo, nhiêu camera

¢ Phép chiều nhiêu tia, khôi phục ảnh, dựng anh từ

các hình chiêu

NGUYEN Thi Hoang Lan - IPH II

NGUYEN Thi Hoang Lan - IPH 12

UJ (D> C °-

CD? —_ Wy — => œŒ

917} 1 JL fl j242)41 SIO IO 7 ILI1 iil

718 19 |7{1I2] 141 J9 |9 |9|19|1|1]12

Quan hệ lân cận các diém anh so

NGUYEN Thi Hoang Lan - IPH 13

Cac mo hinh biéu dién anh

¢ M6 hinh tat định

- Ảnh liên tục : hàm liên tục hai biến của độ sáng, độ chói

Anh don mau (anh dé choi) : f(x,y)

Ảnh mau: f,(xy), f(xy), f,(x.y)

Ảnh đa phô (n băng tân sô) : f(x.y), f(x,y)

- Ảnh sô (dạng bitmap) : ma trận số liệu F(1,j) hay X(m,n), biểu diễn

mức xám của pIxel tại toạ độ 1.J Quan hệ lân cận các điêm anh

¢ Mo hinh ngau nhién

Các tham số ngau ngau nhién theo tap hop va theo thol gian: ham phan

bố mật độ xác suất, gia tri trung bình, hàm tương quan, ma trận tương quan, ma trận hiệp biên (hiệp phương sai)

¢ Cac loai anh so

Anh da mic xam (8 bit/p), anh nhi phan (1 bit/p), anh mau (24 bit/p), ảnh da pho, ảnh màu đa phô

NGUYEN Thi Hoang Lan - IPH 14

Tín hiệu tât định, tín hiệu ngau nhiên

Tin hiéu tat dinh (Deterministic Signal)

Tín hiệu bao gôm các giá trị ðýợc xác ð¡nh týờng minh

- Ví dụ: Tín hiệu hình sin với chu kỳ là hăng số, các tín hiệu mô phỏng Tín hiệu ngẫu nhiên (Random)

Tín hiệu bao gồm tập hợp các giá trị của biễn ngẫu nhiên (RV), là các thể hiện của quá trình ngẫu nhiên

- Vị dụ: các tín hiệu thu âm nhạc, tiếng nói, ảnh, video

Lý thuyết xác xuất (Probability Theory)

Nghiên cứu các sự kiện ngẫu nhiên, quá trình ngẫu nhiên

Các công cụ toán: nghiên cứu và xử lý quá trình ngẫu nhiên

Tín hiệu số: kết quả số hóa tín hiệu liên tục

Tín hiệu số: các 1a tri thé hién cua bién ngau nhiên rời rạc

NGUYEN Thi Hoang Lan - IPH 15

Mô hình tín hiệu ngau nhién

- I x[n] 1- Sr az” | ARN)

Mini, Quá trình

binh = 0 Đối với ảnh: N = 1 va a, = 0,95

Xứ lý tín hiệu ngau nhién

cơ sở toán và công cụ

Xác suất và Hàm phân bố mật độ xác suất của biến ngẫu nhiên

X (Probability Density Function - PDF) Fy (x)

X2

P[x,< X <x,Ì= | fe (x)de

Cac dang ham PDF: Uniform PDF, Gaussian PDF, Laplacian PDF

Biên ngẫu nhiên rời rạc X: PDF của X = Histogram cla XY

Quá trình dừng, ôn định theo nghĩa rộng

Các tham sô thông kê của biên ngẫu nhiên

Kỳ vọng, mô men bac 1: giá trị trung bình

Mô men bậc 2: giá trị trung bình bình phương, phương sai

Tương quan: hàm tương quan, ma trận tương quan, tương quan

chéo, hiệp phương sai, hàm PDE hỗn hợp các quá trình ngẫu nhiên

Các tiêu chí xử lý: độc lập thông kê, giải tương quan, trực giao

NGUYEN Thi Hoang Lan - IPH 17

Các độ đo độ tương tự hay độ sai khác

M = maximum peak - to - peak value

NGUYEN Thi Hoang Lan - IPH 18

Chương 3 Thu nhận và sô hóa ảnh

Hệ thống thu nhận và số hóa ảnh (camera)

anh sang

Cac van dé

- Quá trình số hóa và chất lượng ảnh số

- Sai số thu nhận ảnh và sửa méo quang học

- Chất lượng hệ thông thu nhận ảnh và cảm nhận ảnh

NGUYEN Thi Hoang Lan - IPH ]

Lay mau Luong tu hoa

Anh sô: ma trận sô liệu >

Quá trình số hóa

Luong tu hoa

° Nguyên tắc và yêu câu lượng tử hóa

¢ Sai số lượng tử hóa

° Luật lượng tử hóa

nOIT gris blanc

NGUYEN Thi Hoang Lan - IPH

NGUYEN Thi Hoang Lan - IPH 4

Biểu diễn ảnh số và file ảnh số

917} 1 JL fl j242)41 SIO IO 7 ILI1 iil

718 19 |7{1I2] 141 J9 |9 |9|19|1|1]12

Quan hệ lân cận các diém anh so

NGUYEN Thi Hoang Lan - IPH

Chuong 4

CÁC PHƯƠNG PHÁP CƠ SỞ XỬ LÝ SỐ HÌNH ANH

1 Giới thiệu chung về các phương pháp xử lý số hình ảnh

2 Các phép toán điểm ảnh (Points Operafions)

Hi el <i<

un Pour O<i<Z

e Histogram : Biéu dé phan b6 mttc x4m, biéu dé cột xám : j¡ =

e Phép toán điểm ảnh

- Công thức chung của các phép toán điểm ảnh :

Yữn,n) = ƒ{X (m.n)), Vme[l,M ],ne[1,N]

trong đó ƒX(m,n)) là hàm toán học có thể là :

liên tục/ rời rạc, tuyến tính/ phi tuyến, hàm số, , hàm ngưỡng, hàm logic

- Kỹ thuật thực hiện các phép toán điểm anh : LUT (Look-Up-Table)

3 Các toán tử tuyến tính không gian, nhân chập và xếp chồng

Toán tử tuyến tính - Toan tu Kernel: Y(k,J)= ` YXứn,n).@ứn.m;k,) kellLK| re|lLL|

m=ln=l

j(m.n;k,) là các hệ số của toán tử Kernel phụ thuộc vào 4 biến (m,n ; k, /)

e Phép toán nhân chập hai chiều (Bi-dimension Convolution)

- Định nghĩa phép nhân chập đối với 2 hàm hai biến liên tục :

- Cac tinh chat cla phép nhân chập

e Phép toan nhan chap ap dung cho anh so:

- C6ng thic co ban:

| L-1 Yứn,n)= X(m,n)*H(,D= ŠS Yh(k,DXứm—k,n—D

k=0 /=0

Công thức thường dùng :

Yứn,n)= Xứn,n)*H(k,)= Š Šh(R,DXứm-k,n—l)

k=-ri=-r

X(m, n) la anh kích thước(M,N) và H(,J) est là ma trận hạt nhân hay còn gọi là mat na

Y(m,n) là ảnh kết quả của phép nhân chập giữa ảnh X và H

- Nhan chap va xép chong

4.Cac phép loc anh (Image Filtering)

e Khai quat vé phép loc anh: loc tuyén tinh (loc s6), loc phi tuyén

e« Các bộ lọc số (Digital Filters) đối với ảnh số

H(k.]) H(u,v)

- Cac dang biéu dién cac bộ lọc số : H(k, 1), H(u, v), H(Z;, Z.)

-_ Phân loại các bộ lọc số : phân loại theo đáp ứng xung, 2 loại : FIR và IIR

-_ Bộ lọc có đáp ứng xung hữu han FIR

HŒ(i.z3)= Š Xpuart' Z1?Z I›Z2)— chiếu BklzZ1 Zl Zz Z2

5 Các phép biến đổi ảnh (Image Transforms)

e« Các phép biến đổi tuyến tính đơn vị

-_ Khái niệm về các phép biến đổi ảnh, phép biến đổi tuyến tính / phi tuyến

- Phép bién déi don vi (unitary transform), ma trận của phép biến đổi, ma trận cơ sở

-_ Các phép biến đổi đơn vị : Phép biến đổi Fourier, phép biến đổi cosine, sine, Hartley,

Hadamard, Haar, Slant, Karhunen Loeve (KL)

- Tinh chất của các phép biến đổi đơn vị : bảo toàn năng lượng, tập trung năng lượng, giải tương quan

e« Phép biến doi Fourier

- Định nghĩa phép biến đổi Fourier và phép biến đổi Fourier rời rạc áp dụng cho anh (DFT)

X(u,v)= MV n,n) exp{— joni „ ay)

m=0 n=0 Narn Py PD)

- Tinh chat clia phép bién déi Fourier

- Y nghia phép bién déi Fourier và phổ của ảnh : phổ biến biên độ, phổ năng lượng, phổ pha

- Biéu diễn phổ của ảnh và ý nghĩa của phổ trong xử lý ảnh

Độ phức tạp của phép biến đổi Fourier DFTvà thuật toán biến đổi Fourier nhanh FFT :

Độ phức tạp O(N) Phép đổi phân tách được Điều kiện của FFT Độ phức tạp của FFT

œ ®›; c= e°, oO» Oo > a> n bồ mức xám, biều đồ cột xám (histogram)

Oo 50 100 150 200 250

Image "muscle" et l'histograrmme calculé sur toute l'image

Chuong 5 CAI THIEN ANH

1 Biến đổi độ tương phỏn

e« _ 8n đối độ tương phản bằng các phép toán điểm ảnh : Y(m.n) = ƒ(X(m.n)), Vm.ne[l,N]

e Bién doi biéu đồ phân bố mức xám (histogram)

- Biến đổi tuyến tính : giãn histogram

Vứn,n)= /max—lmin_y (7, 7) + Lmin-S1— Imax so

2 Loc nhiéu lam tron, cai thién anh

> Loc nhiễu xung bằng bộ lọc phi tuyến

=>>Một số bộ lọc phi tuyến : Các bộ lọc hạng : bộ lọc trung vị, các bộ lọc co, giãn, lọc hạng r,

bộ lọc K láng giềng gần nhất

Qua trinh thuc hién loc hang :

X(m,n) Cửa sô lọc 8 a(k) Sap xép các giá trị a(k) của điểm ảnh Tinh gia tri Y(mn) >

Nguyên tắc loc Homomorphic : InX — loc tans6 Y = X*H > e*

se Boloc thich nghi

3 Lọc tăng cường độ nét, cải thiện biên

e Ky thuat loc tuyến tính

Lọc tăng cường biên ảnh : các bộ lọc thông cao, bộ lọc đạo hàm Lọc tạo bóng đường biên

Một số bộ lọc thông cao : H(R=|1 -9 1 H(k,)=|-1 4 -1 | bộ lọc Laplace

e Kỹ thuật lọc phi tuyến

Chapitre 6

PHAT HIEN VA TACH BIEN

1 Giới thiệu và biểu diễn biên ảnh

e« Một số khái niệm

- Biên ảnh (Edge) : là các đường biên giới giữa các vùng ảnh cho phép xác định hình dạng

các đối tượng trong ảnh

- Vùng ảnh (Region) : là tập hợp các điểm ảnh thuộc về đối một tượng trong ảnh

Ranh giới các vùng ảnh là biên ảnh, và các đường biên khép kín cho phép xác định vùng

ảnh Biên ảnh và vùng ảnh là 2 đặc trưng đối ngẫu ảnh

e Biéu diễn biên ảnh

Biên ảnh là những điểm ảnh mà tại đó hàm độ sáng của ảnh liên tục có bước nhảy hoặc biến

thiên nhanh

e Cơ sở toán học của phát hiện và tách biên : phép toán đạo hàm

e Giới thiệu về các phương pháp phát hiện biên

-_ Phương pháp trực tiếp : phát hiện biên dựa trên phép đạo hàm :

đạo hàm bậc 1, đạo hàm bậc 2 -_ Phương pháp gián tiếp : Phát hiện biên dựa trên phân vùng ảnh