Tài liệu Chất lượng tiếng nói ppt

Việc ước lượng phổ nhiễu đòi hỏi một thuật toán VAD Voice Activity Detection để tìm khoảng thời gian không có tiếng nói hoạt động.. Initial Silence Segments: khoảng im lặng ban đầu: IS

SPEECH ENHENCEMENT ALGORITHMS

FINAL PROJECT JUN-2012, DUT ELECTRONICS AND TELECOMMUNICATION ENGINEERING

DIGITAL SIGNAL PROCESSING

1 Tổng quan về nâng cao chất lượng tiếng nói:

Tiếng nói đóng vai trò rất quan trọng trong thông tin liên lạc Quá trình truyền tín hiệu tiếng nói được truyền đi qua các phương tiện thông tin bị các loại nhiễu tác động nên chất lượng bị suy giảm Vì vậy, các thuật toán Speech Enhancement và các kĩ thuật làm giảm nhiễu được ra đời Trong bài Lab này ta sẽ đi nghiên cứu 2 thuật toán ước lượng phổ để khử nhiễu kinh điển là Spectral Subtraction [1] và Wiener Filter [2] Việc ước

lượng phổ nhiễu đòi hỏi một thuật toán VAD ( Voice Activity Detection ) để tìm khoảng thời gian không có tiếng nói hoạt động Ta sẽ đi phân tích từng phần theo sự phát triển của các thuật toán và đánh giá kết quả mà các thuật toán mang lại

1.1 Phân tích tín hiệu có nhiễu thành các segment/frame :

Tín hiệu có nhiễu được chia ra thành nhiều Segment ( hay Frame ) có chiều dài bằng 25 ms với độ dịch là 40% của Window trên suốt chiều dài tín hiệu Cửa sổ có thể

chọn Rectangle, Hanning, Hamming, Blackman … Việc chọn loại cửa sổ sẽ ảnh hưởng tới việc khôi phục tín hiệu đã tăng cường sau này Ở đây, cửa sổ được lựa chọn là

Hamming Do Hamming là cửa sổ phi tuyến nên khi thực hiện biến đổi FFT thì vô tình đã làm suy giảm tín hiệu , vì thế yêu cầu đặt ra là các Segment phải sắp xếp chồng lên nhau theo 1 tỉ lệ dịch (SP) thích hợp , vùng xếp chồng giữa 2 Segment liên tục gọi là “overlap”

Thao M Hoang

Minh họa quá trình Segmenting bằng cửa sổ rectwin

y(n) : tín hiệu có nhiễu cộng vào

SP : shift percentage

W : Window Length

o : số mẫu ở vùng overlap ( o = fix(W*(1-SP)) )

L :≜ Noisy Signal Length

Số Segment có thể được tính dựa vào công thức sau:

Number of noisy signal Segments =

(LengthSignal - WindowLength)/(Shift Percentage* WindowLength) + 1 (1)

Dấu ▪ để chỉ là lấy giá trị nguyên nhỏ hơn và gần kết quả nhất

Khi tín hiệu được phân tích thành các Segment liên tục, thì trong từng Segment, tín hiệu của chúng ta sẽ biến đổi chậm và nó được xem là tĩnh ( trạng thái dừng ) Khi đó các thuật toán xử lý triệt nhiễu trong tín hiệu mới có thể thực hiện được một cách hiệu quả Cách phân tích tín hiệu được sử dụng là nhân với hàm cửa sổ , mỗi vector Segment có

kích thước WindowLength sau khi phân tích sẽ được lưu vào 1 cột của ma trận, vậy ma

trận Segment sẽ có kích thước WindowLength x NumberOfSegments Thao M Hoang

Thuật toán phân đoạn tín hiệu:

% SEGMENT chops a signal to overlapping windowed segments

% A= SEGMENT(X,W,SP,WIN) returns a matrix which its columns are segmented

% and windowed frames of the input one dimentional signal, X W is the

% number of samples per window, default value W=256 SP is the shift

% percentage, default value SP=0.4 WIN is the window that is multiplied by

% each segment and its length should be W the default window is hamming

W = 256, SP = 4

signal, consist of 461 frames

1.2 Initial Silence Segments: (khoảng im lặng ban đầu: IS )

Khoảng im lặng ban đầu hay là giai đoạn không có tiếng nói hoạt động trong mỗi file

âm thanh được gán mặc định là 250ms (dựa vào đặc điểm của tín hiệu thoại biến đổi

chậm – ví dụ như sự thay đổi của thanh quản người thường sau 10 → 100 ms ), thể hiện bước chuyển tiếp giữa hai trạng thái có mặt và không có mặt của tiếng nói Điều này cho phép cung cấp một lượng thông tin vừa đủ trong việc ước lượng phổ nhiễu hay phương sai nhiễu Nếu số segment của tín hiệu nhỏ hơn số segment trong khoảng im lặng thì có thể lờ đi thuật toán VAD

Ví dụ: Giả sử các Frame/segment được chia có chiều dài 25ms/frame Tần số lấy mẫu Fs

= 8000 samples/s, SP = 40%

WindowLength = 0.025s * 8000 samples/s = 200 samples

NIS = (0.25s * 8000 samples/s - 200 samples)/0.4*200 samples = 22

1.3 Voice activity detection ( VAD )

Quá trình xử lý để phân biệt khi nào có tiếng nói hoạt động, khi nào không có tiếng nói (im lặng) được gọi là sự thăm dò hoạt động của tiếng nói – Voice Activity Detection (VAD) Thuật toán VAD có tín hiệu ra ở dạng nhị phân quyết định trên một nền tảng

Segment-by-Segment, khi đó Segment có thể xấp xỉ 20-40 ms Một đoạn tín hiệu có chứa tiếng nói hoạt động thì VAD = 1, còn nếu đoạn tín hiệu chứa nhiễu thì VAD = 0

Có một vài thuật toán VAD được đưa ra dựa trên nhiều đặc tính của tín hiệu Các thuật toán VAD được đưa ra sớm nhất thì dựa vào các đặc tính như mức năng lượng, soft-decision VAD, zero-crossing, đặc tính cepstral, LPC (Linear Prediction Code) , phép đo chu kỳ…

Phần lớn các thuật toán VAD đều phải đối mặt với vấn đề là điều kiện SNR thấp, đặc biệt khi nhiễu bị thay đổi Một thuật toán VAD có độ chính xác trong môi trường thay đổi không thể đủ trong các ứng dụng của Speech Enhancement, nhưng việc ước lượng nhiễu một cách chính xác là rất cần thiết tại mọi thời điểm khi tiếng nói hoạt động

Thao M Hoang

VAD

Tính khoảng cách phổ của segment/frame đang xét

SpectralDist = max( 20*lg(signal) - 20*lg(noise)), 0 )

Tính giá trị trung bình của SpectralDist

Dist = SpectralDist / length(SpectralDist)

Dist < khoảng cách phổ ngưỡng ?

NoiseCounter > Số segment liên

tiếp (ngưỡng) để quy định là nhiễu ?

%Spectral Distance Voice Activity Detector

%SIGNAL is the the current frames magnitude spectrum which is to labeld as

%noise or speech, NOISE is noise magnitude spectrum template (estimation),

Thao M Hoang

%NOISECOUNTER is the number of imediate previous noise frames, NOISEMARGIN

%(default 3)is the spectral distance threshold HANGOVER ( default 8 )is

%the number of noise segments after which the SPEECHFLAG is reset (goes to

%zero) NOISEFLAG is set to one if the the segment is labeld as noise

%NOISECOUNTER returns the number of previous noise segments, this value is

%reset (to zero) whenever a speech segment is detected DIST is the

1.4 Ước lượng, cập nhật nhiễu và các thông số khác:

Phương thức ước lượng nhiễu có thể ảnh hưởng lớn đến chất lượng của tín hiệu sau khi được tăng cường Nếu nhiễu được ước lượng quá nhỏ thì nhiễu sẽ vẫn còn trong tín hiệu và nó sẽ được nghe thấy, còn nếu như nhiễu được ước lượng quá lớn thì tiếng nói sẽ

bị méo, và làm sẽ làm tính dễ nghe của tiếng nói bị ảnh hưởng Cách đơn giản nhất để ước lượng và cập nhật phổ của nhiễu trong đoạn tín hiệu không có mặt của tiếng nói sử dụng thuật toán thăm dò hoạt động của tiếng nói (voice activity detection - VAD) Tuy nhiên phương pháp đó chỉ thoả mãn đối với nhiễu không thay đổi (nhiễu trắng), nó sẽ không Thao M Hoang

hiệu quả trong các môi trường thực tế (ví dụ như nhà hàng), ở những nơi đó đặc tính phổ của nhiễu thay đổi liên tục Trong bài Lab này chúng ta sẽ đề cập đến thuật toán ước lượng nhiễu thay đổi liên tục và thực hiện trong lúc tiếng nói hoạt động, thuật toán này sẽ phù hợp môi trường có nhiễu thay đổi cao

Chú ý rằng trong thuật toán khử nhiễu Spectral Subtraction (SS), việc trừ phổ sẽ làm cho biên độ phổ âm, tuy nhiên biên độ phổ thì không thể âm, do đó phải chỉnh lưu nửa

sóng ( nếu giá trị biên độ trừ phổ âm thì cho bằng O )

∧

(ω) = (ω) (ω) với (ω) = ( ) | ( ) |= max (G(ω), 0) (3) Khi chỉnh lưu nửa sóng, xuất hiện thành phần nhiễu dư NR = N - ∧ ejɸ n

min |∧ (ω)| j = i − 1, i , i + 1 , nếu |∧ (ω)| < |NR (ω)| (5) Trong đó: |NR (ω)| là giá trị lớn nhất của nhiễu dư đo được khi không có tiếng nói

Trong giai đoạn không có tiếng nói hoạt động, việc cần làm nữa là nén nhiễu Ta định nghĩa tỉ số tín hiệu trên nhiễu:

= 20 lg ( ∫ ( )

( ) ) Nếu T < -12 dB, thì có thể xem segment đang xét là nhiễu Và khi đó ta nén nhiễu với hệ số β

|∧ (ω)| = |

∧(ω)|, ≥ 12 |

∧(ω)|, < 12

(6)

Với: 20.lg(β) = -30 dB hay β = 0.03

1.5 OverlapAdding trong quá trình xử lý tín hiệu tiếng nói

Sau khi các Segment tín hiệu được xử lý triệt nhiễu trong miền tần số, các Segment này được liên kết lại nhau bằng phương pháp thích hợp với phương pháp phân tích tín

hiệu thành các Segment ở đầu vào gọi là “OverlapAdding”, nhằm khôi phục tín hiệu sạch

Thao M Hoang

Quá trình xử lý tín hiệu tiếng nói uá

OverlapAdd2

Khôi phục Spectrogram của tín hiệu

với đầy đủ biên độ và pha

Spec 1/2WxFreqNum = Xnew e^(j.Yphase) FreqNum = số cột của Spec

Khôi phục một nữa liên hợp

phức đối xứng của Spec 1/2WxF reqNum

Spec 1/2WxF reqNum > SpecWxF reqNum

Xếp chồng từng cột của SpecWxF reqNum

theo tỉ lệ dịch SP ban đầu và Add

các vùng Overlap lại với nhau

End

Matlab Code:

%Y=OverlapAdd(X,A,W,S);

%Y is the signal reconstructed signal from its spectrogram X is a matrix

%with each column being the fft of a segment of signal A is the phase

%angle of the spectrum which should have the same dimension as X if it is

%not given the phase angle of X is used which in the case of real values is

%zero (assuming that its the magnitude) W is the window length of time

%domain segments if not given the length is assumed to be twice as long as

%fft window length S is the shift length of the segmentation process ( for

%example in the case of non overlapping signals it is equal to W and in the

%case of %50 overlap is equal to W/2 if not given W/2 is used Y is the

%reconstructed time domain signal.

2 Các thuật toán nâng cao chất lượng tiếng nói:

Sơ đồ tổng quát xử lý tiếng nói:

Hình 1.1 Sơ đồ khối cho hai thuật toán SS và WF

Cả 2 thuật toán Spectral subtraction và Wiener filter chỉ khác nhau ở khối hàm xử lý giảm nhiễu, tất cả các khối còn lại thì giống nhau

2.1 Thuật toán trừ phổ ( Spectral Subtraction – SS )

Thuật toán trừ phổ dựa trên một nguyên tắc cơ bản, thừa nhận sự có mặt của nhiễu,

và ước lượng phổ nhiễu rồi lấy phổ của tín hiệu tiếng nói bị nhiễu trừ đi phổ của nhiễu đã ước lượng Phổ của nhiễu có thể được ước lượng, cập nhật trong nhiều chu kỳ khi không

có mặt của tín hiệu tiếng nói Phương pháp này chỉ được thực hiện đối với nhiễu không đổi hoặc có tốc độ biến đổi chậm, và khi đó phổ của nhiễu sẽ không thay đổi đáng kể giữa các khoảng thời gian cập nhật

Gọi y[n] là tín hiệu vào đã bị nhiễu, nó là tổng của tín hiệu sạch s[n] và nhiễu n[n]:

Hàm xử lý giảm nhiễu Tín hiệu bị

Khi đó | (ω)| là phổ biên độ, và ϕ (ω) là phổ pha của tín hiệu đã bị nhiễu

Phổ của tín hiệu nhiễu (ω) có thể được biểu diễn dạng:

(ω) = | (ω)| ϕ (ω)

Bộ lọc trừ phổ được tính toán dựa trên cơ sở ( đề xuất bởi Boll79 [1] ): Biên độ phổ của

nhiễu | (ω)| có thể được thay thế bằng giá trị trung bình của nó và được ước lượng

trong khi không có tiếng nói hoạt động ; Pha Φn(ω) của nhiễu ( ) được thay thế bằng pha ϕ (ω) của tín hiệu có nhiễu ( ) ; Biên độ phổ nhiễu | (ω)| được thay thế bằng giá trị trung bình của nó trên segment đang xét | ( ) | = ∑ | ( )| (11) Khi đó chúng ta có thể ước lượng được phổ của tín hiệu sạch:

để chỉ rằng giá trị đó là giá trị ước lượng gần

đúng, E{ ▪ } là toán tử kỳ vọng ( Expectation ) Tín hiệu tiếng nói được tăng cường có

thể có được bằng cách biến đổi IFFT của

∧(ω)

Thao M Hoang

Giả thiết nhiễu được xem là biến đổi chậm , thế thì biên độ phổ ước lượng của

nhiễu μ(ω) có thể được ước lượng bởi giá trị trung bình của tín hiệu vào trong tất cả các frame/segment chỉ có nhiễu trên suốt chiều dài tín hiệu Khi đó (15) có thể được viết lại (theo [6] ):

(ω) ≅ ∧(ω) = ∑| ( )| (16)

Cần chú ý rằng biên độ phổ của tín hiệu đã được tăng cường là |

∧(ω)| =

| (ω)| − | ∧ (ω)| , có thể bị âm do sự sai sót trong việc ước lượng phổ của nhiễu Tuy nhiên, biên độ của phổ thì không thể âm, nên chúng cần phải đảm bảo rằng khi thực trừ hai phổ thì phổ của tín hiệu tăng cường |

∧(ω)| luôn luôn không âm Giải pháp được đưa

ra để khắc phục điều này là chỉnh lưu bán sóng hiệu của phổ, nếu thành phần phổ nào mà

âm thì chúng ta sẽ gán nó bằng 0:

| ∧ (ω)| = | (ω)| − |

^(ω)| , | (ω)| > | ^ (ω)|

0 , ≠ (17)

Đối với phổ công suất

Bình phương 2 vế của phương trình ( 9 ) ta được:

| (ω)| = | (ω)| + | (ω)| + (ω) ∗(ω) + ∗(ω) (ω)

= | (ω)| + | (ω)| + 2 Re{ (ω) ∗(ω)} (18)

| (ω)|2, (ω) ∗(ω) và ∗(ω) (ω) không thể tính được một cách trực tiếp mà có thể lấy xấp xỉ bằng E{| (ω)|2

}, E{ (ω) (ω)} và E{ ∗(ω) (ω)} Bình thường thì E{| (ω)|2

} được ước lượng khi không có tiếng nói hoạt động và được biểu diễn là |

∧(ω)|2

Vì không có một sự tương quan nào giữa nhiễu nw[n] và tín hiệu sạch sw[n] [1], nên E{ (ω) ∗(ω)} và E{ ∗(ω) (ω)}

xem như bằng 0 Khi đó phổ công suất của tín hiệu sạch có thể tính được như sau:

|

^(ω)| = | (ω)| − |

^

Công thức trên biểu diễn thuật toán trừ phổ công suất Theo đó, thì phổ công suất được ước lượng |Thao M Hoang∧ (ω)| không được đảm bảo luôn là một số dương, nhưng có thể sử

dụng phương pháp chỉnh lưu nửa sóng như đã trình bày ở trên Tín hiệu được tăng cường

sẽ thu được bằng cách tính IFFT của |

∧(ω)| (bằng cách lấy căn bậc hai của |

∧(ω)|2 ),

có sử dụng pha của tín hiệu tiếng nói bị nhiễu

Công thức hàm độ lợi (ω) có thể được viết theo dạng sau:

công suất

Thao M Hoang

Cập nha ät va ø làm trơn nhiễu T rư ø phổ

C ập nha ät nhiễu dư

Suy gia ûm tín hiệu -30 dB

S

Đ y[n]

% Includes Magnitude Averaging and Residual noise Reduction

% IGNORE THIS SECTION FOR CAMPATIBALITY WITH ANOTHER PROGRAM FROM HERE

% IGNORE THIS SECTION FOR CAMPATIBALITY WITH ANOTHER PROGRAM T0 HERE

NoiseCounter=0;

Thao M Hoang

[NoiseFlag, SpeechFlag, NoiseCounter,

if i>1 && i<numberOfFrames %Residual Noise Reduction

2.2 Thuật toán Wiener Filter ( WF )

Nguồn gốc cơ bản của thuật toán WF là ước lượng tín hiệu tiếng nói bằng cách tối thiểu hóa sai số bình phương trung bình (Mean Square Error) giữa tín hiệu tiếng nói thực

và tín hiệu tiếng nói được ước lượng

Giả thiết rằng y[n] là tín hiệu vào đã bị nhiễu, nó là tổng của tín hiệu sạch s[n] và tín

hiệu nhiễu n[n]:

y[n]=s[n]+n[n] (23) Windowing tín hiệu:

(ω) = | (ω)| ϕ (ω) (26)

Với |Y(ω)| là phổ biên độ, và ϕ (ω)là phổ pha của tín hiệu có nhiễu

Phổ của tín hiệu nhiễu N(ω) có thể được biểu diễn dạng biên độ và pha:

(ω) = | (ω)| ϕ (ω) (27)

Biên độ phổ của nhiễu |N(ω)| không xác định được, nhưng có thể thay thế bằng giá trị

trung bình của nó được tính trong khi không có tiếng nói (tiếng nói bị dừng), và pha của

tín hiệu nhiễu có thể thay thế bằng pha của tín hiệu bị nhiễu ϕ (ω)

Ta có thể ước lượng được biên độ của phổ tín hiệu sạch

∧(ω) từ Yw(ω) bằng một hàm phi tuyến được xác định như sau :

∧(ω) = (ω) (ω) (28)

(ω) (33):

Để khảo sát quan hệ giữa SNRpri và SNRpost Ta giả sử đã biết trước tín hiệu sạch và nhiễu,

thế thì một local Priori SNR và local Posteriori SNR định nghĩa như sau ( theo [4]): Thao M Hoang

Theo Steven Boll79 [1], vì không có một sự tương quan nào giữa nhiễu nw[n] và tín hiệu sạch sw[n] nên cos( α(ω) ) = 0 hay α(ω) = π/2 , và theo phương trình (12) (trong [4]) thì:

SNRpri = SNRpost – 1 = SNRinst

Kết quả phương trình trên cũng được đề xuất bởi Scalart96 [2] Cuối cùng ta được:

(ω) =

(41) Xây dựng thuật toán cho Wiener Filter :

Thao M Hoang