Bài giảng Xử lý ngôn ngữ tự nhiên: Phân tích cú pháp - Lê Thanh Hương

Bài giảng Xử lý ngôn ngữ tự nhiên: Phân tích cú pháp cung cấp cho người học các kiến thức: Bài toán PTCP, khái niệm về văn phạm, văn phạm, dạng chuẩn Chomsky, cấu trúc ngữ pháp, các ứng dụng của PTCP,... Mời các bạn cùng tham khảo nội dung chi tiết.

Trang 1

Phân tích cú pháp

1

Lê Thanh Hương

Bộ môn Hệ thống Thông tin Viện CNTT &TT – Trường ĐHBKHN

Email: huonglt-fit@mail.hut.edu.vn

Bài toán PTCP

P T C

cây PTCP mẫu

độ chính xác

tính điể

2

C P Văn phạm

câu

Các bộ PTCP hiện nay có độ chính xác cao

(Eisner, Collins, Charniak, etc.) cây cú pháp

điểm

Khái niệm về văn phạm

z Phân tích câu “Bò vàng gặm cỏ non”

z Cây cú pháp:

z Tập luật

3

Văn phạm

z Một văn phạm sản sinh là một hệ thống

z G = ( T, N, S, R ), trong đó

z T (terminal) – tập ký hiệu kết thúc

z N (non terminal) – tập ký hiệu không kết thúc

z S (start) – ký hiệu khởi đầu

z R (rule) – tập luật

z R = { α Æ β | α, β ∈ (T∪N) }

z α Æ β gọi là luật sản xuất

4

Dạng chuẩn Chomsky

z Mọi NNPNC không chứa ε đều có thể sinh từ

một văn phạm tnđó mọi sản xuất đều có

dạng A Æ BC hoặc A Æ a, với A,B,C∈N và a

∈T

z Ví dụ: Tìm dạng chuẩn Chomsky cho văn

phạm G với T = {a,b}, N ={S,A,B}, R như sau:

5

Nhắc lại về văn phạm

nữa.

được.

6

S → NP VP

NP → John, garbage

VP → laughed, walks

G có thể sinh ra các câu sau:

John laughed John walks.

Garbage laughed Garbage walks.

Trang 2

Cấu trúc ngữ pháp

Cây cú pháp biểu diễn cấu trúc ngữ pháp của một câu

Bò vàng gặm cỏ non.

C

7

DT

TT vàng

DN

Các ứng dụng của PTCP

Dịch máy (Alshawi 1996, Wu 1997, )

các thao tác với cây

8

Nhận dạng tiếng nói sử dụng PTCP (Chelba et al 1998)

Put the file in the folder

Put the file and the folder.

Các ứng dụng của PTCP

Kiểm tra ngữ pháp (Microsoft)

Trích rút thông tin (Hobbs 1996)

9

Kho văn bản

NY Times

CSDL

câu truy vấn

Văn phạm phi ngữ cảnh (Context-Free Grammar)

… còn gọi là văn phạm cấu trúc đoạn

z G = <T,N,P,S,R>

10

thành ký hiệu kết thúc, P ⊂ N

ký hiệu kết thúc và không kết thúc (có thể rỗng)

So với văn phạm cảm ngữ cảnh R: αAγ ⇒ αβγ

z α→β, với α ∈ V+ , β ∈ V*

z r = α→β, với α ∈ V+ , β ∈ V* , ⏐α⏐≤⏐β⏐

z và α1Aα2→α1β’α2 với β’≠ε

z A → θ, A ∈ N,

ớiθ V* ( T N )*

11

z với θ ∈ V*= ( T ∪ N )*

z A → aB,

z A → Ba,

z A → a,

với A, B ∈ N, a ∈ T

VPCQ VPPNC VPCNC VPNC

Văn phạm phi ngữ cảnh

12

Trang 3

Áp dụng tập luật ngữ pháp

z S

→ NP VP

→ DT NNS VBD

→ The children slept

13

p

→ NP VP

→ DT NNS VBD NP

→ DT NNS VBD DT NN

→ The children ate the cake

Cấu trúc đoạn đệ qui

14

Văn phạm cho ngôn ngữ tự nhiên

có nhập nhằng

S

Nhập nhằng - PP

có thể gắn tại 2 điểm (với VP hoặc với NP)

John saw snow on the campus

15

NP

0 John

VP

PP NP

1 saw NP

2 snow

3 on

4 the 5 campus 6

PTCP kiểu trên xuống

NP,VP,…)

S

……

16

z tìm luật có vế trái trùng với đích cần triển khai

dụng (bài toán tìm kiếm)

tìm kiếm sâu (depth-first search)

Khó khăn với PTCP trên xuống

17

xuống

pháp phù hợp

thành các ký hiệu kết thúc Trên thực tế, người ta thường sử dụng

phương pháp dưới lên để làm việc này

PTCP dưới lên

→ thay nó bằng vế trái của luật

……

S

18

→ thay nó bằng vế trái của luật.

đích, cần lựa chọn luật áp dụng (bài toán tìm kiếm)

tìm kiếm sâu (depth-first search)

Trang 4

Khó khăn với PTCP dưới lên

từ vựng

chung

19

chung

tạp là hàm mũ của độ dài câu.

Thuật toán CKY (bộ nhận dạng)

Vào: xâu n từ

Ra: yes/no

Cấu trúc ngữ pháp: bảng n x n (chart table)

20

hàng đánh số 0 đến n-1

cột đánh số 1 đến n

cell [i,j] liệt kê tất cả các nhãn cú pháp giữa i và j

Thuật toán CKY (bottom-up)

for i := 1 to n

end := start + width

21

có nhãn này

Ví dụ

Bò vàng gặm cỏ non

0 DT

CN DN

C

22

1

TT 2

ĐgT

VN ĐgN 3

4

TT

Văn phạm phi ngữ cảnh

23

Luật kết hợp

z Ô Cell[i,j] chứa nhãn X nếu

z Cell[i,k] chứa nhãn Y và ô Cell[k,j] chứa nhãn Z,

ằ

24 với k nằm giữa i và j;

z VD: NP → DT [0,1] NN[1,2]

Trang 5

CKY phải sử dụng luật nhị

phân

z Chuyển VP→V NP PP thành:

8.a VP→V Arguments

25 8.b Arguments → NP PP

CKY chart

0 DT

“ The guy ate the ice-cream on the table”

26

Áp dụng thao tác ‘dán’

27

Nhập nhằng!

5 NP → NN PP 8.a VP→V Arguments 8.b Arguments → NP PP

28

Args

Thuật toán Earley (top-down)

đầu vào

z A → B C D E là nhãn thiếu:

29

A → B C D E

Ví dụ

30

Trang 6

Recursive Descent (Đệ quy)

z 0ROOT → S 0

z 0S → NP VP 0

0 Papa 1 ate 2 the 3 caviar 4 with 5 a 6 spoon 7

31

z 0NP → Papa 0

z 0NP → Papa 1

z 0S → NP VP 1

NP

VP Papa ROOT→ S S → NP VP NP → Papa

VP Papa

Goal stack

Recursive Descent

z 0S → NP VP 1

z 1VP → VP PP 1

32

1VP → VP PP 1

1VP → VP PP 1 stack overflowed

VP→ VP PP VP→ VP PP

PP VP PP VP PP PP VP

PP PP

VP→ VP PP

PP PP VP→ VP PP

0ROOT → S 0

0S → NP VP 0

33

z 1VP → V NP 1 sau = nonterminal, lặp đi lặp lại việc tìm ký hiệu này (“predict”)

1V → ate 1 sau = terminal, tìm nó ở đầu vào (“scan”)

1V → ate 2 sau = rỗng, đích con của cha nó đã hoàn chỉnh (“attach”)

2NP → 2 phân tích tiếp và cuối cùng …

2NP → 7 we hoàn thành đích con NP của cha nó Æ attach

NP → Papa 0

0S → NP VP 1

z 0ROOT → S 0

z 0S → NP VP 0

z 0NP → Papa 0

thực hiện bằng lời gọi hàm:

S() gọi NP() và VP(), VP được triển khai 1

34

p

z 0NP → Papa 1

z 0S → NP VP 1

z 1VP → V NP 1

1V → ate 1

1V → ate 2

z 1VP → V NP 2

2NP → 2

2NP → 7

z 0S → NP VP .7

cần quay lại để thử 1 luật VP khác

S() gọi NP() và VP(), VP được triển khai 1 cách đệ qui

0ROOT → S 0

0S → NP VP 0

35

1VP → V NP 1

1 V → ate 1

1V → ate 2

1VP → V NP 2

2NP → 2 phân tích tiếp và cuối cùng…

2NP → 4 đoạn NP đúng là từ 2 đến 4

chỗ này cũng cần quay lại

0NP → Papa 0

0S → NP VP 1

VP → VP PP 1

0ROOT → S 0

0S → NP VP 0

36

1VP → VP PP 1

stack overflowed không giải quyết được gì – cần thay đổi tập luật để loại trừ đệ qui trái

0S → NP VP 1

VP → VP PP 1

1 VP → VP PP 1

Trang 7

Thuật toán Earley

z Thuật toán Earley giống thuật toán đệ qui nói trên, nhưng giải

quyết được vấn đề đệ qui trái

z Sử dụng bảng phân tích giống thuật toán CKY, nhằm lưu lại các

thông tin đã tìm thấy Æ lập trình động “Dynamic programming.”

Các thao tác của thuật toán

37

z Xử lý phần đi sau dấu theo kiểu đệ qui :

z Nếu là từ, quét (scan) đầu vào để xem có phù hợp không

z Nếu là ký hiệu không kết thúc, đoán (predict) các khả năng để

khớp nó (giảm số phép tiên đoán bằng cách nhìn trước k ký

hiệu từ đầu vào và chỉ sử dụng các luật phù hợp với k ký hiệu

đó)

z Nếu rỗng, ta đã hoàn thành một thành phần ngữ pháp, gắn

(attach) nó vào những chỗ liên quan

0

0 ROOT S

khởi tạo

tương đương với (0, ROOT → S)

38

0

0 ROOT S

0 S NP VP

predict luật có vế trái là S

(0, S → NP VP)

39

0

0 ROOT S

0 S NP VP

0 NP Det N

0 NP NP PP

0 NP Papa

predict luật có VT = NP

(có 3 luật phù hợp)

40

0

0 ROOT S

0 S NP VP

0 NP Det N

0 NP NP PP

0 NP Papa

0 D t th

predict luật có VT = Det (2 luật)

41

0 Det the

0 Det a

0

0 ROOT S

0 S NP VP

0 NP Det N

0 NP NP PP

0 NP Papa

0 D t th

predict luật có VT = NP

ta đã làm việc này ở bước trước, vì vậy không làm lại! Chú ý: ta phải làm lại việc này với luật đệ qui trái

42

0 Det the

0 Det a

Chú ý: ta phải làm lại việc này với luật đệ qui trái

Trang 8

0 Papa 1

0 S NP VP

0 NP Det N

0 NP NP PP

0 NP Papa

0 D t th

scan: từ phù hợp từ đầu vào

43

0 Det the

0 Det a

0 Papa 1

0 S NP VP

0 NP Det N

0 NP NP PP

0 NP Papa

44

0 Det the

0 Det a

scan: không phù hợp

0 Papa 1

0 S NP VP

0 NP Det N

0 NP NP PP

0 NP Papa

0 D t th

45

0 Det the

0 Det a scan: không phù hợp

0 Papa 1

0 S NP VP 0 S NP VP

0 NP Det N 0 NP NP PP

0 NP NP PP

0 NP Papa

0 D t th

attach NP mới tạo (bắt đầu từ 0) với các phần liên quan (các phần chưa hoàn thành kết thúc tại 0 và có NP sau dấu )

46

0 Det the

0 Det a

0 Papa 1

0 NP NP PP 1 VP V NP

0 D t th

predict

47

0 Det the

0 Det a

0 Papa 1

predict

48

0 Det a

Trang 9

0 Papa 1

predict

49

0 Papa 1

predict

50

0 Papa 1

51

1 P with

predict

0 Papa 1 ate 2

52

1 P with

scan: thành công!

0 Papa 1 ate 2

53

1 P with scan: không hợp

0 Papa 1 ate 2

attach

54

1 P with

Trang 10

0 Papa 1 ate 2

0 NP Det N 0 NP NP PP 2 NP Det N

predict

55

1 P with

0 Papa 1 ate 2

predict (các bước sau tương tự)

56

1 P with

0 Papa 1 ate 2

predict

57

1 P with

0 Papa 1 ate 2

58

1 P with

Papa không phải là từ tiếp theo)

0 Papa 1 ate 2 the 3

59

1 P with

scan: thành công!

60

1 P with

Trang 11

61

1 P with

0 NP Det N 0 NP NP PP 2 NP Det N 3 N caviar

62

1 P with

0 Papa 1 ate 2 the 3 caviar 4

63

1 P with

64

1 P with

attach

65

1 P with

attach

66

1 P with

Trang 12

attach

67

1 P with

68

1 P with

0 ROOT S 0 NP Papa 1 V ate 2 Det the 3 N caviar

attach

69

70

71

4 P with

72

4 P with

Trang 13

0 Papa 1 ate 2 the 3 caviar 4 with 5

73

4 P with

74

4 P with

75

4 P with

76

4 P with

77

4 P with

78

4 P with

Trang 14

79

4 P with

ate 2 the 3 caviar 4 with 5 a 6

80

0 ROOT S

4 P with

81

0 ROOT S

4 P with

82

0 ROOT S

4 P with

83

0 ROOT S

4 P with

ate 2 the 3 caviar 4 with 5 a 6 spoon 7

84

0 ROOT S

4 P with

Trang 15

85

0 ROOT S

4 P with

86

0 ROOT S

4 P with

0 Papa 1 ate 2 the 3 caviar 4 with a spoon 7

87

4 P with

88

4 P with

89

90

0 S NP VP

1 VP VP PP

Trang 16

91

0 S NP VP

1 VP VP PP

7 P with

92

0 S NP VP

1 VP VP PP

7 P with

93

0 S NP VP

1 VP VP PP

7 P with

0 ROOT S 0 NP Papa 1 V ate 2 Det the 3 N caviar … 6 N spoon

94

0 S NP VP

1 VP VP PP

7 P with

0 ROOT S

95

0 S NP VP

1 VP VP PP

7 P with

0 ROOT S

96

0 S NP VP

1 VP VP PP

7 P with

0 ROOT S

Trang 17

97

0 S NP VP

1 VP VP PP

7 P with

0 ROOT S

98

0 S NP VP

1 VP VP PP

7 P with

0 ROOT S

Vấn đề với PTCP trên xuống: đệ qui

trái

VP

VP PP gắn liên tục các luật mới

vào cây trước khi thấy PP

99

VP PP

PPs

Æ cần đoán trước số PP cần ở đầu vào

… nhưng thuật toán Earley Ok! VP

PP VP

1 VP → VP PP

(cột 1)

100

attach

VP

V NP

VP PP VP

V NP

ate the caviar

1 VP → VP PP

(cột 4)

… nhưng thuật toán Earley Ok!

VP

PP

VP

1 VP → VP PP

(cột1)

attach

có thể dùng lại

101

VP

V NP

VP PP VP

V NP

VP PP

1 VP → VP PP

ate the caviar

with a spoon

(cột 7)

attach

VP

VP PP VP

1 VP → VP PP

(cột1)

102

VP

V NP

VP PP VP

V NP

VP PP

ate the caviar with a spoon

in his bed

1 VP → VP PP

(cột 10)

Trang 18

VP

PP

VP

1 VP → VP PP

VP

VP PP

1 VP → VP PP

(cột1)

attach

103

VP

V NP

VP PP VP

V NP

PP

VP PP

ate the caviar

with a spoon

in his bed

(cột10)

Phục hồi cây cú pháp

Sử dụng thuật toán dùng queue đơn giản, dựa trên các thành phần có ích

• 1 thành phần ở trạng thái kết thúc là có ích

• If s=[A →α•Β,i] trong tập đích k & có ích

• then q=[A →αΒ •,k] & item r= [B →γ •,j] là

có ích

[s,itrong tập trạng thái j

104

i k j

Đánh dấu tất cả các thành phần trong tập trạng thái Sn ở dạng

Start → αS•, 0

for j=n downto 0 do for i=0 to j do for mọi bộ đã đánh dấu [s,i] trong tập trạng thái j do for k=i to j do

if [q,i] ∈Sk & [r,k] ∈Sj & s= q⊗r then đánh dấu [q,i] và [r,k]

[s,i] : một thành phần với luật s & trả về con trỏ i.

Ưu điểm

z Thuật toán Earley thực hiện một vài phép lọc

top-down: bất cứ thành phần nào (state, or

triple) được đưa vào tập trạng thái cần tương

thích với phần đã được sinh ra ở bên trái Ví

105

thích với phần đã được sinh ra ở bên trái Ví

dụ: S⇒ witrong đó wilà phần của câu đã

được duyệt qua

wi

S

*

Nhược điểm

z Biểu diễn luật: Explicit representation of rules: wastes time building them

106

bên phải Phép lọc nhìn trước cho ký hiệu không kết thúc

A:

FIRST(A)= {x|A ⇒ x δ }, x= 1 token v.d., FIRST(S)= who, did, the, etc.

Các phương pháp khác

để tìm các đoạn

Example:

107

0John 1ate 2ice-cream 3on 4the 5table 6

PP[3,6]; S[0,6]; …

S là NP VP

PTCP là việc tìm kiếm

Det(0,1) Noun(1, 2)

S(0, 7)

0 the 1 guy 2 saw 3 ice-cream 4 on 5 the 6 hill 7

NP(0, 1) VP(1, 8) NP(0, 2) V(1, 2)

VP(2, 7)

Name (0, 1)

108

NP(5, 7) Det(5,6) Noun(6,7)

NP(5,7) Name(5,6)

saw NP(3, 4)

Prep(4, 5) on ice-cream

Định dạng
Số trang	19
Dung lượng	812,31 KB