Tải bản đầy đủ - 0 (trang)
3 Phân lp liên kt t

3 Phân lp liên kt t

Tải bản đầy đủ - 0trang

Bảng 4.1: Các đặc trưng cho phân lớp liên kết từ



Đặc trưng

s_str

t_str

st_samestr

s_stem

t_stem

st_samestem

s_pos

t pos

st precede

st follow



Ý nghĩa

chuỗi từ gốc

chuỗi từ chỉnh sửa

chuỗi từ gốc bằng chuỗi từ chỉnh sửa

nguyên mẫu của chuỗi từ gốc

nguyên mẫu của chuỗi từ chỉnh sửa

nguyên mẫu chuỗi từ gốc bằng nguyên mẫu chuỗi từ chỉnh sửa

từ loại của chuỗi từ gốc

từ loại của chuỗi từ chỉnh sửa

các từ liền trước giống nhau

các từ liền sau giống nhau



sử dụng, một chỉ ra từ gốc và từ chỉnh sửa có giống nhau hay khơng, một

chỉ ra ngun mẫu của từ gốc và từ chỉnh sửa có giống nhau hay khơng.

• Các đặc trưng về từ trong ngữ cảnh so sánh từ liền trước và liền sau

của chuỗi từ gốc và từ chỉnh sửa. Có hai đặc trưng trong nhóm này, một

đặc trưng nhị phân chỉ ra từ liền trước của chuỗi từ gốc và từ chỉnh sửa có

giống nhau hay không, một đặc trưng nhị phân khác chỉ ra từ liền sau của

chuỗi từ gốc và từ chỉnh sửa có giống nhau hay khơng.

Cho các đặc trưng đã rút trích như trên, chúng tơi so sánh ba phương phỏp

phõn lp ph bin: Support Vector Machine, Naăive Bayes v Decision Tree. Support Vector Machine là một trong những thuật toán phân lớp mới nhất. NaiveBayes là một bộ phân lớp xác suất đơn giản nhưng lại hiệu quả một cách đáng

ngạc nhiên. Decision tree thì đơn giản trong việc hiểu và giải thích, và nó có giá

trị ngay cả với dữ liệu nhỏ.



38



Chương 5

THỬ NGHIỆM

5.1



Giới thiệu



Trong chương này chúng tơi sẽ trình bày kết quả thử nghiệm của thử nghiệm liên

kết từ tự động và thử nghiệm phân lớp liên kết từ. Kết quả được trình bày như

sau:

• Phần 5.2 sẽ nói về cách setup và kết quả của thử nghiệm liên kết từ tự động

trên 3 công cụ: MANLI, METEOR và GIZA++.

• Phần 5.3 sẽ nói về cách setup và kết quả của thử nghiệm phân lớp liên kết

từ trên 3 phương pháp SVM, Naive Bayes và Decision Tree.

• Để kiểm chứng phương pháp đề xuất ở Chương 4, chúng tơi có thực hiện

một thử nghiệm để so sánh kết quả của phương pháp đề xuất và phương

pháp hoàn toàn dùng METEOR cho cả bước liên kết từ và bước phân lớp.

Chi tiết về cách setup và kết quả thử nghiệm này sẽ được trình bày trong

Phần 5.4.

• Ngồi ra, chúng tơi cũng áp dụng phương pháp đề xuất ở Chương 4 trên

tập ngữ liệu NUCLE. Chi tiết về kết quả thử nghiệm được trình bày trong

phần 5.5.



39



5.2

5.2.1



Liên kết từ tự động

Thiết kế thử nghiệm



Chúng tôi sử dụng gold alignments trong ngữ liệu SWA để đánh giá phần liên kết

từ tự động. Để đánh giá, chúng tôi sử dụng phương pháp được đề xuất bởi Och

([14]), phương pháp này dựa trên hai loại liên kết: liên kết chắc chắn (certain

alignments) và liên kết có thể (possible alignments). Possible alignments được sử

dụng để nới lỏng các tiêu chí đánh giá cho việc quyết định một liên kết từ có được

xem là một liên kết từ đúng hay không. Hiện tại chúng tôi đang xem tất cả liên

kết từ được gán nhãn trong ngữ liệu SWA và SWA-2 đều là certain alignments,

điều này khá là gắt gao. Chúng tôi so sánh kết quả liên kết từ của ba công cụ

sau: MANLI, METEOR, và GIZA++ refined.



5.2.2



SWA



SWA-2



Thử nghiệm

Bảng 5.1: Kết quả liên kết từ

Precision (%) Recall (%)

MANLI

84.2

94.8

METEOR

84.8

94.7

GIZA++ refined

90.9

94.3

MANLI

80.7

95.0

METEOR

73.4

85.7

GIZA++ refined

82.6

89.9



F1 (%)

89.2

89.5

92.6

90.1

76.9

86.1



Kết quả liên kết từ trên SWA cho thấy rằng: về độ phủ (recall), kết quả đưa

ra từ ba công cụ liên kết từ ở trên là tương tự nhau; tuy nhiên về độ chính xác

(precision), GIZA++ refined có kết quả cao hơn hai cơng cụ còn lại, do đó cũng

có độ đo F1 cao hơn (Bảng 5.1).

Về tổng quan, những liên kết đơn (single-word alignments) như Preserved và

Mono-alignment grammar có kết quả tốt hơn những liên kết N × N (multi-word

alignments). Điều này có thể do hệ thống đánh giá đang được sử dụng đòi hỏi

tất cả các thành phần của một liên kết N × N đều phải được liên kết đúng. Tuy

nhiên, nó cũng chỉ ra là việc tạo ra những liên kết N × N là một vấn đề khó khăn



40



và chúng ta nên xem xét để cải tiến phương pháp liên kết từ để giải quyết vấn

đề này.

Kết quả thử nghiệm trên SWA-2 lại khác một chút so với kết quả trên SWA.

Về tổng quan, kết quả trên SWA-2 không tốt bằng SWA trên gần như tất cả các

set up, điều này có thể hiểu được vì số lượng nhãn lỗi trong SWA-2 nhiều hơn

SWA, do đó độ phức tạp cũng cao hơn. GIZA++ refined có độ chính xác cao

nhất với 82.6% so với hai cơng cụ còn lại. Tuy nhiên về độ phủ thì MANLI lại

có kết quả cao nhất và do đó có độ đo F1 cao hơn (Xem Bảng 5.1).



5.2.3



Phân tích lỗi liên kết từ



Khi xem xét kĩ hơn về kết quả phân lớp trên từng nhãn riêng biệt, chúng tôi nhận

thấy rằng mỗi công cụ liên kết từ có từng ưu nhược điểm riêng biệt (Bảng 5.2).

METEOR và MANLI phân lớp tốt trên các loại nhãn Mono-alignment như là

Preserved, Unaligned và Mono-alignment Grammar, tuy nhiên lại phân lớp không

tốt trên các nhãn Bi-alignment Grammar, đặc biệt là METEOR. GIZA++ refined

phân lớp tốt trên các loại nhãn Bi-alignment, đặc biệt là Paraphrase, Determiner

và Typo/Spelling. Điểm yếu của GIZA++ refined là phân lớp loại Preserved và

Mono-alignment. MANLI và METEOR là hai công cụ được xây dựng để liên kết

từ đơn ngữ và được mong đợi sẽ cho kết quả liên kết từ tốt hơn GIZA++ refined,

do đó kết quả thử nghiệm này cũng gây nhiều bất ngờ khi GIZA++ refined lại

là công cụ liên kết từ cho kết quả tốt nhất.

Để giúp cho việc cải tiến các phương pháp liên kết từ này hiệu quả hơn, chúng

tôi chọn ngẫu nhiên một số liên kết sai từ cả ba cơng cụ trên, gom nhóm và phân

tích các lỗi sai này. Kết quả phân tích được trình bày trong Bảng 5.3. Có rất

nhiều loại lỗi khác nhau, tuy nhiên ta có thể chia thành hai nhóm lỗi lớn đó là:

Các từ có liên quan khơng được liên kết với nhau (1) và Các từ không liên quan

được liên kết với nhau (2). Ví dụ:

• (1) Các từ có liên quan khơng được liên kết với nhau. Xem ví dụ ở Hình 5.1,

liên kết từ lỗi ta có là một mono-alignment will và một single alignment

illustrate - illustrates, trong khi đó liên kết từ đúng sẽ là will illustrate illustrates.



41



Tài liệu bạn tìm kiếm đã sẵn sàng tải về

3 Phân lp liên kt t

Tải bản đầy đủ ngay(0 tr)

×