Tải bản đầy đủ - 0 (trang)
CHƯƠNG 2. CÁC HƯỚNG TIẾP CẬN PHỔ BIẾN CHO BÀI TOÁN TRÍCH CHỌN QUAN HỆ

CHƯƠNG 2. CÁC HƯỚNG TIẾP CẬN PHỔ BIẾN CHO BÀI TOÁN TRÍCH CHỌN QUAN HỆ

Tải bản đầy đủ - 0trang

Q trình trích chọn đặc trưng thực chất là q trình biến đổi một câu đầu vào thành một

véctơ trong khơng gian đặc trưng để đưa vào mơ hình học máy.

Các hệ thống dựa trên đặc trưng yêu cầu biểu diễn từng trường hợp dữ liệu chú thích

dưới dạng vectơ đặc trưng F =

...;



;



; ...;



trong một không gian n chiều, trong đó



;



;



là các đặc trưng được trích chọn tn theo bộ đặc trưng được xác định trước.

Các đặc trưng thường được sử dụng cho nhiệm vụ trích chọn quan hệ bao gồm [25,



26]:

 Các đặc trưng từ vựng: Trong bộ đặc trưng này, các đặc trưng từ vựng như

vị trí của cặp thực thể được đề cập, số lượng từ giữa cặp được đề cập, từ

trước hoặc sau cặp được đề cập, v.v ... được sử dụng để nắm bắt ngữ cảnh

của câu.

 Các đặc trưng của cây cú pháp: Trong bộ đặc trưng này, cấu trúc ngữ pháp

của câu và cặp được đề cập được sử dụng để tạo đặc trưng. Ví dụ, nhãn từ

loại cho mỗi cặp được đề cập, phần đầu, v.v., có thể được sử dụng như một

đặc trưng để trích chọn quan hệ.

 Các đặc trưng của cây phụ thuộc: Cây phụ thuộc cung cấp cho chúng ta

các từ mà cặp thực thể được đề cập là phụ thuộc và chúng ta có thể sử dụng

các từ đó và các nhãn từ loại của chúng trong bộ đặc trưng. Với điều này,

chúng ta cũng có thể sử dụng đường dẫn cây phụ thuộc giữa cặp được đề

cập, nhãn đường dẫn, khoảng cách giữa cặp thực thể được đề cập trong cây

phụ thuộc, v.v…

 Các đặc trưng thực thể: Một mối quan hệ có thể tồn tại giữa một số loại

thực thể nhất định, ví dụ: TreatmentForMedicalProbols có thể tồn tại giữa

một thực thể điều trị và thực thể bài tốn. Vì vậy, loại cặp thực thể được đề

cập cũng là các giá trị đặc trưng quan trọng cho mục đích phân lớp. Các đặc

trưng thực thể cũng bao gồm sự hiện diện của các thực thể y tế khác giữa các

cặp được đề cập.

 Các đặc trưng biểu diễn từ: Mặc dù các đặc trưng từ vựng biểu diễn cho

cấu trúc câu với cặp được đề cập, chúng ta có thể sử dụng các từ nhúng để

thể hiện cặp thực thể được đề cập. Các đặc trưng nhúng từ có một vai trò

quan trọng trong Nhận dạng thực thể định danh, phân tích cú pháp phụ thuộc,

gán nhãn ngữ nghĩa và trích chọn quan hệ.

Với các phương pháp dựa trên đặc trưng, các nhà nghiên cứu thường cố gắng cải

thiện hiện suất mơ hình bằng cách đề xuất và sử dụng một bộ đặc trưng phong phú. Các

nghiên cứu điển hình là Le [10], Rink [11], trong đó rất nhiều đặc trưng được sử dụng để

13



nắm bắt thông tin về ngữ nghĩa và cú pháp, sau đó vectơ đặc trưng được đưa đến một mơ

hình máy véc-tơ hỗ trợ (Support Vector Machine – SVM) để trích chọn các mối quan hệ

của các thực thể.

Tuy nhiên, các phương pháp này vẫn có một nhược điểm là việc xây dựng một bộ

đặc trưng phù hợp cho từng dữ liệu cụ thể đòi hỏi sức lao động rất lớn của con người và

vẫn khơng đảm bảo có thể đáp ứng tốt cho các miền dữ liệu đặc biệt.



2.2.2. Học sâu

Những thành công gần đây của các phương pháp học sâu đã kích thích sự quan tâm

trong việc áp dụng các kiến trúc mạng nơ-ron học sâu vào việc phân lớp quan hệ. Chúng

đã được chứng minh là cực kỳ tốt trong việc xử lí dữ liệu nhiễu bằng cách tự động sinh

các đặc trưng bằng cách học từ dữ liệu, do đó, khơng u cầu xây dựng tập đặc trưng một

cách thủ công nhưng vẫn mang lại hiệu quả cao.

Mạng nơ-ron tích chập là một trong những phương pháp được áp dụng thành cơng

cho bài tốn phân lớp quan hệ y sinh và mang lại kết quả rất tốt. Barnickel [12] đã đề xuất

một mạng nơ-ron tích chập dựa trên nhiệm vụ gán nhãn ngữ nghĩa để trích chọn quan hệ

quy mô lớn trong văn bản y sinh. Z. Zhao và công sự đã sử dụng mạng nơ-ron tích chập

để trích chọn tương tác thuốc - thuốc [13]. H. Zhou và cộng sự áp dụng mạng nơ-ron tích

chập vào đường đi phụ thuộc ngắn nhất để trích chọn quan hệ hóa chất gây ra bệnh [14].

Mạng nơ-ron hồi quy (Recurrent Neural Networks – RNNs) là một phương pháp

khác để thể hiện các mối quan hệ và rất tốt trong việc mơ hình hóa các mối quan hệ của

cặp thực thể cách xa nhau trong dữ liệu ngôn ngữ có cấu trúc. Có một số biến thể của RNN

đã được áp dụng cho việc phân lớp quan hệ y sinh [15].

 RNN thông thường

 RNN kết hợp với LSTM được sử dụng để mở rộng phạm vi bối cảnh

 Mạng nơ-ron đệ quy

Ngồi bản thân các câu, các mơ hình dựa trên RNN thường lấy thơng tin trích chọn

đầu vào từ các cây phụ thuộc, chẳng hạn như các đường đi phụ thuộc ngắn nhất (SDP) [15]

hoặc toàn bộ cây.

Biểu diễn từ: Một kỹ thuật quan trọng trong mô hình học sâu là biểu diễn từ (word

embedding), bước này gần như thường nằm trong lớp đầu tiên của các mơ hình học sâu.

M. Habibi đã chứng minh tính sự ảnh hưởng của việc biểu diễn từ đối với hiệu suất của

một mơ hình học sâu [16]. Hầu hết các mơ hình học sâu đã được xây dựng để phân lớp

quan hệ cũng sử dụng kỹ thuật biểu diễn từ nhúng trong lớp đầu tiên.



14



2.3. Học máy không giám sát

Một số phương pháp học máy không giám sát cũng đã được áp dụng thành cơng cho

bài tốn trích chọn quan hệ y sinh [17]. Các mơ hình học máy khơng giám sát cũng phải

dựa trên việc xây dựng tập đặc trưng thủ công như đã nhắc đến trong mục 2.2.1, các loại

đặc trưng được sử dụng cũng tương đối tương đồng với học máy có giám sát. Hai điểm

khác biệt chính là:

 Học máy khơng giám sát thường giải quyết bài tốn trích chọn quan hệ như một bài

tốn phân cụm, trong đó mỗi nhãn quan hệ sẽ tương ứng với một cụm.

 Học máy không giám sát không yêu cầu dữ liệu đã gán nhãn mà chỉ sử dụng một

lượng lớn dữ liệu không nhãn.



2.4. Phương pháp học từ xa và bán giám sát

Phương pháp học từ xa (phương pháp giám sát yếu): thường sử dụng dữ liệu được

gán nhãn yếu xuất phát từ tập dữ liệu về mối quan hệ đã biết để tự động thu thập lượng lớn

dữ liệu đào tạo từ dữ liệu chưa được gán nhãn. Một bộ phân lớp giám sát sau đó được học

với tất cả dữ liệu huấn luyện thu thập được để đưa ra kết quả cuối cùng. Do đó, nó chỉ yêu

cầu một lượng dữ liệu gán nhãn nhỏ. Phương pháp này đã thu hút sự chú ý trong cộng

đồng nghiên cứu để xây dựng các hệ thống phân lớp y sinh vì nó có thể tận dụng các nguồn

tài liệu sẵn có một cách rất linh hoạt [18].

Các phương pháp học bán giám sát: sử dụng một tập hợp nhỏ các quan hệ được gán

nhãn như là tập “hạt giống” để trích chọn các quan hệ mới. Các phương pháp học bán giám

sát để trích chọn quan hệ thường sử dụng ý tưởng về phương pháp dựa trên nhãn. Nghĩa

là, trích rút ra các quan hệ từ ngữ cảnh văn bản của sau đó sử dụng các nhãn này để phát

hiện thêm các mối quan hệ. Tìm các nhãn mới và dự đoán các mối quan hệ mới được xử

lý luân phiên và lặp đi lặp lại trong kiến trúc lặp.



15



CHƯƠNG 3. MẠNG NƠ-RON TÍCH CHẬP

3.1. Mạng nơ-ron nhân tạo

Các mạng nơ-ron nhân tạo (Artificial neural network – Mạng nơ-ron nhân tạo) được

lấy cảm hứng từ các mạng nơ-ron sinh học cấu thành bộ não động vật. ANN được xem là

một trong những phương pháp tiếp cận tốt nhất để tính tốn các giá trị rời rạc, giá trị thực,

giá trị véc tơ của các hàm mục tiêu. Bản thân mạng nơ-ron nhân tạo khơng phải là một

thuật tốn, mà là một bộ khn cho nhiều thuật tốn học máy khác nhau để làm việc cùng

nhau và xử lý dữ liệu đầu vào phức tạp. Các hệ thống này “học” để thực hiện các nhiệm

vụ bằng cách xem xét dữ liệu nói chung mà khơng được lập trình với bất kỳ quy tắc cụ thể

nào.

Mạng nơ-ron nhân tạo có thể được hiểu đơn giản là một hàm ánh xạ từ X sang Y, mơ

tả theo cơng thức sẽ có dạng:

( )



→ Y,



(2)



Trong đó:

 X: khơng gian liên tục [0,1] hoặc là không gian rời rạc {0,1}

 Y: không gian liên tục [0,1] hoặc không gian rời rạc {0,1} tương ứng

Ví dụ, trong nhận dạng hình ảnh, chúng ta xác định hình ảnh có chứa con mèo bằng

cách phân tích hình ảnh ví dụ được gắn nhãn thủ cơng là "con mèo" hoặc "không phải con

mèo" và sử dụng kết quả để xác định mèo trong các hình ảnh khác. Cách này không cần

các kiến thức trước đây về mèo như chúng có lơng, đi, râu, khn mặt đặc trưng của

lồi mèo.



Hình 3.1. Mơ hình mạng nơ-ron nhân tạo

16



Hình 3.1 mơ tả một mơ hình mạng nơ-ron nhân tạo cơ bản gồm có 3 lớp chính: lớp

đầu vào (input layer), các lớp ẩn (hidden layer), lớp đầu ra (output layer). Lớp đầu vào liên

kết với một hoặc nhiều lớp ẩn ngay phía sau, tại đây các xử lí được thực hiện thơng qua

các kết nối có trọng số. Lớp ẩn cuối cùng của mạng liên kết với lớp đầu ra, lớp đầu ra này

chính là nơi chứa kết quả đầu ra.

Một trong những yếu tố chính của mạng nơ-ron là khả năng “học” . Một mạng nơron không chỉ là một hệ thống phức tạp, mà là một hệ thống thích ứng phức tạp, có nghĩa

là nó có thể thay đổi cấu trúc bên trong dựa trên thông tin đi qua nó. Điều này đạt được

thơng qua việc điều chỉnh trọng số . Trong sơ đồ trên, mỗi dòng biểu thị một kết nối giữa

hai nơ-ron và chỉ ra đường dẫn cho luồng thơng tin. Mỗi kết nối có một trọng số, một số

điều khiển tín hiệu giữa hai nơ-ron. Nếu mạng tạo ra một đầu ra là tốt nhất thì khơng cần

phải điều chỉnh các trọng số. Tuy nhiên, nếu mạng tạo ra một đầu ra không như ý thì hệ

thống sẽ cần phải điều chỉnh, thay đổi các trọng số để cải thiện các kết quả tiếp theo.

Mạng nơ-ron nhân tạo có nhiều ứng dụng quan trọng, dưới đây là một số ví dụ về các

ứng dụng:

Phân lớp:

Tất cả các bài toán phân lớp phụ thuộc vào bộ dữ liệu được dán nhãn; nghĩa là, con

người phải đưa hiểu biết của họ vào bộ dữ liệu để mạng nơ-ron tìm hiểu mối tương quan

giữa nhãn và dữ liệu. Điều này được gọi là học có giám sát.

 Phát hiện khn mặt, xác định người trong hình ảnh, nhận diện nét mặt (tức

giận, vui vẻ)

 Xác định các đối tượng trong hình ảnh (biển báo dừng, người đi bộ, vạch kẻ

đường)

 Nhận ra hành động trong video

 Phát hiện giọng nói, xác định người nói, phiên âm lời nói thành văn bản,

nhận ra cảm xúc trong giọng nói

 Phân lớp văn bản là thư rác (trong email) hoặc lừa đảo (trong yêu cầu bảo

hiểm); nhận ra cảm xúc trong văn bản (phản hồi của khách hàng)

Bất kỳ nhãn nào mà con người có thể tạo ra, bất kỳ kết quả nào chúng ta quan tâm và

có liên quan đến dữ liệu, đều có thể được sử dụng để huấn luyện một mạng

nơ-ron nhân tạo.

Phân cụm:



17



Tài liệu bạn tìm kiếm đã sẵn sàng tải về

CHƯƠNG 2. CÁC HƯỚNG TIẾP CẬN PHỔ BIẾN CHO BÀI TOÁN TRÍCH CHỌN QUAN HỆ

Tải bản đầy đủ ngay(0 tr)

×