Tải bản đầy đủ
Hình 1.3 Các điểm trên khuôn mặt

Hình 1.3 Các điểm trên khuôn mặt

Tải bản đầy đủ

19

CHƯƠNG 2. CÁC PHƯƠNG PHÁP XÁC ĐỊNH VỊ TRÍ MẮT NGƯỜI
TRÊN KHUÔN MẶT
Trong chương này sẽ giới thiệu một số phương pháp phát hiện mắt và
xác định tọa độ của mắt trung tâm.
Mắt là một trong những chỗ tiếp xúc với những nơi biến dạng trên một
khuôn mặt (ví dụ như bằng cách biểu hiện trên khuôn mặt) và đặc biệt : một
phần khác đối mặt với thay đổi như vậy sắc nét. Tìm kiếm mắt là thao tác
chính,nó phụ thuộc tính toán thêm tham số mặt. Ví dụ về các thông số, mà có
thể xác định là: Tam giác nơi kiểm tra một khuôn mặt, đặc điểm trên khuôn
mặt, tọa độ của các mắt trung tâm và trục đối xứng khuôn mặt, khoảng cách
giữa các trung tâm của mắt.

Hình 2 . Kết quả xác định các thông số khuôn mặt
Trục đối xứng khuôn mặt có thể được xác định từ ví dụ trên cơ sở tọa
độ của các mắt trung tâm hay góc của mắt. Tuy nhiên, hiệu quả của phương
pháp phát hiện mắt (hoặc xác định tọa độ của mắt góc) là giới hạn thông qua
đôi mắt có thể đóng cửa hoặc ảnh hưởng của kính.
Có rất nhiều phương pháp tiếp cận được biết đến phát hiện mắt và xác
định tọa độ của các mắt trung tâm, dưới đây em chỉ mô tả cơ bản một số thuật
toán mà dựa trên:
• So sánh mẫu
• Phương pháp Moments
• Phương pháp chiếu
• Phương pháp Knowledge

20

2.1.

Xác định tọa độ mắt bằng cách sử dụng các so sánh mẫu

2.1.1. Phương pháp
Bằng cách sử dụng hai mô hình, một trong những nơi có thể chính xác
bản địa hoá mắt trên khuôn mặt. Ví dụ về cách tiếp cận như vậy cho thấy trên
hình 2.1 ta thấy:
1- Hình ảnh ban đầu
2- Mẫu của một phần trung tâm của khuôn mặt
3- Mẫu mắt trái của con người
4- Kết quả của địa phương hoá khu vực mặt từ mẫu 2
5- Vùng mặt, nơi mắt đã tìm thấy và kết quả xác định vị trí của mắt trái
6- Xác định mắt trung tâm bằng cách sử dụng đường chéo của hình
chữ nhật để mô tả khu vực xác định vị trí mắt.

Hình 2.1 Tìm kiếm trung tâm mắt sử dụng phương pháp so sánh mẫu
Trong ví dụ này, mắt trung tâm là giao điểm đường chéo của hình chữ
nhật trên khu vực xác định vị trí mắt. Đây cũng là trung tâm của hình chữ
nhật - điểm này được đặt ở giữa của chiều rộng và chiều cao của hình chữ
nhật. Từ kết quả này, tính chính xác độ tính toán tọa độ của mắt phụ thuộc
vào độ chính xác của việc trích vùng mắt và đối xứng của vùng liên quan với
con người được xác định vị trí mắt. Mặt khác, tính chính xác của trích chọn
của vùng mắt và đối xứng của nó phụ thuộc vào chất lượng của các mẫu và
thích nghi với mắt trên hình ảnh đưa vào.

21

Các biến thể của mẫu, nó được sử dụng xác định vị trí vùng mắt, được trình
bày trên hình 2.2
1

2

3

4

a
b
c
d

Hình 2.2 Các biến thể của các mẫu dùng xác định vị trí mắt
Trong hình 2.3 trình bày kết quả xác định vị trí của vùng mắt trên hình
ảnh khuôn mặt từ cơ sở dữ liệu ORL. Nhiều biến thể của các mẫu được sử
dụng:
- Ví dụ đầu tiên - mẫu b1 từ hình 2.2 (chiết xuất từ khuôn mặt thực), và
các mẫu nhân tạo c4 và b4 từ hình 2.2.
- Ví dụ thứ hai - mẫu nhân tạo của bộ phận trung tâm của khuôn mặt và
các mẫu c4 và c2 từ hình 2.2.
Ta có thể thấy trên hình 2.3 rằng kết quả nhận được của vùng mắt xác
định vị trí hiển thị cao hiệu quả và hữu ích thực tế của phương pháp so sánh
các mẫu (bất kể là đã lựa chọn mắt trái hoặc mắt phải).Ta có thể biết chắc
chắn rằng kết quả xác định vị trí không phụ thuộc vào biến thể của mẫu được
sử dụng. Tuy nhiên, một trong những chú ý là những trở ngại trên khuôn mặt
(mắt đóng và kính) có ảnh hưởng đáng kể vào kết quả xác định vị trí. Bên
cạnh đó, ta có thể nhận thấy thiếu đối xứng của vùng được xác định vị trí chú
ý con người của mắt. Kết quả từ đó, mà không phải luôn luôn có thể tìm thấy

22

trung tâm của mắt được rút ra trên các vùng bằng phương tiện chính giữa của
hình chữ nhật.
Do đó, để xác định tọa độ trung tâm của mắt nói chung trong trường hợp là
cần thiết sau các bước:
1. Sử dụng các mẫu giống nhau như hình dạng của mắt người;
2. Thay đổi thủ tục tìm vùng mắt;
3. Sử dụng thêm toán tử xác định vị trí của mắt trung tâm bên trong các
khu vực được xác định.
Mẫu

1

2

3

Hình 2.3 Kết quả xác định vị trí của vùng mắt

4

23

Ảnh hưởng của hình dạng mẫu trên kết quả xác định vị trí của mắt (đối
xứng của vùng mắt ) được trình bày trên hình 2.4, nơi mà mẫu b4 từ hình 2.2
đã được sử dụng để xác định vị trí của mắt.
Hình 2.4 cho thấy kết quả xác định vị trí của vùng mắt và tìm kiếm trung
tâm mắt bằng cách sử dụng mẫu b4 cho khuôn mặt mà không có kính là tốt
hơn nhiều so với kết quả giới thiệu vào hình 2.3. Hầu như trong mọi mẫu học
sinh được đặt ở trung tâm của khu vực được giải nén. Cho rằng lý do xác định
tọa độ trung tâm của mắt có thể được thực hiện trên cơ sở ước lượng trung
tâm của khu vực chiết xuất.
Hầu hết các mẫu giống nhau như hình dạng của mắt người tự nhiên có
thể được tìm thấy trong kỹ thuật văn học dành những vấn đề của biểu thức
phân tích (khuôn mặt biểu thức phân tích).

Hình 2.4. Kết quả xác định vị trí của mắt bằng việc sử dụng mẫu b4
Thêm các toán tử xác định vị trí của vùng mắt trung tâm bên trong các
khu vực được giải nén có thể dựa vào: hai giai đoạn (ba giai đoạn) tìm thủ tục
tương tự vào thuật toán được trình bày trên hình 2.1, kim tự tháp của hình ảnh
đầu vào, thủ tục sử dụng nhiều mẫu, tìm kiếm dọc theo các khu vực mắt xoắn

24

ốc bằng phương tiện của các mẫu, sử dụng sự tương quan lẫn nhau giữa các
mẫu và khu vực dưới nó.
Thay đổi tìm kiếm quá trình của vùng mắt trên khuôn mặt có thể dựa vào
thủ tục hai giai đoạn, nơi vào giai đoạn đầu tiên của mắt được tính toán, giai
đoạn sau tìm kiếm mắt dọc theo dòng này - độ lệch từ dòng mắt trong tìm
kiếm quá trình ± 5 điểm ảnh không thể lớn hơn.
Kết quả tìm kiếm vùng mắt nghĩa là sử dụng hai giai đoạn dùng mô hình
c4 được trình bày trên hình 2.5, nơi đường ngang dòng mắt, và vùng được
giải nén mắt được đánh dấu bằng các hình chữ nhật. Trên hình ta có thể thấy
rằng mặc dù sử dụng các mẫu không tốt nhất (mẫu c4) có thể nhận được kết
quả rất tốt xác định vị trí của mắt.

Hình 2.5 Trích chọn vùng mắt trái bằng cách xử lý hai giai đoạn
Ta thấy rằng, trong ví dụ trình bày tọa độ dọc theo 10% độ dài khuôn
mặt. Vì lý do đó mà sự so sánh trong trình tự hai giai đoạn được xem như là
nhỏ hơn trình tự một giai đoạn nơi mà phối hợp dọc theo trục Y thay đổi trong
phạm vi 40% của chiều dài khuôn mặt.

25

2.1.2. Những thuận lợi và khó khăn xác định vị trí mắt khi sử dụng
phương pháp so sánh mẫu
• Bất lợi chính của phương pháp được mô tả này là không thể xác định vị
trí chính xác tọa độ của mắt trong trường hợp người đeo kính hoặc mắt
nhắm.
• Lợi thế của phương pháp này là nhận thức là đơn giản, hơn thế nữa
được thực hiện trên cơ sở các ứng dụng định kỳ duy nhất của một thủ
tục.
2.2.

Xác định tọa độ mắt sử dụng phương pháp Moments
Phương pháp của thời điểm được sử dụng để xác định tọa độ trọng tâm

của khu vực gần nhất, ví dụ trích ra vùng mắt.
Nếu hình ảnh nhập vào là tập tin ảnh nhị phân, sau đó trọng tâm của khu
vực được giải nén có thể tính toán. Như hình ảnh có thể xuất hiện, ví dụ như
là kết quả lượng tử hóa và phân khúc của màu sắc hình ảnh và hình ảnh trước
khi sử dụng trung bình lọc. Trong trường hợp của hình ảnh nhị phân mà
không có tiếng ồn trọng tâm của khu vực được giải nén có thể xác định bằng
tính toán khác.
Ý tưởng về ứng dụng giới thiệu phương pháp để xác định tọa độ của
trọng tâm vào hình ảnh nhị phân mà không có tiếng ồn được trình bày trên
hình 2.6.
Input image

1

2

3

Hình 2.6 Xác định tọa độ trung tâm của lực hấp dẫn trên hình ảnh nhị phân

26

Trên hình 2.6 được trình bày:
- Ảnh đầu vào : hình ảnh khuôn mặt, được tạo ra trên cơ sở của mẫu a3
từ hình 2.2 (trên bức hình thì giá trị của điểm ảnh màu trắng là "1", trong khi
giá trị của điểm ảnh màu đen là "0").
- 1, 2, 3 - Hình ảnh với các vùng được giải nén (1a, 2a, 3a)
- Các vùng (1a, 2a, 3a) với các trung tâm của lực hấp dẫn ( “ + ”).
Bởi vì mục tiêu của chúng ta là tìm tọa độ trung tâm của " đối tượng
màu đen" trên lĩnh vực chiết xuất 1a, 2a và 3a, trước khi tính toán mỗi điểm
ảnh của những vùng này được chuyển đổi ở cách sau: "1"→"0", "0"→"1".
Trên cơ sở giới thiệu kết quả, ta có thể thấy rằng trong cả ba trường hợp
các trung tâm của lực hấp dẫn được xác định rất chính xác. Bên cạnh đó nó
không phải là có thể nhận thấy ảnh hưởng của " vị trí bất đối xứng" của chi
tiết khác nhau về các khu vực trên kết quả. Trên hình ảnh "3" và vùng "3a"
hiển thị các kết quả xác định trọng tâm cho vùng mắt được giải nén. Trong
trường hợp này, trọng tâm của lực hấp dẫn "nhấn" học sinh chính xác, mà cho
thấy tính toán là rất chính xác.
Giả sử, chúng ta có hình ảnh màu xám và giá trị của mỗi điểm ảnh là
I(y,x), trong đó y: là số hàng, x: số cột. Đối với vùng được giải nén tọa độ
trọng tâm một trong những có thể tính toán trên công thức.
Bây giờ cho chúng ta hình ảnh khuôn mặt vào từ hình 2.5. Trích chọn
các phần của các khuôn mặt có vùng mắt, được trình bày trên hình 2.7. Trước
tiên, chúng tôi sử dụng phương pháp của tại thời điểm để xác định các trung
tâm của lực hấp dẫn của các khu vực được giải nén, tiếp theo chúng ta so sánh
tọa độ của các trung tâm với phép suy loại tọa độ xác định dựa trên tâm giữa
của hình chữ nhật. Kết quả của những so sánh được trình bày trên hình 2.7. Ở
phía bên trái của cấu hình là các mẫu (c4 và b4 từ hình 2.2), đã được sử dụng
để giải nén các vùng mắt.

27

Trong nền của từng vùng mắt là có thể nhìn thấy hai trung tâm hiển thị
của mắt được xác định dựa trên của điểm giữa của hình chữ nhật và phương
pháp của thời điểm tức thời. Ảnh hưởng của "vị trí bất đối xứng" của học sinh
về kết quả giải thích sự khác biệt trong hệ tọa độ của trung tâm của hai hàng
trên. Ứng dụng của mô hình c4 trong quá trình khai thác vùng mắt vì nguyên
nhân không đối xứng. Đối với hai dòng cuối, kết quả xác định của mắt trung
tâm được điều chỉnh, bởi vì để giải nén các vùng mắt đã sử dụng kiểu b4. Mô
hình này tạo ra các khu vực được đối xứng từ mắt học trò.

Hình 2.7 Xác định tọa độ trung tâm của lực hấp dẫn dựa trên hai phương pháp

Không thường xuyên có sự chênh lệch giữa các tọa độ, vì lý do đó người
ta có thế xác định được phương pháp giới thiệu cho dự toán tương đương. Do
đó phương pháp của thời điểm tức thời có thể được sử dụng khi vùng mắt
không đối xứng tương đối với học trò.
Để kiểm tra hiệu quả của phương pháp của thời điểm tức thời chúng ta
thực hiện kiểm tra trên cơ sở dữ liệu ORL [ORL **], chứa đựng 400 mặt hình
ảnh, được nhóm lại trong 40 lớp. Thử nghiệm của thuật toán xác định tọa độ
đôi mắt đã được thực hiện dựa trên 3 giai đoạn : xác định dòng mắt bằng cách
sử dụng phép chiếu, tính toán góc đầu xoay quanh trục y bằng cách sử dụng
phương pháp so sánh mẫu và phương pháp của thời điểm tức thời bên trong
một khung, trả lời góc độ này. Kích thước của mỗi hình ảnh từ cơ sở dữ liệu
thử nghiệm là 112x92 điểm ảnh. Kích thước của mẫu được định nghĩa theo
công thức khác. Các mẫu là mặt nạ nhân tạo từ chính giữa của dòng đầu.

28

Thử nghiệm cho thấy, tọa độ mắt đã sai rõ ràng cho 30 khuôn mặt từ
toàn bộ cơ sở dữ liệu (từ 400 ảnh khuôn mặt), lỗi là 7,5%. Trên hình 2.8 mẫu
hình ảnh được trình bày từ các lớp, cho mà dự toán tọa độ mắt là sai.

Hình 2.8. Ảnh khuôn mặt, cho mà dự toán tọa độ mắt là sai
Cho 370 ảnh tọa độ mắt của khuôn mặt được xác định một cách chính
xác. Một số trong những kết quả này được trình bày trên hình 2.9.
Phân tích các kết quả thu được cho thấy rằng lỗi sẽ trở lên giống như là
kết quả của: xác định không chính xác của dòng mắt(1 trường hợp), kích
thước mẫu không được điều chỉnh từ kích thước khuôn mặt (11 trường hợp),
chất lượng ảnh khuôn mặt thấp vì mắt đóng hoặc có kính (18 trường hợp),
không được kiểm soát đầu xoay trên bề mặt XY, đầu xoay khá nhiều (nhiều
hơn 45◦) trên trục Y và ảnh hưởng sự kết hợp của nhiều rào cản đã đề cập ở
trên.

29

Hình 2.9 Ví dụ ước tính chính xác của tọa độ mắt
Phương pháp của thời điểm tức thời có thể không thành công trong
trường hợp khi kính trên khuôn mặt, vì ảnh hưởng của nó trên xác định trọng
tâm của lực hấp dẫn có thể quan trọng hơn là ảnh hưởng của học sinh. Bên
cạnh đó các phương pháp khác được đề cập thường là không hiệu quả trong
các trường hợp.
Trong trường hợp xử lý ảnh màu có thể thay đổi tình hình cho lợi ích của
việc sử dụng phương pháp của thời điểm tức thời. Nếu kính là một trở ngại
ttrong vùng mắt xử lý thì ngay sau đó ta có thể đề nghị cách tiếp cận sau:
1. Biến đổi trong không gian màu RGB ảnh khuôn mặt từ thành phần I1
của I1I2I3 không gian màu theo không gian (1.4.2).
2. Xác định vị trí của dòng mắt dòng trên khuôn mặt cho các thành phần
I1 sử dụng thủ tục (1.5.10) ÷ (1.5.14), (1.5.18) và (1.5.19).