Tải bản đầy đủ - 0 (trang)
4 Hiển thị dữ liệu trên Kibana

4 Hiển thị dữ liệu trên Kibana

Tải bản đầy đủ - 0trang

Chương 4. Xây dựng hệ thống phân tích Log



Hình 4.2. Danh sách các chỉ mục trên hệ thống ElasticSearch.



Ngoài ra chúng ta cũng có thể truy cập vào website kibana để hiển thị các dữ liệu và

các node hiện có trong hệ thống. Dung lượng của log hiện tại được lưu trữ trên các

node của Elastic là 40G. Tổng số lượng shard là 1028 và hệ thống đang chạy trên 3

node.



Hình 4.3. Danh sách các chỉ mục trên Kibana



Kiểm tra thơng tin chỉ mục logstash-* chúng ta có thể dễ dàng thấy các tập tin log mà

filebeat thu thập được đã được phân tách ra các trường khác nhau

T r a n g 65



Chương 4. Xây dựng hệ thống phân tích Log



Hình 4.4. Dữ liệu sau khi được thu thập, xử lý, lưu xuống ElasticSearch.



Dựa vào đây người quản trị có thể truy vấn lấy các thơng tin cần thiết cùng như điều

tra, khắc phục khi hệ thống có sự cố.

4.4.1 Thống kê thông tin CPU, Memory, FileSystem, Network

Trên Kibana chúng ta có thể kiếm tra dữ liệu được thống kê về hiệu năng của máy

chủ web1, web2, haproxy, mysql thơng qua các thơng số mà metricbeat thu thập được.



Hình 4.5. Thông tin CPU được hiển thị dưới dạng biểu đồ.

T r a n g 66



Chương 4. Xây dựng hệ thống phân tích Log



Nhìn vào thơng tin thu thập được ở trên người quản trị có thế biết được thơng tin sử

dụng cpu hiện tại của các máy chủ. Thời điểm sử dụng cpu cao nhất là vào ngày

4/11/2017.

Ngồi thơng tin CPU, người dùng có thể kiểm tra được thơng tin ram mà hệ thống

đã sử dụng để có thế biết được hệ thống có cần đầu tư thêm tài ngun trong tương lai

khơng.



Hình 4.6. Thơng tin RAM thu thập được



Như hình bên trên chúng ta có thể thấy vào thời điểm 04/11/2017 hệ thống sử dụng

phân vùng swap tăng cao, tuy nhiên sau đó lại giảm xuống. Dựa vào đây người sử dụng

có thể theo dõi và đưa ra kế hoạch đầu tư cho hệ thống.



T r a n g 67



Chương 4. Xây dựng hệ thống phân tích Log



4.4.2 Thống kê thơng tin truy cập vào ứng dụng web



Hình 4.7. Số lượng giao dịch và các trạng thái lỗi trên hệ thống.



Nhìn vào hình trên, chúng ta có thể biết được trong khoảng thời gian từ 4 tháng 11

đến 7 tháng 11 hệ thống máy chủ web có 1340 giao dịch HTTP. Các yêu cầu gửi đến

máy chủ phần lớn máy chủ trả về mã trạng thái thành công (200) tuy nhiên một số yêu

cầu bị trả về lỗi 403 và 404. Nguyên nhân gây ra lỗi 404 là đường dẫn hoặc tập tin u

cầu khơng tìm thấy. Ngun nhân gây ra 403 là truy cập bị từ chối.

Hình trên có thể cho ta biết được thời gian truy cập vào website nhiều nhất là thời

điểm 7h và 19h ngày 4/11/2017.

Thơng tin hình bên dưới cho chúng ta biết 10 yêu cầu được truy cập từ phía khách

hàng nhiều nhất. Từ thông tin này sẽ giúp cho doanh nghiệp đưa ra các chiến lược kinh

doanh trong thời gian tới. Hiện tại phần vị trí viếng thăm trên hệ thống Elasitc Stack

khơng hiển thị được vị trí truy cập vì thông tin khách hàng truy cập vào website là sử

dụng địa chỉ IP nội bộ nên không thể lấy được vị trí địa lý của khách truy cập.



T r a n g 68



Chương 4. Xây dựng hệ thống phân tích Log



Hình 4.8. Thống kê các yêu cầu truy cập nhiều nhất vào vị trí người dùng truy cập.



T r a n g 69



Chương 4. Xây dựng hệ thống phân tích Log



4.4.3 Thống kê các câu truy vấn trên MySQL



Hình 4.9. Thơng tin thu thập được về hiệu năng MySQL.



Nhìn vào hình ở trên, chúng ta thấy thao tác trên cơ sở dữ liệu đọc dữ liệu thực hiện

nhiều hơn so với việc ghi dữ liệu. Danh sách các câu truy vấn thực hiện chậm, từ đây

người quản trị có thể tối ưu hóa câu truy vấn để cải thiện hiện năng.

Vì log đã thu thập, phân tích và lưu trữ trên ElasitcSearch nên chúng ta có thể thực

hiện các truy vấn để lấy các thông tin cần thiết phù hợp với nhu cầu của mỗi doanh

nghiệp.



T r a n g 70



Chương 4. Xây dựng hệ thống phân tích Log



4.4.4 Tự động cảnh báo khi hệ thống có dấu hiệu bị xâm nhập

Giả sử có một truy cập có dấu hiệu bất thường truy cập vào website mục đích tìm cách

đọc tập tin /etc/password (phương pháp tấn công Local File Inclusion) với đường dẫn

http://shopbanhang.com/index.php?module=../../../../../../../../../etc/passwd. Khi attacker

truy cập, nội dung sẽ được ghi vào tập tin access_log của dịch vụ apache. Hệ thống

Elastic stack sẽ phát hiện xâm nhập và gửi cảnh báo cho người quản trị



Hình 4.10. Hệ thống gửi mail cảnh báo khi phát hiện có dấu hiện tấn cơng.



Nhìn vào thơng tin ở trên, ta có thể thấy địa chỉ IP của attacker là 10.0.132.195, thời

điểm tấn công là vào lúc 6:46 ngày 27/12/2017. Từ đó người quản trị có thể dựa vào

địa chỉ IP của hacker để xem thêm các hoạt động kế tiếp của hacker được ghi vào tập

tin access_log từ đó lên kế hoạch ngăn chặn cuộc tấn công này.



T r a n g 71



Chương 4. Xây dựng hệ thống phân tích Log



4.5 Kết luận

Trong chương này đã trình bày xây dựng một hệ thống phân tích log tập trung trên mã

nguồn mở Elastic stack và thử nghiệm để thu thập thông tin log của các dịch vụ web,

apache, mysql từ đó trích xuất các thơng tin cần thiết, hiển thị cho người quản trị nắm

bắt được mọi hoạt đang xảy ra trong hệ thống. Hệ thống phân tích log được thử nghiệm

với việc tính tốn,lưu trữ song song trên 2 node và dữ liệu phân tích được lưu trữ vào

ElasticSearch lên đến 40Gb đảm bảo được việc xử lý nhanh, gần với thời gian thực.



T r a n g 72



Chương 5. Kết luận và hướng phát triển



CHƯƠNG 5. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

5.1 Kết luận

Khóa luận đã xây dựng được một hệ thống quản lý log tập trung với mục đích thu

thập log từ nhiều nguồn khác nhau và phân tích tổng hợp dữ liệu để cho người quản trị

có cái nhìn tổng quan về mọi hoạt động xảy ra trong hệ thống mạng. Đặc biệt dựa vào

thông tin thu thập được, người quản trị có thể phát hiện các vấn đề bất thường trong hệ

thống, từ đó có những đối sách để cải thiện hệ thống ngày một tốt hơn.

Về thử nghiệm, khóa luận thực hiện xây dựng được một hệ thống phân tích log với

dung lượng log được sinh ra khoảng 3G/ngày trên tổng dung lương log hiện tại của hệ

thống là 40G. Hệ thống đáp ứng được việc tính tốn song song trên nhiều node và có

khả năng mở rộng theo chiều ngang. Việc truy vấn kết qua log cho phép người dùng

tìm kiếm, kiểm tra được tình trạng hoạt động hệ thống theo thời gian thực.

Trong quá trình thực hiện em đã cố gắng tập trung tìm hiểu những gì cốt lõi nhất về

khả năng mở rộng của hệ thống ElasticSearch, tuy nhiên vì thời gian có hạn nên khơng

tránh khỏi những thiếu sót, em rất mong được sự góp ý của quý thầy cô.

5.2 Hướng phát triển

Hiện tại việc phát hiện xâm nhập khi thực hiện phân tích log dựa vào các thiết lập của

người quản trị, vì vậy để phát hiện được hiệu quả, đòi hỏi người quản trị phải nắm bắt

được cách thức mà hacker có thể tấn cơng, tự đó xây dựng cái cảnh báo phù hợp. Tuy

nhiên việc này khá mất nhiều thời gian, vì vậy trong tương lai cần phải áp dụng

machine learning vào hệ thống Elastic Stack, giúp phát hiện các dấu hiệu bất thường

dựa vào hành vi. Ngồi ra vì khóa luận thử nghiệm trên dữ liệu 40G, dữ liệu sinh ra

mỗi ngày 3G nên việc thử nghiệm hệ thống Elastic Stack cần được tiếp tục thử nghiệm

với các dữ liệu có kích cỡ lớn hơn.



T r a n g 73



TÀI LIỆU THAM KHẢO

1. Saurabh Chhajed (2015), LearningELK Stack, Packt Publishing.

2. Clinton Gormley (2015), Elasticsearch: The Definitive Guide: A Distributed RealTime Search and Analytics Engine, O'Reilly Media.

3. Ravi Kumar Gupta, Yuvraj Gupta (2017), MasteringElastic Stack, Packt Publishing.

4. Yuvraj Gupta (2015), KibanaEssentials, Packt Publishing.

5. Rafal Kuc, Marek Rogozinski (2013), Mastering Elasticsearch, Packt Publishing.

6. Gurpreet S. Sachdeva (2017), Applied ELK Stack: Data Insights and Business

Metrics with Collective Capability of Elasticsearch, Logstash and Kibana, CreateSpace

Independent Publishing Platform.

7. Chris Sanders, Steve Pantol (2013), Applied Network Security Monitoring:

Collection, Detection, and Analysis, Syngress.

8. Vishal Sharma (2016), Beginning Elastic Stack, Apress.

9. James Turnbull (2013), The Logstash Book, Packt Publishing.

10. HAProxy version 1.7.9 - Configuration Manual (Aug, 2017),

http://cbonte.github.io/haproxy-dconv/1.7/configuration.html#8

11. Log Files - Apache HTTP Server Version 2.4 (2016),

https://httpd.apache.org/docs/2.4/logs.html



T r a n g 74



Tài liệu bạn tìm kiếm đã sẵn sàng tải về

4 Hiển thị dữ liệu trên Kibana

Tải bản đầy đủ ngay(0 tr)

×