Tải bản đầy đủ - 0 (trang)
CHƯƠNG 3: MÔ PHỎNG THỰC NGHIỆM CHƯƠNG TRÌNH

CHƯƠNG 3: MÔ PHỎNG THỰC NGHIỆM CHƯƠNG TRÌNH

Tải bản đầy đủ - 0trang

Luận văn Thạc sỹ Khoa học



GVHD: Nguyễn Hữu Đức



Hình 3.16. Thiết lập mạng Network



Hình 3.17 Hệ thống sau cài đặt

3.1.1. Cài đặt, thiết lập CSDL MongoDB Sharded Cluster

-



Phạm vi áp dụng: 03 node centos

Mơ hình ứng dụng



Người thực hiện: Lưu Đức Phong



36



Lớp: 2016AKHKTTT.KH



Luận văn Thạc sỹ Khoa học



GVHD: Nguyễn Hữu Đức



Hình 3.18. Mơ hình triển khai cụm CSDL Sharded cluster [8]



Sau khi cài đặt ứng dụng, gõ lệnh Mongo để kiểm tra



Cài đặt MongoDB Ops lên node Master

Download MongoDB

sudo yum install -y mongodb-org mongodb-org-shell

Tạo thư mục lưu trữ Ops

sudo mkdir -p /data/appdb

sudo chown -R mongod:mongod /data

Download và install Ops Manager

sudo rpm -ivh mongodb-mms-.x86_64.rpm

Khởi động ứng dụng Ops Manager



Người thực hiện: Lưu Đức Phong



37



Lớp: 2016AKHKTTT.KH



Luận văn Thạc sỹ Khoa học



GVHD: Nguyễn Hữu Đức



sudo service mongodb-mms start

Kết quả sau khi cài đặt xong



Hình 3.19. Hệ thống Mongo Ops Manager sau khi cài đặt



Tạo mới Project trên Mongo Ops Manage



Hình 3.20. Tạo mới Project trên Ops Mangager



Chọn loại project Shard Cluster



Người thực hiện: Lưu Đức Phong



38



Lớp: 2016AKHKTTT.KH



Luận văn Thạc sỹ Khoa học



GVHD: Nguyễn Hữu Đức



Hình 3.21. Cấu hình Sharded Cluster

Thực hiện tạo key-authen và lấy group ID để cài đặt lên các máy Shard



Hình 3.22. Thiết lập key và group cho CSDL



Thực hiện set các thuộc tính GroupID và key trên 02 Sharded Node

Tiến hành scan các node sau khi set-up xong:



Người thực hiện: Lưu Đức Phong



39



Lớp: 2016AKHKTTT.KH



Luận văn Thạc sỹ Khoa học



GVHD: Nguyễn Hữu Đức



Hình 3.23. Thiết lập shared cluster với các máy

-



Cài đặt các Mơ-đun trên các node



Hình 3.24. Thiết lập cấu hình CSDL cho các node



-



Thực hiện tạo Sharding



Người thực hiện: Lưu Đức Phong



40



Lớp: 2016AKHKTTT.KH



Luận văn Thạc sỹ Khoa học



GVHD: Nguyễn Hữu Đức



Hình 3.25. Thiết lập Sharding

-



Kiểm tra kết quả và xem mơ hình dữ liệu



Hình 3.26. Mơ hình CSDL sau cài đặt

3.1.2. Cài đặt Task-Scheduler lập lịch đồng bộ

-



Phạm vi áp dụng: node Windows



-



Tiến hành lập lịch Task-Schedule để chạy script đồng bộ dữ liệu



Người thực hiện: Lưu Đức Phong



41



Lớp: 2016AKHKTTT.KH



Luận văn Thạc sỹ Khoa học



GVHD: Nguyễn Hữu Đức



Hình 3.27. Lập lịch thu thập dữ liệu

-



Phạm vi áp dụng: node Windows



-



Tiến hành lập lịch Task-Schedule để chạy script đồng bộ dữ liệu



-



Code Python task đồng bộ

#!/usr/bin/env python



# -*- coding: utf-8 -*__author__ = 'phongld2'

- # !/usr/bin/python

#

#

# Unless required by applicable law or agreed to in writing, software

# distributed under the License is distributed on an "AS IS" BASIS,

# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either

express or implied.

# See the License for the specific language governing permissions and



Người thực hiện: Lưu Đức Phong



42



Lớp: 2016AKHKTTT.KH



Luận văn Thạc sỹ Khoa học



GVHD: Nguyễn Hữu Đức



# limitations under the License.

import pymongo

import os

from os import listdir

from os.path import isfile, join

import csv

import json

import logging.handlers

import time

logging.basicConfig(level=logging.INFO)

logger = logging.getLogger("ETL")

logger.setLevel(logging.INFO)

logging.Formatter.converter = time.gmtime

CONFIG = {

'data_folder': '//192.168.56.34/RawCSV_detail/',

'mongodb_uri': 'mongodb://localhost:27017/DEMO'

}

mongodb_client = pymongo.MongoClient(CONFIG['mongodb_uri'])

collection = mongodb_client['Test']

['RECRUITMENTNEWS_NOSHARD2']

def process_files():

path = CONFIG['data_folder']

onlyfiles = [f for f in listdir(path) if isfile(join(path, f)) and

f.find('_done') < 0]

for file in onlyfiles:

extension = os.path.splitext(file)[1]

if (extension.find('.json') >= 0):



Người thực hiện: Lưu Đức Phong



43



Lớp: 2016AKHKTTT.KH



Luận văn Thạc sỹ Khoa học



GVHD: Nguyễn Hữu Đức



read_data_json(file)

elif (extension.find('.csv') >= 0):

read_data_csv(file)

def lock_job():

pass

def get_full_file_path(file):

return CONFIG['data_folder'] + file

def rename_file_name(file):

try:

os.rename(file, file + '_done')

except BaseException as e:

print(e)

def read_data_csv(file):

logger.info(msg='Open file %s' % file)

file = get_full_file_path(file)

with open(file, encoding="utf-8") as csv_file:

csv_reader = csv.DictReader(csv_file, delimiter=',')

line_count = 0

data = []

for row in csv_reader:

item = dict(row)

data.append(item)

line_count += 1

if len(data) >= 500:

logger.info(msg='row %i' % line_count)

collection.insert_many(data)

data = []

if len(data) > 0:

collection.insert_many(data)



Người thực hiện: Lưu Đức Phong



44



Lớp: 2016AKHKTTT.KH



Luận văn Thạc sỹ Khoa học



GVHD: Nguyễn Hữu Đức



data = []

print("da xu ly xong " + file)

rename_file_name(file)

def read_data_json(file):

file = get_full_file_path(file)

logger.info(msg='Open file %s' % file)

with open(file) as f:

lines = f.readlines()

data = []

for line in lines:

try:

item = json.loads(line)

data.append(item)

if len(data) >= 500:

collection.insert_many(data)

data = []

except BaseException as e:

pass

if len(data) > 0:

collection.insert_many(data)

data = []

rename_file_name(file)

def process():

process_files()

if __name__ == '__main__':

process()



Người thực hiện: Lưu Đức Phong



45



Lớp: 2016AKHKTTT.KH



Luận văn Thạc sỹ Khoa học



GVHD: Nguyễn Hữu Đức



3.1.3. Cài đặt cơng cụ hiển thị và phân tích dữ liệu TableAU

-



Phạm vi áp dụng: node Windows

Mơ hình lấy dữ liệu:



Hình 3.28. Mơ hình triển khai cơng cụ BI [9]

-



Cài đặt BI Connector & DNS trên ODBC



Hình 3.29. Thiết lập BI Connector

3.1.4. Cài đặt các thư viện Python và triển khai mã code cho mơ hình dự

đốn LSTM

Cài đặt các thư viện trên Python như sau:

import numpy

import matplotlib.pyplot as plt

from pandas import read_csv



Người thực hiện: Lưu Đức Phong



46



Lớp: 2016AKHKTTT.KH



Tài liệu bạn tìm kiếm đã sẵn sàng tải về

CHƯƠNG 3: MÔ PHỎNG THỰC NGHIỆM CHƯƠNG TRÌNH

Tải bản đầy đủ ngay(0 tr)

×