1+x 2020年数据采集证书（中级）实操试卷一_1+x编程题每一行存放一个href值

1+x 2020年数据采集证书（中级）实操试卷一

采集工具运用题

#一、数据采集任务场景一（工具定制题） 使用 apache httpd、filebeat、logstash、csv完成数据采集演示。 ## 1、数据场景： ### apache httpd: 运行目录：/app/httpd/ ### filebeat 安装路径：/bigData/tools/filebeat/ 配置文件：/bigData/tools/filebeat/filebeat.yml ### logstash 安装路径：/bigData/tools/logstash/ 配置文件：/bigData/tools/logstash/config/logstash-filebeat-csv.conf

题目要求：

## 2、采集要求 1）apache httpd的配置文件修改 1.1）找到apache httpd配置文件 1.2）根据apache httpd配置文件找到access日志文件。 1.3）修改apache httpd配置文件中的apache端口为8097，然后重启apache。 1.4）通过火狐浏览器直接访问apache服务，产生新的日志数据。 2）在filebeat里配置采集的apache httpd的access日志文件路径 3）使用采集工具（filebeat）收集apache httpd的access日志数据 4）通过filebeat输出到logstash，在logstash里收集信息，通讯端口是5044。 5）通过logstash使用 HTTPD_COMMONLOG 正则规则拆分日志数据。 6）通过logstash输出到csv文件中（/home/output/httpd-outfile.csv）。 7）httpd-outfile.csv内容说明：包含"timestamp" ,"verb", "httpversion"这三个属性信息，用4个空格分隔。 ## 3、提交的内容 1）filebeat的配置文件 2）logstash的配置文件 3）csv结果文件

1）filebeat的配置文件

filebeat.inputs:
 
- type: log
 
  # to do   
 
enabled: true
 
  # to do  
 
paths:   
 
 - /app/httpd/logs/access_log
 
filebeat.config.modules: 
 
  path: ${path.config}/modules.d/*.yml
 
  reload.enabled: false 
 
setup.template.settings:
 
  index.number_of_shards: 3
 
setup.kibana:
 
output.logstash:
 
  # to do The Logstash hosts 
 
 hosts: ["localhost:5044"]
 
processors:  
 
- add_host_metadata: ~
 
 - add_cloud_metadata: ~

评分标准

2）logstash的配置文件

# Sample Logstash configuration for creating a simple# Beats -> Logstash -> Elasticsearch pipeline.
 
input {    # to do
 
    beats {
 
    port => 5044
 
  }}filter {     # to do
 
  grok {
 
    match => { "message" => "%{HTTPD_COMMONLOG}" }
 
}}output {
 
csv {
 
path => "/home/output/httpd-outfile.csv"
 
fields => ["timestamp" ,"verb", "httpversion"]
 
csv_options => {"col_sep" => "    "}
 
}
 
 
 
    stdout{
 
        codec => rubydebug #格式化
 
    }
 
    }  

评分标准

25分

 3）csv结果文件

"27/Jul/2020:15:52:47 +0800"    GET    1.1  

评分标准

采集结果：15 分. 采集结果文件中至少包含一条数据。数据内容参考如下： "27/Jul/2020:15:30:47 +0800" GET 1.1 这一条数据中的三个数据项值分别是5分。 第一个数据是时间，时间要包含 27/Jul/2020 这个关键数据。 第二个数据是请求方法值。可以是GET、POST、PUT、DELETE等其中一个。 第三个数据是HTTP版本号。值可以是 1.1 。

编程题

题目说明：

# 一、数据采集任务场景一（编程开发） ## 1、数据场景： ### 采集网站 http://117.73.11.244:9090/ ### chrome浏览器启动 启动chrome：/opt/google/chrome/google-chrome --no-sandbox ### python开发工具启动 启动pycharm：/home/pycharm-community-2020.1.1/bin/pycharm.sh ### 工程目录说明 工程目录是：/root/PycharmProjects/crawler ### 编程文件 代码文件路径： /root/PycharmProjects/crawler/src/webcrawler.py

题目要求：

1. 采集要求 1）使用python采集一个指定网站的首页。 2) 对获取到的响应网页内容进行冗余数据剔除。 2.1）使用正则去掉网页中的<script>元素及其包含的内容。 2.2）使用正则去掉网页中的<style>元素及其包含的内容。 3）采集目标：对于id值是"head_nav_list"的<ul>元素，获取其所有子元素<li>里的下级元素<a>中的href属性值 4）将结果存放到csv格式的文件里。结果文件路径：/home/output/crawler_result.csv 5）结果文件的要求：每一行存放 一个 href 值。 6）必须要有异常捕捉处理。 ## 3、提交的内容 1）代码文件：webcrawler.py 2）采集结果：crawler_result.csv

1）代码文件：webcrawler.py

#!/usr/bin/env python# -*- coding: utf-8 -*-
 
import time
 
import urllib, time, os, base64, json
 
import re, sys
 
import urllib
 
from lxml import etree
 
import requests #对获取到的响应网页内容进行冗余数据剔除。
 
def getPage(base_url):
 
    try:
 
        page = urllib.request.urlopen(base_url)  # 5
 
        content = page.read().decode("utf-8", "ignore").lower()  
 
               
 
        re_script=re.compile('<\s*script[\S\s]*<\s*/\s*script\s*>',re.I) #Script     [\\S\\s]+?使用正则去掉网页中的<script>元素及其包含的内容。
 
        re_style=re.compile('<\s*style[^>]*>[^<]*<\s*/\s*style\s*>',re.I) #style使用正则去掉网页中的<style>元素及其包含的内容。
 
 
 
        content=re_script.sub('',content) #去掉SCRIPT
 
        content=re_style.sub('',content)#去掉style
 
        selector = etree.HTML(content.encode("utf-8",'ignore'))
 
        # answer one
 
        # menu_items = selector.xpath("/html/body/header/div/ul[@id='head_nav_list']/li/a") # 5
 
        # for item in menu_items:
 
        #     writefile("/home/output/crawler_result.csv", item.attrib.get("href")) # 2
 
 
 
        # answer two
 
        menu_items = selector.xpath("/html/body/header/div/ul[@id='head_nav_list']/li/a/@href")  # 5
 
        for item in menu_items:
 
            writefile("/home/output/crawler_result.csv", item)  # 2
 
 
 
    except Exception as e:  # 3
 
        print("Failed to read from %s." % base_url)
 
        print(sys.exc_info())
 
        return False
 
def writefile(filename, content):
 
    try:
 
        fp = open(filename, 'a') # 5
 
        fp.write(content + "\n") # 5
 
        fp.close()  # 5
 
    except:
 
        return False
 
 
 
now = time.strftime('%Y-%m-%d %X', time.localtime(time.time()))
 
try:
 
    # 5
 
    url = 'http://117.73.9.229:9090/'
 
    getPage(url)
 
except Exception as e:
 
    info = '%s\nError: %s' % (now, e)
 
    writefile('Error.log', info)
 
    print (info)
 
    time.sleep(1)

评分标准

35分

2）采集结果：crawler_result.csv

/
http://www.inspuredu.com/sysConfigItem/showList
 
http://www.inspuredu.com/classPackage/findAll
 
http://www.moe.gov.cn/jyb_xwfb/s271/201904/t20190416_378207.html
 
http://www.inspuredu.com/sysNews/list.html
 
http://www.inspuredu.com/tikuIndex/toIndex
 
http://www.inspuredu.com/question/comQuestionIndex

评分标准

15分