Spark实现流式实时日志分析系统_spark 网页流量日志分析

实验介绍

我们知道对于一个网站的用户访问流量是不间断的，基于网站的访问日志，即WEB LOG的分析是经典的流式实时计算应用场景。比如百度统计，它可以做流量分析、来源分析、网站分析、转化分析。另外还有特定场景分析，比如安全分析，用来识别 CC 攻击、 SQL 注入分析、脱库等。这里我们简单实现一个类似于百度分析的系统。

课程来源

这里的课程来自于【实验楼课程】：流式实时日志分析系统——《Spark 最佳实践》。课程内容基于图灵教育的《Spark最佳实践》第六章制作。如需系统的学习本书，请参考书籍内容《Spark 最佳实践》。

这里的Spark实践内容，是参考自上述实验楼内容进行，以分析学习为目的。并通过自己本机的实验环境，重新分析运行该系统的实现方法。如本机无Spark等运行环境，可以直接到上述实验楼课程中进行在线实验。

实验知识点

• Python模拟生成Nginx日志
• Spark Streaming编程

服务器访问日志分析方法

实验环境

• Spark 1.6.2（单机本地）
• Python 2.7.13
• CentOS虚拟机（VMware Workstation）

实验原理

百度统计（tongji.baidu.com）是百度推出的一款免费的专业网站流量分析工具，能够告诉用户访客是如何找到并浏览用户的网站的，以及在网站上浏览了哪些页面。这些信息可以帮助用户改善访客在其网站上的使用体验，不断提升网站的投资回报率。

百度统计提供了几十种图形化报告，包括：趋势分析、来源分析、页面分析、访客分析、定制分析等多种统计分析服务。

这里我们参考百度统计的功能，基于 Spark Streaming 简单实现一个分析系统，使之包括以下分析功能。

• 流量分析。一段时间内用户网站的流量变化趋势，针对不同的 IP 对用户网站的流量进行细分。常见指标是总 PV 和各 IP 的PV。
• 来源分析。各种搜索引擎来源给用户网站带来的流量情况，需要精确到具体搜索引擎、具体关键词。通过来源分析，用户可以及时了解哪种类型的来源为其带来了更多访客。常见指标是搜索引擎、关键词和终端类型的 PV 。
• 网站分析。各个页面的访问情况，包括及时了解哪些页面最吸引访客以及哪些页面最容易导致访客流失，从而帮助用户更有针对性地改善网站质量。常见指标是各页面的 PV 。

日志实时采集方案

Web log 一般在 HTTP 服务器收集，比如 Nginx access 日志文件。一个典型的方案是 Nginx 日志文件 + Flume + Kafka + Spark Streaming，如下所述：

1. 接收服务器用 Nginx ，根据负载可以部署多台，数据落地至本地日志文件；
2. 每个 Nginx 节点上部署 Flume ，使用 tail -f 实时读取 Nginx 日志，发送至 KafKa 集群；
3. 专用的 Kafka 集群用户连接实时日志与 Spark 集群，详细配置可以参考 http://spark.apache.org/docs/1.4.1/streaming-kafka-integration.html ；
4. Spark Streaming 程序实时消费 Kafka 集群上的数据，实时分析，输出；
5. 结果写入 MySQL 数据库。

当然，还可以进一步优化，比如 CGI 程序直接发日志消息到 Kafka ，节省了写访问日志的磁盘开销。这里主要专注 Spark Streaming 的应用，所以我们不做详细论述。

流式分析系统实现

这里简单模拟数据收集的发送的环节，使用python脚本模拟生成Nginx访问日志，并通过脚本的方式自动那个上传至HDFS，然后移动至指定的目录。Sprak Streaming程序监控HDFS目录，自动处理新的文件。

如下内容为系统实现的分析内容，具体的实验操作步骤见本文的后半部分，如果需要直接进行实验，可以之间查看操作步骤部分内容。

生成Nginx日志的python代码如下，创建文件夹并将保存为文件sample_web_log.py:

sample_web_log.py内容为：

该项目文件下载地址：http://pan.baidu.com/s/1c2EQMHU

如下是一条日志文件的示例，为一行的形式，各个字段用空格分隔，字符串类型的值用双引号包围：

然后需要一个简单的脚本来调用上面的python脚本运行，以生成模拟日志，上传至HDFS（在后面的操作步骤的示例中，没有将生成的日志文件上传至HDFS中，而是保持至本地文件夹内），然后移动到指定的目标目录：

Spark Streaming程序代码如下所示（Scala实现），可以在Spark运行环境配置完成后的bin/spark-shell交互式命令环境下运行。如果要以Spark程序的方式运行，可以按照下面代码注解中的说明，调整一下SitreamingContext的创建方式即可。（Spark运行环境配置可参见另外的文章：[Spark] Linux(CentOS)下搭建Spark运行环境）

启动bin/spark-shell时，为了避免因DEBUG日志信息太多而影响观察输出，可以将Debug日志重定向至文件，屏幕上只显示主要输出，方法是：./bing/spark-shell 2>spark-shell-debug.log（还要一种方式，可以更改spark使用的默认日志配置文件log4j.properties中的日志显示级别，具体见：）

按照之后的操作步骤所示的内容，打开两个linux命令行界面，一个调用上面的bash脚本模拟提交日志，一个在交互式环境下运行上面Spark Streaming程序代码命令。可以在显示界面中看到如下输出信息，比如某个批次下的输出为（依次对应Streaming文件中的6个计算项），这里对输出结果进行说明：

1. 网站总PV：

2. 访问网站的各来源IP的PV，按PV倒序输出：

3. 网站搜索引擎来源PV

4. 关键词PV

5. 终端类型PV

6. 各页面PV

更好的数据处理方法

查看数据最直观的做法是用图形来展示，常见的做法是将Spark对日志的处理结果写入外部DB，然后通过一些图形化的报表或图形展示系统展示出来。比如对于终端类型，就可以使用饼状图展示出来。

多周期统计

除了常规的每个固定周期进行一次统计，我们还可以对连续多个周期的数据进行统计。以统计总 PV 为例，上面的示例是每 10 秒统计一次，可能还需要每分钟统计一次，相当于 6 个 10 秒的周期。我们可以利用窗口方法实现，不同的代码如下：

使用相同的方式运行程序之后，我们首先会看到连续6次10秒周期的PV统计输出：

在这之后，有一个1分钟周期的PV统计输出，它的值刚好是上面6次计算结果的总和：

实验具体步骤

1. 准备日志生成代码

将上述用于生成模拟日志的代码保存至sample_web_log.py文件中：

文件内容，就如同上面sample_web_log.py文件内容。保存并退出。

修改代码执行权限

运行如下命令，为日志生成文件添加执行权限：

晚上上述步骤，后面就可以使用bash命令调用该文件代码，生成日志文件了。

2. 启动Spark Shell

接下来，进入Spark安装目录，启动Spark Shell：

运行成功后，界面如下：

重要说明：成功启动Spark Shell后，不要关闭运行Spark Shell的终端，之后的其他命令操作需要在新打开的终端中执行。

3. 创建日志保存目录

在稍后的步骤中，会将Python脚本生成的日志保存到本地的文件中。因此需要首先为保存的日志文件创建一个空目录。在 /home/yitian/shiyanlou 目录下新建 streaming 目录，并增设 tmp 临时文件夹。

4. 使用BASH脚本生成日志

这里没有使用上面提到的日志生成脚本的调用代码（日志生成后上传至HDFS），而是将日志生成之后保存在本地，因此在/home/yitian/shiyanlou目录下，创建如下bash脚本运行文件genLog.sh：

编辑完成后，保存退出vim编辑器，同时需要修改该脚本文件的执行权限：

5. 在Sprak Shell中运行Spark Streaming命令进行日志分析

在Spark Shell交互命令界面中，分段输入如下代码，监控日志输出目录并自动调用日志文件进行日志分析。

首先是引用相关的包。由于我们使用的是 Spark Shell（即以交互式模式进行编程），在它启动的过程中就已经创建了 SparkContext 对象 sc，因此我们可以直接使用 sc 对象。

导入 Streaming 的相关类：

设置计算的周期为10秒：

在Spark Shell中创建StreamingContext对象：

创建输入DStream，是文本文件目录类型。这里使用本地文件系统中的目录，即之前创建的/home/yitian/shiyanlou/streaming 目录：

接下来就可以统计各项网站访问的指标：

• 首先是总的PV：

• 其次是各IP的PV，按PV倒序排列，空格分隔的第一个字段就是IP：

• 第三是搜索引擎的PV：

 

• 第四是关键词的PV：

• 第五是终端类型的PV：

• 最后是各个页面的PV：

各项统计指标设置好之后，就可以启动计算，等待执行结束：

如果需要结束计算过程，可以按下 Ctrl + C 键。

6. 开始生成日志并查看结果

先不要关闭运行着 Spark Streaming 的终端，回到之前创建 genLog.sh 文件的终端里（或者新打开一个），运行 genLog.sh 脚本。

在 Spark Streaming 的终端内，就可以看到输出的分析结果了:

观察完毕，请通过 Ctrl + C 关闭日志生成的进程和 Spark Streaming 的进程。实验完成！