大数据分析系统

1． 概念、分类
数据分析系统的主要功能是从众多外部系统中，采集相关的业务数据，集中存储到系统的数据库中。系统内部对所有的原始数据通过一系列处理转换之后，存储到数据仓库的基础库中；然后，通过业务需要进行一系列的数据转换到相应的数据集市，供其他上层数据应用组件进行专题分析或者展示。
根据数据的流转流程，一般会有以下几个模块：数据收集（采集）、数据存储、数据计算、数据分析、数据展示等等。当然也会有在这基础上进行相应变化的系统模型。
按照数据分析的时效性，我们一般会把大数据分析系统分为实时、离线两种类型。实时数据分析系统在时效上有强烈的保证，数据是实时流动的，相应的一些分析情况也是实时的。而离线数据分析系统更多的是对已有的数据进行分析，时效性上的要求会相对低一点。时效性的标准都是以人可以接受来划分的。

2． 网站流量日志数据分析系统

2.1． 系统的意义
网站流量数据统计分析，可以帮助网站管理员、运营人员、推广人员等实时获取网站流量信息，并从流量来源、网站内容、网站访客特性等多方面提供网站分析的数据依据。从而帮助提高网站流量，提升网站用户体验，让访客更多的沉淀下来变成会员或客户，通过更少的投入获取最大化的收入。
Ø 技术上
可以合理修改网站结构及适度分配资源，构建后台服务器群组，比如
1、辅助改进网络的拓扑设计，提高性能
2、在有高度相关性的节点之间安排快速有效的访问路径
3、帮助企业更好地设计网站主页和安排网页内容
Ø 业务上
1、帮助企业改善市场营销决策，如把广告放在适当的Web页面上。
2、优化页面及业务流程设计，提高流量转化率。
3、帮助企业更好地根据客户的兴趣来安排内容。
4、帮助企业对客户群进行细分，针对不同客户制定个性化的促销策略等。
终极目标是：
改善网站的运营，获取更高投资回报率（ROI）。也就是赚更多的钱。
2.2． 背景知识—Web访问日志
访问日志指用户访问网站时的所有访问、浏览、点击行为数据。比如点击了哪一个链接，打开了哪一个页面，采用了哪个搜索项、总体会话时间等。而所有这些信息都可通过网站日志保存下来。通过分析这些数据，可以获知许多对网站运营至关重要的信息。采集的数据越全面，分析就能越精准。
日志的生成渠道分为以下两种：
一是：web服务器软件（httpd、nginx、tomcat）自带的日志记录功能，如Nginx的access.log日志；
二是：自定义采集用户行为数据，通过在页面嵌入自定义的javascript代码来获取用户的访问行为（比如鼠标悬停的位置，点击的页面组件等），然后通过ajax请求到后台记录日志，这种方式所能采集的信息会更加全面。
在实际操作中，有以下几个方面的数据可以自定义的采集：
系统特征：比如所采用的操作系统、浏览器、域名和访问速度等。
访问特征：包括停留时间、点击的URL、所点击的“页面标签<a>”及标签的
属性等。
来源特征：包括来访URL，来访IP等。
产品特征：包括所访问的产品编号、产品类别、产品颜色、产品价格、产品利润、产品数量和特价等级等。
以电商某东为例，其自定义采集的数据日志格式如下：
GET /log.gif?t=item.010001&m=UA-J2011-1&pin=-&uid=1679790178&sid=1679790178|12&v=je=1$sc=24-bit$sr=1600x900$ul=zh-cn$cs=GBK$dt=【云南白药套装】云南白药 牙膏 180g×3 （留兰香型）【行情 报价 价格 评测】-京东$hn=item.jd.com$fl=16.0r0$os=win$br=chrome$bv=39.0.2171.95$wb=1437269412$xb=1449548587$yb=1456186252$zb=12$cb=4$usc=direct$ucp=-$umd=none$uct=-$ct=1456186505411$lt=0$tad=-$sku=1326523$cid1=1316$cid2=1384$cid3=1405$brand=20583$pinid=-&ref=&rm=1456186505411 HTTP/1.1