基于hadoop构建智能推荐系统：第1篇 用户行为数据分析并导出到hdfs

这个分类 我主要想分享基于hadoop构建智能推荐系统的过程思路、程序设计和系统架构方面的一些技巧心得，至于hadoop、sqoop、hbase的安装和使用我就不多讲了，网上已经有很多这方面的文章了

让我们直奔主题吧。

1、 我们要搭建一个智能推荐系统最重要的是什么呢？不是算法、也不是系统的本身，最关键是准确分析用户的行为数据，最终得出一个用户偏好表。有了这个用户偏好 表，我们可以做的事太多了，比如计算用户的相似度、计算物品的相似度、把用户按照行为进行聚类。。。但是这一切的前提都必须有一个“用户偏好表”（如图表1-1）。

图表1-1  用户偏好表

 

2、（下面我将以视频网站的智能推荐系统为例子）

为了得到这样的一张表，我们首先要对用户的行为进行分析，视频网站的用户行为一般为 观看记录、评分记录、顶/踩、评论记录。。。

我们按照预先设定的权重（图表2-1），将这些行为数据进行简单的权重相加，得出一个比较粗糙的偏好评分。

图表2-1 行为权重（后面的行为记分 覆盖前面的行为记分）

  

3、好了，通过上面这两步分析，我们已经知道我们需要什么样的数据了，当然也知道这些数据一般都存放在传统的数据库中（如mysql），但是 这些数据通常都是海量的，增长极快的，所以我们最好把这些行为数据导出到hadoop的hdfs文件系统中（或hbase中），这样就可以很方便的使用hadoop的分布式计算框架去处理这些数据了。不过问题又来了，由于数据是海量的，不断增长的，我们不能每次计算都将全部数据进行重新导入，这样mysql会鸭梨很大的，所以我们必须要做增量导入，第一次导入所有的数据，第二次开始只导入后来增长的数据。

4、下面介绍一个解决这个问题的强大工具：sqoop。
Sqoop支持mysql、hdfs文件、hbase、hive之间的导入导出，还可以实现增量导入。

比如我要将 观看记录 从mysql导出到hdfs中：

这是Shell脚本：(注意这个脚本可能有错 我临时写的，但思路肯定是对的 ，大家自己调吧 哈哈)

ConnectURL=jdbc:mysql://localhost:3306/user_action
 
UserName=root
 
PassWord=123456
 
OutputPath=/hdfs/recommend/user_action/watch_record
 
TableName= watch_record
 
Columns=id,uid,mid,timestamp
 
 
IfJobCreated =`sqoop job list | grep import_ watch_record`
 
#检查import_ watch_record这个job是否已经创建 如果未创建则创建
 
if [ $IfJobCreated = ’’ ] then
 
sqoop  job  import_ watch_record /
 
  --create  --import /
 
  --connect  $ConnectURL/
 
  --username  $UserName/
 
  --password  $PassWord/
 
  --target-dir  $OutputPath/
 
  --m  1/
 
  --table  $TableName/
 
  –columns  $Columns/
 
  --incremental  append/
 
  --check-column  id/
 
  --last-value  0 
 
fi
 
 
 
sqoop  job --exec import_ watch_record

 

5、如果watch_record这个表做了大量的分表分库设计 怎么办呢？

很简单把上面的shell写个循环就ok了

 

这样行为数据的导入工作就完成了，下一篇我将分享利用hadoop的map-reduce计算框架 分析用户行为数据，最终得出我们想要的 用户偏好表

 

Ps：欢迎大家加q群讨论 325317874