devbox
IT小白
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

大数据期末课程设计实验案例：网站用户行为分析_大数据期末大作业 系统设计

作者：IT小白 | 2024-06-12 23:14:34

赞

踩

大数据期末大作业 系统设计

大数据课程实验案例：网站用户行为分析
案例目的
1.熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用；
2.了解大数据处理的基本流程；
3.熟悉数据预处理方法；
4.熟悉在不同类型数据库之间进行数据相互导入导出；
5.熟悉使用R语言进行可视化分析；
6.熟悉使用Elipse编写Java程序操作HBase数据库。
在这里插入图片描述

案例任务
1.安装Linux操作系统
2.安装关系型数据库MySQL
3.安装大数据处理框架Hadoop
4.安装列族数据库HBase
5.安装数据仓库Hive
6.安装Sqoop
7.安装R
8.安装Eclipse
9.对文本文件形式的原始数据集进行预处理
10.把文本文件的数据集导入到数据仓库Hive中
11.对数据仓库Hive中的数据进行查询分析
12.使用Sqoop将数据从Hive导入MySQL
13.使用Sqoop将数据从MySQL导入HBase
14.使用HBase Java API把数据从本地导入到HBase中
15.使用R对MySQL中的数据进行可视化分析

在这里插入图片描述

说明：Word可能导致部分命令或代码有问题，每一个步骤都提供参考链接，详细查看参考链接

首先1.安装Linux系统；
参考https://dblab.xmu.edu.cn/blog/285/
以下是各软件的安装，通过启动来验证安装
所有准备好在这里
cd /home/hadoop/a
在这里插入图片描述

用户准备工作
sudo useradd -m hadoop -s /bin/bash
Shell 命令这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。
接着使用如下命令设置密码，可简单设置为 hadoop，按提示输入两次密码：
sudo passwd hadoop
密码：123
可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题：

sudo adduser hadoop sudo
更新apt
用 hadoop 用户登录后，我们先更新一下 apt，后续我们使用 apt 安装软件，如果没更新可能有一些软件安装不了。按 ctrl+alt+t 打开终端窗口，执行如下命令：
sudo apt-get update
修改各个节点的主机名
sudo vi /etc/homename

安装ssh工具
1.打开终端键入如下命令：
apt-get update
apt-get install openssh-server
启动SSH服务
1.键入如下命令：
/etc/init.d/ssh start
重启命令与关闭命令如下：
/etc/init.d/ssh restart #重启SSH服务
/etc/init.d/ssh stop #关闭SSH服务
查看进程，检查是否启动成功，键入如下命令：
ps -e | grep sshd
配置root用户SSH服务

Ubuntu中SSH服务安装完成后查看是否允许root用户登陆，若不允许则无法远程登陆root用户，需要修改配置
1.首先，打开“/etc/ssh/sshd_config”
gedit /etc/ssh/sshd_config
2.查看是否有“PermitRootLogin yes”，没有添加即可，完成后保存退出
解决进程问题
sudo rm -r -f /var/lib/dpkg/lock
sudo rm -r -f /var/lib/dpkg/lock-frontend

安装vim
sudo apt-get install vim
为当前用户设置权限
sudo chown -R 当前用户名 ./hadoop
软件安装注意！！！先解压好软件，再去到解压后所在目录在开始运行安装命令
大数据实验软件安装详细过程参考：
Linux操作系统的安装：https://dblab.xmu.edu.cn/blog/285/
Hadoop安装教程：https://dblab.xmu.edu.cn/blog/7/
MySQL的安装：https://dblab.xmu.edu.cn/blog/1002/
HBase的安装：https://dblab.xmu.edu.cn/blog/588/
Hive的安装：https://dblab.xmu.edu.cn/blog/1080/
Sqoop的安装:https://dblab.xmu.edu.cn/blog/1015/

2.安装Hadoop；
Hadoop安装教程参考https://dblab.xmu.edu.cn/blog/7/

我们选择将 Hadoop 安装至 /usr/local/ 中：

cd /home/hadoop/a
sudo tar -zxvf  hadoop-2.7.1.tar.gz -C /usr/local    # 解压到/usr/local中
cd /usr/local/
sudo mv hadoop-2.7.1/ ./hadoop      
sudo chown -R hadoop /hadoop       # 修改文件权限

  • 1
  • 2
  • 3
  • 4
  • 5

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

cd /usr/local/hadoop
./bin/hadoop version

  • 1
  • 2

安装与启动

ssh localhost
cd /usr/local/hadoop
./sbin/start-dfs.sh 

  • 1
  • 2
  • 3

在这里插入图片描述

3.安装MySQL；
详细参考:https://dblab.xmu.edu.cn/blog/1002/

sudo apt-get update  #更新软件源
sudo apt-get install mysql-server  #安装mysql

  • 1
  • 2

启动和关闭mysql服务器：

service mysql start

  • 1

密码：123
关闭

service mysql stop

  • 1

确认是否启动成功，mysql节点处于LISTEN状态表示启动成功：

sudo netstat -tap | grep mysql

  • 1

启动：service mysql start

sudo netstat -tap | grep mysql
mysql -u root -p

  • 1
  • 2

在这里插入图片描述

4.安装HBase；
详细参考：https://dblab.xmu.edu.cn/blog/588/

1.1 解压安装包hbase-1.1.2-bin.tar.gz放至路径 /usr/local，命令如下：

cd /home/hadoop/a
 sudo tar -zxf hbase-1.1.5-bin.tar.gz  -C /usr/local

  • 1
  • 2

1.2 将解压的文件名hbase-1.1.2改为hbase，以方便使用，命令如下：

cd /usr/local
sudo mv /usr/local/ hbase-1.1.5 /usr/local/hbase

  • 1
  • 2

1.3 配置环境变量
将hbase下的bin目录添加到path中，这样，启动hbase就无需到/usr/local/hbase目录下，大大的方便了hbase的使用。教程下面的部分还是切换到了/usr/local/hbase目录操作，有助于初学者理解运行过程，熟练之后可以不必切换。
编辑~/.bashrc文件加入如下内容

vi ~/.bashrc
export PATH=$PATH:/usr/local/hbase/bin

  • 1
  • 2

保存后退出
再执行source命令使上述配置在当前终端立即生效

source ~/.bashrc

  • 1

4 添加HBase权限

cd /usr/local
sudo chown -R hadoop ./hbase      

  • 1
  • 2

#将hbase下的所有文件的所有者改为hadoop，hadoop是当前用户的用户名。
启动测试

cd /usr/local/hbase
bin/start-hbase.sh

  • 1
  • 2

在这里插入图片描述

2.2 伪分布式模式配置
1.配置/usr/local/hbase/conf/hbase-env.sh。命令如下：

vi /usr/local/hbase/conf/hbase-env.sh

  • 1

配置JAVA_HOME，HBASE_CLASSPATH，HBASE_MANAGES_ZK.
HBASE_CLASSPATH设置为本机Hadoop安装目录下的conf目录（即/usr/local/hadoop/conf）

vim /usr/local/hadoop/conf

  • 1
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HBASE_CLASSPATH=/usr/local/hadoop/conf 
export HBASE_MANAGES_ZK=true

  • 1
  • 2
  • 3

2.配置/usr/local/hbase/conf/hbase-site.xml
用命令vi打开并编辑hbase-site.xml，命令如下：

vi /usr/local/hbase/conf/hbase-site.xml

  • 1
<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://localhost:9000/hbase</value>
        </property>
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
</configuration>

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

接下来测试运行HBase。
第一步：首先登陆ssh，之前设置了无密码登陆，因此这里不需要密码；再切换目录至/usr/local/hadoop ；再启动hadoop，如果已经启动hadoop请跳过此步骤。命令如下：

ssh localhost
cd /usr/local/hadoop
./sbin/start-dfs.sh

  • 1
  • 2
  • 3

切换目录至/usr/local/hbase;再启动HBase.命令如下：

cd /usr/local/hbase
bin/start-hbase.sh

  • 1
  • 2

停止HBase运行,命令如下：

bin/stop-hbase.sh

  • 1

5.安装Hive；启动验证
详细过程参考Hive的安装：https://dblab.xmu.edu.cn/blog/1080/
先去到软件包目录

 cd /home/hadoop/a

  • 1

先把软件解压到/usr/local中，再执行如下操作，这里不做演示了，接着如下

cd /usr/local/
sudo mv apache-hive-3.1.2-bin hive       # 将文件夹名改为hive
sudo chown -R dblab:dblab hive            # 修改文件权限

  • 1
  • 2
  • 3

vim编辑器打开.bashrc文件，命令如下：

vim ~/.bashrc    

  • 1

在该文件最前面一行添加如下内容：

export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export HADOOP_HOME=/usr/local/hadoop 

  • 1
  • 2
  • 3

HADOOP_HOME需要被配置成你机器上Hadoop的安装路径，比如这里是安装在/usr/local./hadoop目录。
保存退出后，运行如下命令使配置立即生效：

source ~/.bashrc

  • 1

修改/usr/local/hive/conf下的hive-site.xml
执行如下命令：

cd /usr/local/hive/conf
sudo mv hive-default.xml.template hive-default.xml

  • 1
  • 2

使用vim编辑器新建一个配置文件hive-site.xml，命令如下：

cd /usr/local/hive/conf
sudo vim hive-site.xml

  • 1
  • 2

在hive-site.xml中添加如下配置信息：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
    <description>username to use against metastore database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive</value>
    <description>password to use against metastore database</description>
  </property>
</configuration>

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24

然后，按键盘上的“ESC”键退出vim编辑状态，再输入:wq，保存并退出vim编辑器。

#将mysql-connector-java-5.1.40-bin.jar拷贝到/usr/local/hive/lib目录下 解压后

cd  /自己软件压缩包的位置
sudo tar -zxvf mysql-connector-java-5.1.40.tar.gz

Sudo cp/home/hadoop/Desktop/mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar /usr/local/hive/lib

  • 1
  • 2
  • 3
  • 4

在这里插入图片描述

cd /usr/local/hive/lib

  • 1

3.启动并登陆mysql

sudo  service mysql start #启动mysql服务
 mysql -u root -p  #登陆shell界面

  • 1
  • 2

自己的 mysql密码：123

在终端上输入以下命令重启MySQL：

sudo /etc/init.d/mysql stop 
sudo /etc/init.d/mysql start 

  • 1
  • 2
 service mysql start #启动mysql服务
 mysql -u root -p  #登陆shell界面

  • 1
  • 2
  1. 新建hive数据库。
mysql> create database hive;    #这个hive数据库与hive-site.xml中localhost:3306/hive的hive对应，用来保存hive元数据

  • 1

mysql
5. 配置mysql允许hive接入：
先刷新一下权限表。
mysql> flush privileges;
mysql> grant all on . to hive@localhost identified by ‘hive’; #将所有数据库的所有表的所有权限赋给hive用户，后面的hive是配置hive-site.xml中配置的连接密码
mysql> flush privileges; #刷新mysql系统权限关系表
注意！！！
启动hive之前，请先启动hadoop集群。
验证

cd /usr/local/hadoop
./sbin/start-all.sh
cd /usr/local/hive
./bin/hive

  • 1
  • 2
  • 3
  • 4

在这里插入图片描述

然后，执行jps命令看一下当前运行的进程：
1.jps
如果出现下面这些进程，说明Hadoop启动成功了。
3765 NodeManager
3639 ResourceManager
3800 Jps
3261 DataNode
3134 NameNode
3471 SecondaryNameNode

6.安装Sqoop；
详细参考Sqoop的安装:https://dblab.xmu.edu.cn/blog/1015/

 cd /home/hadoop/a

sudo tar -zxvf  sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local #解压安装文件
cd /usr/local
sudo mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop #修改文件名
sudo chown -R hadoop:hadoop sqoop #

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

修改文件夹属主，如果你当前登录用户名不是hadoop，
请修改成你自己的用户名
2. 修改配置文件sqoop-env.sh

cd sqoop/conf/

cat sqoop-env-template.sh  >> sqoop-env.sh  

  • 1
  • 2
  • 3

#将sqoop-env-template.sh复制一份并命名为sqoop-env.sh

vim sqoop-env.sh    

  • 1

#编辑sqoop-env.sh

export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HBASE_HOME=/usr/local/hbase
export HIVE_HOME=/usr/local/hive

  • 1
  • 2
  • 3
  • 4
  1. 配置环境变量
    打开当前用户的环境变量配置文件：
vim ~/.bashrc

  • 1

在配置文件第一行键入如下信息：

export SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SBT_HOME/bin:$SQOOP_HOME/bin
export CLASSPATH=$CLASSPATH:$SQOOP_HOME/lib

  • 1
  • 2
  • 3

执行下面命令让配置文件立即生效:

source ~/.bashrc

  • 1

将mysql驱动包拷贝到 S Q O O P H O M E / l i b 下面要把 M y S Q L 驱动程序拷贝到 SQOOP_HOME/lib 下面要把MySQL驱动程序拷贝到 SQOOPH​OME/lib下面要把MySQL驱动程序拷贝到SQOOP_HOME/lib目录下，首先请在Linux系统的浏览器中请点击mysql驱动包下载地址下载驱动包。下载后，一般文件会被浏览器默认放置在当前用户的下载目录下，本教程采用hadoop用户登录Linux系统，因此，下载文件被默认放置在“/home/hadoop/下载”目录下面。
下面执行命令拷贝文件：
去到软件所在目录

 cd /home/hadoop/a

  • 1

#解压mysql驱动包

sudo tar -zxvf  mysql-connector-java-5.1.40.tar.gz 

  • 1

#解压mysql驱动包
ls #这时就可以看到解压缩后得到的目录mysql-connector-java-5.1.40

cp ./mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar /usr/local/sqoop/lib

cd /usr/local/sqoop/lib

  • 1
  • 2
  • 3

测试与MySQL的连接

首先请确保mysql服务已经启动了，如果没有启动，请执行下面命令启动：

service mysql start

  • 1

密码：123
然后就可以测试sqoop与MySQL之间的连接是否成功：
测试sqoop与MySQL之间的连接是否成功：

sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root -P

  • 1

在这里插入图片描述

7.安装R；（这里有时遇到问题自己都解决不了）Ubuntu 18 版本这里的问题实在没法解决！！
利用vim打开/etc/apt/sources.list文件
1.sudo vim /etc/apt/sources.list
在文件的最后一行添加厦门大学的镜像源：

deb http://mirrors.tuna.tsinghua.edu.cn/CRAN/bin/linux/ubuntu/ trusty/

  • 1

退出vim，更新软件源列表
1.sudo apt-get update

如果更新软件源出现由于没有公钥，无法验证下列签名的错误，请执行如下命令: sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 51716619E084DAB9
安装R语言
1.sudo apt-get install r-base
Shell 命令
会提示“您希望继续执行吗？[Y/n]”，可以直接键盘输入“Y”，就可以顺利安装结束。
安装结束后，可以执行下面命令启动R：
1.R
启动后，会显示如下信息，并进入“>”命令提示符状态：
R version 3.3.2 (2016-10-31) – “Sincere Pumpkin Patch”
Copyright © 2016 The R Foundation for Statistical Computing
Platform: x86_64-pc-linux-gnu (64-bit)

R是自由软件，不带任何担保。
在某些条件下你可以将其自由散布。
用’license()'或’licence()'来看散布的详细条件。

R是个合作计划，有许多人为之做出了贡献.
用’contributors()'来看合作者的详细情况
用’citation()'会告诉你如何在出版物中正确地引用R或R程序包。

用’demo()'来看一些示范程序，用’help()'来阅读在线帮助文件，或
用’help.start()'通过HTML浏览器来看帮助文件。
用’q()'退出R.
“>”就是R的命令提示符，你可以在后面输入R语言命令。
可以执行下面命令退出R：
1.>q()
在这里插入图片描述

  1. 安装Eclipse

在这里插入图片描述

本地数据集上传到数据仓库Hive
user.zip下载地址：https://pan.baidu.com/s/1nuOSo7B

首先建立一个用于运行本案例的目录bigdatacase
如果你把user.zip下载到了其他目录，这里请进入到你自己的存放user.zip的目录。
下面需要把user.zip进行解压缩，我们需要首先建立一个用于运行本案例的目录bigdatacase
请执行以下命令：user.zip注意自己的文件目录
1.cd /usr/local
2.ls
3.sudo mkdir bigdatacase
4.//这里会提示你输入当前用户（本教程是hadoop用户名）的密码

5.//下面给hadoop用户赋予针对bigdatacase目录的各种操作权限
6.sudo chown -R hadoop:hadoop ./bigdatacase
7.cd bigdatacase
8.//下面创建一个dataset目录，用于保存数据集
9.mkdir dataset
10.//下面就可以解压缩user.zip文件
11.cd ~ //表示进入hadoop用户的目录
12.cd 下载
13.ls
14.unzip user.zip -d /usr/local/bigdatacase/dataset
15.cd /usr/local/bigdatacase/dataset
16.ls
在这里插入图片描述

raw_user.csv和small_user.csv。
我们执行下面命令取出前面5条记录看一下：

head -5 raw_user.csv

  • 1

在这里插入图片描述

数据集的预处理详细参考：https://dblab.xmu.edu.cn/blog/959/

1.删除文件第一行记录，即字段名称
raw_user和small_user中的第一行都是字段名称，我们在文件中的数据导入到数据仓库Hive中时，不需要第一行字段名称，因此，这里在做数据预处理时，删除第一行
cd /usr/local/bigdatacase/dataset
//下面删除raw_user中的第1行
sed -i ‘1d’ raw_user //1d表示删除第1行，同理，3d表示删除第3行，nd表示删除第n行
//下面删除small_user中的第1行
sed -i ‘1d’ small_user
//下面再用head命令去查看文件的前5行记录，就看不到字段名称这一行了
head -5 raw_user.csv
可以看出，每行记录都包含5个字段，数据集中的字段及其含义如下：
在这里插入图片描述

user_id（用户id）
item_id(商品id)
behaviour_type（包括浏览、收藏、加购物车、购买，对应取值分别是1、2、3、4）
user_geohash(用户地理位置哈希值，有些记录中没有这个字段值，所以后面我们会用脚本做数据预处理时把这个字段全部删除)
item_category（商品分类）
time（该记录产生时间）

2.对字段进行预处理

下面对数据集进行一些预处理，包括为每行记录增加一个id字段（让记录具有唯一性）、增加一个省份字段（用来后续进行可视化分析），并且丢弃user_geohash字段（后面分析不需要这个字段）。
下面我们要建一个脚本文件pre_deal.sh，请把这个脚本文件放在dataset目录下，和数据集small_user.csv放在同一个目录下：
cd /usr/local/bigdatacase/dataset
vim pre_deal.sh
上面使用vim编辑器新建了一个pre_deal.sh脚本文件，请在这个脚本文件中加入下面代码：
（Word文档导致部分代码可能出错参考https://dblab.xmu.edu.cn/blog/959/
）

#!/bin/bash
#下面设置输入文件，把用户执行pre_deal.sh命令时提供的第一个参数作为输入文件名称
infile=$1
#下面设置输出文件，把用户执行pre_deal.sh命令时提供的第二个参数作为输出文件名称
outfile=KaTeX parse error: Expected 'EOF', got '#' at position 3: 2 #̲注意！！最后的infile > $outfile必须跟在}’这两个字符的后面
awk -F “,” ‘BEGIN{
srand();
id=0;
Province[0]=“山东”;Province[1]=“山西”;Province[2]=“河南”;Province[3]=“河北”;Province[4]=“陕西”;Province[5]=“内蒙古”;Province[6]=“上海市”;
Province[7]=“北京市”;Province[8]=“重庆市”;Province[9]=“天津市”;Province[10]=“福建”;Province[11]=“广东”;Province[12]=“广西”;Province[13]=“云南”;
Province[14]=“浙江”;Province[15]=“贵州”;Province[16]=“新疆”;Province[17]=“西藏”;Province[18]=“江西”;Province[19]=“湖南”;Province[20]=“湖北”;
Province[21]=“黑龙江”;Province[22]=“吉林”;Province[23]=“辽宁”; Province[24]=“江苏”;Province[25]=“甘肃”;Province[26]=“青海”;Province[27]=“四川”;
Province[28]=“安徽”; Province[29]=“宁夏”;Province[30]=“海南”;Province[31]=“香港”;Province[32]=“澳门”;Province[33]=“台湾”;
}
{
id=id+1;
value=int(rand()*34);
print id"\t"$1"\t"$2"\t"$3"\t"$5"\t"substr($6,1,10)"\t"Province[value]
}’ $infile > $outfile
输入后查看
在这里插入图片描述

上面的代码的基本形式是：
awk -F “,” ‘处理逻辑’ $infile > $outfile
使用awk可以逐行读取输入文件，并对逐行进行相应操作。

下面就可以执行pre_deal.sh脚本文件，来对small_user.csv进行数据预处理，命令如下：
cd /usr/local/bigdatacase/dataset
bash ./pre_deal.sh small_user.csv user_table.txt
可以使用head命令查看生成的user_table.txt，不要直接打开，文件过大，会出错，下面查看前10行数据：

head -10 user_table.txt

  • 1

在这里插入图片描述

a.启动HDFS

请登录Linux系统，打开一个终端，执行下面命令启动Hadoop：

cd /usr/local/hadoop
./sbin/start-all.sh

  • 1
  • 2

然后，执行jps命令看一下当前运行的进程：

jps

  • 1

如果出现下面这些进程，说明Hadoop启动成功了。

3765 NodeManager
3639 ResourceManager
3800 Jps
3261 DataNode
3134 NameNode
3471 SecondaryNameNode

b.把user_table.txt上传到HDFS中
现在，我们要把Linux本地文件系统中的user_table.txt上传到分布式文件系统HDFS中，存放在HDFS中的“/bigdatacase/dataset”目录下。
首先，请执行下面命令，在HDFS的根目录下面创建一个新的目录bigdatacase，并在这个目录下创建一个子目录dataset，如下：

cd /usr/local/hadoop
./bin/hdfs dfs -mkdir -p /bigdatacase/dataset

  • 1
  • 2

然后，把Linux本地文件系统中的user_table.txt上传到分布式文件系统HDFS的“/bigdatacase/dataset”目录下，命令如下：

cd /usr/local/hadoop
./bin/hdfs dfs -put /usr/local/bigdatacase/dataset/user_table.txt /bigdatacase/dataset

  • 1
  • 2

下面可以查看一下HDFS中的user_table.txt的前10条记录，命令如下：

cd /usr/local/hadoop
./bin/hdfs dfs -cat /bigdatacase/dataset/user_table.txt | head -10

  • 1
  • 2

在这里插入图片描述

c.在Hive上创建数据库
下面，请在Linux系统中，再新建一个终端（可以在刚才已经建好的终端界面的左上角，点击“终端”菜单，在弹出的子菜单中选择“新建终端”）。因为需要借助于MySQL保存Hive的元数据，所以，请首先启动MySQL数据库：
启动MySQL
service mysql start //可以在Linux的任何目录下执行该命令

由于Hive是基于Hadoop的数据仓库，使用HiveQL语言撰写的查询语句，最终都会被Hive自动解析成MapReduce任务由Hadoop去具体执行，因此，需要启动Hadoop，然后再启动Hive。由于前面我们已经启动了Hadoop，所以，这里不需要再次启动Hadoop。下面，在这个新的终端中执行下面命令进入Hive：
启动Hive

cd /usr/local/hive
./bin/hive   

  • 1
  • 2

在这里插入图片描述

启动成功以后，就进入了“hive>”命令提示符状态，可以输入类似SQL语句的HiveQL语句。
hive> create database dblab;
hive> use dblab;
hive
d.创建外部表
关于数据仓库Hive的内部表和外部表的区别，请访问网络文章《Hive内部表与外部表的区别》。本教程采用外部表方式。
这里我们要在数据库dblab中创建一个外部表bigdata_user，它包含字段（id, uid, item_id, behavior_type, item_category, date, province），请在hive命令提示符下输入如下命令：

hive> CREATE EXTERNAL TABLE dblab.bigdata_user(id INT,uid STRING,item_id STRING,behavior_type INT,item_category STRING,visit_date DATE,province STRING) COMMENT 'Welcome to xmu dblab!' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE LOCATION '/bigdatacase/dataset';
hive
对于这条语句中LOCATION参数的含义如果有疑问，可以阅读博客《关于数据仓库Hive建表时的LOCATION参数问题》。
e.查询数据
上面已经成功把HDFS中的“/bigdatacase/dataset”目录下的数据加载到了数据仓库Hive中，我们现在可以使用下面命令查询一下：
hive> select * from bigdata_user limit 10;
在这里插入图片描述

hive> select behavior_type from bigdata_user limit 10;
在这里插入图片描述

Hive数据分析参考：https://dblab.xmu.edu.cn/blog/1005/
操作Hive
请登录Linux系统（本教程统一采用hadoop用户名登录系统），然后，打开一个终端（可以按快捷键Ctrl+Alt+T）。
本教程中，Hadoop的安装目录是“/usr/local/hadoop”，Hive的安装目录是“/usr/local/hive”。
因为需要借助于MySQL保存Hive的元数据，所以，请首先启动MySQL数据库，请在终端中输入下面命令：

service mysql start //可以在Linux的任何目录下执行该命令

请执行下面命令启动Hadoop（如果你已经启动了Hadoop就不用再次启动了）：

cd /usr/local/hadoop
./sbin/start-all.sh

  • 1
  • 2

执行jps命令看一下当前运行的进程：

jps

  • 1

继续执行下面命令启动进入Hive：

cd /usr/local/hive
./bin/hive   //启动Hive

  • 1
  • 2

在“hive>”命令提示符状态下执行下面命令：

hive> use dblab; //使用dblab数据库
hive> show tables; //显示数据库中所有表。
hive> show create table bigdata_user; //查看bigdata_user表的各种属性；

执行部分结果如下：
在这里插入图片描述

可以执行下面命令查看表的简单结构：

hive> desc bigdata_user;
执行部分结果如下：
在这里插入图片描述

二、简单查询分析
先测试一下简单的指令：
hive> select behavior_type from bigdata_user limit 10;//查看前10位用户对商品的行为
执行部分结果如下：
在这里插入图片描述

三、查询条数统计分析
(1)用聚合函数count()计算出表内有多少条行数据
hive> select count(*) from bigdata_user;//用聚合函数count()计算出表内有多少条行数据
执行结果部分如下：
在这里插入图片描述

可视化分析MySQL中的数据
（按步骤操作，这里要先快照备份，有可能会出错自己解决不了，否则前功尽弃）
安装依赖库
为了完成可视化功能，我们需要为R安装一些依赖库，包括：RMySQL、ggplot2、devtools和recharts。
RMySQL是一个提供了访问MySQL数据库的R语言接口程序的R语言依赖库。
ggplot2和recharts则是R语言中提供绘图可视化功能的依赖库。
请启动R进入R命令提示符状态,执行如下命令安装RMySQL：
1.> install.packages(‘RMySQL’)
R
上面命令执行后， 屏幕会提示"Would you like to user a personal library instead?(y/n)"等问题，只要遇到提问，都在键盘输入y后回车即可。然后，屏幕会显示“—在此连线阶段时请选用CRAN的镜子—”，并会弹出一个白色背景的竖条形窗口，窗口标题是“HTTPS CRAN mirros”，标题下面列出了很多国家的镜像列表，我们可以选择位于China的镜像，比如，选择“China(Beijing)[https]”，然后点击“ok”按钮，就开始安装了。安装过程需要几分钟（当然，也和当前网络速度有关系）。
由于不同用户的Ubuntu开发环境不一样，安装有很大可能因为缺少组件导致失败，如果出现如下错误信息：
Configuration failed because libmysqlclient was not found. Try installing:

  • deb: libmariadb-client-lgpl-dev (Debian, Ubuntu 16.04)
    libmariadbclient-dev (Ubuntu 14.04)
  • rpm: mariadb-devel | mysql-devel (Fedora, CentOS, RHEL)
  • csw: mysql56_dev (Solaris)
  • brew: mariadb-connector-c (OSX)
    …
    ERROR: configuration failed for package ‘RMySQL’
  • removing ‘/home/hadoop/R/x86_64-pc-linux-gnu-library/3.3/RMySQL’

下载的程序包在‘/tmp/RtmpvEArxz/downloaded_packages’里
Warning message:
In install.packages(“RMySQL”) : 安装程序包‘RMySQL’时退出狀態的值不是0
只要根据错误给出的错误信息，进行操作即可。q()退出R命令提示符状态，回到Shell状态,笔者的系统是Ubuntu 16.04,那么，根据上面的英文错误信息，就需要在Shell命令提示符状态下执行下面命令安装libmariadb-client-lgpl-dev：
1.sudo apt-get install libmariadb-client-lgpl-dev
然后，再次输入下面命令进入R命令提示符状态：
1.R
启动后，并进入“>”命令提示符状态。然后，执行如下命令安装绘图包ggplot2，如果还出现缺少组件的错误，请按照上面的解决方案解决！
1.> install.packages(‘ggplot2’)
R
然后，屏幕会显示“—在此连线阶段时请选用CRAN的镜子—”，并会弹出一个白色背景的竖条形窗口，窗口标题是“HTTPS CRAN mirros”，标题下面列出了很多国家的镜像列表，我们可以选择位于China的镜像，比如，选择“China(Beijing)[https]”，然后点击“ok”按钮，就开始安装了。这个命令运行后，大概需要安装10分钟时间（当然，也和当前网络速度有关系）。
下面继续运行下面命令安装devtools：
1.> install.packages(‘devtools’)
R
如果在上面安装devtools的过程中，又出现了错误，处理方法很简单，还是按照上面介绍的方法，根据屏幕上给出的英文错误信息，缺少什么软件，就用sudo apt-get install命令安装该软件就可以了。笔者在Ubuntu16.04上执行devtools安装时，出现了三次错误，笔者根据每次错误的英文提示信息，安装了三个软件libssl-dev、libssh2-1-dev、libcurl4-openssl-dev，安装命令如下：
1.sudo apt-get install libssl-dev
2.sudo apt-get install libssh2-1-dev
3.sudo apt-get install libcurl4-openssl-dev
Shell 命令
读者在安装过程中，可能会出现不同的错误，按照同样的处理方法可以顺利解决。
下面在R命令提示符下再执行如下命令安装taiyun/recharts：
1.> devtools::install_github(‘taiyun/recharts’)

结果测试与效果演示步骤

ssh localhost
cd /usr/local/hadoop
./sbin/start-dfs.sh 

  • 1
  • 2
  • 3

在这里插入图片描述

MySQL

service mysql start
sudo netstat -tap | grep mysql
mysql -u root -p

  • 1
  • 2
  • 3

密码:123
在这里插入图片描述

cd /usr/local/hadoop
./sbin/start-dfs.sh

  • 1
  • 2

在这里插入图片描述

cd /usr/local/hive
./bin/hive

  • 1
  • 2

在这里插入图片描述

jps 

  • 1

在这里插入图片描述

输入 R
接着输入如下
在这里插入图片描述

接着输入
在这里插入图片描述

summary(user_action$behavior_type)
summary(as.numeric(user_action$behavior_type))
library(ggplot2)
ggplot(user_action,aes(as.numeric(behavior_type)))+geom_histogram()

  • 1
  • 2
  • 3
  • 4

在这里插入图片描述

结果展示

在这里插入图片描述

temp <- subset(user_action,as.numeric(behavior_type)==4) # 获取子数据集
count <- sort(table(temp$item_category),decreasing = T) #排序
print(count[1:10]) # 获取第1到10个排序结果
result <- as.data.frame(count[1:10]) #将count矩阵结果转换成数据框
ggplot(result,aes(Var1,Freq,col=factor(Var1)))+geom_point()

  • 1
  • 2
  • 3
  • 4
  • 5

在这里插入图片描述

month <- substr(user_action$visit_date,6,7) # visit_date变量中截取月份
user_action <- cbind(user_action,month) # user_action增加一列月份数据
ggplot(user_action,aes(as.numeric(behavior_type),col=factor(month)))+geom_histogram()+facet_grid(.~month)

  • 1
  • 2
  • 3

在这里插入图片描述

library(recharts)
rel <- as.data.frame(table(temp$province))
provinces <- rel$Var1
x = c()
for(n in provinces){
x[length(x)+1] = nrow(subset(temp,(province==n)))
}
mapData <- data.frame(province=rel$Var1,
count=x, stringsAsFactors=F) # 设置地图信息
eMap(mapData, namevar=~province, datavar = ~count) #画出中国地图

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

在这里插入图片描述

验收效果展示与说明

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

测试演示命令汇总如下
在这里插入图片描述

在这里插入图片描述

以上是关键步骤汇总 参考：https://dblab.xmu.edu.cn/

Ubuntu 16.04 Linux空白模板（只含大数据软件在桌面，可以在VM虚拟机导入使用）
这个空白Linux虚拟机模板，在VM导入即可使用可以在此模板，
自己可以在这个空白Linux虚拟机模板从头开始搭建大数据课程实验案例：网站用户行为分析。
重磅：大数据课程实验案例：网站用户行为分析（免费共享）链接如下：
https://dblab.xmu.edu.cn/

空白Linux虚拟机模板（只含大数据压缩软件包）

在这里插入图片描述

下载好就到导入空白Linux虚拟机模板
在这里插入图片描述

找到下载好模板的路径选择如下文件打开

在这里插入图片描述

在这里插入图片描述

重命名Ubuntu16.04 qjp
在这里插入图片描述

导入完成如下
在这里插入图片描述

开机之后如下
在这里插入图片描述

有需要Linux空白模板请告知
完整实验环境对外不提供，仅供个人学习使用。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/710048
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号