当前位置:   article > 正文

Apache Hive(部署+SQL+FineBI构建展示)_finebi hive驱动

finebi hive驱动

在这里插入图片描述

在这里插入图片描述

Hive架构

在这里插入图片描述
在这里插入图片描述

Hive部署

在这里插入图片描述
在这里插入图片描述

VMware虚拟机部署

一、在node1节点安装mysql数据库
在这里插入图片描述

二、配置Hadoop
在这里插入图片描述

三、下载 解压Hive
在这里插入图片描述

四、提供mysql Driver驱动
在这里插入图片描述

五、配置Hive
在这里插入图片描述
在这里插入图片描述

六、初始化元数据库
在这里插入图片描述

七、启动Hive(Hadoop用户)

chown -R hadoop:hadoop apache-hive-3.1.3-bin hive
在这里插入图片描述

阿里云部署
在这里插入图片描述

一、创建云数据库库
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

二、配置Hive
在这里插入图片描述
数据库连接地址粘贴到配置文件中
在这里插入图片描述
通过yum install -y mysql 安装mysql客户端,用于mysql命令的输入

UCloud云部署
在这里插入图片描述

一、创建UDB数据库
在这里插入图片描述

二、创建一个Hive数据库(需要通过yum install -y mysql提前安装命令)
在这里插入图片描述

三、初始化
在这里插入图片描述

============================================================

Hive操作

通过ps -ef | grep 40991更详细查看
或者通过jps查看
在这里插入图片描述

在这里插入图片描述

通过浏览器可以查看
在这里插入图片描述

Hive客户端

在这里插入图片描述

启动Hive客户端两种方式:
①、bin/hive即Hive的Shell客户端,直接写SQL
②、bin/hive --service hiveserver2 HiveServer2属于Hive内置的一个ThriftServer服务,提供Thrift端口供其他客户端链接:

可以链接ThriftServer的客户端有:

  • Hive内置的beeline客户端工具(命令行工具)
  • 第三方图形化SQL工具DataGrip 或DBeaver或者Navicat

在这里插入图片描述

HiveServer2 & Beeline(内置客户端)

①、启动beeline
在这里插入图片描述
②、连接hive2
在这里插入图片描述

DataGrip & DBeaver(第三方客户端)

①、DataGrip使用
在这里插入图片描述
②、进行连接
在这里插入图片描述
在这里插入图片描述

③、写SQL语句
在这里插入图片描述
在这里插入图片描述


①、DBeaver使用
在这里插入图片描述
②、构建驱动
在这里插入图片描述

删除原来的驱动
在这里插入图片描述
添加自己本地下载好的文件
在这里插入图片描述
③、写好SQL,回车可以运行
在这里插入图片描述

数据库操作

在这里插入图片描述
在这里插入图片描述

表分类:

内部表
在这里插入图片描述
在这里插入图片描述

create table myhive.stu(id int,name string); # 在myhive数据库中创建stu表

# 指定分隔创建表 避免在下面查看表内容出现id和name不可见字符导致的紧凑
create table if not exists stu2(id int,name string) row format delimited fields terminated by '\t';

insert into myhive.stu values(1,'jordan'),(2,"kobe");

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

在这里插入图片描述

外部表
在这里插入图片描述

一、将数据上传到外部表所在的目录(先有表,再有数据)
在这里插入图片描述
在这里插入图片描述

二、先存在数据,后创建表
在这里插入图片描述

两者对比:
在这里插入图片描述

内外部表转换:

①、先查看表类型
在这里插入图片描述

②、转换
在这里插入图片描述

数据的导入:

①、使用LOAD语法,从外部将数据加载到Hive内
在这里插入图片描述

CREATE TABLE myhive.test_load(
	dt string comment '时间(时分秒)',
	user_id string comment '用户ID',
	word string comment '搜索词',
	url string comment '用户访问地址'
) comment '搜索引擎日志表' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

在这里插入图片描述

# 本地linux系统上传
load data local inpath '/home/hadoop/search_log.txt' into table myhive.test_load;

# 本质上是文件移动
load data inpath '/tmp/search_log.txt' overwrite into table myhive.test_load
  • 1
  • 2
  • 3
  • 4
  • 5

【基于HDFS进行load加载数据,元数据文件会消失(本质是被移动到表所在的目录中)】
在这里插入图片描述

②、从其他表加载数据
在这里插入图片描述

数据的导出:

①、将hive表中的数据导出到其他任意目录,例如linux本地磁盘,hdfs,mysql等
在这里插入图片描述

②、通过hive shell方式导出
在这里插入图片描述

分区表
在这里插入图片描述

在这里插入图片描述

构建分区表
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

分桶表
在这里插入图片描述

分桶表创建
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

修改表操作
在这里插入图片描述

复杂类型

在这里插入图片描述

array数组
在这里插入图片描述
在这里插入图片描述

map映射
在这里插入图片描述
在这里插入图片描述

struct结构
在这里插入图片描述

在这里插入图片描述

常用的基本查询
在这里插入图片描述
在这里插入图片描述

正则表达式
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

UNION联合
在这里插入图片描述
在这里插入图片描述

随机采样
在这里插入图片描述

在这里插入图片描述

虚拟列
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

函数

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

案例:

一、需求:
在这里插入图片描述

数据
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

二、ETL数据清洗:
在这里插入图片描述
在这里插入图片描述

三、指标

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

四、可视化
在这里插入图片描述
①、下载FineBI
在这里插入图片描述

②、将Hive驱动包放到FineBI安装目录下,以及安装隔离插件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

③、建立数据库连接
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

④、构建数据集(选择数据库表)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
添加组件和仪表盘
在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/2023面试高手/article/detail/489189
推荐阅读
相关标签
  

闽ICP备14008679号