赞
踩
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。
Hive 没有专门的数据格式。 Hive 可以很好的工作在 Thrift 之上,控制分隔符,也允许用户指定数据格式。
Hive简介:
1)声明编程;
2)Hive不包括计算框架,把计算交给:MR、Spark、Tez;
3)Hive SQL;
4)与传统的关系型数据库(Mysql)有区别;
5)数据仓库;
6)场景:
对历史数据做离线“分析”
7)Hive 诟病:慢
MR慢
如果想提速:设置计算引擎:Spark
Hive是:提供一个大数据的SQL的接口,不做计算。用来做数据分析。
使用Mysql保存元数据信息:字段、字段类型、分割方式、存储方式。。。
1)Hadoop;
2)Mysql;
3)mysql-connector-java,放在$HIVE_HOME/lib目录下;
mysql的安装 1. 只需要安装在集群里面的一台节点上即可,此处选择hadoop1节点 2. 在Hadoop1上安装mariadb yum -y install mariadb-server mariadb 3. 开启服务并开机自启 systemctl start mariadb.service systemctl enable mariadb.service 4. 设置密码。第一次登陆时直接空密码登陆,之后使用sql语句设置密码 mysql -u root -p 登录之后,先查看databases是否正常,之后sql语句设置密码 > use mysql; > update user set password=password( '123456' ) where user= 'root' ; 然后设置root用户可以从任何主机登陆,对任何的库和表都有访问权限 > grant all privileges on *.* to root@'%' identified by '123456'; > grant all privileges on *.* to root@'hadoop1' identified by '123456'; > grant all privileges on *.* to root@'localhost' identified by '123456'; > FLUSH PRIVILEGES;
export HIVE_HOME=...
export PATH=$PATH:$HIVE_HOME/bin
使配置生效 source /etc/profile
export JAVA_HOME=...
export HADOOP_HOME=...
export HIVE_HOME=...
<configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://bigboss3:3306/hive?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>123456</value> </property> <property> <name>hive.exec.scratchdir</name> <value>/tmp/hive</value> </property> <property> <name>hive.exec.local.scratchdir</name> <value>/tmp/hive/local</value> <description>Local scratch space for Hive jobs</description> </property> <property> <name>hive.downloaded.resources.dir</name> <value>/tmp/hive/resources</value> <description>Temporary local directory for added resources in the remote file system.</description> </property> <property> <name>hive.querylog.location</name> <value>/tmp/hive/querylog</value> <description>Location of Hive run time structured log file</description> </property> <property> <name>hive.server2.logging.operation.log.location</name> <value>/tmp/hive/operation_logs</value> <description>Top level directory where operation logs are stored if logging functionality is enabled</description> </property> <property> <name>hive.execution.engine</name> <value>spark</value> </property> </configuration>
hdfs dfs -mkdir /tmp
// /usr/hive/warehouse 是 Hive 数据存放的路径
hdfs dfs -mkdir -p /usr/hive/warehouse
设置文件夹权限
hdfs dfs -chmod g+w /tmp
hdfs dfs -chmod g+w /usr/hive/warehouse
元数据:
数据:
schematool -dbType mysql -initSchema
先启动:hiveserver2 // 多用户,安全,推荐使用
再执行:beeline
//连接 !connect jdbc:hive2:///bigboss1:10000 //展示数据库 show databases; //建数据库 create database test01; //建表 create table emp(id int, name string, job string, mgr int, hiredate string, salary double, bonus double, deptid int) row format delimited fields terminated by '\t'; //向表中导入数据 load data local inpath "/root/example/hive/data/emp.txt" into table emp; //查询 1. 求每个部门的平均薪水大于2000的部门 2. 同1,但加上部门名字 0: jdbc:hive2://bigboss3:10000> select emp.deptid,dept.name, avg(salary) as avgsalary from emp,dept where emp.deptid=dept.id group by emp.deptid,dept.name having avgsalary>2000; WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases. SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/programs/hive-2.3.5/lib/log4j-slf4j-impl- 2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/opt/programs/hadoop- 2.6.0/share/hadoop/common/lib/slf4j-log4j12- 1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory] 2019-09-17 15:58:54 Starting to launch local task to process map join; maximum memory = 518979584 2019-09-17 15:58:56 Dump the side-table for tag: 1 with group count: 4 into file: file:/tmp/hive/local/8860e8f7-b680-436a-846f-7781fc8f45fd/hive_2019-09-17_15-58- 49_975_7606403685014368047-1/-local-10005/HashTable-Stage-2/MapJoin-mapfile11--.hashtable 2019-09-17 15:58:56 Uploaded 1 File to: file:/tmp/hive/local/8860e8f7-b680-436a-846f- 7781fc8f45fd/hive_2019-09-17_15-58-49_975_7606403685014368047-1/-local-10005/HashTable- Stage-2/MapJoin-mapfile11--.hashtable (373 bytes) 2019-09-17 15:58:56 End of local task; Time Taken: 2.036 sec. +-------------+-------------+---------------------+ | emp.deptid | dept.name | avgsalary | +-------------+-------------+---------------------+ | 10 | ACCOUNTING | 2916.6666666666665 | | 20 | RESEARCH | 2175.0 | +-------------+-------------+---------------------+ 2 rows selected (31.071 seconds) //退出beeline !quit //退出hiveserver2 Ctrl+c
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。