数据仓库技术及应用（Hive函数）

一、Hive函数

1.函数概述

从函数输入与输出角度来看，函数可分为：

（1）标准函数

以一行数据中心的一列或多列数据作为输入参数，返回的结果是一个值的函数。

（2）聚合函数

以多行中的零个到多个列的数据作为输入，返回单一值的函数。

（3）表生成函数

接受零个或多个输入，产生多列或多行输出。

2.查看函数 

show functions命令可以显示当前Hive会话中所加载的所有函数，包括内置函数与自定义函数。

#查看函数详情，在Hive命令行中运行命令
DESCRIBE FUNCTIONS <function_name>;

函数更多详细文档可以通过增加EXTENDED关键字查看。 

3.调用函数

  调用函数直接在HiveSQL中使用函数名调用，如需传入参数，直接传入相应参数即可调用。

函数调用可在SELECT与WHERE子句中实现，具体包含下面3种典型情况：

# table 表中选取 col1 和 col2 列的值，并将它们连接成一个字符串，作为结果集的一列
SELECT concat(col1,col2) AS x FROM table;
 
# 连接两个字符串常量 'abc' 和 'def'，并返回连接后的结果
SELECT concat(‘abc’,‘def’);
 
# 从 table 表中选取所有列的数据，并筛选出 col 列的长度小于 10 的记录。
SELECT * FROM table WHERE length(col)<10;

二、内置函数 

• 字符处理
• 类型转换
• 聚合运算
• 数学计算
• 日期计算 

1.字符函数 

# 在零售数据顾客表中转换顾客姓名为全大写
select upper(concat_ws('',customer_fname,customer_lname))as fullname
from customers limit 10;

 

2.聚合函数 

常用包括count、sum、max/min、avg等。与标准函数的不同之处在于，聚合函数是在一组多行数据中进行计算并返回单一值的函数。

3.类型转换函数

如下表：

4.数学函数 

通常针对数据类型进行操作。

5.日期函数

# 统计月度订单数量
select from_unixtime(unix_timestamp(order_date),"yyyy-MM")as year_month,
count(order_id) from orders
group by from_unixtime(unix_timestamp(order_date),"yyyy-MM")

6.条件函数

 

#  根据商品价格将商品分为3个级别：0~100、100~200及200以上，并分别统计各档商品个数。
select level,count(*)from ( select *,
case when product_price<100 then 1
when product_price between 100 and 200 then 2
else 3 end as level
from products ) as a group by level;

7.集合函数

集合函数用于对集合进行操作。

eg.雇员表empdb.emp，使用集合函数查询其中所有员工所在部门的名称及总数。

use empdb;
select name,map_keys(depart_title),size(depart_title)from emp;

8.表生成函数

可以将一个或多个输入值转换为多行输出，该输出可以作为表来使用。

eg.(1)使用表生成函数将如下数据生成为表。

['Apple','Orange','Mongo']

['A':'Apple','O':'Orange']

select explode(array('Apple','Orange','Mongo'));
select explode(map('A','Apple','O','Orange'));

 (2)将json字符串"{"name":"Jason","age":"18"}"转换为表

select json_tuple('{"name":"Jason","age":"18"}','name','age');