大数据---29. hive的常用函数（一(最全的函数操作)）_hive 方差函数

Hive 内部提供了很多函数给开发者使用，包括数学函数，类型转换函数，条件函数，字符函数，聚合函数，表生成函数等等，这些函数都统称为内置函数。
在 hive 中可通过以下命令查看函数信息：

–显示所有的可用函数，包括运算符、内置函数、自定义函数
show functions;

–显示指定函数的描述信息
desc function year;

–显示指定函数的详细信息
desc function extended trim;

关系运算

1、等值比较：=

语法：A = B
操作类型：基本类型
描述：如果表达式 A 与表达式 B 相等，则为 TRUE；否则为 FALSE。

2、不等值比较：<>

语法：A <> B
操作类型：基本类型
描述：如果表达式 A 或表达式 B 为 NULL，则返回 NULL；如果表达式 A 与 表达式 B 不相等，则为 TRUE；否则为 FALSE。
select 1 where 1 <> 2;

3、小于比较：<

语法：A < B
操作类型：基本类型
描述：如果表达式 A 或表达式 B 为 NULL，则返回 NULL；如果表达式 A 小于表达式 B，则为 TRUE；否则为 FALSE。
select 1 where 1 < 2;
select 1 where 1 < 0;

4、小于等于比较：<=

语法：A <= B
操作类型：基本类型
描述：如果表达式 A 或表达式 B 为 NULL，则返回 NULL；如果表达式 A 小于或者等于表达式 B，则为 TRUE；否则为 FALSE。
select 1 where 1 <= 1;

5、大于比较：>

语法：A > B
操作类型：基本类型
描述：如果表达式 A 或表达式 B 为 NULL，则返回 NULL；如果表达式 A 大于表达式 B，则为 TRUE；否则为 FALSE。
select 1 where2>1;

6、大于等于比较：>=

语法：A >= B
操作类型：基本类型
描述：如果表达式 A 或表达式 B 为 NULL，则返回 NULL；如果表达式 A 大于或者等于表达式 B，则为 TRUE；否则为 FALSE。
select 1 where 2>=2;

7、空值判断：IS NULL

select 1 where null is null;
语法：A IS NULL
操作类型：所有类型
描述：如果表达式 A 的值为 NULL，则为 TRUE；否则为 FALSE。

8、非空判断：IS NOT NULL

语法：A IS NOT NULL
操作类型：所有类型
描述：如果表达式 A 的值为 NULL，则为 FALSE；否则为 TRUE。
select 1 where 1 is null;

9、LIKE 比较：LIKE

语法：A LIKE B
操作类型：字符类型
描述：如果字符串 A 或字符串 B 为 NULL，则返回 NULL；如果字符串 A 符合简单 SQL 正则表达式 B 的语法，则为 TRUE；否则为 FALSE。

字符 ”” 表示任意单个字符
select 1 where ‘football’ like 'foot___';

字符 ”%” 表示任意数量的字符

select 1 where ‘football’ like ‘foot%’;

注意：否定比较时候用 NOT A LIKE B
select 1 where not ‘football’ like ‘fff%’;

10、JAVA 的 LIKE 比较：RLIKE

语法：A RLIKE B
操作类型：字符类型
描述：如果字符串 A 或字符串 B 为 NULL，则返回 NULL；如果字符串 A 符合 JAVA 正则表达式 B 的正则语法，则为 TRUE；否则为 FALSE。
select 1 where ‘football’ rlike ‘^f.*l$’;

11、正则匹配：REGEXP

语法：A REGEXP B
操作类型：字符类型
描述：功能与 RLIKE 相同

数学运算

1、加法操作：+
语法：A + B
操作类型：数值类型
说明：返回 A 与 B 相加的结果。结果的数值类型等于 A 的类型和 B 的类型的最小父类型。比如，int + int 一般结果为 int 类型，而 int + double 一般结果为 double 类型。
select 1 + 34;

select 1 + 34.5;

2、减法操作：-

语法：A - B
操作类型：数值类型
说明：返回 A 与 B 相减的结果。结果的数值类型等于 A 的类型和 B 的类型的最小父类型。比如，int - int 一般结果为 int 类型，而 int - double 一般结果为 double 类型。
select 6 - 3;

select 1.5 - 1;

3、乘法操作：*

语法：A * B
操作类型：数值类型
说明：返回 A 与 B 相乘的结果。结果的数值类型等于 A 的类型和 B 的类型的最小父类型。注意，如果 A 乘以 B 的结果超过默认结果类型的数值范围，则需要通过 cast 将结果转换成范围更大的数值类型。

4、除法操作：/

语法：A / B
操作类型：数值类型
说明：返回 A 除以 B 的结果。结果的数值类型为 double。
select 10 / 5;

5、取余操作：%

语法：A % B
操作类型：数值类型
说明：返回 A 除以 B 的余数。结果的数值类型等于 A 的类型和 B 的类型的最小父类型。

若对浮点数求余，可能会出现如下结果

注意：精度在 hive 中是个很大的问题，类似这样的操作最好通过 round 指定精度

6、位与操作：&

语法：A & B
操作类型：整数类型
说明：返回 A 和 B 按位进行与操作的结果。结果的数值类型等于 A 的类型和 B 的类型的最小父类型。
select 4 & 8;

select 6 & 4;

7、位或操作：|

语法：A | B
操作类型：整数类型
说明：返回 A 和 B 按位进行或操作的结果。结果的数值类型等于 A 的类型和 B 的类型的最小父类型。
select 4 | 8;

select 6| 8;

8、位异或操作：^

语法：A ^ B
操作类型：整数类型
说明：返回 A 和 B 按位进行异或操作的结果。结果的数值类型等于 A 的类型和 B 的类型的最小父类型。
select 4 ^ 8;

select 6 ^ 4;

9、按位取反操作：~

语法：~ A
操作类型：整数类型
说明：返回 A 按位取反操作的结果。结果的数值类型等于 A 的类型。
select ~ 4;
select ~ 6;

逻辑运算

1、逻辑与操作：AND

语法：A AND B
操作类型：boolean
说明：如果 A 或 B 为 NULL，则返回 NULL；如果 A 和 B 均为 TRUE，则为 TRUE；否则为 FALSE。
select 1 where 1 = 1 and 2 = 2;

2、逻辑与操作：OR

语法：A OR B
操作类型：boolean
说明：如果 A 或 B 为 NULL，则返回 NULL；如果 A 或 B 有一个为 TRUE，则为 TRUE；否则为 FALSE。
select 1 where 1 = 2 or 2 = 2;

3、逻辑非操作：NOT

语法：NOT A
操作类型：boolean
说明：如果 A 为 NULL，或者 A 为 FALSE，则为TRUE；否则为FALSE。
select 1 where not 1 = 2;

条件运算

1、IF 函数：IF

语法：IF(boolean testCondition, T valueTrue, T valueFalseOrNull)
返回类型：T
描述：当条件 testCondition 为 True 时，返回 valueTrue；否则返回 valueFalseOrNull。
select if(1 = 2, 100, 200);

select if(1 = 1, 100, 200);

2、非空查找函数：COALESCE

语法： COALESCE(T v1, T v2, …)
返回类型：T
描述：返回参数中的第一个非空值；如果所有值都为 NULL，那么返回NULL。

3、条件判断函数：CASE

语法： CASE a WHEN b THEN c [WHEN d THEN e]* [ELSE f] END
返回类型：T
描述：如果 a 等于 b，那么返回 c；如果 a 等于 d，那么返回 e；否则返回 f。

4、条件判断函数：CASE
语法： CASE WHEN a THEN b [WHEN c THEN d]* [ELSE e] END
返回类型：T
描述：如果 a 为 TRUE，则返回 b；如果 c 为 TRUE，则返回 d；否则返回 e。

数值计算

1、近似函数：round

语法：round(double a)
返回类型：bigint
说明：返回 double 类型的整数值部分 （遵循四舍五入）
select round(3.1415926);

2、指定精度近似函数：round

语法：round(double a)
返回类型：double
说明：返回指定精度 d 的 double 类型

3、向下取整函数：floor

语法：floor(double a)
返回类型：double
说明：返回不大于 a 的最大整数

4、向上取整函数：ceil

语法：ceil(double a)
返回类型：bigint
说明：返回不小于 a 的最小整数

5、向上取整函数：ceiling

语法：ceiling(double a)
返回类型：bigint
说明：与 ceil 功能相同

6、取随机函数：rand

语法：rand()，rand(int seed)
返回类型：bigint
说明：返回一个 0 到 1 范围内的随机数。如果指定种子 seed，则会得到一个稳定的随机数序列。
select rand();

select rand(100);

7、自然指数函数：exp

语法：exp(double a)
返回类型：double
说明：返回自然对数 e 的 a 次方
select exp(2);

8、以 10 为底的对数函数：log10

语法：log10(double a)
返回类型：double
说明：返回以 10 为底的 a 的对数
select log10(100);

9、以 2 为底的对数函数：log2

语法：log2(double a)
返回类型：double
说明：返回以 2 为底的 a 的对数
select log2(8);

10、对数函数：log

语法：log2(double base, double a)
返回类型：double
说明：返回以 base 为底的 a 的对数
select log(2, 1024);

11、幂运算函数：pow

语法：pow(double a, double p)
返回类型：double
说明：返回以 a 的 p 次幂
select pow(2, 5);

12、幂运算函数：power

语法：power(double a, double p)
返回类型：double
说明：返回以 a 的 p 次幂，与 pow 功能相同。

13、平方根函数：sqrt

语法：sqrt(double a)
返回类型：double
说明：返回 a 的 平方根
select sqrt(100);

14、二进制函数：bin

语法：bin(bigint a)
返回类型：string
说明：返回 a 的 二进制代码表示

15、十六进制函数：hex

语法：hex(bigint a)
返回类型：string
说明：如果变量是 int 类型，那么返回 a 的十六进制表示；如果变量是 string 类型，则返回该字符串的十六进制表示。
select hex(17);

select hex(‘abc’);

16、反转十六进制函数：unhex

语法：unhex(string a)
返回类型：string
说明：返回该十六进制数或字符串所反转的字符串
select unhex(616263);

select unhex(‘616263’);

17、进制转换函数：conv

语法：conv(bigint num, int from_base, int to_base)
返回类型：string
说明：将数值 num 从 from_base 进制转化到 to_base 进制
select conv(17, 10, 2);

select conv(17, 10, 16);

18、绝对值函数：abs

语法：abs(int a )，absdouble a)
返回类型：int double
说明：返回数值 a 的绝对值
select abs(-1);
select abs(3.14);

19、正取余函数：pmod

语法：pmod(int a, int b)，pmod(double a, double b)
返回类型：int double
说明：返回正的 a 除以 b 的余数
select pmod(9, 4);
select pmod(-9, 4);

20、正弦函数：sin

语法：sin(double a)
返回类型：double
说明：返回 a 的正弦值
select sin(0.8);

21、反正弦函数：asin

语法：asin(double a)
返回类型：double
说明：返回 a 的反正弦值
select sin(0.7173560908995228);

22、余弦函数：cos

语法：cos(double a)
返回类型：double
说明：返回 a 的余弦值
select cos(0.8);

23、反余弦函数：acos

语法：acos(double a)
返回类型：double
说明：返回 a 的反余弦值
select acos(0.6967067093471654);

24、positive 函数：positive

语法：positive(int a)，positive(double a)
返回类型：int double
说明：返回 a 自身
select positive(-1);

25、negative 函数：negative

语法：negative(int a)，negative(double a)
返回类型：int double
说明：返回 a 的相反数
select negative(-1);
select negative(3.14);

日期函数

1、UNIX 时间戳转日期函数：fom_unixtime

语法：fom_unixtime(bigint unixtime[, string format])
返回类型：string
说明：转化 UNIX 时间戳（从1970-01-01 00:00:00 UTC 到指定时间的秒数）到当前时区的时间格式。
select from_unixtime(1590000000, ‘yyyy-MM-dd’);

2、获取当前 UNIX 时间戳函数：unix_timestamp

语法：unix_timestamp()
返回类型：bigint
说明：转获取当前时区的 UNIX 时间戳
select unix_timestamp();

3、日期转 UNIX 时间戳函数：unix_timestamp

语法：unix_timestamp(string date)
返回类型：bigint
说明：转换格式为 “yyyy-MM-dd HH:mm:ss” 的日期到 UNIX 时间戳。如果转换失败，则返回 NULL。

select unix_timestamp(‘2022-05-21 02:40:00’);

4、指定格式日期转 UNIX 时间戳函数：unix_timestamp

语法：unix_timestamp(string date, string pattern)
返回类型：bigint
说明：转换 pattern 格式的日期到 UNIX 时间戳。如果转换失败，则返回 NULL。
select unix_timestamp(‘20200521 02:40:00’, ‘yyyyMMdd HH:mm:ss’);

5、日期时间转日期函数：to_date

语法：to_date(string timestamp)
返回类型：string
说明：返回日期时间字段中的日期部分。
select to_date(‘2020-05-21 02:40:00’);

6、日期转年函数：year

语法：year(string date)
返回类型：int
说明：返回日期中的年份。
select year(‘2020-05-21 02:40:00’);

7、日期转月函数：month

语法：month(string date)
返回类型：int
说明：返回日期中的月份。
select month(‘2020-05-21 02:40:00’);

8、日期转天函数：day

语法：day(string date)
返回类型：int
说明：返回日期中的天。
select day(‘2020-05-21 02:40:00’);

9、日期转小时函数：hour

语法：hour(string date)
返回类型：int
说明：返回日期中的小时。
select hour(‘2020-05-21 02:40:00’);

10、日期转分钟函数：minute

语法：minute(string date)
返回类型：int
说明：返回日期中的分钟。
select minute(‘2020-05-21 02:40:00’);

11、日期转秒函数：second

语法：second(string date)
返回类型：int
说明：返回日期中的秒。
select second(‘2020-05-21 02:40:00’);

12、日期转周函数：weekofyear

语法：weekofyear(string date)
返回类型：int
说明：返回日期在该年的周数。

select weekofyear(‘2020-05-21 02:40:00’);

13、日期比较函数：datediff

语法：datediff(string enddate, string startdate)
返回类型：int
说明：返回结束日期减去开始日期的天数。
select datediff(‘2020-05-21’, ‘2020-01-01’);

14、日期增加函数：date_add

语法：date_add(string startdate, int days)
返回类型：string
说明：返回开始日期 startdate 增加 days 天后的日期。
select date_add(‘2020-05-21’, 10);

15、日期减少函数：date_sub

语法：date_sub(string startdate, int days)
返回类型：string
说明：返回开始日期 startdate 减少 days 天后的日期。
select date_sub(‘2020-05-21’, 10);

字符串函数

1、字符串长度函数：length

select length(‘abcedfg’);

2、字符串反转函数：reverse

语法：reverse(string A)
操作类型：string
描述：返回字符串 A 的反转结果
select reverse(‘abcedfg’);

3、字符串连接函数：concat

语法：concat(string A, string B…)
操作类型：string
描述：返回输入字符串连接后的结果，支持任意多个输入字符串。
select concat(‘abc’,‘def’,‘wwww’);

4、带分隔符字符串连接函数：concat_ws

语法：concat_ws(string SEP, string A, string B…)
操作类型：string
描述：返回输入字符串连接后的结果，SEP 表示各个字符串间的分隔符。
select concat_ws(‘,’, ‘abc’, ‘def’, ‘gh’);

5、字符串截取函数：substr | substring

语法：substr(string A, int start)
操作类型：string
描述：返回字符串 A 从 start 位置到结尾的字符串。
select substr(‘abcde’, 3);
select substring(‘abcde’, -1);

6、字符串截取函数：substr | substring

语法：substr(string A, int start, int len)
操作类型：string
描述：返回字符串 A 从 start 位置开始，长度为 len 的字符串。
select substr(‘abcde’, 3, 2);
select substring(‘abcde’, -2, 2);

7、字符串转大写函数：upper | ucase

语法：upper(string A)
操作类型：string
描述：返回字符串 A 的大写格式
select upper(‘Apple’);

8、字符串转小写函数：lower | lcase

语法：lower(string A)
操作类型：string
描述：返回字符串 A 的小写格式
select lower(‘Apple’);

9、去空格函数：trim

语法：trim(string A)
操作类型：string
描述：去除字符串两边的空格
select trim(’ abc ');

10、左边去空格函数：ltrim

语法：ltrim(string A)
操作类型：string
描述：去除字符串左边的空格

11、右边去空格函数：rtrim

12、正则表达式替换函数：regexp_replace

语法：regexp_replace(string A, string B, string C)
操作类型：string
描述：将字符串 A 中的符合 Java 正则表达式 B 的部分替换为 C
select regexp_replace(‘foobar’, ‘oo|ar’, ‘’);

13、正则表达式解析函数：regexp_extract

语法：regexp_extract(string subject, string pattern, int index)
操作类型：string
描述：将字符串 subject 按照 pattern 正则表达式的规则拆分，返回 index 指定的字符。
select regexp_extract(‘foothebar’, ‘foo(.?)(bar)', 0);
select regexp_extract(‘foothebar’, 'foo(.?)(bar)’, 1);
select regexp_extract(‘foothebar’, ‘foo(.*?)(bar)’, 2);

14、URL 解析函数：parse_url

语法：parse_url(string urlString, string partToExtract [, string keyToExtract])
操作类型：string
描述：返回 URL 中指定的部分。partToExtract 的有效值为：HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO.
select parse_url(‘https://www.baidu.com/path/p.php?k1=v1&k2=v2#ref1’, ‘HOST’);
select parse_url(‘https://www.baidu.com/path/p.php?k1=v1&k2=v2#ref1’, ‘QUERY’, ‘k1’);

15、JSON 解析函数：get_json_object

语法：get_json_object(string json_string, string path)
操作类型：string
描述：解析 json 的字符串 json_string，返回 path 指定的内容。如果输入的 json 字符串无效，那么返回 NULL。
select get_json_object(‘{“name”:“zs”,“age”:“25”}’, ‘$.name’);

16、空字符串函数：space

语法：space(int n)
操作类型：string
描述：返回长度为 n 的字符串

select space(3);
[空格][空格][空格]

17、重复字符串函数：repeat

语法：repeat(string str, int n)
操作类型：string
描述：返回重复 n 次后的 str 字符串
select repeat(‘abc’, 3);

18、首字符 ASCII 函数：ascii

语法：ascii(string str)
操作类型：int
描述：返回字符串 str 第一个字符的 ascii 码
select ascii(‘abc’);

19、左补足函数：lpad

语法：lpad(string str, int len, string pad)
操作类型：string
描述：将 str 用 pad 进行左补足到 len 位
select lpad(‘abc’, 10, ‘#’);

20、右补足函数：rpad

语法：rpad(string str, int len, string pad)
操作类型：string
描述：将 str 用 pad 进行右补足到 len 位
select rpad(‘abc’, 10, ‘#’);

21、分割字符串函数：split

语法：split(string str, string pat)
操作类型：array
描述：按照 pat 字符串分割 str，会返回分割后的字符串数组
select split(‘ab,cd,ef’, ‘,’);

22、集合查找函数：find_in_set

语法：find_in_set(string str, string strList)
操作类型：int
描述：返回 str 在 strlist 第一次出现的位置，strlist 是用逗号分割的字符串。如果没有找到该 str 字符，则返回 0。
select find_in_set(‘cd’,‘{ab,cd,ef}’);

聚合函数

创建 test 表
create table test(id int, t int);
插入测试数据
insert into test values(1,60),(2,30),(3,80),(4,40),(5,60),(6,50),(7,80),(8,70),(9,90),(10,100);

查看表中数据
select * from test;

1、统计函数：count

语法：count()，count(expr)，count(DISTINCT expr[, expr_.])
返回类型：int
描述：count() 统计检索出的行的个数，包括 NULL 值的行；count(expr) 返回指定字段的非空值的个数；count(DISTINCT expr[, expr_.]) 返回指定字段的不同的非空值的个数。
select count(*) from test;

select count(distinct t) from test;

2、求和函数：sum

语法：sum(col)，sum(DISTINCT col)
返回类型：double
描述：sum(col) 统计结果集中 col 的相加的结果；sum(DISTINCT col) 统计结果中 col 不同值相加的结果。

select sum(t) from test;
select sum(distinct t) from test;

3、平均值函数：avg

语法：avg(col)，avg(DISTINCT col)
返回类型：double
描述：avg(col) 统计结果集中 col 的平均值；avg(DISTINCT col) 统计结果中 col 不同值相加的平均值。
select avg(t) from test;
select avg(distinct t) from test;

4、最小值函数：min

语法：min(col)
返回类型：double
描述：统计结果集中 col 字段的最小值
select min(t) from test;

5、最大值函数：max

语法：max(col)
返回类型：double
描述：统计结果集中 col 字段的最大值
select max(t) from test;

6、总体方差函数：var_pop

语法：var_pop(col)
返回类型：double
描述：统计结果集中 col 非空集合的总体变量（忽略 null）
select round(var_pop(t), 2) from test;

7、样本方差函数：var_samp

语法：var_samp(col)
返回类型：double
描述：统计结果集中 col 非空集合的样本变量（忽略 null)
select round(var_samp(t), 2) from test;

8、总体标准差函数：stddev_pop

语法：stddev_pop(col)
返回类型：double
描述：该函数计算总体标准偏离，并返回总体变量的平方根，其返回值与 VAR_POP 函数的平方根相同。

9、样本标准差函数：stddev_samp

语法：stddev_samp(col)
返回类型：double
描述：该函数计算样本标准偏离

select round(stddev_samp(t), 2) from test;

10、百分位函数：percentile

语法：percentile(BIGINT col, p)
返回类型：double
描述：求准确的 p 对应的百分位数，p 必须介于 0 和 1 之间，返回类型为 double，但是 col 字段目前只支持整数，不支持浮点数类型。
select percentile(t, 0.5) from test;

11、百分位函数：percentile

语法： percentile(BIGINT col, array(p1 [, p2]…))
返回类型：array
描述：功能和上述类似，array 中可以输入多个百分位数，返回类型也为 array，其中为对应的百分位数。

select percentile(t, array(0.2, 0.3, 0.5)) from test;

12、近似百分位函数：percentile_approx

语法：percentile_approx(BIGINT col, p [, B])
返回类型：double
描述：求近似的 p 对应的百分位数，p 必须介于 0 和 1 之间，返回类型为 double，col 字段支持浮点类型。参数 B 控制内存消耗的近似精度，B越大，结果的准确度越高。默认为10,000。当 col 字段中的 distinct 值的个数小于 B 时，结果为准确的百分位数。
select percentile_approx(t, 0.5, 5) from test;

13、近似百分位函数：percentile_approx

语法：percentile_approx(BIGINT col, array(p1 [, p2]…) [, B])
返回类型：double
描述：功能和上述类似，array 中可以输入多个百分位数，返回类型也为 array，其中为对应的百分位数。

select percentile_approx(t, array(0.2, 0.3, 0.5), 5) from test;

14、直方图：histogram_numeric

语法：histogram_numeric(col, b)
返回类型：array<struct {‘x’,‘y’}>
描述：以 b 为基准计算 col 的直方图信息，得到的结果可用于作图。
select histogram_numeric(t, 100) from test;