hive sql中的用 爆炸函数lateral view explode将一行转成多行_lateral函数

爆炸函数lateral view explode将一行转成多行
lateral view 常用于和split，explode这个UDTF（User defined Table-Generating Functions）一起使用，该组合能进一行数据拆分成多行数据，并对拆分后的数据进行聚合。
split()函数通过指定分隔符对字符串进行切片，并返回分割后的字符串列表。
lateral view首先为原始表的每行调用UDTF，explode这个UDTF函数会把一个列表或数组元素拆分成一行或者多行，lateral view会把explode的结果组合，产生一个支持别名表的虚拟表。常用于处理一些特定格式的数据。

Eg：某手机应用市场采集了每天用户下载、卸载APP的数据，定义一个详情表table，该应用市场想要统计每个APP的下载、卸载量，对于table表中的数据，就可以借助lateral view explode函数来完成统计。
table表：

Select substring_index(list,’:’,1) as type
     , substring_index(list,’:’,-1) as APP
from table t1
lateral  view  explode (split(APP,’,’))  t2  as  list
Where t1.pt_d=’2021-02-03’
group by 
      substring_index(list,’:’,1) 
     , substring_index(list,’:’,-1)
;
1
2
3
4
5
6
7
8
9

得到结果表为：

Select 
type,APP,count(*) as num 
from
(
     Select substring_index(list,’:’,1) as type
           , substring_index(list,’:’,-1) as APP
     from table t1
     lateral  view  explode (split(APP,’,’))  t2  as  list
     Where t1.pt_d=’2021-02-03’
     group by 
           substring_index(list,’:’,1) 
          , substring_index(list,’:’,-1)
)t
group by 
       type,APP
Order by num desc
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

最终结果表为：

该结果实现了最初的数据统计述求。