hive Lateral View语法

作者：凡人多烦事01 | 2024-06-01 03:39:18

踩

hive lateral view语法

谢谢分享!

转载：http://yugouai.iteye.com/blog/1849902

个人理解有点类似列转行函数

Lateral View语法

     Sql代码 
       
 lateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)*  
 fromClause: FROM baseTable (lateralView)*

描述

lateral view用于和split, explode等UDTF一起使用，它能够将一行数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。lateral view首先为原始表的每行调用UDTF，UTDF会把一行拆分成一或者多行，lateral view再把结果组合，产生一个支持别名表的虚拟表。

例子

假设我们有一张表pageAds，它有两列数据，第一列是pageid string，第二列是adid_list，即用逗号分隔的广告ID集合：

string pageid	Array<int> adid_list
"front_page"	[1, 2, 3]
"contact_page"	[3, 4, 5]

要统计所有广告ID在所有页面中出现的次数。

首先分拆广告ID：

     Sql代码 
       
 SELECT pageid, adid FROM pageAds LATERAL VIEW explode(adid_list) adTable AS adid;

执行结果：

string pageid	int adid
"front_page"	1
"front_page"	2
"front_page"	3
"contact_page"	3
"contact_page"	4
"contact_page"	5

接着是一个聚合的统计：

     Sql代码 
       
 SELECT adid, count(1) FROM pageAds LATERAL VIEW explode(adid_list) adTable AS adid GROUP BY adid;

执行结果如下：

int adid	count(1)
1	1
2	1
3	2
4	1
5	1

多个lateral view语句

一个FROM语句后可以跟多个lateral view语句，后面的lateral view语句能够引用它前面的所有表和列名。以下面的表为例：

Array<int> col1	Array<string> col2
[1,2]	["a","b","c"]
[3,4]	["d","e","f"]

     Sql代码 
       
 SELECT myCol1, col2 FROM baseTableLATERAL VIEW explode(col1) myTable1 AS myCol1;

执行结果：

int mycol1	Array<string> col2
1	[a", "b", "c"]
2	[a", "b", "c"]
3	[d", "e", "f"]
4	[d", "e", "f"]

加上一个lateral view：

     Sql代码 
       
 SELECT myCol1, myCol2 FROM baseTable  
     LATERAL VIEW explode(col1) myTable1 AS myCol1  
     LATERAL VIEW explode(col2) myTable2 AS myCol2;

执行结果：

int myCol1	string myCol2
1	"a"
1	"b"
1	"c"
2	"a"
2	"b"
2	"c"
3	"d"
3	"e"
3	"f"
4	"d"
4	"e"
4	"f"

注意上面语句中，两个lateral view按照出现的次序被执行。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/凡人多烦事01/article/detail/655750