HIve 中 collect_list和collect_set 函数的使用总结_collect list

作者：weixin_40725706 | 2024-05-08 09:13:44

踩

collect list

Hive中collect相关的函数有collect_list和collect_set。

它们都是将分组中的某列转为一个数组返回，collect_list函数不去重而collect_set函数会去重。
例如：有如下一个数据表
在这里插入图片描述

进行行转列
很明显我们能看看到，张三做了两次B类项目
1、使用 collect_list函数

select user , collect_list(  project ) from   tb   group by user ;
1

得到的结果将是
在这里插入图片描述
张三的两次B类项目，不会进行去重

2、若使用collect_set 函数，就会去重

select user, collect_set( project ) from tb   group by user;
1

结果是
在这里插入图片描述
3、其他用法
使用下标获取一列内容

select user, collect_list(video_name)[0]    from tb   group by username;

1
2

在这里插入图片描述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/weixin_40725706/article/detail/553879