HIVE 分组排序查询_hive group by组内排序

笔者在参加面试时遇到的一个关于hive数据库查询的的问题题意大概是这个样子的。有如下图结构的一个表：

表中的数据是长这个样子的： 

 

面试官要求我查询的结果是长这个样子的

 我第一印象觉得这个题还蛮简单的，就写了一个

select col1,col2,col3,max(col4) from test_select
group by col1,col2;

 面试官说你确定吗？我就感觉这应该有问题，但是不知道具体哪里有问题，就硬着头皮说没有问题吧.....后来我就挂了【捂脸】

痛定思痛 我回来后自己造了一些数据 在hive下运行我写的SQL 确实是不行的 原因是 select 后面 只能跟分组的列和 聚合的列 

 

正确的写法应是：

select col1,col2,col3,col4 from (SELECT *, Row_Number() OVER (partition by col1,col2 ORDER BY col4 desc) rank FROM test1) as b 
 where b.rank == 1;

使用 row_number() over (partition by 分组列 order by 排序列）,这是我请教大佬后的一个写法，应该还有其他的写法，写在这里供大家参考吧

 

随便说一句 上面的那个错误的写法 在mysql中运行时一点问题没有的

 这样说明了hiveSQL和mysql数据库还是有很多不同的大家需要留心

hbase和mysql的区别

1.hbase是一个nosql数据库，mysql是一个sql数据库

2.hbase是基于列存储的，mysql是行存储

3.hbase的数据类型只有一个string,mysql数据类型比较丰富

4.hbase的并发量支持非常高，mysql比较低

5.如果数据需要一些业务逻辑处理，那么使用mysql,

就是简单的数据，但是存储平率非常高，使用hbase

 

参考

https://one-line-it.blogspot.com/2012/11/hive-expression-not-in-group-by-key.html

https://www.yuque.com/hellobigdata/bigdata/ggtkbx