mysql explode函数_hive中，lateral view 与 explode函数

hive中常规处理json数据，array类型json用get_json_object(#,"$.#")这个方法足够了，map类型复合型json就需要通过数据处理才能解析。

explode：字段行转列

select explode(split(字段,',')) as abc from explode_lateral_view;

select explode(split(字段,',')) as abc from explode_lateral_view;

LATERAL VIEW：单行数据拆解成多行数据

侧视图的意义是配合explode(或者其他的UDTF)，一个语句生成把单行数据拆解成多行后的数据结果集。

select get_json_object(concat('{',sale_info_r,'}'),'$.monthSales') as monthSales from explode_lateral_view

LATERAL VIEW explode(split(regexp_replace(regexp_replace(sale_info,'\\[\\{',''),'}]',''),'},\\{'))sale_info as sale_info_r;

统一版

通过下面的句子，把这个json格式的一行数据，完全转换成二维表的方式展现

select t1.id ,get_json_object(col,'$.key') as value ,get_json_object(col,'$.key') as value

from

(select id,s.col as col from table_a

lateral view explode(split(regexp_replace(regexp_extract(json,'^\\[(.+)\\]$',1),'\\}\\,|[, ]{0,1}\\{', '\\}\\|\\|\\{'),'\\|\\|')) s as col ) t1

或者另一版本

select get_json_object(concat('{',sale_info_1,'}'),'$.source') as source,

get_json_object(concat('{',sale_info_1,'}'),'$.monthSales') as monthSales,

get_json_object(concat('{',sale_info_1,'}'),'$.userCount') as monthSales,

get_json_object(concat('{',sale_info_1,'}'),'$.score') as monthSales

from explode_lateral_view

LATERAL VIEW explode(split(regexp_replace(regexp_replace(sale_info,'\\[\\{',''),'}]',''),'},\\{'))sale_info as sale_info_1

hive  数据转成json数据组

concat('{\"name\":\"',name,'\",\"cus_nam\":\"',NVL(t2.cus_nam, ''),

'\",\"orderNo\":\"',

NVL(orderNo, ''),

'\",\"ord_no\":\"',

NVL(t1.ord_no, ''),

'\",\"trigger\":\"',

NVL(trigger, ''),

'\",\"assignmentOfClaims\":\"',

NVL(assignmentOfClaims, ''),

'\"}') as value

通过get_json_object函数解析，测试无误

hive 正则匹配

regexp_extract(字段，正则表达式，序号)

匹配样例

select regexp_extract('honey123moon', 'hon([0-9]+)(moon)', 0)

select regexp_extract('x=a3&x=18abc&x=2&y=3&x=4','x=([0-9]+)([a-z]+)',1)

其他：

hive中的lateral view 与 explode函数的使用

hive中的lateral view 与 explode函数的使用 背景介绍: explode与lateral view在关系型数据库中本身是不该出现的. 因为他的出现本身就是在操作不满足第一范式的数 ...

hive lateral view 与 explode详解

ref:https://blog.csdn.net/bitcarmanlee/article/details/51926530 1.explode hive wiki对于expolde的解释如下: e ...

【hive】lateral view的使用

当使用UDTF函数的时候,hive只允许对拆分字段进行访问的 例如: select id,explode(arry1) from table; —错误 会报错FAILED: SemanticExcep ...

Hive之侧视图(Lateral View)

Lateral View和UDTF类功能函数一起使用,表中的每一行和UDTF函数输出的每一行进行连接,生成一张新的虚拟表,可以对UDTF产生的记录设置字段名称,新加的字段可以使用在sort by,gr ...

Hive中的用户自定义函数UDF

Hive中的自定义函数允许用户扩展HiveQL,是一个非常强大的功能.Hive中具有多种类型的用户自定义函数.show functions命令可以列举出当前Hive会话中的所加载进来的函数,包括内置的 ...

Hive扩展功能(三)--使用UDF函数将Hive中的数据插入MySQL中

软件环境: linux系统: CentOS6.7 Hadoop版本: 2.6.5 zookeeper版本: 3.4.8 主机配置: 一共m1, m2, m3这五部机, 每部主机的用户名都为centos ...

hive中array嵌套map以及行转列的使用

1. 数据源信息 {"student": {"name":"king","age":11,"sex" ...

hive中的null

在处理流水增量表的时候,出现了一个判定的失误. select a.a1,a.a2 from ( select a.a1 ,,) as diff ,a.a2 from a lefter join b o ...

Hive之explode和lateral view

Hive之explode 一. explode, 行转列. 1.1. 用于array类型的数据 table_name 表名 array_col 为数组类型的字段 new_col array_col被e ...

随机推荐

BWT压缩算法(Burrows-Wheeler Transform)

参考: BWT (Burrows–Wheeler_transform)数据转换算法 压缩技术主要的工作方式就是找到重复的模式,进行紧密的编码. BWT(Burrows–Wheeler_transfor ...

HttpURLConnection请求

方法调用: //测试 public static void main(String[] args) { Map map = new HashMap(); map.put("type" ...

JavaWeb学习笔记--filter开发

介绍自定义的Filter类必须实现Filter接口,并且实现Filter接口定义的init() doFilter() destory()方法.其中init为初始化,destory为销毁 doFilte ...

iOS 添加导航按钮

iOS设置导航按钮navigationBar中包含了这几个重要组成部分:leftBarButtonItem, rightBarButtonItem, backBarButtonItem, title. ...

基于角色的访问控制 (RBAC)权限管理

RBAC(Role-Based Access Control,基于角色的访问控制),就是用户通过角色与权限进行关联.简单地说,一个用户拥有若干角色,每一个角色拥有若干权限.这样,就构造成“用户-角色- ...

Java中的四种引用

引用定义 实际上,Java中存在四种引用,它们由强到弱依次是:强引用.软引用.弱引用.虚引用.下面我们简单介绍下这四种引用: 强引用(Strong Reference):通常我们通过new来创建一个新 ...

PHPCMS部件

数据库操作: $member_db = pc_base::load_model('member_model'); $memberinfo = $member_db->get_one(array( ...

UVA-11248 Frequency Hopping (最大流+最小割)

题目大意:给一张网络,问是否存在一条恰为C的流.若不存在,那是否存在一条弧,使得改动这条弧的容量后能恰有为C的流? 题目分析:先找出最大流,如果最大流不比C小,那么一定存在一条恰为C的流.否则,找出最 ...

Centos环境下手动设置-网络参数配置-网络挨排错顺序-设置网卡为上网模式的设定

Linux中网络参数大致包含以下内容: IP地址 子网掩码 网关 DNS服务器 主机名(默认 localhost) 历来Linux系统中修改这些参数的方式通常有:命令.文件两种.其中通过命令设置可以立 ...

一种新的自动化 UI 测试解决方案 Airtest Project

今天分享一个自动化UI测试工具airtest——一款网易出品的基于图像识别面向游UI测试的工具,也支持原生Android App基于元素识别的UI自动化测试.主要包含了三部分:Airtest IDE. ...