正则表达式—python、hive函数_regexp_replace python

正则表达式是一个特殊的字符序列，用来查找匹配复杂规则的字符串。

python 中用re 模块实现正则表达式；hive 中提供了regexp 等函数实现正则表达式的功能。

本文将对正则表达式的模式pattern，可选标志位flags，以及python、hive中的相关函数进行讲解。

1、正则表达式模式

2、正则表达式可选标志

正则表达式可以包含一些可选标志修饰符来控制匹配的模式。
多个标志可以通过按位" | "来指定。如 re.I | re.M :

3、python 函数

python 提供了re模块来支持正则表达式相关操作，首先要导入re 模块

import re
1

re.compile(pattern, flags=0)

compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match() 和 search()这两个函数使用。

prog = re.compile(pattern)
result = prog.match(string)
等价于
result = re.match(pattern, string)
1
2
3
4

re.match(pattern, string, flags=0)

尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match() 就返回 none。

import re

print(re.match('www', 'www.runoob.com'))  # 在起始位置匹配
print(re.match('com', 'www.runoob.com'))  # 不在起始位置匹配
print(re.search('www', 'www.runoob.com'))
print(re.search('com', 'www.runoob.com'))

<re.Match object; span=(0, 3), match='www'>
None
<re.Match object; span=(0, 3), match='www'>
<re.Match object; span=(11, 14), match='com'>
1
2
3
4
5
6
7
8
9
10
11

可以使用 group(num) 或 groups() 匹配对象函数来获取匹配表达式。

• group(num=0) 匹配的整个表达式的字符串，group() 可以一次输入多个组号，在这种情况下它将返回一个包含那些组所对应值的元组。
• groups() 返回一个包含所有小组字符串的元组，从 1 到 所含的小组号。

line = "Cats are smarter than dogs";
 
test_group = re.search( r'(.*) are (.*?) .*', line, re.M|re.I)
print(test_group.groups())
print(test_group.group())
print(test_group.group(1))
print(test_group.group(2))

('Cats', 'smarter')
Cats are smarter than dogs
Cats
smarter
1
2
3
4
5
6
7
8
9
10
11
12

re.search(pattern, string, flags=0)

同match 一样，但扫描整个字符串并返回第一个成功的匹配。

re.split(pattern, string, maxsplit=0, flags=0)

根据匹配进⾏切割字符串，并返回⼀个列表。
maxsplit：分隔次数，maxsplit=1 分隔一次，默认为 0，不限制次数

re.split(' ', 'hello world') 

['hello', 'world']
1
2
3

re.sub(pattern, repl, string, count=0, flags=0)

替换字符串中的匹配项
repl：替换的字符串，也可为一个函数。
count：模式匹配后替换的最大次数，默认 0 表示替换所有的匹配。

phone = "2004-959-559 # 这是一个国外电话号码"
 
# 删除字符串中的 Python注释 
num = re.sub(r'#.*$', "", phone)
print(num)
 
# 删除非数字的字符串 
num = re.sub(r'\D', "", phone)
print(num)

2004-959-559 
2004959559
1
2
3
4
5
6
7
8
9
10
11
12

re.subn(pattern, repl, string, count=0, flags=0)

与sub()相同，但是返回一个元组 (字符串, 替换次数)

phone = "2004-959-559 # 这是一个国外电话号码"
 
num = re.subn(r'\D', "", phone)
print(num)

('2004959559', 15)
1
2
3
4
5
6

re.findall(pattern, string, flags=0)

在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。
注：match 和 search 是匹配一次findall 匹配所有。

print(re.findall(r"\d+", "python = 9999, c = 7890, c++ = 12345"))
print(re.search(r"\d+", "python = 9999, c = 7890, c++ = 12345").group())

['9999', '7890', '12345']
9999
1
2
3
4
5

re.finditer(pattern, string, flags=0)

和findall 类似，在字符串中匹配所有满足正则表达式的字符串，但finditer 把它们作为一个迭代器返回。

it = re.finditer(r"\d+", "python = 9999, c = 7890, c++ = 12345")
for i in it:
    print(i.group())

9999
7890
12345
1
2
3
4
5
6
7

4、hive 函数

注：hive 使用正则表达式需使用两个反斜杠 " \ " 转义

regexp

A REGEXP B
功能与RLIKE 相同

# email 不包含8个相同数字
select count(*) from emails where email not regexp '\\d{8}'
1
2

regexp_extract

regexp_extract(string subject, string pattern, int index)
将字符串subject按照pattern正则表达式的规则拆分，返回index指定的字符。
index 默认为1；0表示把整个正则表达式对应的结果全部返回。

select regexp_extract('hiveregexp','(i)(.*?)(r)',0) ;
iver

select regexp_extract('hiveregexp','(i)(.*?)(r)',1) ;
i

select regexp_extract('hiveregexp','(i)(.*?)(r)',2) ;
ve
1
2
3
4
5
6
7
8

regexp_replace

regexp_replace(string A, string B, string C)
将字符串A中符合正则表达式B的部分替换为C。

select regexp_replace("Ilikehive","hive","");
Ilike

select regexp_replace("Ilikehive","hive","python");
Ilikepython
1
2
3
4
5