Python正则表达式-re模块奇技淫巧

文章目录

• 正则表达式
• • 概念
  • 构成
• re模块应用
• 常用正则表达式
• • 数字
  • 字符
  • 其他
• 小结

在这里插入图片描述

正则表达式

概念

正则表达式作为计算机科学的一个概念，通常被用来检索、替换那些符合某个规则的文本。正则表达式是对字符串操作的一种逻辑公式，用事先定义好的规则字符串对字符串进行过滤逻辑处理。

正则表达式从本质上讲，是一种小型的、高度专业化的编程语言。在Python中，正则表达式通过re模块实现。正则表达式可以先给匹配的相应字符串集指定规则，再通过re模块一某些方式来修改或分隔字符串。

正则表达式模式先被编译成一系列的字节码，再由用C语言编写的匹配引擎执行，所以从某种程度上说比直接写Python字符串处理代码快。但是并非所有字符串匹配都能用正则表达式完成，即使可以处理单表达式也变得很复杂，可读性差，这是建议直接编写Python代码。

构成

正则表达式由2种字符构成，一种是在正则表达式中具有特殊意义的元字符，另一种是普通字符。

字符及语法：

以上规则只是单一针对字符串匹配，在实际应用中多会是多种单一匹配的组合，因此最好掌握以便Python开始时熟练应用。而直接记忆这些规则教枯燥，下文讲结合Python的re模块进行讲解，以便熟练掌握。

re模块应用

一、查看版本 Python从1.5版本后增加了re模块，提供了入Perl风格的正则表达式模式。 re模块内嵌在Python中，因此可以直接导入，使用方法__version__可查看版本，以及方法__all__查看属性方法：

import re
print(re.__version__)
print(re.__all__)
#输出结果如下：
2.2.1
['match', 'fullmatch', 'search', 'sub', 'subn', 'split', 'findall', 'finditer', 'compile', 'purge', 'template', 'escape', 'error', 'Pattern', 'Match', 'A', 'I', 'L', 'M', 'S', 'X', 'U', 'ASCII', 'IGNORECASE', 'LOCALE', 'MULTILINE', 'DOTALL', 'VERBOSE', 'UNICODE']

上述代码看出，re模块涉及函数并不多，功能一是查找文本中的模式，二是编译表达式，三是多层匹配，同时还定义了一些常量。

二、search()查找 查找文本中的模式主要使用search()函数。该函数有pattern、string、flags三个参数；

• pattern表示编译时用的表达式字符串
• string表示用于匹配的字符串
• flags表示编译标志为，用于修改正则表达式的匹配方式，如是否区分大小写、多行匹配等，默认值为0。 常用的flag值如下：

re.serach()函数通过模式和扫描的文本作为输入，返回匹配对象，若未找到匹配模式，则返回None：

在这里插入图片描述

从上看出match为返回的匹配对象，包含了有关匹配性质的信息。使用正则表达式时，模式在原字符串中出现的位置，具有start()、end()、group()、span()、groups()等方法：

• start()返回匹配开始位置
• end()返回匹配结束位置
• group()返回被匹配的字符串
• span()返回一个包含匹配（开始、结束）位置的元组
• groups()返回一个包含正则表达式中所有小组字符串的元组，从1到所含的小组号，通常不需要参数。除此之外，还有一个group(n,m)方法，返回组号为(n,m)所匹配的字符串。

在这里插入图片描述

三、compile()预编译 使用函数compile()将正则表达式编译成正则表达式对象，提高执行效率。该函数返回的是一个对象模式，有pattern、flags=0两个参数，含义和上文search()中提到一致。

在这里插入图片描述

通常编译的表达式都是程序频繁使用的表达式，这样编译起来会更加高效，但也会开销一定缓存。使用已编译的表达式还有一个好处，即在加载模块是就编译所有表达式，而不是当程序响应用户动作时才进行编译。

四、match()开始位置匹配 使用函数match()在文本字符串的开始位置匹配，这种方法并非完全匹配，只匹配字符串的开始位置/首部，无须在乎其后是否还有字符串，尽管后面可能匹配上，也全部忽略。

在这里插入图片描述

五、findall()及finditer()遍历匹配 使用函数findall()进行遍历匹配，获取字符串中所有匹配的字符串，返回一个列表。该函数的作用与参数跟search()函数一样，但它返回所有匹配且不重叠的子字符串。

函数finditer()的使用方式和findall()一样，只不过返回的是一个迭代器，而不是列表。它将生成Match实例。

在这里插入图片描述

（插播反爬信息 ）博主CSDN地址：https://wzlodq.blog.csdn.net/

六、split()分割 函数split()能够俺在匹配的子字符串将需匹配的字符串进行分割，并返回一个列表。

在这里插入图片描述

七、sub()及subn()替换 函数sub使用pattern替换string中每一个匹配的子串，并返回替换后的子串，格式为re.sub(pattern,repl,string,count,flag)。而函数subn()在此基础上多返回一个替换次数。

• pattern是表达式字符串
• repel是替换后的字符
• string是用于匹配的字符串
• count是最大替换次数，超出后不再替换
• flag同上文

在这里插入图片描述

常用正则表达式

数字

数字表达式校验主要针对文本中出现的数字进行正则表达式校的匹配，下面将讲解一些常用的表达式，并使用re模块对其进行处理演示。

1. ^[0-9]* 和前文提到的^是匹配字符串开始位置；是匹配字符的结束位置；[0-9]表示任一数字；*匹配前一个字符0次或无数次。下面的将不再赘述，不清楚请翻阅上文。 综上，该表达式用来匹配数字。
2. ^[1-9]\d*$匹配非0正整数

在这里插入图片描述

1. ^\d{n}$匹配n位数字

在这里插入图片描述

1. ^\d{n,}$匹配的是至少n位数字

在这里插入图片描述

1. ^\d{m,n}$匹配m位到n位的数字

在这里插入图片描述

1. ^[1-9][0-9]*.[0-9]{1,2}?$匹配非0开头的最多带两位小数的数字

在这里插入图片描述

字符

文本分析中，常常会涉及字符表达式的处理，比如提取汉字，对长度为多少的字符进行删除等。

1. [\u4e00-\u9fa5]汉字匹配

在这里插入图片描述

1. ^[A-Za-z0-9]+$英文和数字的匹配

在这里插入图片描述

1. ^[\u4E00-\u9FA5AA-Za-z0-9]+$中英文数字匹配

在这里插入图片描述

其他

1. ^\w+(-+.\w)*@\w+([-.]\w+)*\.\w+([-.]\w+)*$E-mail地址校验

在这里插入图片描述

1. ^1[34589]\\d{9}$手机号码

在这里插入图片描述

1. ^[1-9]\d{5}(18|19|([23]\d))\d{2}((0[1-9])|(10|11|12))(([0-2][1-9])|10|20|30|31)\d{3}[0-9Xx]$身份证号

在这里插入图片描述

1. ^[1-9]\d{5}(?!\d)$邮政编码

在这里插入图片描述

1. (?i)^([a-z0-9]+(-[a-z0-9]+)*\.)+[a-z]{2,}$域名

在这里插入图片描述

小结

正则表达式re模块最重要的功能就是过滤，从目标中过滤出所需的数据，然后再通过函数组合等，从字符串中过滤出任何特征的数据，是后续Python爬虫解析数据的基础。

Python系列博客持续更新中