Python正则表达式
正则表达式是一个很强大的字符串处理工具，几乎任何关于字符串的操作都可以使用正则表达式来完成，作为一个爬虫工作者，每天和字符串打交道，正则表达式更是不可或缺的技能，正则表达式的在不同的语言中使用方式可能不一样，不过只要学会了任意一门语言的正则表达式用法，其他语言中大部分也只是换了个函数的名称而已，本质都是一样的。下面，我来介绍一下python中的正则表达式是怎么使用的
正则表达式模式
模式字符串使用特殊的语法来表示一个正则表达式：
字母和数字表示他们自身。一个正则表达式模式中的字母和数字匹配同样的字符串。
多数字母和数字前加一个反斜杠时会拥有不同的含义。
标点符号只有被转义时才匹配自身，否则它们表示特殊的含义。
反斜杠本身需要使用反斜杠转义。
由于正则表达式通常都包含反斜杠，所以你最好使用原始字符串来表示它们。模式元素(如 r'\t'，等价于 '\\t')匹配相应的特殊字符。下表列出了正则表达式模式语法中的特殊元素。如果你使用模式的同时提供了可选的标志参数，某些模式元素的含义会改变。 [...] 用来表示一组字符,单独列出:[amk]匹配a,m或k [^...] 不在[]中的字符:[^amk]匹配除amk之外的字符 re* 匹配0个或多个的表达式 re+ 匹配1个或多个的表达式 re? 匹配0个或1个由前面的正则表达式定义的片段,非贪婪方式. re{n} 精准匹配n个前面表达式 re{n,} 匹配大于等于n个前面表达式 re{n,m} 匹配n到m个前面的表达式定义的片段,贪婪方式 a|b 匹配a或b (re) 对正则表达式分组,并记住匹配的文本 (?imx) 正则表达式包含三种可选标志,imx,只影响括号中的区域. (?-imx) 正则表达式关闭imx可选标志,只影响括号中的区域. (?:re) 类似(...)但不表示一个组 (?imx:re) 在括号中使用imx可选标志 (?-imx:re) 在括号中不是用imx可选标志 (?#...) 注释 (?=re) 前向肯定界定符.如果所含正则表达式,以...表示,在当前位置成功匹配时成功,否则失败.但一旦所含表达式已经尝试,匹配引擎根本没有提高,模式的剩余部分还要尝试界定符右边. (?!re) 前向否定界定符.与肯定界定符相反;当所含的表达式不能在字符串当前位置匹配成功时成功. (?>re) 匹配的独立模式,省去回朔. ^ 匹配字符串开头 $ 匹配字符串结尾 . 匹配除换行之外的一个字符.当re.DOTAALL标记被指定时,则可以匹配包括换行符的任意字符. *匹配*号前一个字符0次或多次 +匹配前一个字符1次或多次 ？匹配前一个字符1次或0次 \w 匹配字符数字以及下划线，相当于类 [a-zA-Z0-9_] \W 匹配非字母数字下划线，相当于类 [^a-zA-Z0-9_] \s 匹配任意空白字符,等价于[\t\n\r\f] \S 匹配任意非空白字符 \d 匹配任意数字，相当于类 [0-9] \D 匹配任意非数字，相当于类 [^0-9] \A 匹配字符串开始 \Z 匹配字符串结束,如果是存在换行,只匹配到换行前的结束字符串. \z 匹配字符串结束 \G 匹配最后匹配完成的位置 \b 匹配一个单词边界,也就是指单词和空格之间的位置 \B 匹配非单词边界 \n \t 匹配一个换行符,一个制表符 \1...\9 匹配第n个分组的内容
# 正则表达式实例: # 实例: 描述: # [Pp]ython 匹配 "Python" 或 "python" # rub[ye] 匹配 "ruby" 或 "rube" # [aeiou] 匹配中括号内的任意一个字母 # [0-9] 匹配任何数字。类似于 [0123456789] # [a-z] 匹配任何小写字母 # [A-Z] 匹配任何大写字母 # [a-zA-Z0-9] 匹配任何字母及数字 # [^aeiou] 除了aeiou字母以外的所有字符 # [^0-9] 匹配除了数字外的字符
re.search().group()
# re.search 扫描整个字符串并返回第一个成功的匹配,如果匹配失败search()就返回None。 #我们可以使用group(num) 或 groups() 匹配对象函数来获取匹配表达式 # re.search(pattern, string, flags=0) # pattern匹配的正则表达式 # string要匹配的字符串。 # flags标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。# group(num=0)匹配的整个表达式的字符串，group() 可以一次输入多个组号，将返回一个包含那些组所对应值的元组。 # groups()返回一个包含所有小组字符串的元组
re.findall()
#findall在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。 #注意：match 和 search 是匹配一次 findall 匹配所有。 # findall(pattern, string, flags=0) pattern 为正则表达式 string 为待操作字符串 flags 为所用模式
re.split() split 根据匹配进行切割字符串，并返回一个列表 ret1 = re.split(":","胖子老板:一包烟17元啦") print(ret1)
['胖子老板', '一包烟17元啦']
#据多个条件进行切割 ret2 = re.split(r":|\s","胖子老板:一包烟17元啦 肥仔白: 这么贵啊！") print(ret2)
['胖子老板', '一包烟17元啦', '肥仔白', '', '这么贵啊！']
案例一：
#提取第一个匹配项
line1 = r'<a href="/ershoufang/minhang/" title="上海闵行在售二手房 ">闵行</a><meta' \
r'name="description" content="上海链家二手房频道,发布上海二手房真实在售房源信息,' \
r'为您提供上海二手房房源出售、二手房买卖交易等信息,快速查询上海二手房房价、特色、' \
r'带看情况等.链家,连接每个家的故事."<a href="/ershoufang/hongkou/" title="上海虹口在售二手房 ">虹口</a>' \
r'<a href="/ershoufang/qingpu/" title="上海青浦在售二手房 ">青浦</a>' \
r'<a href="/ditiefang/li143685036/" title="上海1号线在售二手房 ">1号线</a>' \
r'<a href="/ditiefang/li110460733/" title="上海16号线在售二手房 ">16号线</a>>'
#匹配上第一个地铁线
print(re.search(".号线",line1).group())
#匹配上第一个数字
print(re.search("[0-9]",line1).group())
#匹配所有地铁线
print(re.findall(".号线",line1))
#匹配所有数字段
print(re.findall("\d+",line1))
#匹配所有非字母段
print(re.findall('[^a-z^A-Z]+',line1))
#匹配所有标签内的
print(re.findall('<a href=(.+?)>',line1))
1号线
1
['1号线', '1号线', '6号线', '6号线']
['143685036', '1', '1', '110460733', '16', '16']
['<', ' ', '="/', '/', '/" ', '="上海闵行在售二手房 ">闵行</', '><', '="', '" ', '="上海链家二手房频道,发布上海二手房真实在售房源信息,为您提供上海二手房房源出售、二手房买卖交易等信息,快速查询上海二手房房价、特色、带看情况等.链家,连接每个家的故事."<', ' ', '="/', '/', '/" ', '="上海虹口在售二手房 ">虹口</', '><', ' ', '="/', '/', '/" ', '="上海青浦在售二手房 ">青浦</', '><', ' ', '="/', '/', '143685036/" ', '="上海1号线在售二手房 ">1号线</', '><', ' ', '="/', '/', '110460733/" ', '="上海16号线在售二手房 ">16号线</', '>>']
['"/ershoufang/minhang/" title="上海闵行在售二手房 "', '"/ershoufang/hongkou/" title="上海虹口在售二手房 "', '"/ershoufang/qingpu/" title="上海青浦在售二手房 "', '"/ditiefang/li143685036/" title="上海1号线在售二手房 "', '"/ditiefang/li110460733/" title="上海16号线在售二手房 "']
案例二：
line2=r"[转让] Z77 北京-武汉 硬卧 1张 发车日期:12-26 http://www.huochepiao.com/Info/2007-12/TWG2007122114001.htm" \
" MB_13401008452[转让] Z77 北京-武汉 硬卧 1张 发车日期:12-26" \
"http://www.huochepiao.com.cn/Info/2007-12/TWG2007122114001.htm MB_13401008452"
#提取.com和.com.cn域名的中间部分
print(re.findall(r'http://(.+?)/',line2))
#提取.com和.com.cn域名的中间全部
print(re.findall(r'http://.+?/',line2))
['www.huochepiao.com', 'www.huochepiao.com.cn']
['http://www.huochepiao.com/', 'http://www.huochepiao.com.cn/']
案例三：
line3= """http://www.interoem.com/messageinfo.asp?id=35
http://3995503.com/class/class09/news_show.asp?id=14
http://lib.wzmc.edu.cn/news/onews.asp?id=769
http://www.zy-ls.com/alfx.asp?newsid=377&id=6
http://www.fincm.com/newslist.asp?id=415"""
#提取.com或.cn
print(re.findall("http://.*?.com|http://.*?.cn", line3))
print(re.findall("http://(.*?).com|http://(.*?).cn", line3))
['http://www.interoem.com', 'http://3995503.com', 'http://lib.wzmc.edu.cn', 'http://www.zy-ls.com', 'http://www.fincm.com']
[('www.interoem', ''), ('3995503', ''), ('', 'lib.wzmc.edu'), ('www.zy-ls', ''), ('www.fincm', '')]案例四：
line4= '<img class="course-banner lazy" data-original="//img4.hhhaaa.com/5a405d45000175cb06000338-240-135.jpg"' \
' src="//img4.hhhaaa.com/5a405d45000175cb06000338-240-135.jpg" style="display: inline;">'
#提取多个jpg中的第一个全部
print(re.search('<img class="course-banner lazy" data-original="(.*?)"',line4).group())
#提取多个jpg中的第一个部分
print(re.search('<img class="course-banner lazy" data-original="(.*?)"',line4).group(1))
<img class="course-banner lazy" data-original="//img4.hhhaaa.com/5a405d45000175cb06000338-240-135.jpg"
//img4.hhhaaa.com/5a405d45000175cb06000338-240-135.jpg腾讯云开发者
