博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python爬虫知识点总结(五)正则表达式
阅读量:6540 次
发布时间:2019-06-24

本文共 5954 字,大约阅读时间需要 19 分钟。

在线正则表达式匹配:

正则表达式学习:

一、什么是正则表达式?

常见匹配模式

模式 描述
\w 匹配字母数字及下划线
\W 匹配非字母数字下划线
\s 匹配任意空白字符,等价于[\t\n\r\f]
\S 匹配任意非空字符
\d 匹配任意数字,等价于[0-9]
\D 匹配任意非数字
\A 匹配字符串开始
\Z 匹配字符串结束,如果时存在换行,之匹配到换行前的结束字符串
\z 匹配字符串结束
\G 匹配最后匹配完成的位置
\n 匹配一个换行符
\t 匹配一个制表符
^ 匹配字符串的开头
$ 匹配字符串的末尾
. 匹配任意字符,除了换行符,当re.DOTTALL标记被指定时,则可以匹配包括换行符的任意字符
[...] 用来表示一组字符,单独列出:[amk]匹配'a','m'或'k'
[^...] 不再[]中的字符,单独列出:[^abc]匹配除了a,b,c之外的字符
* 匹配0个或多个的表达式
+ 匹配1个或多个的表达式
? 匹配0个或1个由前面的正则表达式定义的片段,非贪婪模式
(n) 精确匹配n个前面表达式
(n,m) 匹配n到m次由前面的正则表达式定义的片段,贪婪方式
a|b 匹配a或b
() 匹配括号内的表达式,也表示一个组

re.match

 re.match尝试从字符串的起始位置匹配一个模式,如果不是起始位置匹配成功的话,match()就返回none.

re.match(pattern,string,flags=0)

  最常规的匹配

import recontent = 'Hello 123 4567 World_This is a Regex Demo'print(len(content))result = re.match('^Hello\s\d{3}\s\d{4}\s\w{10}.*Demo$',content)print(result)print(result.group())print(result.span())

  泛匹配

import recontent = 'Hello 123 4567 World_This is a Regex Demo'result = re.match('^Hello.*Demo$',content)print(result)print(result.group())print(result.span())

  匹配目标

import recontent = 'Hello 1234567 World_This is a Regex Demo'result = re.match('^Hello\s(\d+)\sWorld.*Demo$',content)print(result)print(result.group(1))print(result.span())

  贪婪匹配

import recontent = 'Hello 1234567 World_This is a Regex Demo'result = re.match('^He.*(\d+).*Demo$',content)print(result)print(result.group(1))print(result.span())

  非贪婪匹配

import recontent = 'Hello 1234567 World_This is a Regex Demo'result = re.match('^He.*?(\d+).*Demo$',content)print(result)print(result.group(1))print(result.span())

  匹配模式

import recontent = '''Hello 1234567 World_This is a Regex Demo'''result = re.match('^He.*?(\d+).*?Demo$',content,re.S)# .不能匹配换行符,re.S来支持匹配换行符print(result)print(result.group(1))

  转义

import recontent = 'price is $5.00'result = re.match('price is \$5\.00',content)print(result)

  总结:尽量使用泛匹配、使用括号得到匹配目标、尽量使用非贪婪模式、有换行符就用re.S  

  re.search

  re.search 扫描整个字符串并返回第一个成功的匹配

import recontent = 'Extra strings Hello 1234567 World_This is a Regex Demo Extra strings'result = re.match('Hello.*?(\d+).*?Demo',content)print(result)

 

import recontent = 'Extra strings Hello 1234567 World_This is a Regex Demo Extra strings'result = re.search('Hello.*?(\d+).*?Demo',content)print(result)

  总结:为了匹配方便,能用search就不用match

匹配练习

import rehtml = '''

金典老歌

金典老歌列表

'''result = re.search('
(.*?)',html,re.S)if result: print(result.group(1),result.group(2))else: print("ok")

  

import rehtml = '''

金典老歌

金典老歌列表

'''result = re.search('
(.*?)',html,re.S)if result: print(result.group(1),result.group(2))else: print("ok")

  

import rehtml = '''

金典老歌

金典老歌列表

'''result = re.search('
(.*?)',html)if result: print(result.group(1),result.group(2))else: print("ok")

  

re.findall

搜索字符串,一列表形式返回全部能匹配的字串

import rehtml = '''

金典老歌

金典老歌列表

'''results = re.findall('
(.*?)',html,re.S)print(results)print(type(results))for result in results: print(result) print(result[0],result[1],result[2])

  

import rehtml = '''

金典老歌

金典老歌列表

'''results = re.findall('
\s*?(
)?(\w+)(?\s*?

  

re.sub

替换字符串中每一个匹配的子串后返回替换后的字符串

import recontent = 'Extra strings Hello 1234567 World_This is a Regex Demo Extra strings'content = re.sub('\d+','',content)print(content)

  

import recontent = 'Extra strings Hello 1234567 World_This is a Regex Demo Extra strings'content = re.sub('\d+','Reldjaidja',content) # 将\d+所在位置替换成Reldjaidjaprint(content)

  

import recontent = 'Extra strings Hello 1234567 World_This is a Regex Demo Extra strings'content = re.sub('(\d+)',r'\1 8910',content) # \1是将第一个括号里的内容作了替换print(content)

  

import rehtml = '''

金典老歌

金典老歌列表

'''html = re.sub('
|','',html)print(html)results = re.findall('
(.*?)',html,re.S)print(results)for result in results: print(result.strip())

  

re.compile

将正则字符串编译成正则表达式对象:

  将一个正则表达式串编译成正则对象,以便于复用该匹配模式

import recontent = '''Hello 1234567 World_Tisis a Regex Demo'''# 第一种pattern = re.compile('Hello.*Demo',re.S)result = re.match(pattern,content)print(result)#第二种result = re.match('Hello.*Demo',content,re.S)print(result)

  

练习:爬去豆瓣图书的图书信息

  

import requestsimport recontent = requests.get('https://book.douban.com').textpattern = re.compile('
.*?"author">(.*?).*?"year">(.*?).*?"publisher">(.*?).*?',re.S)print(pattern)results = re.findall(pattern,content)print(results)for ret in results:url,title,author,date,publisher = retauthor = re.sub('\s','',author)date=re.sub('\s','',date)publisher=re.sub('\s','',publisher)print(url,title,author,date,publisher)

  

 

转载于:https://www.cnblogs.com/cthon/p/9402364.html

你可能感兴趣的文章
ubuntu下安装nginx时依赖库zlib,pcre,openssl安装方法
查看>>
spring cloud微服务分布式云架构--hystrix的使用
查看>>
linux tail
查看>>
解决Mac启动Eclipse Memory Analyzer报错问题
查看>>
jquery的$().each,$.each的区别
查看>>
自己写的进度条###
查看>>
windows磁盘扩容(动态磁盘)
查看>>
实现批量添加20个用户,用户名为user1-50,密码为user后面跟5个随机字符
查看>>
Net命令详解
查看>>
CentOS linux 高可用集群之heartbeat
查看>>
Logwatch日志分析工具
查看>>
docker 基本操作Ⅱ(关于镜像操作)
查看>>
分工與合作
查看>>
轻松设置站点对ASP危险组件的调用权限
查看>>
看懂“拜占庭容错”,也就看懂了区块链的核心技术
查看>>
APMServ 5.2.6 Win7 Apache启动失败,请检查相关配置
查看>>
了解痘痘起因才能彻底告别痘痘烦恼
查看>>
Zabbix安装
查看>>
Java 日志 详解
查看>>
openstack虚拟化技术和镜像制作
查看>>