博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python爬虫知识点总结(五)正则表达式
阅读量:6540 次
发布时间:2019-06-24

本文共 5954 字,大约阅读时间需要 19 分钟。

在线正则表达式匹配:

正则表达式学习:

一、什么是正则表达式?

常见匹配模式

模式 描述
\w 匹配字母数字及下划线
\W 匹配非字母数字下划线
\s 匹配任意空白字符,等价于[\t\n\r\f]
\S 匹配任意非空字符
\d 匹配任意数字,等价于[0-9]
\D 匹配任意非数字
\A 匹配字符串开始
\Z 匹配字符串结束,如果时存在换行,之匹配到换行前的结束字符串
\z 匹配字符串结束
\G 匹配最后匹配完成的位置
\n 匹配一个换行符
\t 匹配一个制表符
^ 匹配字符串的开头
$ 匹配字符串的末尾
. 匹配任意字符,除了换行符,当re.DOTTALL标记被指定时,则可以匹配包括换行符的任意字符
[...] 用来表示一组字符,单独列出:[amk]匹配'a','m'或'k'
[^...] 不再[]中的字符,单独列出:[^abc]匹配除了a,b,c之外的字符
* 匹配0个或多个的表达式
+ 匹配1个或多个的表达式
? 匹配0个或1个由前面的正则表达式定义的片段,非贪婪模式
(n) 精确匹配n个前面表达式
(n,m) 匹配n到m次由前面的正则表达式定义的片段,贪婪方式
a|b 匹配a或b
() 匹配括号内的表达式,也表示一个组

re.match

 re.match尝试从字符串的起始位置匹配一个模式,如果不是起始位置匹配成功的话,match()就返回none.

re.match(pattern,string,flags=0)

  最常规的匹配

import recontent = 'Hello 123 4567 World_This is a Regex Demo'print(len(content))result = re.match('^Hello\s\d{3}\s\d{4}\s\w{10}.*Demo$',content)print(result)print(result.group())print(result.span())

  泛匹配

import recontent = 'Hello 123 4567 World_This is a Regex Demo'result = re.match('^Hello.*Demo$',content)print(result)print(result.group())print(result.span())

  匹配目标

import recontent = 'Hello 1234567 World_This is a Regex Demo'result = re.match('^Hello\s(\d+)\sWorld.*Demo$',content)print(result)print(result.group(1))print(result.span())

  贪婪匹配

import recontent = 'Hello 1234567 World_This is a Regex Demo'result = re.match('^He.*(\d+).*Demo$',content)print(result)print(result.group(1))print(result.span())

  非贪婪匹配

import recontent = 'Hello 1234567 World_This is a Regex Demo'result = re.match('^He.*?(\d+).*Demo$',content)print(result)print(result.group(1))print(result.span())

  匹配模式

import recontent = '''Hello 1234567 World_This is a Regex Demo'''result = re.match('^He.*?(\d+).*?Demo$',content,re.S)# .不能匹配换行符,re.S来支持匹配换行符print(result)print(result.group(1))

  转义

import recontent = 'price is $5.00'result = re.match('price is \$5\.00',content)print(result)

  总结:尽量使用泛匹配、使用括号得到匹配目标、尽量使用非贪婪模式、有换行符就用re.S  

  re.search

  re.search 扫描整个字符串并返回第一个成功的匹配

import recontent = 'Extra strings Hello 1234567 World_This is a Regex Demo Extra strings'result = re.match('Hello.*?(\d+).*?Demo',content)print(result)

 

import recontent = 'Extra strings Hello 1234567 World_This is a Regex Demo Extra strings'result = re.search('Hello.*?(\d+).*?Demo',content)print(result)

  总结:为了匹配方便,能用search就不用match

匹配练习

import rehtml = '''

金典老歌

金典老歌列表

'''result = re.search('
(.*?)',html,re.S)if result: print(result.group(1),result.group(2))else: print("ok")

  

import rehtml = '''

金典老歌

金典老歌列表

'''result = re.search('
(.*?)',html,re.S)if result: print(result.group(1),result.group(2))else: print("ok")

  

import rehtml = '''

金典老歌

金典老歌列表

'''result = re.search('
(.*?)',html)if result: print(result.group(1),result.group(2))else: print("ok")

  

re.findall

搜索字符串,一列表形式返回全部能匹配的字串

import rehtml = '''

金典老歌

金典老歌列表

'''results = re.findall('
(.*?)',html,re.S)print(results)print(type(results))for result in results: print(result) print(result[0],result[1],result[2])

  

import rehtml = '''

金典老歌

金典老歌列表

'''results = re.findall('
\s*?(
)?(\w+)(?\s*?

  

re.sub

替换字符串中每一个匹配的子串后返回替换后的字符串

import recontent = 'Extra strings Hello 1234567 World_This is a Regex Demo Extra strings'content = re.sub('\d+','',content)print(content)

  

import recontent = 'Extra strings Hello 1234567 World_This is a Regex Demo Extra strings'content = re.sub('\d+','Reldjaidja',content) # 将\d+所在位置替换成Reldjaidjaprint(content)

  

import recontent = 'Extra strings Hello 1234567 World_This is a Regex Demo Extra strings'content = re.sub('(\d+)',r'\1 8910',content) # \1是将第一个括号里的内容作了替换print(content)

  

import rehtml = '''

金典老歌

金典老歌列表

'''html = re.sub('
|','',html)print(html)results = re.findall('
(.*?)',html,re.S)print(results)for result in results: print(result.strip())

  

re.compile

将正则字符串编译成正则表达式对象:

  将一个正则表达式串编译成正则对象,以便于复用该匹配模式

import recontent = '''Hello 1234567 World_Tisis a Regex Demo'''# 第一种pattern = re.compile('Hello.*Demo',re.S)result = re.match(pattern,content)print(result)#第二种result = re.match('Hello.*Demo',content,re.S)print(result)

  

练习:爬去豆瓣图书的图书信息

  

import requestsimport recontent = requests.get('https://book.douban.com').textpattern = re.compile('
.*?"author">(.*?).*?"year">(.*?).*?"publisher">(.*?).*?',re.S)print(pattern)results = re.findall(pattern,content)print(results)for ret in results:url,title,author,date,publisher = retauthor = re.sub('\s','',author)date=re.sub('\s','',date)publisher=re.sub('\s','',publisher)print(url,title,author,date,publisher)

  

 

转载于:https://www.cnblogs.com/cthon/p/9402364.html

你可能感兴趣的文章
linux下IPTABLES配置详解
查看>>
Android开发入门系列
查看>>
最强最全干货分享:Android开发书籍、教程、工具等
查看>>
说清楚讲明白vxlan在openstack中的使用场景
查看>>
RHCE 学习笔记(36) - MariaDB
查看>>
文件删除封装,懒得以后再写了
查看>>
Linux 脚本之用户创建
查看>>
Mysql字段类型设计相关问题!
查看>>
Xshell 密钥登陆
查看>>
所见不为真--图片格式文件检测python
查看>>
分享几种常用的嵌入式Linux GUI及其特点—干货
查看>>
Confluence 6 "Duplicate Key" 相关问题解决
查看>>
第18章 使用MariaDB数据库管理系统
查看>>
浅谈MySQL的B树索引与索引优化
查看>>
数据库迁移工具
查看>>
【喜报】HCIE--PASS !最可怕的敌人,就是没有坚强的信念!
查看>>
2019年人工智能行业又进入冬天了吗?
查看>>
想学前端,为什么不看这些书呢?
查看>>
记一次mapreduce读取不到输入文件的问题
查看>>
我的友情链接
查看>>