2020-08-03 10:32发布
正则表达式里匹配次数的元字符有: (一) {0,1}、{0,}、{1,}、{3} 逗号前面次数到逗号后面次数 (二) ?、?? 0次或1次 (三) * 0次以上,即0~n (四) + 1次以上,即1~n
下面深入讲解下这几个元字符的意义:
(一) {0,1}、{0,}、{1,}、{3} 逗号前面次数到逗号后面次数
上面列了几种都是{}用于表示次数时常见的写法。 1. {0,1} 匹配0次或1次 2. {0,} 匹配0次以上,逗号后面为空表示无限次的意思 3. {1,} 匹配1次以上 4. {3} 匹配3次,它是{3,3}的简写形式
需要注意的是,前面数字大于后面数字是会报错的
有时候会看到[0-9]{1}这样的写法,其实这样写也算是多余的,它等价[0-9],正则里没有添加量词修饰的匹配都是按1次算。
(二) ?、?? 0次或1次
? 匹配0次或1次,可以理解为{0,1}的简写,常见用法有: 1. https? 用于匹配http或https 2. (https?://)? 用于匹配域名前缀https?://可有可无的情况。 另外,需要了解的是,?是匹配优先的,这是什么意思呢? 所谓匹配优先,就是字面意思,能匹配我就先匹配。 下面举例说明一下: 源码:www.zjmainstay.cn 正则:^(www\.)?(.+)$ 匹配结果是:分组1得到了www.,分组2得到了zjmainstay.cn 从这里可以看出,对于(www\.)?部分的正则,它先进行了匹配,然后.+部分再匹配。 那么,如果我们想要把www.留给后面的.+去匹配怎么办? 我们需要找到一个非匹配优先的方法,对于非匹配优先,接触过非贪婪模式的读者可能马上想到非贪婪模式,不错,利用非贪婪模式可以解决这个问题: 正则:^(www\.)*?(.+)$ 当然,使用正则:^(www\.){0,1}?(.+)$也是可以的,而且这个更接近原本的意思。 另外,很多人可能没见过,其实我们还能用:^(www\.)??(.+)$实现。这里的??是?的非匹配优先版本。
(三) * 0次以上,即0~n
* 0次或任意次,可以理解为{0,}的简写,常见用法有: 1. .* 贪婪模式,匹配优先,匹配除换行外的任意字符0次以上 2. .*? 非贪婪模式,非匹配优先,匹配除换行外的任意字符0次以上 3. 大家可能发现,.*? 这里也有?,但是它已经脱离了前面对?介绍的0次或1次的范围,没错,只是为了让大家不至于混淆,我没有把它归入上面的?当中。 我们可以理解为,?只要跟本文所说的几个计次量词结合,就形成非贪婪模式。甚至,连??你都可以认为是结合后的0次或1次的非贪婪模式,反正也能解释通不是? (四) + 1次以上,即1~n+ 与 * 除了匹配次数意义上有所差别,常见用法都类似,它强调的是至少匹配1次以上,可以理解为{1,}的简写。 1. .+ 贪婪模式,匹配优先,匹配除换行外的任意字符1次以上 2. .+? 非贪婪模式,非匹配优先,匹配除换行外的任意字符1次以上 3. 总结量词本身使用时,都是贪婪模式匹配,而量词和?能结合成非贪婪模式匹配。 贪婪模式匹配就是尽可能多地匹配,非贪婪模式匹配就是尽可能少地匹配。转载于:https://www.cnblogs.com/tsql/p/6386210.html
大家可能发现,.*? 这里也有?,但是它已经脱离了前面对?介绍的0次或1次的范围,没错,只是为了让大家不至于混淆,我没有把它归入上面的?当中。 我们可以理解为,?只要跟本文所说的几个计次量词结合,就形成非贪婪模式。甚至,连??你都可以认为是结合后的0次或1次的非贪婪模式,反正也能解释通不是?
(四) + 1次以上,即1~n
+ 与 * 除了匹配次数意义上有所差别,常见用法都类似,它强调的是至少匹配1次以上,可以理解为{1,}的简写。 1. .+ 贪婪模式,匹配优先,匹配除换行外的任意字符1次以上 2. .+? 非贪婪模式,非匹配优先,匹配除换行外的任意字符1次以上 3. 总结量词本身使用时,都是贪婪模式匹配,而量词和?能结合成非贪婪模式匹配。 贪婪模式匹配就是尽可能多地匹配,非贪婪模式匹配就是尽可能少地匹配。转载于:https://www.cnblogs.com/tsql/p/6386210.html
总结
量词本身使用时,都是贪婪模式匹配,而量词和?能结合成非贪婪模式匹配。 贪婪模式匹配就是尽可能多地匹配,非贪婪模式匹配就是尽可能少地匹配。
转载于:https://www.cnblogs.com/tsql/p/6386210.html
最近在做基于Nutch网络爬虫爬取数据及一些数据处理的内容,涉及到在网络爬虫爬取到的HTML文件中提取一些用户名,之前想的一直是导入数据库再进行操作,从而忽略了强大的Vim。
问题来源:
根据网络爬虫爬取了一些淘宝BBS的一些数据,dump出一些HTML文件数据,一共120多万行,如下所示:
分析发现,含有用户名的具有统一的class=“ext-ellipasis”,想把如lzxxcom这样的用户全部提取出来。
实现思路:
1:先提取出ext-ellopsis所在的行。
2:根据正则表达式提取所需要的用户信息。
具体实现
1:vim查询pattern出现的个数
命令:--------:%s/pattern/&/g
解释:&代表的意思就是用来表示前面比对的字串,所以做这个指令其实对档案本身并不会有什麽改变。但是由於做的是全域的取代置换,vim会告诉你有从多少行中多少个字串被取代。轻轻松松很漂亮地用一行命令解决这个问题。
可以看出一共找到18057个ext-ellipsis.
2:先提取出ext-ellipsis所在的行
用g命令轻松搞定
:g/pattern/d用于删除带有指定搜索内容的行。 :g!/pattern/d用于删除不带指定搜索内容的行。:g!命令也有一个别名是:v。
使用:g!/ext-ellipsis/d 命令结果如下所示:
3:根据正则表达式提取所需要的用户信息
Vim打开文件后,使用如下正则表达式
:%s/.*="\(.*\)".*/\1/g
得到如下结果
其中肯定有不少的重复的
进行以下操作
删除重复的用户名:
:g/^\(.*\)$\1$/d //去除重复行 :g/\%(^\1$\)\@<=\(.*\)$/d //功能同上,也是去除重复行 :g/\%(^\1\>.*$\)\@<=\(\k\+\).*$/d //功能同上,也是去除重复行
再进行排序:
:sort //可以直接排序,这个太好用了
得到如下结果:
4:分行及E488:Trailingcharacters
原因为此特殊符号在替换中有特殊意义
比如-----:%s///\r/g(根据/进行分行)这样会出错,因为/有特殊含义。
必须改为-----:%s/\//\r/g 才可以
参考网站如下所示:
http://www.oschina.net/question/347219_124969-------提取文本指定内容
http://bbs.51cto.com/thread-964013-1.html----------删除重复行
http://edu.21cn.com/linux/g_188_793259-1.htm---------计算多少个搜寻关键词
http://www.cppblog.com/kefeng/archive/2010/10/20/130574.aspx?opt=admin-------正则表达式
换行。比如,print hello\nworld效果就是helloworld\n就是一个换行符。\是转义的意思,'\n'是换行,'\t'是tab,'\\'是,\ 是在编写程序中句子太长百,人为换行后加上\但print出来是一整行。...
十种常见排序算法一般分为以下几种:(1)非线性时间比较类排序:a. 交换类排序(快速排序、冒泡排序)b. 插入类排序(简单插入排序、希尔排序)c. 选择类排序(简单选择排序、堆排序)d. 归并排序(二路归并排序、多路归并排序)(2)线性时间非比较类排序:...
前景很好,中国正在产业升级,工业机器人和人工智能方面都会是强烈的热点,而且正好是在3~5年以后的时间。难度,肯定高,要求你有创新的思维能力,高数中的微积分、数列等等必须得非常好,软件编程(基础的应用最广泛的语言:C/C++)必须得很好,微电子(数字电...
迭代器与生成器的区别:(1)生成器:生成器本质上就是一个函数,它记住了上一次返回时在函数体中的位置。对生成器函数的第二次(或第n次)调用,跳转到函数上一次挂起的位置。而且记录了程序执行的上下文。生成器不仅记住了它的数据状态,生成器还记住了程序...
python中title( )属于python中字符串函数,返回’标题化‘的字符串,就是单词的开头为大写,其余为小写
第一种解释:代码中的cnt是count的简称,一种电脑计算机内部的数学函数的名字,在Excel办公软件中计算参数列表中的数字项的个数;在数据库( sq| server或者access )中可以用来统计符合条件的数据条数。函数COUNT在计数时,将把数值型的数字计算进去;但是...
head是方法,所以需要取小括号,即dataset.head()显示的则是前5行。data[:, :-1]和data[:, -1]。另外,如果想通过位置取数据,请使用iloc,即dataset.iloc[:, :-1]和dataset.iloc[:, -1],前者表示的是取所有行,但不包括最后一列的数据,结果是个DataFrame。...
挺简单的,其实课程内容没有我们想象的那么难、像我之前同学,完全零基础,培训了半年,直接出来就工作了,人家还在北京大公司上班,一个月15k,实力老厉害了
Python针对众多的类型,提供了众多的内建函数来处理(内建是相对于导入import来说的,后面学习到包package时,将会介绍),这些内建函数功用在于其往往可对多种类型对象进行类似的操作,即多种类型对象的共有的操作;如果某种操作只对特殊的某一类对象可行,Pyt...
相当于 ... 这里不是注释
还有FIXME
python的两个库:xlrd和xlutils。 xlrd打开excel,但是打开的excel并不能直接写入数据,需要用xlutils主要是复制一份出来,实现后续的写入功能。
单行注释:Python中的单行注释一般是以#开头的,#右边的文字都会被当做解释说明的内容,不会被当做执行的程序。为了保证代码的可读性,一般会在#后面加一两个空格然后在编写解释内容。示例:# 单行注释print(hello world)注释可以放在代码上面也可以放在代...
主要是按行读取,然后就是写出判断逻辑来勘测行是否为注视行,空行,编码行其他的:import linecachefile=open('3_2.txt','r')linecount=len(file.readlines())linecache.getline('3_2.txt',linecount)这样做的过程中发现一个问题,...
或许是里面有没被注释的代码
自学的话要看个人情况,可以先在B站找一下视频看一下
最多设置5个标签!
正则表达式里匹配次数的元字符有: (一) {0,1}、{0,}、{1,}、{3} 逗号前面次数到逗号后面次数 (二) ?、?? 0次或1次 (三) * 0次以上,即0~n (四) + 1次以上,即1~n
下面深入讲解下这几个元字符的意义:
(一) {0,1}、{0,}、{1,}、{3} 逗号前面次数到逗号后面次数
上面列了几种都是{}用于表示次数时常见的写法。 1. {0,1} 匹配0次或1次 2. {0,} 匹配0次以上,逗号后面为空表示无限次的意思 3. {1,} 匹配1次以上 4. {3} 匹配3次,它是{3,3}的简写形式
需要注意的是,前面数字大于后面数字是会报错的
有时候会看到[0-9]{1}这样的写法,其实这样写也算是多余的,它等价[0-9],正则里没有添加量词修饰的匹配都是按1次算。
(二) ?、?? 0次或1次
? 匹配0次或1次,可以理解为{0,1}的简写,常见用法有: 1. https? 用于匹配http或https 2. (https?://)? 用于匹配域名前缀https?://可有可无的情况。 另外,需要了解的是,?是匹配优先的,这是什么意思呢? 所谓匹配优先,就是字面意思,能匹配我就先匹配。 下面举例说明一下: 源码:www.zjmainstay.cn 正则:^(www\.)?(.+)$ 匹配结果是:分组1得到了www.,分组2得到了zjmainstay.cn 从这里可以看出,对于(www\.)?部分的正则,它先进行了匹配,然后.+部分再匹配。 那么,如果我们想要把www.留给后面的.+去匹配怎么办? 我们需要找到一个非匹配优先的方法,对于非匹配优先,接触过非贪婪模式的读者可能马上想到非贪婪模式,不错,利用非贪婪模式可以解决这个问题: 正则:^(www\.)*?(.+)$ 当然,使用正则:^(www\.){0,1}?(.+)$也是可以的,而且这个更接近原本的意思。 另外,很多人可能没见过,其实我们还能用:^(www\.)??(.+)$实现。这里的??是?的非匹配优先版本。
(三) * 0次以上,即0~n
* 0次或任意次,可以理解为{0,}的简写,常见用法有: 1. .* 贪婪模式,匹配优先,匹配除换行外的任意字符0次以上 2. .*? 非贪婪模式,非匹配优先,匹配除换行外的任意字符0次以上 3.
大家可能发现,.*? 这里也有?,但是它已经脱离了前面对?介绍的0次或1次的范围,没错,只是为了让大家不至于混淆,我没有把它归入上面的?当中。 我们可以理解为,?只要跟本文所说的几个计次量词结合,就形成非贪婪模式。甚至,连??你都可以认为是结合后的0次或1次的非贪婪模式,反正也能解释通不是?
(四) + 1次以上,即1~n
+ 与 * 除了匹配次数意义上有所差别,常见用法都类似,它强调的是至少匹配1次以上,可以理解为{1,}的简写。 1. .+ 贪婪模式,匹配优先,匹配除换行外的任意字符1次以上 2. .+? 非贪婪模式,非匹配优先,匹配除换行外的任意字符1次以上 3.
总结
量词本身使用时,都是贪婪模式匹配,而量词和?能结合成非贪婪模式匹配。 贪婪模式匹配就是尽可能多地匹配,非贪婪模式匹配就是尽可能少地匹配。
转载于:https://www.cnblogs.com/tsql/p/6386210.html
最近在做基于Nutch网络爬虫爬取数据及一些数据处理的内容,涉及到在网络爬虫爬取到的HTML文件中提取一些用户名,之前想的一直是导入数据库再进行操作,从而忽略了强大的Vim。
问题来源:
根据网络爬虫爬取了一些淘宝BBS的一些数据,dump出一些HTML文件数据,一共120多万行,如下所示:
分析发现,含有用户名的具有统一的class=“ext-ellipasis”,想把如lzxxcom这样的用户全部提取出来。
实现思路:
1:先提取出ext-ellopsis所在的行。
2:根据正则表达式提取所需要的用户信息。
具体实现
1:vim查询pattern出现的个数
命令:--------:%s/pattern/&/g
解释:&代表的意思就是用来表示前面比对的字串,所以做这个指令其实对档案本身并不会有什麽改变。但是由於做的是全域的取代置换,vim会告诉你有从多少行中多少个字串被取代。轻轻松松很漂亮地用一行命令解决这个问题。
可以看出一共找到18057个ext-ellipsis.
2:先提取出ext-ellipsis所在的行
用g命令轻松搞定
:g/pattern/d用于删除带有指定搜索内容的行。 :g!/pattern/d用于删除不带指定搜索内容的行。:g!命令也有一个别名是:v。
使用:g!/ext-ellipsis/d 命令结果如下所示:
3:根据正则表达式提取所需要的用户信息
Vim打开文件后,使用如下正则表达式
:%s/.*="\(.*\)".*/\1/g
得到如下结果
其中肯定有不少的重复的
进行以下操作
删除重复的用户名:
:g/^\(.*\)$\1$/d //去除重复行 :g/\%(^\1$\)\@<=\(.*\)$/d //功能同上,也是去除重复行 :g/\%(^\1\>.*$\)\@<=\(\k\+\).*$/d //功能同上,也是去除重复行
再进行排序:
:sort //可以直接排序,这个太好用了
得到如下结果:
4:分行及E488:Trailingcharacters
原因为此特殊符号在替换中有特殊意义
比如-----:%s///\r/g(根据/进行分行)这样会出错,因为/有特殊含义。
必须改为-----:%s/\//\r/g 才可以
参考网站如下所示:
http://www.oschina.net/question/347219_124969-------提取文本指定内容
http://bbs.51cto.com/thread-964013-1.html----------删除重复行
http://edu.21cn.com/linux/g_188_793259-1.htm---------计算多少个搜寻关键词
http://www.cppblog.com/kefeng/archive/2010/10/20/130574.aspx?opt=admin-------正则表达式
相关问题推荐
换行。比如,print hello\nworld效果就是helloworld\n就是一个换行符。\是转义的意思,'\n'是换行,'\t'是tab,'\\'是,\ 是在编写程序中句子太长百,人为换行后加上\但print出来是一整行。...
十种常见排序算法一般分为以下几种:(1)非线性时间比较类排序:a. 交换类排序(快速排序、冒泡排序)b. 插入类排序(简单插入排序、希尔排序)c. 选择类排序(简单选择排序、堆排序)d. 归并排序(二路归并排序、多路归并排序)(2)线性时间非比较类排序:...
前景很好,中国正在产业升级,工业机器人和人工智能方面都会是强烈的热点,而且正好是在3~5年以后的时间。难度,肯定高,要求你有创新的思维能力,高数中的微积分、数列等等必须得非常好,软件编程(基础的应用最广泛的语言:C/C++)必须得很好,微电子(数字电...
迭代器与生成器的区别:(1)生成器:生成器本质上就是一个函数,它记住了上一次返回时在函数体中的位置。对生成器函数的第二次(或第n次)调用,跳转到函数上一次挂起的位置。而且记录了程序执行的上下文。生成器不仅记住了它的数据状态,生成器还记住了程序...
python中title( )属于python中字符串函数,返回’标题化‘的字符串,就是单词的开头为大写,其余为小写
第一种解释:代码中的cnt是count的简称,一种电脑计算机内部的数学函数的名字,在Excel办公软件中计算参数列表中的数字项的个数;在数据库( sq| server或者access )中可以用来统计符合条件的数据条数。函数COUNT在计数时,将把数值型的数字计算进去;但是...
head是方法,所以需要取小括号,即dataset.head()显示的则是前5行。data[:, :-1]和data[:, -1]。另外,如果想通过位置取数据,请使用iloc,即dataset.iloc[:, :-1]和dataset.iloc[:, -1],前者表示的是取所有行,但不包括最后一列的数据,结果是个DataFrame。...
挺简单的,其实课程内容没有我们想象的那么难、像我之前同学,完全零基础,培训了半年,直接出来就工作了,人家还在北京大公司上班,一个月15k,实力老厉害了
Python针对众多的类型,提供了众多的内建函数来处理(内建是相对于导入import来说的,后面学习到包package时,将会介绍),这些内建函数功用在于其往往可对多种类型对象进行类似的操作,即多种类型对象的共有的操作;如果某种操作只对特殊的某一类对象可行,Pyt...
相当于 ... 这里不是注释
还有FIXME
python的两个库:xlrd和xlutils。 xlrd打开excel,但是打开的excel并不能直接写入数据,需要用xlutils主要是复制一份出来,实现后续的写入功能。
单行注释:Python中的单行注释一般是以#开头的,#右边的文字都会被当做解释说明的内容,不会被当做执行的程序。为了保证代码的可读性,一般会在#后面加一两个空格然后在编写解释内容。示例:# 单行注释print(hello world)注释可以放在代码上面也可以放在代...
主要是按行读取,然后就是写出判断逻辑来勘测行是否为注视行,空行,编码行其他的:import linecachefile=open('3_2.txt','r')linecount=len(file.readlines())linecache.getline('3_2.txt',linecount)这样做的过程中发现一个问题,...
或许是里面有没被注释的代码
自学的话要看个人情况,可以先在B站找一下视频看一下