2021-03-18 14:41发布
[图]通过Cprofile检测结果如下图中最费时的两个红色圈圈分别是哪一部分呢?程序的运算速度特别慢,多次用到了for循环嵌套对列表中字典的遍历并处理,有没有什么方法能够快速且方便地优化使程序运行时间缩短到... 显示全部
通过Cprofile检测结果如下
图中最费时的两个红色圈圈分别是哪一部分呢?程序的运算速度特别慢,多次用到了for循环嵌套对列表中字典的遍历并处理,有没有什么方法能够快速且方便地优化使程序运行时间缩短到100s以内?
Python是一种解释性的语言,执行速度相比C、C++等语言十分缓慢;因此我们需要在其它地方上下功夫来提高代码的执行速度。
那如何使用Cprofile检测函数提高运算效率呢?
这里介绍cProfile:
全代码分析:
命令行:
cProfile -s tottime your_program.py
结果如下:
ncalls tottime percall cumtime percall filename:lineno(
function
)
66 0.001 0.000 11.850 0.180 base.py:228(micro_service)
66 0.003 0.000 11.849 0.180 tools.py:557(micro_service)
1056 0.001 0.000 11.073 0.010 connection.py:463(drain_events)
1056 0.015 0.000 11.072 0.010 connection.py:466(blocking_read)
1056 0.008 0.000 10.920 0.010 transport.py:233(read_frame)
3168 0.014 0.000 10.908 0.003 transport.py:370(_read)
3168 10.892 0.003 10.892 0.003 {method
'recv'
of
'_socket.socket'
objects}
66 0.001 0.000 9.814 0.149 rpc.py:350(__call__)
66 0.001 0.000 8.395 0.127 rpc.py:329(result)
块分析:
上面属于文件分析,但是我们可能只对部分代码感兴趣,那么只需要在这部分代码的前后加上下面这两段代码即可:
import
cProfile
cp
= cProfile.Profile()
.
enable
()
YOUR CODE
.disable()
.print_stats()
结果与全代码分析的类似,但是只包含你感兴趣的部分。
行分析:
行分析需要安装line_profiler:
pip
install
line_profiler
@profile
def class_name()
pass
然后在命令行输入:
kernprof -l -
v
your_code.py
-l 逐行分析
-
立即查看结果
示例:
from
Profile as profile
pstats
Stats
def
():
p
=
profile()
p.snapshot_stats()
p.enable()
p.disable()
p.print_stats(
2
# 按照调用累加总耗时累加排序,即将最耗时的函数最优先
p.dump_stats(
"call.log"
换行。比如,print hello\nworld效果就是helloworld\n就是一个换行符。\是转义的意思,'\n'是换行,'\t'是tab,'\\'是,\ 是在编写程序中句子太长百,人为换行后加上\但print出来是一整行。...
十种常见排序算法一般分为以下几种:(1)非线性时间比较类排序:a. 交换类排序(快速排序、冒泡排序)b. 插入类排序(简单插入排序、希尔排序)c. 选择类排序(简单选择排序、堆排序)d. 归并排序(二路归并排序、多路归并排序)(2)线性时间非比较类排序:...
前景很好,中国正在产业升级,工业机器人和人工智能方面都会是强烈的热点,而且正好是在3~5年以后的时间。难度,肯定高,要求你有创新的思维能力,高数中的微积分、数列等等必须得非常好,软件编程(基础的应用最广泛的语言:C/C++)必须得很好,微电子(数字电...
迭代器与生成器的区别:(1)生成器:生成器本质上就是一个函数,它记住了上一次返回时在函数体中的位置。对生成器函数的第二次(或第n次)调用,跳转到函数上一次挂起的位置。而且记录了程序执行的上下文。生成器不仅记住了它的数据状态,生成器还记住了程序...
python中title( )属于python中字符串函数,返回’标题化‘的字符串,就是单词的开头为大写,其余为小写
第一种解释:代码中的cnt是count的简称,一种电脑计算机内部的数学函数的名字,在Excel办公软件中计算参数列表中的数字项的个数;在数据库( sq| server或者access )中可以用来统计符合条件的数据条数。函数COUNT在计数时,将把数值型的数字计算进去;但是...
head是方法,所以需要取小括号,即dataset.head()显示的则是前5行。data[:, :-1]和data[:, -1]。另外,如果想通过位置取数据,请使用iloc,即dataset.iloc[:, :-1]和dataset.iloc[:, -1],前者表示的是取所有行,但不包括最后一列的数据,结果是个DataFrame。...
挺简单的,其实课程内容没有我们想象的那么难、像我之前同学,完全零基础,培训了半年,直接出来就工作了,人家还在北京大公司上班,一个月15k,实力老厉害了
Python针对众多的类型,提供了众多的内建函数来处理(内建是相对于导入import来说的,后面学习到包package时,将会介绍),这些内建函数功用在于其往往可对多种类型对象进行类似的操作,即多种类型对象的共有的操作;如果某种操作只对特殊的某一类对象可行,Pyt...
相当于 ... 这里不是注释
还有FIXME
python的两个库:xlrd和xlutils。 xlrd打开excel,但是打开的excel并不能直接写入数据,需要用xlutils主要是复制一份出来,实现后续的写入功能。
单行注释:Python中的单行注释一般是以#开头的,#右边的文字都会被当做解释说明的内容,不会被当做执行的程序。为了保证代码的可读性,一般会在#后面加一两个空格然后在编写解释内容。示例:# 单行注释print(hello world)注释可以放在代码上面也可以放在代...
主要是按行读取,然后就是写出判断逻辑来勘测行是否为注视行,空行,编码行其他的:import linecachefile=open('3_2.txt','r')linecount=len(file.readlines())linecache.getline('3_2.txt',linecount)这样做的过程中发现一个问题,...
或许是里面有没被注释的代码
自学的话要看个人情况,可以先在B站找一下视频看一下
最多设置5个标签!
Python是一种解释性的语言,执行速度相比C、C++等语言十分缓慢;因此我们需要在其它地方上下功夫来提高代码的执行速度。
那如何使用Cprofile检测函数提高运算效率呢?
这里介绍cProfile:
全代码分析:
命令行:
cProfile -s tottime your_program.py
结果如下:
ncalls tottime percall cumtime percall filename:lineno(
function
)
66 0.001 0.000 11.850 0.180 base.py:228(micro_service)
66 0.003 0.000 11.849 0.180 tools.py:557(micro_service)
1056 0.001 0.000 11.073 0.010 connection.py:463(drain_events)
1056 0.015 0.000 11.072 0.010 connection.py:466(blocking_read)
1056 0.008 0.000 10.920 0.010 transport.py:233(read_frame)
3168 0.014 0.000 10.908 0.003 transport.py:370(_read)
3168 10.892 0.003 10.892 0.003 {method
'recv'
of
'_socket.socket'
objects}
66 0.001 0.000 9.814 0.149 rpc.py:350(__call__)
66 0.001 0.000 8.395 0.127 rpc.py:329(result)
块分析:
上面属于文件分析,但是我们可能只对部分代码感兴趣,那么只需要在这部分代码的前后加上下面这两段代码即可:
import
cProfile
cp
= cProfile.Profile()
cp
.
enable
()
YOUR CODE
cp
.disable()
cp
.print_stats()
结果与全代码分析的类似,但是只包含你感兴趣的部分。
行分析:
行分析需要安装line_profiler:
pip
install
line_profiler
@profile
def class_name()
pass
然后在命令行输入:
kernprof -l -
v
your_code.py
-l 逐行分析
-
v
立即查看结果
示例:
from
cProfile
import
Profile as profile
from
pstats
import
Stats
def
():
p
=
profile()
p.snapshot_stats()
p.enable()
p.disable()
p.print_stats(
2
)
# 按照调用累加总耗时累加排序,即将最耗时的函数最优先
p.dump_stats(
"call.log"
)
相关问题推荐
换行。比如,print hello\nworld效果就是helloworld\n就是一个换行符。\是转义的意思,'\n'是换行,'\t'是tab,'\\'是,\ 是在编写程序中句子太长百,人为换行后加上\但print出来是一整行。...
十种常见排序算法一般分为以下几种:(1)非线性时间比较类排序:a. 交换类排序(快速排序、冒泡排序)b. 插入类排序(简单插入排序、希尔排序)c. 选择类排序(简单选择排序、堆排序)d. 归并排序(二路归并排序、多路归并排序)(2)线性时间非比较类排序:...
前景很好,中国正在产业升级,工业机器人和人工智能方面都会是强烈的热点,而且正好是在3~5年以后的时间。难度,肯定高,要求你有创新的思维能力,高数中的微积分、数列等等必须得非常好,软件编程(基础的应用最广泛的语言:C/C++)必须得很好,微电子(数字电...
迭代器与生成器的区别:(1)生成器:生成器本质上就是一个函数,它记住了上一次返回时在函数体中的位置。对生成器函数的第二次(或第n次)调用,跳转到函数上一次挂起的位置。而且记录了程序执行的上下文。生成器不仅记住了它的数据状态,生成器还记住了程序...
python中title( )属于python中字符串函数,返回’标题化‘的字符串,就是单词的开头为大写,其余为小写
第一种解释:代码中的cnt是count的简称,一种电脑计算机内部的数学函数的名字,在Excel办公软件中计算参数列表中的数字项的个数;在数据库( sq| server或者access )中可以用来统计符合条件的数据条数。函数COUNT在计数时,将把数值型的数字计算进去;但是...
head是方法,所以需要取小括号,即dataset.head()显示的则是前5行。data[:, :-1]和data[:, -1]。另外,如果想通过位置取数据,请使用iloc,即dataset.iloc[:, :-1]和dataset.iloc[:, -1],前者表示的是取所有行,但不包括最后一列的数据,结果是个DataFrame。...
挺简单的,其实课程内容没有我们想象的那么难、像我之前同学,完全零基础,培训了半年,直接出来就工作了,人家还在北京大公司上班,一个月15k,实力老厉害了
Python针对众多的类型,提供了众多的内建函数来处理(内建是相对于导入import来说的,后面学习到包package时,将会介绍),这些内建函数功用在于其往往可对多种类型对象进行类似的操作,即多种类型对象的共有的操作;如果某种操作只对特殊的某一类对象可行,Pyt...
相当于 ... 这里不是注释
还有FIXME
python的两个库:xlrd和xlutils。 xlrd打开excel,但是打开的excel并不能直接写入数据,需要用xlutils主要是复制一份出来,实现后续的写入功能。
单行注释:Python中的单行注释一般是以#开头的,#右边的文字都会被当做解释说明的内容,不会被当做执行的程序。为了保证代码的可读性,一般会在#后面加一两个空格然后在编写解释内容。示例:# 单行注释print(hello world)注释可以放在代码上面也可以放在代...
主要是按行读取,然后就是写出判断逻辑来勘测行是否为注视行,空行,编码行其他的:import linecachefile=open('3_2.txt','r')linecount=len(file.readlines())linecache.getline('3_2.txt',linecount)这样做的过程中发现一个问题,...
或许是里面有没被注释的代码
自学的话要看个人情况,可以先在B站找一下视频看一下