python异步协程跟多进程多线程哪个效率高？_Python

1条回答

007

2楼 · 2020-07-16 10:14

目录概念介绍测试环境开始测试测试【单进程单线程】测试【多进程并行】测试【多线程并发】测试【协程+异步】结果对比绘图展示

概念介绍

首先简单介绍几个概念：

进程和线程

进程就是一个程序在一个数据集上的一次动态执行过程（数据集是程序在执行过程中所需要使用的资源）。

线程也叫轻量级进程，它是一个基本的CPU执行单元，是比进程更小的能独立运行的基本单位。

进程和线程的关系：

一个线程只能属于一个进程，而一个进程可以有多个线程，但至少有一个线程。

资源分配给进程，同一进程的所有线程共享该进程的所有资源。

CPU分给线程，即真正在CPU上运行的是线程。

并行和并发

并行处理是计算机系统中能同时执行两个或更多个处理的一种计算方法。并行处理可同时工作于同一程序的不同方面，其主要目的是节省大型和复杂问题的解决时间。

并发处理指一个时间段中有几个程序都处于已启动运行到运行完毕之间，且这几个程序都是在同一个CPU上运行，但任一个时刻点上只有一个程序在CPU上运行。

并发的关键是你有处理多个任务的能力，不一定要同时。并行的关键是你有同时处理多个任务的能力。所以说，并行是并发的子集。多进程是并行的，多线程是并发的。

同步和异步

同步就是指一个进程在执行某个请求的时候，若该请求需要一段时间才能返回信息，那么这个进程将会一直等待下去，直到收到返回信息才继续执行下去。

异步是指进程不需要一直等下去，而是继续执行下面的操作，不管其他进程的状态。当有消息返回时系统会通知进程进行处理，这样可以提高执行的效率。

举个例子，打电话时就是同步通信，发短息时就是异步通信。

测试环境

进行对比测试之前，我们先来创建一个合适的实验环境：

模拟一个需要等待一定时间才可以获取返回结果的网页。

如果直接用百度、CSDN等站点的话，一方面响应太快、难以看出各种方法的差距，另一方面响应速度会受网速影响、每次发送请求获取响应所需的时间不完全一致导致重复实验结果差距较大，所以在此用Flask模拟一个本地慢速服务器。

flask_server.py代码如下：

fromflaskimportFlask#pipinstallflask

importtime

app=Flask(__name__)

@app.route('/')

defindex():

time.sleep(3) #休眠3秒再返回结果

return'Hello!'

if__name__=='__main__':

app.run(threaded=True)#以多线程模式启动服务

启动之后，Flask服务默认在127.0.0.1:5000上运行，控制台输出结果如下：

*ServingFlaskapp"flask_server"(lazyloading)

*Environment:production

WARNING:Donotusethedevelopmentserverinaproductionenvironment.

UseaproductionWSGIserverinstead.

*Debugmode:off

*Runningonhttp://127.0.0.1:5000/(PressCTRL+Ctoquit)

在浏览器中访问http://127.0.0.1:5000/等待3秒即会出现Hello!页面，表明简单的慢速服务器搭建完成！

开始测试

首先导入需要的模块，以请求10次为例准备urls，再定义一个get_html_text()函数：

importrequests

importtime

#用于多进程

frommultiprocessingimportProcess

#用于多线程

fromthreadingimportThread

#用于协程+异步

importasyncio

importaiohttp#pipinstallaiohttp

urls=['http://127.0.0.1:5000'for_inrange(10)]

defget_html_text(url):

response=requests.get(url)

returnresponse.text

测试【单进程单线程】

start=time.time()

forurlinurls:

result=get_html_text(url)

print(result)

end=time.time()

print('【单进程单线程】耗时：%s秒'%(end-start))

结果如下：

Hello!

【单进程单线程】耗时：30.15605854988098秒

测试【多进程并行】

start=time.time()

processes=[]

forurlinurls:

p=Process(target=get_html_text,args=(url,))

processes.append(p)

p.start()

forpinprocesses:

p.join()

print('Hello!')

end=time.time()

print('【多进程并行】耗时：%s秒'%(end-start))

结果如下（测试电脑为4核CPU，核心数越大加速越明显）：

Hello!

【多进程并行】耗时：5.511234283447266秒

测试【多线程并发】

start=time.time()

threads=[]

forurlinurls:

t=Thread(target=get_html_text,args=(url,))

threads.append(t)

t.start()

fortinthreads:

t.join()

print('Hello!')

end=time.time()

print('【多线程并发】耗时：%s秒'%(end-start))

结果如下：

Hello!

【多线程并发】耗时：3.030653953552246秒

测试【协程+异步】

#因为requests模块不支持异步操作，需要借助aiohttp模块

asyncdefget_html_text_async(url):

asyncwithaiohttp.ClientSession()assession:

asyncwithsession.get(url)asresponse:

text=awaitresponse.text()

returntext

start=time.time()

tasks=[asyncio.ensure_future(get_html_text_async(url))forurlinurls]

loop=asyncio.get_event_loop()

loop.run_until_complete(asyncio.wait(tasks))

fortaskintasks:

print(task.result())

end=time.time()

print('【协程++异步】耗时：%s秒'%(end-start))

结果如下：

Hello!

【协程++异步】耗时：3.046288251876831秒

结果对比

len(urls)==1:

len(urls)==4:

len(urls)==10:

len(urls)==100:

单进程单线程是将n次请求顺次执行，每次要等待3秒才能返回结果，故耗时3n+秒；

多进程-并行处理则利用CPU的多核优势，在同一时间并行地执行多个任务，可以大大提高执行效率，但系统实现多进程前需要一些准备工作、将耗费大量时间。

多线程-并发处理和协程+异步的耗时由单进程单线程的3n+秒变成了3+秒！

前者是n个请求几乎同时进行、几乎同时得到响应返回结果。

后者是每当请求任务遇到阻塞（time.sleep(3)）时被挂起，n个任务都处于挂起状态后等待3秒，n个请求几乎同时都有了响应，然后挂起的任务被唤醒接着执行，输出请求结果，最后耗时：3秒！（多出来的时间是IO时延）

注意：

搭建的实验环境是慢速服务器，若不进行time.sleep(3)休眠3秒再返回而是立即响应的话，单进程单线程的实际耗时则会大大缩短，请求次数少的话甚至会超过多进程。

而且笔者在Windows4核CPU环境下测试，最多开启4个进程，未能发挥多进程的真实实力。

另外，多进程、多线程还可以通过进程池、线程池来实现，与文中方法耗时基本一致，故未做展示；多进程或多线程与协程异步IO结合的效率尚待测试。

绘图展示

python异步协程跟多进程多线程哪个效率高？

相关问题推荐

等你来答

热门问答

相关文章

python异步协程跟多进程多线程哪个效率高？

相关问题推荐

等你来答

热门问答

相关文章

采纳回答

编辑标签

举报内容

检举类型

检举原因

检举说明(必填)

打开微信“扫一扫”，打开网页后点击屏幕右上角分享按钮

付费偷看金额在0.1-10元之间