在Python 的线程中运行协程的方法
在一篇文章理解Python异步编程的基本原理这篇文章中,我们讲到,如果在异步代码里面又包含了一段非常耗时的同步代码,异步代码就会被卡住。
那么有没有办法让同步代码与异步代码看起来也是同时运行的呢?方法就是使用事件循环的.run_in_executor()方法。
我们来看一下Python官方文档[1]中的说法:
那么怎么使用呢?还是以非常耗时的递归方式计算斐波那契数列的这个函数为例:
defsync_calc_fib(n): ifnin[1,2]: return1 returnsync_calc_fib(n-1)+sync_calc_fib(n-2) asyncdefcalc_fib(n): result=sync_calc_fib(n) print(f'第{n}项计算完成,结果是:{result}') returnresult
我们现在需要用aiohttp访问一个延迟5秒的网页,同时计算斐波那契数列第36项。
首先我们看看单独计算第36项需要5秒钟:
我们再来看看如果直接把这计算斐波那契数列和请求网站的两个异步任务放在一起“并行”,实际时间是两个任务的时间叠加:
具体原因我在上一篇文章里面已经做了说明。
现在,我想让两个任务“同时运行”,于是就可以这样修改代码:
importaiohttp importasyncio importtime fromconcurrent.futuresimportThreadPoolExecutor asyncdefrequest(sleep_time): asyncwithaiohttp.ClientSession()asclient: resp=awaitclient.get(f'http://127.0.0.1:8000/sleep/{sleep_time}') resp_json=awaitresp.json() print(resp_json) defsync_calc_fib(n): ifnin[1,2]: return1 returnsync_calc_fib(n-1)+sync_calc_fib(n-2) defcalc_fib(n): result=sync_calc_fib(n) print(f'第{n}项计算完成,结果是:{result}') returnresult asyncdefmain(): start=time.perf_counter() loop=asyncio.get_event_loop() withThreadPoolExecutor(max_workers=4)asexecutor: tasks_list=[ loop.run_in_executor(executor,calc_fib,36), asyncio.create_task(request(5)) ] awaitasyncio.gather(*tasks_list) end=time.perf_counter() print(f'总计耗时:{end-start}') asyncio.run(main())
运行效果如下图所示:
在5秒钟的时间,就把计算斐波那契数列和请求5秒延迟的网站都做完了。
实现这样的转变,关键的代码就是:loop.run_in_executor(executor,calc_fib,36)
其中的loop就是主线程的事件循环(eventloop),它是用来调度同一个线程里面的多个协程。
executor是我们使用ThreadPoolExecutor(max_workers=4)创建的一个有4个线程的线程池,calc_fib是一个耗时的同步函数,36是传入calc_fib的参数。loop.run_in_executor(executor,calc_fib,36)的意思是说:
- 把calc_fib函数放到线程池里面去运行
- 给线程池增加一个回调函数,这个回调函数会在运行结束后的下一次事件循环把结果保存下来。
请注意上图中红色箭头对应的calc_fib这是一个同步函数,请与上一篇文章中的异步函数区分开。run_in_executor的第二个参数需要是一个同步函数的函数名。
在上面的例子中,我们创建的是有4个线程的线程池。所以这个线程池最多允许4个阻塞式的同步函数“并行”。
总结
到此这篇关于在Python的线程中运行协程的方法的文章就介绍到这了,更多相关python线程中运行协程内容请搜索毛票票以前的文章或继续浏览下面的相关文章希望大家以后多多支持毛票票!
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:czq8825#qq.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。