python2/3 进程/线程效率对比
说明:8核CPU,requests网络请求1w次(IO密集型),测试python各版本线程和进程的效率.
结论:重型(批量)任务,由于GIL的原因,综合考虑,进程较优。
256个(进/线)程
python2 多进程模式 耗时 14秒
python2 多线程模式 耗时 21秒
python3 多进程模式 耗时 14秒
python3 多线程模式 耗时 18秒
128个(进/线)程
python2 多进程模式 耗时 27秒
python2 多线程模式 耗时 35秒
python3 多进程模式 耗时 27秒
python3 多线程模式 耗时 35秒
64个(进/线)程
python2 多进程模式 耗时 55秒
python2 多线程模式 耗时 65秒
python3 多进程模式 耗时 54秒
python3 多线程模式 耗时 65秒
32个(进/线)程
python2 多进程模式 耗时 109秒
python2 多线程模式 耗时 118秒
python3 多进程模式 耗时 109秒
python3 多线程模式 耗时 111秒