python进程池：multiprocessing.pool
本文内容纲要：
-例1：使用进程池
-例2：使用进程池（阻塞）
-例3：使用进程池，并关注结果
-例4：使用多个进程池
在利用Python进行系统管理的时候，特别是同时操作多个文件目录，或者远程控制多台主机，并行操作可以节约大量的时间。当被操作对象数目不大时，可以直接利用multiprocessing中的Process动态成生多个进程，十几个还好，但如果是上百个，上千个目标，手动的去限制进程数量却又太过繁琐，此时可以发挥进程池的功效。
Pool可以提供指定数量的进程供用户调用，当有新的请求提交到pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到规定最大值，那么该请求就会等待，直到池中有进程结束，才会创建新的进程来它。
例1：使用进程池
#coding:utf-8
importmultiprocessing
importtime
deffunc(msg):
print"msg:",msg
time.sleep(3)
print"end"
if__name__=="__main__":
pool=multiprocessing.Pool(processes=3)
foriinxrange(4):
msg="hello%d"%(i)
pool.apply_async(func,(msg,))#维持执行的进程总数为processes，当一个进程执行完毕后会添加新的进程进去
print"Mark~Mark~Mark~~~~~~~~~~~~~~~~~~~~~~"
pool.close()
pool.join()#调用join之前，先调用close函数，否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束
print"Sub-process(es)done."
一次执行结果
mMsg:hark~Mark~Mark~~~~~~~~~~~~~~~~~~~~~~ello0
msg:hello1
msg:hello2
end
msg:hello3
end
end
end
Sub-process(es)done.
函数解释：
- apply_async(func[,args[,kwds[,callback]]])它是非阻塞，apply(func[,args[,kwds]])是阻塞的（理解区别，看例1例2结果区别）
- close()关闭pool，使其不在接受新的任务。
- terminate()结束工作进程，不在处理未完成的任务。
- join()主进程阻塞，等待子进程的退出，join方法要在close或terminate之后使用。
执行说明：创建一个进程池pool，并设定进程的数量为3，xrange(4)会相继产生四个对象[0,1,2,4]，四个对象被提交到pool中，因pool指定进程数为3，所以0、1、2会直接送到进程中执行，当其中一个执行完事后才空出一个进程处理对象3，所以会出现输出“msg:hello3”出现在"end"后。因为为非阻塞，主函数会自己执行自个的，不搭理进程的执行，所以运行完for循环后直接输出“mMsg:hark~Mark~Mark~~~~~~~~~~~~~~~~~~~~~~”，主程序在pool.join（）处等待各个进程的结束。
例2：使用进程池（阻塞）
#coding:utf-8
importmultiprocessing
importtime
deffunc(msg):
print"msg:",msg
time.sleep(3)
print"end"
if__name__=="__main__":
pool=multiprocessing.Pool(processes=3)
foriinxrange(4):
msg="hello%d"%(i)
pool.apply(func,(msg,))#维持执行的进程总数为processes，当一个进程执行完毕后会添加新的进程进去
print"Mark~Mark~Mark~~~~~~~~~~~~~~~~~~~~~~"
pool.close()
pool.join()#调用join之前，先调用close函数，否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束
print"Sub-process(es)done."
一次执行的结果
msg:hello0
end
msg:hello1
end
msg:hello2
end
msg:hello3
end
Mark~Mark~Mark~~~~~~~~~~~~~~~~~~~~~~
Sub-process(es)done.
例3：使用进程池，并关注结果
importmultiprocessing
importtime
deffunc(msg):
print"msg:",msg
time.sleep(3)
print"end"
return"done"+msg
if__name__=="__main__":
pool=multiprocessing.Pool(processes=4)
result=[]
foriinxrange(3):
msg="hello%d"%(i)
result.append(pool.apply_async(func,(msg,)))
pool.close()
pool.join()
forresinresult:
print":::",res.get()
print"Sub-process(es)done."
一次执行结果
msg:hello0
msg:hello1
msg:hello2
end
end
end
:::donehello0
:::donehello1
:::donehello2
Sub-process(es)done.
注：get()函数得出每个返回结果的值
例4：使用多个进程池
#coding:utf-8
importmultiprocessing
importos,time,random
defLee():
print"\nRuntaskLee-%s"%(os.getpid())#os.getpid()获取当前的进程的ID
start=time.time()
time.sleep(random.random()*10)#random.random()随机生成0-1之间的小数
end=time.time()
print'TaskLee,runs%0.2fseconds.'%(end-start)
defMarlon():
print"\nRuntaskMarlon-%s"%(os.getpid())
start=time.time()
time.sleep(random.random()*40)
end=time.time()
print'TaskMarlonruns%0.2fseconds.'%(end-start)
defAllen():
print"\nRuntaskAllen-%s"%(os.getpid())
start=time.time()
time.sleep(random.random()*30)
end=time.time()
print'TaskAllenruns%0.2fseconds.'%(end-start)
defFrank():
print"\nRuntaskFrank-%s"%(os.getpid())
start=time.time()
time.sleep(random.random()*20)
end=time.time()
print'TaskFrankruns%0.2fseconds.'%(end-start)
if__name__=='__main__':
function_list=[Lee,Marlon,Allen,Frank]
print"parentprocess%s"%(os.getpid())
pool=multiprocessing.Pool(4)
forfuncinfunction_list:
pool.apply_async(func)#Pool执行函数，apply执行函数,当有一个进程执行完毕后，会添加一个新的进程到pool中
print'Waitingforallsubprocessesdone...'
pool.close()
pool.join()#调用join之前，一定要先调用close()函数，否则会出错,close()执行后不会有新的进程加入到pool,join函数等待素有子进程结束
print'Allsubprocessesdone.'
一次执行结果
parentprocess7704
Waitingforallsubprocessesdone...
RuntaskLee-6948
RuntaskMarlon-2896
RuntaskAllen-7304
RuntaskFrank-3052
TaskLee,runs1.59seconds.
TaskMarlonruns8.48seconds.
TaskFrankruns15.68seconds.
TaskAllenruns18.08seconds.
Allsubprocessesdone.
multiprocessingpoolmap
#coding:utf-8
importmultiprocessing
defm1(x):
printx*x
if__name__=='__main__':
pool=multiprocessing.Pool(multiprocessing.cpu_count())
i_list=range(8)
pool.map(m1,i_list)
一次执行结果
0
1
4
9
16
25
36
49
参考：http://www.dotblogs.com.tw/rickyteng/archive/2012/02/20/69635.aspx
问题：http://bbs.chinaunix.net/thread-4111379-1-1.html
#coding:utf-8
importmultiprocessing
importlogging
defcreate_logger(i):
printi
classCreateLogger(object):
def__init__(self,func):
self.func=func
if__name__=='__main__':
ilist=range(10)
cl=CreateLogger(create_logger)
pool=multiprocessing.Pool(multiprocessing.cpu_count())
pool.map(cl.func,ilist)
print"hello------------>"
一次执行结果
0
1
2
3
4
5
6
7
8
9
hello------------>
本文内容总结：例1：使用进程池，例2：使用进程池（阻塞），例3：使用进程池，并关注结果，例4：使用多个进程池，
原文链接：https://www.cnblogs.com/kaituorensheng/p/4465768.html