python 2.7 使用 multiprocessing Queue 实现进程共享队列教程
在实现爬虫功能时,启用了多进程功能,但是发现普通的Queue传入进城后是每个进程复制了一份,而不是大家共享该变量,经过查询,multiprocessing 模块本身提供了多个类型的共享变量,包括 Value,dict,list,queue等。本文记录了使用Queue的示例代码。
#!/usr/bin/env python
# *_coding:utf-8_*_
from multiprocessing import Process, Lock, Queue
import os
# multiprocessing.Queue 是线程安全的,不需要使用lock机制
def foo(lock, process_queue):
# 打印当前进程id,打印队列头
print os.getpid(), process_queue.get()
# 将自己的进程id插入队列,其他进程访问队列时可以获取到的话说明队列已经共享
process_queue.put(os.getpid())
pass
def test():
processes = []
process_queue = Queue()
lock = Lock()
process_queue.put(1)
for i in range(10):
p = Process(target=foo, name=str(i), args=(lock, process_queue, ))
p.start()
processes.append(p)
for p in processes:
p.join()
pass
if __name__ == '__main__':
test()
输出结果
13996 1
8756 13996
12364 8756
4488 12364
5596 4488
5284 5596
3028 5284
3432 3028
8732 3432
8456 8732
DarkN0te发布了3 篇原创文章 · 获赞 0 · 访问量 28 私信 关注