加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 建站 > 正文

Python分布式进程中你会遇到的坑

发布时间:2019-05-29 11:56:05 所属栏目:建站 来源:编程思录
导读:小惊大怪 你是不是在用Python3或者在windows系统上编程?最重要的是你对进程和线程不是很清楚?那么恭喜你,在python分布式进程中,会有坑等着你去挖。。。(hahahaha,此处允许我吓唬一下你)开玩笑的啦,不过,如果你知道序列中不支持匿名函数,那这个坑就和

在task_worker.py中修改如下:

  1. #!/user/bin/pytthon 
  2. # -*- coding:utf-8 -*- 
  3. # @Time: 2018/3/3 16:46 
  4. # @Author: lichexo 
  5. # @File: task_worker.py 
  6. # task_worker.py 
  7. import time, sys, queue 
  8. from multiprocessing.managers import BaseManager 
  9. # 创建类似的QueueManager: 
  10. class QueueManager(BaseManager): 
  11.  pass 
  12. # 由于这个QueueManager只从网络上获取Queue,所以注册时只提供名字: 
  13. QueueManager.register('get_task_queue') 
  14. QueueManager.register('get_result_queue') 
  15. # 连接到服务器,也就是运行task_master.py的机器: 
  16. server_addr = '127.0.0.1' 
  17. print('Connect to server %s...' % server_addr) 
  18. # 端口和验证码注意保持与task_master.py设置的完全一致: 
  19. m = QueueManager(address=(server_addr, 5000), authkey=b'abc') 
  20. # 从网络连接: 
  21. m.connect() 
  22. # 获取Queue的对象: 
  23. task = m.get_task_queue() 
  24. result = m.get_result_queue() 
  25. # 从task队列取任务,并把结果写入result队列: 
  26. for i in range(10): 
  27.  try: 
  28.  n = task.get(timeout=1) 
  29.  print('run task %d * %d...' % (n, n)) 
  30.  r = '%d * %d = %d' % (n, n, n*n) 
  31.  time.sleep(1) 
  32.  result.put(r) 
  33.  except queue.Empty: 
  34.  print('task queue is empty.') 
  35. # 处理结束: 
  36. print('worker exit.') 

先运行task_master.py,然后再运行task_worker.py

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读