加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 建站 > 正文

一篇文章读懂 Python 多线程

发布时间:2019-09-25 00:35:44 所属栏目:建站 来源:编程派
导读:Threading模块从 Python 1.5.2 版开始出现,用于增强底层的多线程模块thread。Threading 模块让操作多线程变得更简单,并且支持程序同时运行多个操作。 注意,Python 中的多线程最好用于处理有关 I/O 的操作,如从网上下载资源或者从本地读取文件或者目录

当你真正运行这段代码时,你会发现它只是挂起了。究其原因,是因为我们只告诉 threading 模块获取锁。所以当我们调用第一个函数时,它发现锁已经被获取,随后便把自己挂起了,直到锁被释放,然而这将永远不会发生。

真正的解决办法是使用重入锁(Re-Entrant Lock)。threading 模块提供的解决办法是使用RLock函数。即把lock = threading.lock替换为lock = threading.RLock,然后重新运行代码,现在代码就可以正常运行了。

如果你想在线程中运行以上代码,那么你可以用以下代码取代直接调用 main函数:

  1. if __name__ == '__main__': 
  2. for i in range(10): 
  3. my_thread = threading.Thread( 
  4. target=main) 
  5. my_thread.start 

每个线程都会运行 main 函数,main 函数则会依次调用另外两个函数。最终也会产生 10 组结果集。

定时器

Threading 模块有一个优雅的 Timer类,你可以用它来实现在指定时间后要发生的动作。它们实际上会启动自己的自定义线程,通过调用常规线程上的start方法即可运行。你也可以调用它的cancel方法停止定时器。值得注意的是,你甚至可以在开始定时器之前取消它。

有一天,我遇到一个特殊的情况:我需要与已经启动的子进程通信,但是我需要它有超时处理。虽然处理这种特殊问题有很多不同的方法,不过我最喜欢的解决方案是使用 threading 模块的 Timer 类。

在下面这个例子中,我们将使用 ping指令作为演示。在 Linux 系统中,ping 命令会一直运行下去直到你手动杀死它。所以在 Linux 世界里,Timer 类就显得非常方便。示例如下:

  1. import subprocess 
  2. from threading import Timer 
  3.  
  4. kill = lambda process: process.kill 
  5. cmd = ['ping', 'www.google.com'] 
  6. ping = subprocess.Popen( 
  7. cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE) 
  8.  
  9. my_timer = Timer(5, kill, [ping]) 
  10. try: 
  11. my_timer.start 
  12. stdout, stderr = ping.communicate 
  13. finally: 
  14. my_timer.cancel 
  15. print (str(stdout)) 

这里我们在 lambda 表达式中调用 kill 杀死进程。接下来启动 ping 命令,然后创建 Timer 对象。你会注意到,第一个参数就是需要等待的秒数,第二个参数是需要调用的函数,紧跟其后的参数是要调用函数的入参。在本例中,我们的函数是一个 lambda 表达式,传入的是一个只有一个元素的列表。如果你运行这段代码,它应该会运行 5 秒钟,然后打印出 ping 的结果。

其他线程组件

Threading 模块包含对其他功能的支持。例如,你可以创建信号量(Semaphore),这是计算机科学中最古老的同步原语之一。基本上,一个信号量管理一个内置的计数器。当你调用acquire时计数器就会递减,相反当你调用release时就会递增。根据其设计,计数器的值无法小于零,所以如果正好在计数器为零时调用 acquire 方法,该方法将阻塞线程。

译者注:通常使用信号量时都会初始化一个大于零的值,如 semaphore = threading.Semaphore(2)

另一个非常有用的同步工具就是事件(Event)。它允许你使用信号(signal)实现线程通信。在下一节中我们将举一个使用事件的实例。

最后,在 Python 3.2 中加入了 Barrier对象。Barrier 是管理线程池中的同步原语,在线程池中多条线程需要相互等待对方。如果要传递 barrier,每一条线程都要调用wait方法,在其他线程调用该方法之前线程将会阻塞。全部调用之后将会同时释放所有线程。

线程通信

某些情况下,你会希望线程之间互相通信。就像先前提到的,你可以通过创建 Event对象达到这个目的。但更常用的方法是使用队列(Queue)。在我们的例子中,这两种方式都会有所涉及。下面让我们看看到底是什么样子的:

  1. import threading 
  2. from queue import Queue 
  3.  
  4. def creator(data, q): 
  5. """ 
  6. 生成用于消费的数据,等待消费者完成处理 
  7. """ 
  8. print('Creating data and putting it on the queue') 
  9. for item in data: 
  10. evt = threading.Event 
  11. q.put((item, evt)) 
  12.  
  13. print('Waiting for data to be doubled') 
  14. evt.wait 
  15.  
  16. def my_consumer(q): 
  17. """ 
  18. 消费部分数据,并做处理 
  19.  
  20. 这里所做的只是将输入翻一倍 
  21.  
  22. """ 
  23. while True: 
  24. data, evt = q.get 
  25. print('data found to be processed: {}'.format(data)) 
  26. processed = data * 2 
  27. print(processed) 
  28. evt.set 
  29. q.task_done 
  30.  
  31. if __name__ == '__main__': 
  32. q = Queue 
  33. data = [5, 10, 13, -1] 
  34. thread_one = threading.Thread(target=creator, args=(data, q)) 
  35. thread_two = threading.Thread(target=my_consumer, args=(q,)) 
  36. thread_one.start 
  37. thread_two.start 
  38.  
  39. q.join 

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读