用python实现的线程池实例代码_Python

用python实现的线程池实例代码

2021-01-01 00:51Orisun Python

这篇文章主要介绍了用python实现的线程池实例代码，具有一定借鉴价值,需要的朋友可以参考下

python3标准库里自带线程池 ThreadPoolExecutor和进程池ProcessPoolExecutor。

如果你用的是python2，那可以下载一个模块，叫threadpool，这是线程池。对于进程池可以使用python自带的multiprocessing.Pool。

当然也可以自己写一个threadpool。

									# coding:utf-8

									import Queue

									import threading

									import sys

									import time

									import math

									class WorkThread(threading.Thread):

									  def __init__(self, task_queue):

									    threading.Thread.__init__(self)

									    self.setDaemon(True)

									    self.task_queue = task_queue

									    self.start()

									    self.idle = True

									  def run(self):

									    sleep_time = 0.01 # 第1次无任务可做时休息10毫秒

									    multiply = 0

									    while True:

									      try:

									        # 从队列中取一个任务

									        func, args, kwargs = self.task_queue.get(block=False)

									        self.idle = False

									        multiply = 0

									        # 执行之

									        func(*args, **kwargs)

									      except Queue.Empty:

									        time.sleep(sleep_time * math.pow(2, multiply))

									        self.idle = True

									        multiply += 1

									        continue

									      except:

									        print sys.exc_info()

									        raise

									class ThreadPool:

									  def __init__(self, thread_num=10, max_queue_len=1000):

									    self.max_queue_len = max_queue_len

									    self.task_queue = Queue.Queue(max_queue_len) # 任务等待队列

									    self.threads = []

									    self.__create_pool(thread_num)

									  def __create_pool(self, thread_num):

									    for i in xrange(thread_num):

									      thread = WorkThread(self.task_queue)

									      self.threads.append(thread)

									  def add_task(self, func, *args, **kwargs):

									    '''添加一个任务，返回任务等待队列的长度

									      调用该方法前最后先调用isSafe()判断一下等待的任务是不是很多，以防止提交的任务被拒绝

									    '''

									    try:

									      self.task_queue.put((func, args, kwargs))

									    except Queue.Full:

									      raise # 队列已满时直接抛出异常，不给执行

									    return self.task_queue.qsize()

									  def isSafe(self):

									    '''等待的任务数量离警界线还比较远

									    '''

									    return self.task_queue.qsize() < 0.9 * self.max_queue_len

									  def wait_for_complete(self):

									    '''等待提交到线程池的所有任务都执行完毕

									    '''

									    #首先任务等待队列要变成空

									    while not self.task_queue.empty():

									      time.sleep(1)

									    # 其次，所以计算线程要变成idle状态

									    while True:

									      all_idle = True

									      for th in self.threads:

									        if not th.idle:

									          all_idle = False

									          break

									      if all_idle:

									        break

									      else:

									        time.sleep(1)

									if __name__ == '__main__':

									  def foo(a, b):

									    print a + b

									    time.sleep(0.01)

									  thread_pool = ThreadPool(10, 100)

									  '''在Windows上测试不通过，Windows上Queue.Queue不是线程安全的'''

									  size = 0

									  for i in xrange(10000):

									    try:

									      size = thread_pool.add_task(foo, i, 2 * i)

									    except Queue.Full:

									      print 'queue full, queue size is ', size

									  time.sleep(2)