python实现多线程的方式及多条命令并发执行_Python

python实现多线程的方式及多条命令并发执行

2020-08-26 09:31Python教程网 Python

这篇文章主要为大家详细介绍了python实现多线程的方式及多条命令并发执行，感兴趣的小伙伴们可以参考一下

一、概念介绍

Thread 是threading模块中最重要的类之一，可以使用它来创建线程。有两种方式来创建线程：一种是通过继承Thread类，重写它的run方法；另一种是创建一个threading.Thread对象，在它的初始化函数（__init__）中将可调用对象作为参数传入.
Thread模块是比较底层的模块，Threading模块是对Thread做了一些包装的，可以更加方便的被使用。
另外在工作时,有时需要让多条命令并发的执行, 而不是顺序执行。

二、代码样例

									#!/usr/bin/python

									# encoding=utf-8

									# Filename: thread-extends-class.py

									# 直接从Thread继承，创建一个新的class，把线程执行的代码放到这个新的 class里

									import threading

									import time

									class ThreadImpl(threading.Thread):

									 def __init__(self, num):

									  threading.Thread.__init__(self)

									  self._num = num

									 def run(self):

									  global total, mutex

									  # 打印线程名

									  print threading.currentThread().getName()

									  for x in xrange(0, int(self._num)):

									   # 取得锁

									   mutex.acquire()

									   total = total + 1

									   # 释放锁

									   mutex.release()

									if __name__ == '__main__':

									 #定义全局变量

									 global total, mutex

									 total = 0

									 # 创建锁

									 mutex = threading.Lock()

									 #定义线程池

									 threads = []

									 # 创建线程对象

									 for x in xrange(0, 40):

									  threads.append(ThreadImpl(100))

									 # 启动线程

									 for t in threads:

									  t.start()

									 # 等待子线程结束

									 for t in threads:

									  t.join() 

									 # 打印执行结果

									 print total

									#!/usr/bin/python

									# encoding=utf-8

									# Filename: thread-function.py

									# 创建线程要执行的函数，把这个函数传递进Thread对象里，让它来执行

									import threading

									import time

									def threadFunc(num):

									 global total, mutex

									 # 打印线程名

									 print threading.currentThread().getName()

									 for x in xrange(0, int(num)):

									  # 取得锁

									  mutex.acquire()

									  total = total + 1

									  # 释放锁

									  mutex.release()

									def main(num):

									 #定义全局变量

									 global total, mutex

									 total = 0

									 # 创建锁

									 mutex = threading.Lock()

									 #定义线程池

									 threads = []

									 # 先创建线程对象

									 for x in xrange(0, num):

									  threads.append(threading.Thread(target=threadFunc, args=(100,)))

									 # 启动所有线程

									 for t in threads:

									  t.start()

									 # 主线程中等待所有子线程退出

									 for t in threads:

									  t.join() 

									 # 打印执行结果

									 print total

									if __name__ == '__main__':

									 # 创建40个线程

									 main(40)

									#!/usr/bin/python

									# encoding=utf-8

									# Filename: put_files_hdfs.py

									# 让多条命令并发执行,如让多条scp,ftp,hdfs上传命令并发执行,提高程序运行效率

									import datetime

									import os

									import threading

									def execCmd(cmd):

									 try:

									  print "命令%s开始运行%s" % (cmd,datetime.datetime.now())

									  os.system(cmd)

									  print "命令%s结束运行%s" % (cmd,datetime.datetime.now())

									 except Exception, e:

									  print '%s\t 运行失败,失败原因\r\n%s' % (cmd,e)

									if __name__ == '__main__':

									 # 需要执行的命令列表

									 cmds = ['ls /root',

									    'pwd',]

									 #线程池

									 threads = []

									 print "程序开始运行%s" % datetime.datetime.now()

									 for cmd in cmds:

									  th = threading.Thread(target=execCmd, args=(cmd,))

									  th.start()

									  threads.append(th)

									 # 等待线程运行完毕

									 for th in threads:

									  th.join()

									 print "程序结束运行%s" % datetime.datetime.now()