python实现按行切分文本文件的方法_Python

python实现按行切分文本文件的方法

2020-08-19 10:28mo_guang Python

这篇文章主要介绍了python实现按行切分文本文件的方法,涉及Python利用shell命令操作文本文件的相关技巧,需要的朋友可以参考下

本文实例讲述了python实现按行切分文本文件的方法。分享给大家供大家参考，具体如下：

python脚本利用shell命令来实现文本的操作，这些命令大大减少了我们的代码量。

比如按行切分文件并返回切分后得到的文件列表，可以利用内建的split命令进行切分。为了返回得到的文件列表名，可以先将文件切分到自建的子目录中，然后通过os.listdir获取所有文件，再将这些文件移到上一级目录(即函数参数指定的新目录)，删除自建子目录，最后返回该文件名列表。

代码如下，如发现问题欢迎指正:

									# 创建新路径

									def make_dirs(path):

									  if not os.path.isdir(path):

									    os.makedirs(path)

									# 获取文件的行数

									def get_total_lines(file_path):

									  if not os.path.exists(file_path):

									    return 0

									  cmd = 'wc -l %s' % file_path

									  return int(os.popen(cmd).read().split()[0])

									# 函数split_file_by_row: 按行切分文件

									# filepath: 切分的目标文件

									# new_filepath: 生成新文件的路径

									# row_cnt: 每个文件最多包含几行

									# suffix_type: 新文件后缀类型，如两位字母或数字

									# return: 切分后的文件列表

									def split_file_by_row(filepath, new_filepath, row_cnt, suffix_type='-d'):

									  tmp_dir = "/split_file_by_row/"

									  make_dirs(new_filepath)

									  make_dirs(new_filepath+tmp_dir)

									  total_rows = get_total_lines(filepath)

									  file_cnt = int(math.ceil(total_rows*1.0/row_cnt))

									    command = "split -l%d -a2 %s %s %s" % (row_cnt, suffix_type, filepath, new_filepath+tmp_dir)

									    os.system(command)

									    filelist = os.listdir(new_filepath+tmp_dir)

									  command = "mv %s/* %s"%(new_filepath+tmp_dir, new_filepath)

									  os.system(command)

									  command = "rm -r %s"%(new_filepath+tmp_dir)

									  os.system(command)

									  return [new_filepath+fn for fn in filelist]