使用Python编写提取日志中的中文的脚本的方法_Python

使用Python编写提取日志中的中文的脚本的方法

2020-06-19 10:09JohnnyHu90 Python

这篇文章主要介绍了使用Python编写提取日志中的中文的脚本的方法,该脚本包括过滤重复的字符行等功能,需要的朋友可以参考下

由于工作需要在一大堆日志里面提取相应的一些固定字符，如果单纯靠手工取提取，数据量大，劳心劳力，于是自然而然想到了用Python做一个对应的提取工具，代替手工提取的繁杂，涉及中文字符，正则表达式不好匹配，但不是不可以实现，这个以后优化时再说。

需求描述：

一个父目录中存在多个子文件夹，子文件夹下有多个txt形式化的Log日志，要求从所有地方Log日志中找出CardType=9, CardNo=0时的CardID的值，并将其统计存储到一个文本文件中，要求CardID不能够重复。

需求解析：

首先获取所有的Log日志的全路径，根据路径分别加载到将各个Log日志加载到内存中进行提取分析，并将结果存储到给定的文本文件中。

解决方案：

为了尽可能的简洁通用，这里使用配置文件作为输入变量的依据。不多说，上代码：

配置文件如下：

使用Python编写提取日志中的中文的脚本的方法

103文件夹下有两个文件：log1.txt和log2.txt, 内容类似如下：

使用Python编写提取日志中的中文的脚本的方法

Python代码实现如下：

				?

									# -*- coding: utf-8 -*-

									#!/usr/bin/python

									# filename: picktools.py

									# codedtime:2015-3-25

									import os

									import configparser

									# 遍历一个目录，输出所有文件名

									def itemsbrowse(path):

									  for home, dirs, files in os.walk(path):

									    for filename in files:

									      yield os.path.join(home, filename)

									# 给的文件中查找对应的字符串所在行      

									def findchars(filename, chars):

									  file = open(filename, 'r')

									  for eachline in file:

									    if eachline.find(chars) >= 0:

									      yield eachline

									  file.close()

									# 添加到指定的文件

									def addtofile(filename, mygenerator):

									  file = open(filename, 'a')   # 追加方式打开

									  for line in mygenerator:

									    file.write(line)

									  file.close()

									# 过滤重复的字符行

									def filter(filename):

									  mylist = []

									  file = open(filename, 'r')

									  for eachline in file:

									    mylist.append(eachline.strip())

									  file.close()

									  file2 = open(os.path.splitext(filename)[0] + '_filter.txt', 'w')

									  for line in list(set(mylist)):

									    print(line, file = file2)

									    #file2.write(line) 

									  file2.close()

									def excute():

									  iniconf = configparser.ConfigParser()

									  iniconf.read('config.ini')

									  ifile = iniconf.get('setting', 'ifilepath')

									  ofile = iniconf.get('setting', 'ofilepath')

									  chars = iniconf.get('setting', 'searchstr')

									  for fullname in itemsbrowse(ifile):

									    mygenerator = findchars(fullname, chars)

									    addtofile(ofile, mygenerator)

									  filter(ofile)

									if __name__ == '__main__':

									  excute()