当前位置：首页>python>python自动化系列:日志分析工具

python自动化系列:日志分析工具

2026-06-29 17:46:02

python自动化系列:日志分析工具

作品介绍

作品名称：日志分析工具

用到的库：logging、loguru、pandas、matplotlib.pyplot、re

作品简介：日志分析工具可以帮助开发者和运维人员从大量的日志数据中提取有价值的信息。以下是一些常用的Python日志分析工具和技术，以及如何使用它们来解析、过滤和处理日志文件。

实现过程

一、内置模块logging

Python自带的logging模块是创建和管理日志记录的基础工具。它支持多种日志级别（如DEBUG、INFO、WARNING、ERROR、CRITICAL），并且可以灵活配置输出格式、目标位置等。

import logginglogging.basicConfig(level = logging.INFO, filename = 'app.log', filemode = 'w',format = '%(name)s - %(levelname)s - %(message)s')logging.info('This is an info message.')

二、第三方库loguru

loguru是一个现代化的日志记录库，提供了简洁且功能强大的API，简化了日志记录的过程。它的特点包括自动旋转日志文件、异步日志写入、彩色终端输出等。

from loguru import loggerlogger.add("file_{time}.log", rotation="500 MB")  # 日志文件按大小分割logger.info("If you're using Python {}, prefer {feature} of course!", 3.6, feature="loguru")

三、分析工具pandas 和 matplotlib

对于结构化的日志数据（如CSV或JSON格式），可以使用pandas进行数据分析，并结合matplotlib或其他可视化库生成图表。

import pandas as pdimport matplotlib.pyplot as plt# 假设有一个名为 'logs.csv' 的CSV日志文件df = pd.read_csv('logs.csv')# 统计每个级别的日志数量level_counts = df['level'].value_counts()# 可视化结果level_counts.plot(kind='bar')plt.show()

四、正则表达式解析非结构化日志

如果日志是以文本形式保存的，则可以使用正则表达式（re模块）来提取特定模式的数据。

import relog_pattern = r'(\d{4}-\d{2}-\d{2}) (\d{2}:\d{2}:\d{2}),(\d{3}) (\S+): (.*)'with open('app.log') as f:    for line in f:        match = re.match(log_pattern, line)        if match:            date, time, millisecond, level, message = match.groups()            print(f"{date}{time}.{millisecond} [{level}] {message}")