各位用户为了找寻关于Python解析nginx日志文件的资料费劲了很多周折。这里教程网为您整理了关于Python解析nginx日志文件的相关资料，仅供查阅，以下为您介绍关于Python解析nginx日志文件的详细内容

项目的一个需求是解析nginx的日志文件。 简单的整理如下：

日志规则描述

首先要明确自己的Nginx的日志格式，这里采用默认Nginx日志格式：

? 1 2 3 log_format main '$remote_addr - $remote_user [$time_local] "$request" '          '$status $body_bytes_sent "$http_referer" '          '"$http_user_agent" "$http_x_forwarded_for"';

其中一条真实记录样例如下：

 

代码如下: 172.22.8.207 - - [16/Dec/2014:17:57:35 +0800] "GET /report?DOmjjuS6keWJp+WculSQAgdUkAIPODExMzAwMDJDN0FC HTTP/1.1" 200 0 "-" "XXXXXXX/1.0.16; iPhone/iOS 8.1.2; ; 8DA77E2F91D0"

 

其中，客户端型号信息用XXXXXXX代替。

项目中已经按照业务规则对Nginx日志文件进行了处理命名规则如下：

ID-ID-YYMMDD-hhmmss 并且所有的日志文件存放在统一路径下。

解决思路

获取所有日志文件path

这里使用Python的glob模块来获取日志文件path

? 1 2 3 import glob def readfile(path):   return glob.glob(path + '*-*-*-*')

获取日志文件中每一行的内容

使用Python的linecache模块来获取文件行的内容

? 1 2 3 4 5 import linecache     def readline(path):   return linecache.getlines(path)

注意：linecache模块使用了缓存，所以存在以下问题：

在使用linecache模块读取文件内容以后，如果文件发生了变化，那么需要使用linecache.updatecache(filename)来更新缓存，以获取最新变化。

linecache模块使用缓存，所以会耗费内存，耗费量与要解析的文件相关。最好在使用完毕后执行linecache.clearcache()清空一下缓存。

当然，作为优化，这里可以利用生成器来进行优化。暂且按下不表。

处理日志条目

一条日志信息就是一个特定格式的字符串，因此使用正则表达式来解析，这里使用Python的re模块。 下面，一条一条建立规则：

规则

? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 ip = r"?P<ip>[d.]*" date = r"?P<date>d+" month = r"?P<month>w+" year = r"?P<year>d+" log_time = r"?P<time>S+" method = r"?P<method>S+" request = r"?P<request>S+" status = r"?P<status>d+" bodyBytesSent = r"?P<bodyBytesSent>d+" refer = r"""?P<refer>      [^"]*      """ userAgent=r"""?P<userAgent>       .*       """

解析

 

代码如下: p = re.compile(r"(%s) - - [(%s)/(%s)/(%s):(%s) [S]+] "(%s)?[s]?(%s)?.*?" (%s) (%s) "(%s)" "(%s).*?"" %( ip, date, month, year, log_time, method, request, status, bodyBytesSent, refer, userAgent ), re.VERBOSE) m = re.findall(p, logline)

 

这样，就可以得到日志条目中各个要素的原始数据。

格式及内容转化

得到日志原始数据之后，需要根据业务要求，对原始数据进行格式及内容转化。 这里需要处理的内容包括：时间，request，userAgent

时间格式转化

在日志信息原始数据中存在Dec这样的信息，利用Python的time模块可以方便的进行解析

? 1 2 3 4 import time def parsetime(date, month, year, log_time):   time_str = '%s%s%s %s' %(year, month, date, log_time)   return time.strptime(time_str, '%Y%b%d %H:%M:%S')

解析request

在日志信息原始数据中得到的request的内容格式为：

/report?XXXXXX 这里只需要根据协议取出XXXXXX即可。 这里仍然采用Python的re模块

? 1 2 3 4 5 import re def parserequest(rqst):   param = r"?P<param>.*"   p = re.compile(r"/report?(%s)" %param, re.VERBOSE)   return re.findall(p, rqst)

接下来需要根据业务协议解析参数内容。这里需要先利用base64模块解码，然后再利用struct模块解构内容：

? 1 2 3 4 5 6 import struct import base64 def parseparam(param):   decodeinfo = base64.b64decode(param)   s = struct.Struct('!x' + bytes(len(decodeinfo) - (1 + 4 + 4 + 12)) + 'xii12x')   return s.unpack(decodeinfo)

解析userAgent

在日志信息原始数据中userAgent数据的格式为：

XXX; XXX; XXX; XXX 根据业务要求，只需要取出最后一项即可。 这里采用re模块来解析。

? 1 2 3 4 5 import re def parseuseragent(useragent):   agent = r"?P<agent>.*"   p = re.compile(r".*;.*;.*;(%s)" %agent, re.VERBOSE)   return re.findall(p, useragent)

至此，nginx日志文件解析基本完成。 剩下的工作就是根据业务需要，对获得的基本信息进行处理。

以上所述就是本文的全部内容了，希望大家能够喜欢。