python又一力作，感受python的强大。用70行代码实现日志分析程序
功能介绍：可直接对文本日至进行分组和排序功能，完了输出结果粘贴到excel里就可以直接生成图表，对于排查一些生产环境问题有很大的作用。
代码：
#encoding=utf-8from optparse import OptionParserimport re def get_args(): def get_parser(): usage = u"""%prog -f filename -r rule [-d] [-c]用途：对文本文件按照指定模式进行分组并排序,主要分析文本日志用注意：如果正则表达式里有分组，则提取第一分组， 如果不希望这样，请使用正则的无捕获分组(?:)示例：统计日志里每分钟的日志量，默认按时间正序排列 python group.py -f log.txt -r "dddd-dd-dd dd:dd" 统计日志里每个ip出现的次数，并按出现次数倒序排列 python group.py -f input.txt -r "d+.d+.d+.d+" -c -d""" return OptionParser(usage) def add_option(parser): parser.add_option("-f", "--file", dest="filename", help=u"需要分组的文本文件", metavar="FILE") parser.add_option("-r", "--rule", dest="rule", help=u"分组的正则表达式", metavar="REGEX") parser.add_option("-d", action="store_true", dest="reverse", default=False, help=u"反序排列") parser.add_option("-c", action="store_true", dest="orderbycount", default=False, help=u"按数量排序,默认按匹配字符串排序") def get_options(parser): options, args = parser.parse_args() if not options.filename: parser.error('没有指定文件名') if not options.rule: parser.error('没有指定分组规则') return options parser = get_parser() add_option(parser) return get_options(parser) options = get_args()filename = options.filenamerule = options.rulereverse = options.reverseorderbycount = options.orderbycount regex = re.compile(rule, re.IGNORECASE)keys = {} def counter_key(key): keys.setdefault(key, 0) keys[key] += 1 def print_keys(): sort_key = (lambda d:d[1]) if orderbycount else (lambda d:d[0]) temp_items = sorted(keys.items(), key=sort_key, reverse=reverse) for item in temp_items: key = item[0] print key, keys[key] def get_key(line): m = regex.search(line) if m: return m.group() if regex.groups == 0 else m.group(1) return '!NotMatch!' with open(filename) as f: for line in f: key = get_key(line) counter_key(key) print_keys()