0.起因
在python处理的各类杂活中,文件格式转换类工作通常占大多数比例，比如：
+ 小王啊, 这个.txt帮忙转成xls格式
+ 小张啊, 把这个xls里面xx数据提取出来,搞个xml文件
+ 小周啊, 解析下这个xml文件,转成.txt给我.
通常这种的代码结构可以分成两块：
1. 原始文件解析, 保存为内部数据
2. 将内部数据转换成要求的新文件格式
这篇文件主要是优化第一步. 因为接到一个杂活，要处理大概1000多个xls文件, 而且文件大小比较对不起硬盘，转换逻辑有点绕, 第一步的解析过程可能要花10分钟左右, 并且只要一个文件更新后，就要重新生成.OK, 问题就是这样了.
1.经过
为了解决这个问题，我决定保存第一步的内部数据, 对于这种功能，pickle就是你想要的了. 为了通用性和易用性，决定做个装饰器.所以代码如下:
import os
from functools import wraps
try:
import cPickle as pickle
except ImportError:
import pickle
def file_cache(parse_func):
def _check_cache_valid(parse_file, cache_file):
if not os.path.isfile(cache_file):
return False
if os.path.getmtime(parse_file) > os.path.getmtime(cache_file):
return False
return True
@wraps(parse_func)
def _wrap(*args, **kwargs):
parse_file = kwargs.get('parse_file', '')
parse_result = None
cache_file = '.'.join([parse_file, 'cache'])
if _check_cache_valid(parse_file, cache_file):
with open(cache_file) as cache_fd:
parse_result = pickle.load(cache_fd)
else:
parse_result = parse_func(*args, **kwargs)
with open(cache_file, 'w') as cache_fd:
pickle.dump(parse_result, cache_fd)
return parse_result
return _wrap
几点说明:
- 要解析的文件名,必须通过parse_file参数指明
- 每个文件的缓存文件为文件名加.cahce
- 通过判断原文件和缓冲文件的修改时间来确定，是否要更新缓存文件
应用场景
@file_cache
def _parse_translate_info(self, parse_file=None):
translate_info = {}
with open(parse_file) as fin:
for line in fin:
match = self.TRANSLATE_LINE.match(line)
if match:
translate_info[match.group('en')] = match.group('cn').decode('utf8')
return translate_info
对于老的一些脚本, 要想支持这功能, 少量改动代码就可以了.装饰器大法好啊.
2.结果
引入缓存后,解析速度就是 咻咻咻. (缓存是计算机科学里最NB的发明)
3.警告
以上代码只是处理简单任务的版本,缺少各类异常情况的处理,使用时出现问题概不负责的说。
