最近需要处理linux下的gz问题，发现有两个各相似的包好像都可以处理gz，但是使用上又有一些区别
zipfile
- 可以处理zip压缩包，将多个文件压缩到一个压缩包中，或者从压缩包中读取其中的各个文件
- 使用的时候需要先创建zipfile对象，然后使用zip对象的open方法打开文件并进行读写
- 使用open方法的时候需要传入file_path, 这个path可以使用file_obj.namelist()来获取
for filename in file_obj.namelist():
with zip_files.open(filename ) as parse_file_handler:
for line in parse_file_handler.readlines():
print (line)
gzip
可以处理单个文件，可以直接open压缩文件并从中读取或者写入数据
对于linux下的gz文件，我发现zipfile并没有将它识别为zip文件，这个时候就只能使用gzip了，并且gzip可以直接open方便快捷
gzip读取文本文件
使用gzip的时候默认方式会将file打开为byte格式，就是说读出来的字符串都是bytes格式化的，打印的时候还需要重新转换格式。可以通过下面的方法来直接让gzip读出string格式的数据， 注意这里使用了 ‘rt’ 和 encoding 参数
with gzip.open(file_path, 'rt', encoding='utf-8') as input:
for line in input.readlines():
print(line)
更进一步，可以使用csv来处理gzip读入的文件
with gzip.open(file_path, 'rt', encoding='utf-8') as zf:
tsvin = csv.reader(zf, delimiter='\t')
for line in tsvin:
yield line
或者
with gzip.open(file_path, 'rt', encoding='utf-8') as zf:
tsvin = csv.DictReader(zf, delimiter='\t')
for line in tsvin:
yield line
这里csv.reader和csv.DictReader的区别在于:
- 使用reader读进来的是一个list嵌套list的数据结构，
- 使用DictReader读取进来的是一个dict的数据结构，它会使用第一行作为dict的key。
所以如果数据是有headline的话那么就可以用DictReader，如果没有头那么最好用reader
