1. 读文件
打开一个文件用 open() 方法(open()返回一个文件对象，它是可迭代的)：
f = open('test.txt', 'r') # r表示是文本文件，rb是二进制文件（这个mode参数默认值就是r）
f.close() # 文件使用完毕后必须关闭，因为文件对象会占用操作系统的资源，并且操作系统同一时间能打开的文件数量也是有限的
# 但是每次都这么写实在太繁琐，所以，Python引入了with语句来自动帮我们调用close()方法：
with open('/path/to/file', 'r') as f:
print(f.read())
python 文件对象提供了三个“读”方法： read()、readline() 和 readlines()。每种方法可以接受一个变量以限制每次读取的数据量。
注意：这三种方法是把每行末尾的 \n 也读进来了，它并不会默认的把'\n'去掉，需要我们手动去掉。
- read() 每次读取整个文件，它通常用于将文件内容放到一个字符串变量中。如果文件大于可用内存，为了保险起见，可以反复调用read(size)方法，每次最多读取size个字节的内容。
- readlines() 之间的差异是后者一次读取整个文件，象 .read() 一样。.readlines() 自动将文件内容分析成一个行的列表。
- readline() 每次只读取一行，通常比readlines() 慢得多。仅当没有足够内存可以一次读取整个文件时，才应该使用 readline()。
2. 写文件
f = open('test.txt', 'w') # 若是'wb'就表示写二进制文件
f.write('Hello, world!')
f.close()
注意： w 这个模式是这样：如果没有这个文件，就创建一个；如果有，那么就会先把原文件的内容清空再写入新的东西。所以若不想清空原来的内容而是直接在后面追加新的内容，就用 a 这个模式。
我们可以反复调用 write() 来写入文件，但是务必要调用 f.close() 来关闭文件。当我们写文件时，操作系统往往不会立刻把数据写入磁盘，而是放到内存缓存起来，空闲的时候再慢慢写入。只有调用 close() 方法时，操作系统才保证把没有写入的数据全部写入磁盘。忘记调用 close() 的后果是数据可能只写了一部分到磁盘，剩下的丢失了。所以，还是用 with 语句来得保险：
with open('test.txt', 'w') as f:
f.write('Hello, world!')
python文件对象提供了两个“写”方法： write() 和 writelines()。
- write()方法和read()、readline()方法对应，是将字符串写入到文件中。
- writelines()方法和readlines()方法对应，也是针对列表的操作。它接收一个字符串列表作为参数，将他们写入到文件中，换行符不会自动的加入，因此需要显式的加入换行符。
3. 关于open()的mode参数：
-
r：读 -
w：写 -
a：追加 -
r+== r+w（可读可写，文件若不存在就报错(IOError)） -
w+== w+r（可读可写，文件若不存在就创建） -
a+== a+r（可追加可写，文件若不存在就创建） - 对应的，如果是二进制文件，就都加一个b就好啦：
rbwbabrb+wb+ab+
4. 字符编码
要读取非UTF-8编码的文本文件，需要给open()函数传入encoding参数，例如，读取GBK编码的文件：
f = open('test.txt', 'r', encoding='gbk')
f.read()
遇到有些编码不规范的文件，你可能会遇到UnicodeDecodeError，因为在文本文件中可能夹杂了一些非法编码的字符。遇到这种情况，open()函数还接收一个errors参数，表示如果遇到编码错误后如何处理。最简单的方式是直接忽略：
f = open('test.txt', 'r', encoding='gbk', errors='ignore')
5. 读取大文件
最近处理文本文档时（文件约 28GB 大小），出现memoryError错误和文件读取太慢的问题，处理大文件是很容易想到的就是将大文件分割成若干小文件处理，处理完每个小文件后释放该部分内存。这里用了 iter & yield：
5.1 Read In Chunks
def read_in_chunks(filePath, chunk_size=1024*1024):
"""
Lazy function (generator) to read a file piece by piece.
Default chunk size: 1M
You can set your own chunk size
"""
try:
file_object = open(filePath)
while True:
chunk_data = file_object.read(chunk_size)
if not chunk_data:
break
yield chunk_data
finally:
if file_object:
f.close()
if __name__ == "__main__":
filePath = './path/filename'
for chunk in read_in_chunks(filePath):
process(chunk) # <do something with chunk>
5.2 Using with open()
对可迭代对象 f，进行迭代遍历：for line in f，会自动地使用缓冲IO（buffered IO）以及内存管理，而不必担心任何大文件的问题。
with open(filename, 'rb') as f:
for line in f:
<do something with the line>
