前言
我们写的Python程序,如爬虫程序,在运行时会产生很多数据。这些数据都保存在内存当中,如果程序运行结束,或者电脑关机,数据便丢失了,我们无法再继续使用这些数据。那么,我们该怎么保存这些数据呢?
我们可以通过将数据保存到文件或者数据库,来实现数据的保存,今天就来说一下如何将数据保存到文件。
Python操作文件的方式很像我们在电脑的记事本上记录文字:在文件夹中新建一个readme.txt
文件,使用记事本打开,在记事本中写下文字,然后保存、关闭。
Python操作文件也是类似的三步:
- 打开文件
- 操作文件
- 关闭文件
打开文件
Python使用内置的open()
方法打开文件,用于对文件执行读写操作,open()
方法返回值是一个file对象。
基本语法格式:f = open(filename, mode)
-
filename:要访问文件的路径,字符串形式。如文件是上一级目录的
readme.txt
,则filename即为../readme.txt
,关于文件路径,详见文件路径。 -
mode:打开文件的模式,默认为
r
,即只读模式。- r:只读,默认模式,如果文件不存在就报错,存在就正常读取。
- w:只写,如果文件不存在,新建文件然后写入;如果存在,清空文件内容,再写入。
- a:追加,如果文件不存在,新建文件后写入;如果存在,在文件最后追加写入。
- x:新建,如果文件存在则报错,如果文件不存在就新建文件,然后写入。
- b:二进制模式,使用rb、wb、ab,以 bytes 类型操作数据。
- +:读写模式,使用r+(常用)、w+、a+。
有时候我们还需要注意文件的编码,由于Python3的默认编码为UTF-8,如果要读取非UTF-8编码的文件,需要给open()
函数传入encoding
参数,下面以读取GBK编码的文件为例:
f = open('readme.txt', 'r', encoding='gbk')
操作文件
读取
Python的有4中方法读取文件,我们应根据情况,选用合适的读取方法:
- 如果文件很小,使用
read()
一次性读取; - 如果不能确定文件大小,可以使用
read(size)
指定每次读的大小,多次读取文件; - 如果是一行一行的文件,可以使用
readlines()
或readline()
来读取文件; - 一般情况下,可以使用for遍历来读取文件,这样速度最快。
f.read(size)
读取文件中一定大小的数据,然后作为字符串或字节对象返回。size
是一个可选的数字类型的参数,用于指定读取的数据量,单位为字节。如果size
参数被忽略或为负值,则会读取整个文件内容并返回。
with open('readme.txt', 'r') as f:
str = f.read()
print(str)
f.readline()
从文件中读取一行内容,可以多次调用以读取多行,如果返回一个空字符串,说明读到了最后一行。
with open('readme.txt', 'r') as f:
str = f.readline()
print(str)
f.readlines()
将文件中的所有行读取后按顺序放入一个列表中,返回这个列表。
with open('readme.txt', 'r') as f:
lis = f.readlines()
print(lis)
for遍历
可以将文件对象作为一个迭代器来使用:
with open('readme.txt', 'r') as f:
for line in f:
print(line, end='')
写入
f.write()
要想往文件中写入数据,需要使用w
或者a
模式打开文件。Python中的write()
方法用于将字符串或者bytes类型的数据写入文件内。
f = open('readme.txt', 'w')
f.write('Hello, world!')
f.close()
write()
可以执行多次,但是写操作都是在内存中,不会立刻写入硬盘,只有调用close()
方法后,才会将所有的写入操作反映到磁盘上。如果想立刻保存到硬盘上,可以使用f.flush()
方法,但这可能造成数据不一致。
关闭文件
Python使用close()
方法关闭文件对象,当处理完一个文件后,我们可以使用f.close()
来关闭文件,释放系统的资源。
f.close()
如果忘记关闭文件,可能造成数据只写了一部分到磁盘,剩下的数据丢失了,或者导致更糟糕的结果。
with关键字
尽管我们需要记得在完成文件处理后关闭文件,但常常还是会忘记,以至于造成数据的丢失。使用with
关键字可以有效的避免这种情况的发生。
使用with
关键字,可以保证在我们处理完文件后文件正常关闭,不需要再另外使用close()
方法取关闭文件啦!
既然with
这么好用,那么该如何使用呢?
以打开一个readme.txt
文件,并在其中写入“Hello, world!”为例,我们可以用如下的方法:
with open('readme.txt', 'w') as f:
f.write('Hello, world!')
当需要同时打开多个文件时:
with open('readme.txt') as f1, open('readme.md') as f2:
s1 = f1.read()
s2 = f2.read()