目录
- 目的
- 将数据存储在本地 (二进制文件)
- 将数据存储在 表格/文本文件 中
- 完整代码
- 附加题
1. 目的
之前的教程对于获取到的数据，查看方式都是“直接打印到屏幕”——在屏幕上显示出来。像这样：
print(titles)
那么实际操作中我需要把指定数据存储下来，方便我多次使用。所以现在我先说明常见的数据类型，然后把不同的类型的数据存储到电脑本地。
字符串形式的数据
thisString = '这是字符串'
列表形式的数据
thisList = ['这是字符串',123,['这是列表中的列表中的字符串'],]
字典形式的数据
thisDict = {'这是“键”':'这是值', '这是钥匙':['这是锁'], 123:321}
下面我将把这些数据存储在文件中。
2. 将数据存储在本地：如果是给程序使用的情况
如果你想在其他Python程序中直接使用这些数据（列表/字典）。这里将使用 pickle包将希望存储的数据“原汁原味地”、以二进制的方式存储在硬盘中（简单地说就是你不能双击打开）。
拗口地说，一般程序中的数据都存在内存，程序结束这些数据就消失了；如果数据存在硬盘，这样它就像平时见到的文件一样，一直存在。
这是一种实现程序之间非立即传递数据的方法——今天程序A把一个列表保存在硬盘，明天程序B读取这个列表，在B自己的程序中使用（其实就是一个接力的过程）。
2.1 存储
现在说明如何将数据存储成二进制文件：
import pickle
file_path = '/User/Sixing/workplace/thisPickleFile'
# 这是文件存储地址，其中 thisPickleFile 是文件名称
data = {'这是“键”':'这是值', '这是钥匙':['这是锁'], 123:321}
with open(pickle_path,'wb') as f:
pickle.dump(data, f)
这样，在/User/Sixing 的 workplace 文件夹中就会出现 thisPickleFile 文件。这个文件是无法直接打开的，但是它能被其他Python程序使用。
2.2读取
然后说明如何在程序中读取二进制文件
import pickle
file_path = '/User/Sixing/workplace/thisPickleFile'
with open(file_path,'rb') as f:
data = pickle.load(f)
print(data) # 打印出来看看是不是它 :D
2.3 完整代码
文件 pickleWrite.py
import pickle
file_path = '/User/Sixing/workplace/thisPickleFile'
data =
with open(pickle_path,'wb') as f:
pickle.dump(data, f)
print('I write it')
文件 pickleRead.py
import pickle
file_path = '/User/Sixing/workplace/thisPickleFile'
with open(file_path,'rb') as f:
targetFile = pickle.load(f)
print('I read it!')
现在我将打开终端运行这两个程序
注意 这里 > 是命令行的提示符, python3 是指令，用于“指示python解释器 执行python代码”
> python3 pickleWrite.py
> python3 pickleRead.py
运行的样子
存储程序变量在计算机本地-程序之间的接力
3. 将数据存储在 表格/文本文件 中：我想点开的情况
下面是一些存储/读取 数据 于 表格/文本 中的方法
3.1 存储表格（.csv文件）
存储一个列表
import csv
manyItems = ['这','是','一句','被','分割','的','句子']
path = '/User/Sixing/workplace/thisCSV1.csv'
with open(path, 'a+',newline='',encoding='utf-8') as csvfile:
writer = csv.writer(csvfile,quoting=csv.QUOTE_NONNUMERIC)
for row in List:
writer.writerow([row])
存储复合列表
import csv
path = '/User/Sixing/workplace/thisCSV2.csv'
manyRows = [['学号', '姓名', '性别'], ['1', 'Alfonso', 'M'], ['2', 'Arthur', 'F']]
with open(path, 'a+',encoding='utf-8',newline='') as csvfile:
writer = csv.writer(csvfile,quoting=csv.QUOTE_NONNUMERIC)
for row in manyRows:
writer.writerow(row)
3.2 存储到文本文件中
# 这里不用import 任何东西
text = '这是一段文字'
path = '/User/Sixing/workplace/thisText.txt'
with open(path,'w',encoding="utf-8") as f:
f.write(text)
3.3 读取文本的内容
# 这里不用import 任何东西
path = '/User/Sixing/workplace/thisText.txt'
with open(path,'r',encoding= 'utf-8') as f
docs = f.read()
# 可以打印到屏幕确定一下对不对
# print(docs)
3.4 读取csv文件
import csv
path = '/User/Sixing/workplace/thisCSV1.csv'
data = [] # 初始化一个空的列表 来放置数据
with open(path, 'r', newline='',encoding='utf-8') as f:
reader = csv.reader(f)
for row in reader:
data.append(row[0])
# 如果是复合列表则写
# data.append(row)
# 可以打印到屏幕确定一下对不对
# print(data)
下面我将把上次爬虫获取的数据存储到表格中
4. 完整代码
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Created on Thu Jul 26 23:26:34 2018
@author: alfonso
"""
# ------- obtain html data 指北(3)
import requests
url = 'http://www.baidu.com'
headers = {
'User-Agent': 'Chrome/53.0.2785.143','Connection': 'keep-alive',
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',}
html = requests.get(url, headers=headers) # 这里我改变了一个变量名称
# ------- mining html 指北(4)
from bs4 import BeautifulSoup
soup = BeautifulSoup(html.content, 'lxml')
titles = soup.select(
"div#wrapper > div#head > div.head_wrapper > div#u1 > a.mnav")
# titles titles[0].get_text titles[0].string titles[0].get("href")
# -------将爬虫获取的数据存储到表格文件中-------
import csv # 引入
data = []
for title in titles: # 取出 内容：链接
data.append([title.string,title.get("href")])
path = '/Users/alfonso/workplace/thisCSV2.csv'
with open(path, 'a+',encoding='utf-8',newline='') as csvfile:
writer = csv.writer(csvfile,quoting=csv.QUOTE_NONNUMERIC)
for row in data:
writer.writerow(row)
开启Spyder
请开启你的spyder
运行，并打开.csv文件查看（Mac上使用Number，Windows上使用Excel）
要被number丑哭了.jpg
5. 附加题
- python2存储的二进制文件 不一定能被 python3读取。个人建议使用python3，没别的，就是喜欢赶潮流。
- 如果开始看不懂了，请一定要在 Head First in Python 上找答案，然后再问我
