【Python爬虫】数据保存与读取

1、 Open方法

  • 使用with open()新建对象
  • 写入数据
 # -*- coding: utf-8 -*-
 # __author__ = 'Carina'


 import requests
 import os
 from lxml import etree

 url = "https://movie.douban.com/subject/26861685/comments"
 r = requests.get(url).text

 s = etree.HTML(r)
 file = s.xpath('//div[@class="comment"]/p/text()')
 # beforepath_ = os.getcwd()  # 获取当前目录
 # after_path = os.chdir("C:/Users/Carina/Desktop")  #修改目录
 # print(before_path)
 # print(after_path)
 # 使用open()保存
 with open('C:/Users/Carina/Desktop/pinglun.txt', 'w', encoding='utf-8') as f:  # 使用with创建对象
     for i in file:
         print(i)
         f.write(i)

(1)open方法中可以写上绝对路径
(2)使用os库,getcwd()查看当前目录,使用chdir()修改目录

备注:open函数的打开模式

参数 用法
r 只读。若不存在文件会报错。
w 只写。若不存在文件会自动新建。
a 附加到文件末尾。
rb, wb, ab 操作二进制
r+ 读写模式打开

2、使用Pandas第三方库

(1)保存数据到Excel
to_excel() :用于将DataFrame保存到Excel

#其中df为DataFrame结构的数据,sheet_name = 'Sheet1'表示将数据保存在Excel表的第一张表中
df.to_excel('文件名.xlsx', sheet_name = 'Sheet1') 

读取Excel数据
read_excel() :从excel文件中读取数据

pd.read_excel('文件名.xlsx', 'Sheet1', index_col=None, na_values=['NA'])

(2)保存数据到csv文件

  • 导入相关的库
  • 将数据储存为DataFrame对象
  • 保存数据到csv文件
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(6,3)) #创建随机值并保存为DataFrame结构
print(df.head())
df.to_csv('file.csv')   #可以是绝对路径,若未指明就在当前目录下

提示:
如果运行以上程序出现ImportError: No module named ‘openpyxl’错误,需要安装“openpyxl”模块,openpyxl只能操作xlsx文件而不能操作xls文件。
(pip install openpyxl)

补充知识

1、在10分钟了解pandas中可以快速了解和学习pandas的基本操作
2、阅读csv模块官方文档,了解使用csv模块保存数据的方法

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容