从什么值得买爬取下来的信息存入excel,可以用xlwt库,存入,但是要一行一行的存,有些麻烦,鉴于pandas优秀的数据处理能力,感觉把数据转成dataframe,再存成excel或者csv都是比较方便的。
还是先上代码
import feedparser
import pandas as pd
def rss():
file = feedparser.parse('http://faxian.smzdm.com/feed')
title =[item.title for item in file.entries]
link = [item.link for item in file.entries]
description = [item.description for item in file.entries]
pubDate =[item.published for item in file.entries]
df = pd.DataFrame(data=[title,link,description,pubDate]).T
df.columns = ['title','link','description','pubDate']
df.to_excel('smzdm.xls')
在解析过程中发现网页中<pubDate><![CDATA[Tue, 03 Apr 2018 09:22:37]]></pubDate>这一项直接写成[item.pubDate for item in file.entries]说是没有这个属性,上stackoverflow上说是这个属性归属于published,详见http://pythonhosted.org/feedparser/reference-entry-published.html?highlight=pubdate
可以在其文档上查询相关属性。
其他的是将'title','link','description','pubDate'几个list组合成多维数组。
因title,link,description,pubDate直接组合,默认是一个30列,4行的dataframe,即列数为title的项数,行数为爬取的几种类型,即title,link,description,pubDate共4种。
最后.T用于转置,把它变成4列30行的dataframe。
df.columns重新命名列名。
df.to_excel('smzdm.xls') 存成Excel表格。