2018-03-05爬取的数据写入excel和Postgresql

之前爬取数据的时候,一般喜欢直接写入txt,然后在导入excel清洗,觉得写入excel之类的会比较麻烦。

今天抽时间,熟悉了一下把数据写入excel和Postgresql,发现熟练之后,其实能省不少时间。

1.写入excel

写入excel需要xlwt包。主要的命令是4个:

f=xlwt.Workbook()

sheet1=f.add_sheet(u'sheet1',cell_overwrite_ok=True)

sheet1.write(行号,列号,content) #行号和列号从0开始

f.save('path/name.xls') #如果没保存,前面的都白瞎了·····

2.写入Postgresql

之前用过MySQL,但是今天在知乎上看到一个Postgresql和MySQL的对比(PostgreSQL 与 MySQL 相比,优势何在?),觉得PG更好,所以就下了这个。

写入PG需要用到psycopg2包。

首先打开数据库,网上有些地方说如果没有数据库,可以新建,但是我这里发现如果db没有的话,就会提示出错

conn = psycopg2.connect(database="123", user="postgres", password="123456", host="127.0.0.1", port="5432")   #host这个地方默认写"127.0.0.1"就好

生成一个指针:

cur=conn.cursor()

在此数据库下生成一个表:

cur.execute('''CREATE TABLE Vip_writers1

      (NAME  TEXT  PRIMARY KEY    NOT NULL,

      Link          TEXT    NOT NULL,

      SRC         TEXT    NOT NULL);''')

    conn.commit() #生成之后一定要commit,否则无效

随后,向表里插入数据即可:

cur.execute("INSERT INTO Vip_writers1 (NAME,Link,SRC) VALUES ('%s','%s','%s')" %(name,link,src))

conn.commit() #依然不要忘记提交

最后,关闭数据库

conn.close()


©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容