树莓派与postgre数据库

家附近有个加油站，油价变化挺有意思，基本是某一天跳变到某一个最高值，之后每天降一点，然后保持最低价几天，最后又跳变到一个最高开始新的循环。
决定用树莓派把每日油价自动记录下来，方便油价最低的时候去加油，同时存到数据库里，顺便摸索一下python与数据库的连接。
初始版本是记录到一个text文件里，后来增加了与数据库的连接和insert操作。
系统版本：官方的raspbian
首先安装postgre

sudo apt-get update
sudo apt-get install postgresql

看别人的记录还要装client，我没装好像也没问题
然后切换到数据库管理用户

sudo su postgres

创建一个pi用户，据说因为跟系统用户pi同名，会自动授权pi系统账户去使用pi数据库。

createuser pi -P --interactive

然后切换到pi账户去创建我需要的fuel_price DB。

createdb fuel_price

进入这个DB

psql fuel_check

创建我需要的table

create table fuel(current_date1 text primary key, price text);

检查下有没有创建成功

select * from fuel;

\q 退出数据库

\q

python读取网页需要的数据，同时存进去
提前安装python3的psycopg2

sudo apt-get install python3-Psycopg2

from urllib import request
import time
import psycopg2
req = request.Request('https://www.fuelcheck.nsw.gov.au/app/FuelPrice/ByLocation?latitude=-33.945423&longitude=151.246243&fuelType=U91&radius=4&suburb=MAROU$
req.add_header('User-Agent', 'Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safar$
port_num=[]
keywords='Coles Express Maroubra","Lat":-33.949944,"Long":151.240710,"Price":'
with request.urlopen(req) as f:
    port_num.append(f.read().decode('GBK'))
    # print(port_num)
    start=port_num[0].find(keywords)
    # print(start)
    port_num.append(port_num[0][(start+len(keywords)):(start+len(keywords)+5)])

print("今天的油价：",port_num[1])
print ("今日的日期：" + time.strftime("%d/%m/%Y"))
date1=str(time.strftime("%d%m%Y"))
today_recording=[time.strftime("%d/%m/%Y"),port_num[1]]
with open('/home/pi/spider/fuel/fuel_recording', 'a') as f:
    f.write(str(today_recording)+'\n')

conn = psycopg2.connect(dbname="fuel_price", user="pi",
        password="731731", host="127.0.0.1", port="5432")
cur = conn.cursor()
cur.execute("INSERT INTO fuel "
       "VALUES(%s,%s);"%(date1,port_num[1]))
conn.commit()
cur.close()
conn.close()

直接拿的之前一个爬小说更新程序改的，写的很烂但是能用。
这里在日期上折腾了好久，一直以为是定义的attribute data type 不对，价格可以存进去，但是日期死活写不进去，后来发现大家喜欢用01/01/2018 这种表示日期，但是斜杠这样不能当作value insert 进去，把斜杠去掉就好了。
最后把这个文件添加到定时任务里,每天早上跑一次，数据的处理还没想好，待续...

crontab -e

image.png

[参考了这篇]（https://linux.cn/article-9056-1.html）
[官方说明]（http://www.postgresqltutorial.com/postgresql-python/）

最后编辑于：2019.10.13 11:58:45