由于大家的项目都做的比较深入了,作为一个刚来的新人,实在是插手不进去。
主管交给我的第一个任务是先实现一个他们已经实现好的功能,看我写的怎么样。
定时爬取多个城市的pm2.5 pm10数据,存入到数据库中,并实现一个前端查询页面,可以根据城市名和时间进行查询,实现xadmin的后台管理。
大约用了三天完成了这个功能的实现,但是出了很多问题。
第一就是源网址的数据更新时间,由于要到各个省环保局去爬取,这些网站的数据更新时间是不同的,所以爬取数据的时候,要把数据的时间信息也抓取下来。
第二是代码比较脆弱,代码最终是要长期跑在服务器的,一旦某城市的网页结构发生了变化,整套程序就全崩掉了,所以要在各个可能出现情况的地方,做一下判断或者是异常处理。
第三是代码没有做单元测试,这个是因为自己并不会做,现在正在学习。为了要能让自己的代码能单元测试,需要让自己的耦合度非常低,每一个小功能都写成独立的函数。
第四就是代码书写不规范,包括空格的使用,还有命名的规范,不过主管说我还好,没有用a,b,c,d来命名。
在之后的任务就是改我这套代码了,改了也是蛮久的,解耦,加条件,单元测试。。。
一切还算顺利。这周的任务是连接一个udp协议的传感器,可以通过网页和他通信,目前想法是在一个网页服务器中开一个多线程,做udp服务器,再让传感器指向这个端口。等明天试试吧。