这篇主要讲网站如何展示,以及后台配置。所以我会主要讲整个网站设计的思路,不会贴太多代码,如果谁想要源码的话,可以私信我。
后台管理
首先我们来看后台,整个后台是基于 INSPINIA+前端完成的。
站点管理
主要是关注名称以及Host,名称是前台显示的名称,而我们会根据Host来判断当前访问的Url应该显示那个站点的数据。
抓取任务配置
- 来源网址,是指我们将要抓取的列表URL地址
- 编码,每个网站的编码可能都不一样,所以我们通过配置来动态设置编码,有的是UTF-8,有的是GB2312,要看具体的网站信息。
- XPath(列表、时间、来源、正文),这个在新闻站群开发日志(一)—— 新闻抓取中已经讲解,这里就不复述了。
简单的统计
这里做了每个网站文章总量和昨日采集量的计算,没有做复杂的曲线图。