1、登录
网址:http://192.168.4.99:8080/xxl-job-admin
账号:admin
密码:admin
(因为本系统对一些老的IE内容不兼容,请使用有非IE内核的浏览器。比如是360浏览器,请选择急速版,不要选择IE兼容版。)
2、内容介绍
采集系统的内容区域左边是导航栏,右边是对应的内容区。
主要有以下10个功能模块:
1、预警统计
预警统计走势图 :预警走势图主要是通过采集程序不断的发出的MQ消息,形成走势图,以此来观察各个城市的采集是否正常运行。
统计走势图:是通过数据库查询出各个城市各个时间段的采集量走势图,主要是看看每天采集的量是否正常。
在日期后面的月份选择栏中,
如果直接选择的是“月份”(3月),那么就会展示这个城市这个月每天的案例采集量走势图。
如果选择的是“全年”,这里将显示的是当年,每个月的总量走势图。
预警列表:在通过程序不断地给服务器发送的MQ消息,我们可以根据一定的规则去断定采集程序状态是否正常,如果不正常,会记录在这个预警列表里,同事会给开发人员发送邮件通知。
同时,每个预警后面有几个操作项:1、查看 2、编辑 3、查看日志 目前的预警比较多,所以没有处理,以后需要按时去处理这些异常。
查看:这个操作按钮主要是针对“1h抓取量预警”类型的预警才有的,主要是展示这个预警对应的城市-网站的走势,方便分析问题。
编辑:用于处理预警的,未来我们出了预警,要第一时间去找原因、解决。
查看日志:这个主要是给开发人员用的,出了预警后,点击查看日志能打开该预警对应的日志。方便找问题。
2、导出案例
导出案例:这个功能是给数据组的同事使用的,用于导出已经标准化的数据。
3、任务管理
任务管理:这个是给开发的同事使用的,用于各个网站的的数据采集。建立任务以及管理任务。
特别提醒的是任务描述里面除了可以根据任务描述来搜索外,还可以根据任务的参数进行搜索。
列表里面的各个操作按钮:
启动:启动系统调度,不是立即执行任务
停止:停止系统调度
执行:立即执行任务,不用等系统调度。
日志:点击后查看这个任务最近的执行日志
4、调度日志
调度日志:这个是给开发同事使用的,用于查看各个任务的日志,方便找问题。在Python爬虫中的printf打印出来的内容都会被记录到日志里
5、字段标准化规则
字段标准化规则:这个是给开发的同事使用的,用于管理标准化的时候字段管理细则。分了城市、行政区的映射以及一些案例字段的映射标准。可以新增、编辑、删除这些映射字段。
6、楼盘坐标管理
楼盘坐标管理:是用于辅助 处理、纠正、核查楼盘坐标的工具。
这个地方有导入、进入编辑、自动计算、导出。
“上传”导入功能:就是在现在我们将楼盘,按照如下的格式整理好,然后通过上传Excel文件,导入我们待处理的楼盘数据。注意状态:0标识需要人工处理的,1标识待审核的,2标识已经经过人工审核了的。
自动计算:这个是针对于需要人工处理的,服务器后台有一套自动找坐标的方法,能根据楼盘名——城市,自动找坐标。以此降低人工处理的工作量。服务器自动计算出来的楼盘,会由“人工处理”状态变更为“待审核”的状态
导出:导出我们数据库里面这个城市-网站所有的楼盘数据。导出文件为Excel格式的
“进入编辑”:进入辅助采集楼盘坐标工具,本工具的坐标都是通过百度地图的坐标计算而出。以后会加入其它的坐标数据源。
人工处理:点击人工处理的选项,然后在楼盘列表点击楼盘名,在右侧会自动搜索百度,并弹出结果。并且会自动选出最合适的放入到编辑区。然后点击保存修改即可。(修改成功后,案例会自动进入到已审核里)
待审核:就是对自动计算出来的楼盘坐标进行查看,如果是正确的,那么就点击保存修改,表明已经审核过了。
已审核:表明这个案例是经过认为的去确认或者修改的。
7、楼盘名标准化规则
待开发,用于各个网站的楼盘,跟FDC中的楼盘做管联的工具。
8、系统设置
这个里面的功能有预警的标准设置,通用设置,以及各个城市-网站的案例量预警量的设置。
1h案例最低抓取量:1h内,每个任务的最低采集量,采集低的就会发送预警。(根据MQ消息来进行判断的)
各字段最高缺失率:根据MQ消息,如果MQ里的关键字段缺失率高于这个值,那么就会发送预警
最低标准化率:设置最低标准化值,这个值是用于设置标准化时,如果标准化后案例数目相对于未标注化前的,降低的量高于这个值时,就报出预警,提示标准化时有问题(有可能是网站的字段内容改版导致的)
最低入库率:这个暂未启动
每月的案例量环比涨跌幅:这个是相对于上个月的案例,如果采集量太高月上个月或者低于上个月太多,那么就说明要么采集了太多的重复案例,或者是采集的案例缺失太多。报出预警通知开发人员,做好监控检查。
城市基准采集量配置:这个值对应的是一个月的量,比如北京是2000条,如果月底统计出这个月的案例量低于1380=2000*(1-31%) 或者高于3000=2000*(1+50%),那就就报出预警。
同事这个2000值,适用于每天的采集量预警。2000/30=66.6等于每天的量,如果某天采集的量,低于66条,那么也会报出预警。
这个是编辑城市采集量的多少的预警开关和数值。
9、执行器管理
给开发者使用的页面。用于增加采集机器的配置页面。