webmagic心得

在使用注解模式时,有以下几点注意或心得体会:
1、@HelpUrl(value="url规则",sourceRegion) 辅助路径,如列表页/详情页模式,其中的sourceRegion可以限制URL发现区域(该注解针对的是列表还是详情待定)
2、@TargetUrl(value="url规则",sourceRegion) 该sourceRegion指的是列表页的发现范围,切记,为此一直以为是列表页范围,折腾许久,又是琢磨改源码的,其实很简单。
3、实体类问题,可以存在列表中,在afterProcess方法中二次处理,取值赋值即可,另外,这种实体类写法太过麻烦,计划存为json,然后封装sql方法取值

@ExtractBy("//a[@class='name']/allText()")
    private List<String> name;
    private String name1 = "";
    private String name2 = "";
    private String name3 = "";
    private String name4 = "";
    private String name5 = "";

@Override
    public void afterProcess(Page page) {
        try {
            if (avgPriceOld.contains("-")) {
                this.setAvgPrice(Integer.parseInt(avgPriceOld.replace("人均:-", "0")));
            } else {
                this.setAvgPriceOld(avgPriceOld.replace("人均:", ""));
                this.setAvgPrice(Integer.parseInt(this.avgPriceOld.replace("元", "")));
            }
            this.setDistrict(bread.get(1));
                   // 用户名信息
            this.setName1(name.get(1));
            this.setName2(name.get(2));
            this.setName3(name.get(3));
            this.setName4(name.get(4));
            this.setName5(name.get(5));

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,269评论 19 139
  • Spring Boot 参考指南 介绍 转载自:https://www.gitbook.com/book/qbgb...
    毛宇鹏阅读 47,005评论 6 342
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 174,638评论 25 709
  • 花之美者有水莲 如莲而茎紫 柔而无刺 我心目中最美之的花 就如此花 清白 坚贞 自由脱俗 我偷偷地爱慕着 恋情的喜...
    思京阅读 268评论 0 2
  • 大暴雨的天气,在外跑一天。 听课,思辨性写作,神的一滴,批判性思维的培养,匆匆评议,回家各自领悟。“自己耕耘,自己...
    绿百合阅读 132评论 0 0