第一次用webmagic写爬虫

第一次尝试各种失败,没看懂代码。仔细研读了下,发现有点心得。一定要从网页源码开始,很多流浪器会修饰网页,造成根本找不到页面所需的标签。

对于xpath的使用很是不习惯,特别是xpath.css写的时候要把最后一个元素放在css中

下面记下学习网址:http://webmagic.io/docs/zh/posts/ch4-basic-page-processor/selectable.html

下一步学习的目标:http://www.cnblogs.com/miercler/p/5599465.html

明天没事爬取知乎用户信息并存入到数据库中!!!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 文/笛夕 早早地起来,静静地,斜倚轩窗,细读优美的散文,感受字里行间春的爱意绵绵。 猛然看见窗外刚刚,孤独的深...
    笛夕阅读 1,562评论 0 5
  • 今天看了一篇名为《好的婚姻,不可能永远靠撒娇卖萌》的文章,文中通过对比指出:一个女人不可能靠撒娇过好一生,因为婚姻...
    到处乱撞的鱼阅读 3,218评论 0 1
  • 一、Autolayout (xib 、storyboard方式)1.适配 2.屏幕适配 3.设备分辨率 4.什么是...
    DB001阅读 2,540评论 0 1
  • 01.太刀子嘴言语刻薄的人,没资格惋惜 听过了许多道理,却依旧过不好这一生。失去爱人的前调是歇斯里底,中调是...
    乐乐妖阅读 8,930评论 0 6

友情链接更多精彩内容