Python爬虫之抓取爱问知识人问题并保存至数据库

目的:

抓取某类下面所有问题,并且获取所有答案

思路:

1,抓取某分类下面的所有问题

2,根据问题里的链接进入所有答案页面

3,抓取所有答案

4,插入数据库

环境:

wamp+python3

代码:

https://github.com/chenxiang2017/spidersamples/tree/master/iask

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 175,216评论 25 709
  • 太长了,还是转载吧...今天在看博客的时候,无意中发现了@Trinea在GitHub上的一个项目Android开源...
    庞哈哈哈12138阅读 20,318评论 3 283
  • 忘了是什么时候 去转身 那次拥抱亲吻 竟也有美好温存 继而飘飘欲仙 却有记忆犹新的真实感 仰身越过崖谷 失重 全身...
    净空Dave阅读 1,202评论 1 1
  • 我在这漫天星光中死去 我的灵魂穿越过山山水水 我终于看到了你 你牵着她的手 时光静好 我的灵魂也会落泪 于是 星光...
    marina晓阅读 1,664评论 0 1
  • 黑夜给了我黑色的眼睛,我却无法寻找光明。 2017年9月19日 星期日 二 天气晴 夜幕四合,黑色的夜空眨巴着...
    茶诗花阅读 3,255评论 3 7