无标题文章

抓取四川大学公共管理学院动态新闻及详情页

赵静       信管

因为我们小组重新重置了阿里云,所以需要重新配置环境,

开始抓取

抓取的spider如下:

spider1


我选择从more那一页进行抓取,即

可以看到url

抓取这一页的每个新闻的url,再进一步抓取详情页的标题、时间、内容、图片等信息。

当spider 1 时,可以正确的爬取标题、时间、内容,结果如下:

把抓取图片的代码加入,抓取图片的url

spider2

当spider2 时,就是把图片抓取加进去时,并不能抓取图片的url

综上:成功实现抓取标题、时间、内容,未成功地抓取图片url.

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容