爬虫遇到的问题

1.parsel包可能无内容，但删除一些目录词后又有内容，这与检索关键字有关，尝试精简关键字。tbody > tr > td:nth-child(1) > a

2.getall() 和 get()存在区别，前者保存为list，后者保存为字符串，在下载图片的时候，应该使用get()

3.解决requests.exceptions.MissingSchema: Invalid URL ‘xxx‘: No schema supplied. Perhaps you meant“xxx”:在使用[requests]请求接口的时候有时候会爆出个这样的问题，问题的大概意思是无效的url，也就是说这个url是没有效果是错误的，这就就要检查一下url是否符合规定，是否少加了协议.
本次为仅仅33个项目但多出了3个无效项目

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • 爬虫基础
    HTTP基本原理 URI、URL、URN（Uninform Resource） URI（Identifier）:统...
    GHope阅读 2,181评论 2赞 26
  • 面试问题答案综合版(web)
    $HTML， HTTP，web综合问题 1、前端需要注意哪些SEO 2、 的title和alt有什么区别 3、HT...
    Hebborn_hb阅读 4,690评论 0赞 20
  • h5常见的面试题
    第一部分 HTML&CSS整理答案 1. 什么是HTML5？ 答：HTML5是最新的HTML标准。 注意：讲述HT...
    kismetajun阅读 27,908评论 1赞 45
  • 关于爬虫遇到的问题一
    目的：下载bilibili网站视频过程:打开网页按F12源码是这样的 爬下来的内容是这样的 标签中的内容都被注释掉...
    测试员阅读 187评论 0赞 0
  • 爬虫遇到的问题总结
    1.请求下来的HTML中文编码问题 结果： 解决办法 结果： 2.爬虫长时间运行报错 解决办法一，设置请求头use...
    狂浪的心阅读 2,072评论 0赞 0