pyspider框架爆599证书问题

真的是一波未平一波又起,降低自己的python版本后,进入pyspider框架之后,输入网址就立马报错。也只能立即找寻谷歌了

报599错:
HTTP 599: SSL certificate problem: unable to get local issuer certificate 
[E 161018 21:56:36 base_handler:195] HTTP 599: SSL certificate problem: unable to get local issuer certificate 
Traceback (most recent call last): 
File “C:\Python27\lib\site-packages\pyspider\libs\base_handler.py”, line 188, in run_task 
result = self._run_task(task, response) 
File “C:\Python27\lib\site-packages\pyspider\libs\base_handler.py”, line 167, in _run_task 
response.raise_for_status() 
File “C:\Python27\lib\site-packages\pyspider\libs\response.py”, line 190, in raise_for_status 
raise http_error 
HTTPError: HTTP 599: SSL certificate problem: unable to get local issuer certificate
原因分析:

因为https协议需要对证书进行验证导致,对访问https网络需要证书

解决方法:

在两个抓取函数中加入不要检验证书:validate_cert=False

self.crawl('https://www.tripadvisor.cn/Attractions-g255060-Activities-c47-Sydney_New_South_Wales.html',validate_cert=False, callback=self.index_page)
self.crawl(each.attr.href,validate_cert=False, callback=self.detail_page)

问题解决!!!

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,269评论 19 139
  • 简介 pyspider是国人开发的相当好用的爬虫框架。虽然网上教程不是很多,但是文档详细,操作简单,非常适合用来做...
    某杰阅读 6,083评论 1 15
  • 1、JS问题。使用pyspider抓取一些网页时,如果网页使用JS做渲染,将会遇到抓取不成功的情况,具体的表现就是...
    taking_off阅读 12,592评论 2 6
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 174,613评论 25 709
  • 参考0-浅谈Android组件化[https://mp.weixin.qq.com/s?__biz=MzUxMzc...
    lotusve_w阅读 108评论 0 0