木鱼非鱼

其实还要注意一个问题，如微博这样的网站，他们的cookie是加密了的，直接使用cookie是不能成功的，需要用特定的编码格式进行加密。

python3的爬虫笔记7——验证码登录

(1)方法一手动输入验证码 对于需要验证码登录的情况，采用先下载验证码图片，手动输入后，利用cookie保持在线，从而获取网页信息，这是一种比较简单的方法。这里以登录厦门大学...

X_xxieRiemann

6332 3 8

木鱼非鱼

我想问下，为什么cookie处理后建立opener后不用intall_opener方法，而代理处理器建立后需要用？

python3的爬虫笔记6——COOKIE登录

我们经常有这样的上网经历，就是如果你采用用户名密码登陆一个网站之后，如果在一段不长的时间内，再次访问这个本来需要你登陆的网站，你会很轻易地访问，而不需要再次输入用户名密码。这...

X_xxieRiemann

3978 1 7 1

木鱼非鱼

这里真的不错，以前在官方也看到opener，也用过，但是会觉得半懂非懂的。话说requests真心人性化。

python3的爬虫笔记5——代理IP和时间设置、异常处理

对于反爬虫机制的处理，除了笔记2中伪造浏览器的方法，还可以使用代理IP和时间设置 一、代理IP 适用情况：限制IP地址情况，也可解决由于“频繁点击”而需要输入验证码登陆的情况...

X_xxieRiemann

5843 2 6

木鱼非鱼

scrapy源码https://github.com/scrapy/scrapy/tree/master/scrapy 第一章、scrapy的模块 有spiders,sele...