最近看到一篇文章：「关于爬虫，这里有一份《中国焦虑图鉴》」，对于爬虫分析的很透彻，建议大家看一下。想围观的朋友自己搜索题目就可以找到。
❈
如果你要问我在哪里搜索，我只会让你试着自己找答案。因为在你学习的过程中一定会遇到各种各样奇奇怪怪的问题，难道都要问别人吗？在学校有老师解答你的疑惑，走出学校，我们要试着自己独立解决问题。我经常去的Stack Overflow上面，别人提的问题都是经过自己独立思考，看到提问者对问题的理解，为解决问题尝试过哪些方法，最后还是没有解决才来提问，希望我们也能如此。
❈
不扯别的，我们知道在爬虫中最重要的不是后两步，即解析数据，保存数据，最重要的还是请求数据。
在爬取小规模的网页，数据规模不大，网页没有什么反爬技术的情况下，我们的爬虫还是很好玩的，一旦我们要爬取的网页反爬很强，我们获取的数据量又非常大时，我们很容易就会被封ip，一旦IP被封，爬虫就无法继续下去。
常规的伪造请求头，构造参数已经没有办法解决我们的问题。
在爬虫的世界里，永远都是跟网页的反爬技术做斗争，封了我们的ip，我们还可以伪造ip，今天就带大家获取一些免费的ip。
这里请求的是一个国内免费的ip髙匿代理IP网站：http://www.xicidaili.com/nn/
请求一页就可以了，今天的代码帮助大家随机生成一个该网站上提供的ip地址。
请求网页
classSpider():
'''随机获取一个IP地址'''
def__get_page(self):
'''获取数据，添加请求头'''
url ='http://www.xicidaili.com/nn/'
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36'
' (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}
r = requests.get(url,headers=headers)
ifr.status_code ==200:
print('爬取成功')
returnr.text
由于这个ip代理网站没有什么反爬技术，基本上带个请求头就可以了。
解析网页
这里用了两种方式解析网页
def__parse_page(self,html):
'''这里用了两种方式获取解析IP，返回一个ip列表'''
'''soup = BeautifulSoup(html,'lxml')
ips = soup.find_all('tr')#先找到节点tr
ip_list = []
for i in range(1,len(ips)):
ip_info = ips[i]
tds = ip_info.find_all('td')
ip_list.append(tds[1].text + ':' +tds[2].text)
return ip_list'''
data = etree.HTML(html)
items = data.xpath('//tr[@class="odd"]')
ip_list = []
foriteminitems:
ips = item.xpath('./td[2]/text()')[0]
tds = item.xpath('./td[3]/text()')[0]
ip_list.append(ips +':'+ tds)
returnip_list
这里比较来看，我还是倾向于用xpath，一来简单，再者性能还好，相比较BeautifulSoup来说，性能就没那么好了。
处理数据
接下来是一个随机函数，生成一个随机ip地址：
def__get_random_ip(self,ip_list):
proxy_list = []
foripinip_list:
#遍历ip列表，添加http://
proxy_list.append('http://'+ ip)
proxy_ip = random.choice(proxy_list)#随机返回一个ip
proxies = {'http':proxy_ip}#构造成字典。
returnproxies
defrun(self):
html =self.__get_page()
ip_list =self.__parse_page(html)
proxy =self.__get_random_ip(ip_list)
print(proxy)
if__name__=='__main__':
spider = Spider()
spider.run()
程序运行后，控制台输出：
{'http':'http://110.73.8.27:8123'}
程序运行后随机生成一个ip地址，你可以拿去用，当然你也可以导入你需要伪装ip的程序里。
总结
看了开篇提到的那篇文章之后，结合最近看到听到的消息，在想这样一个问题「爬虫犯法吗？」
爬虫犯不犯法，看你抓取的数据是什么内容，就好比百度，谷歌的搜索引擎每天在各个网站上爬到数据，展现给你。当然不犯法。
有位爬虫大佬这样说：
公开可查的就可以爬，这个就没啥事。那些用某些特殊权限的账号登录才可以的那就比较危险。还有必须破解才能爬的就构成犯罪了，另外，都建议使用代理ip，一个反爬，一个隐藏真实ip。
所以对于我们小白来说完全没有问题，只要不触碰一些敏感未公开的数据就没事。
公众号sixkery，专注于python爬虫。有任何学习上的问题都可以后台联系我哦
