二十、 实战– 赶集网租房信息爬虫
示例代码：
import requests
import re
# 因赶集网新增反扒机制，所以无法获取
# 解析url页面：
def parse_page(page_url):
headers = {'User-Agent': 'Mozilla/5.0(Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/79.0.3945.88 Safari/537.36'}
resp = requests.get(page_url,headers=headers)
text = resp.text
houses = re.findall(r"""
(.+?) # 获取房源标题
.+?(.+?) # 获取房源的户型
.+?(.+?) # 获取房源的面积
.+?(.+?) #获取房源的价格
""", text, re.VERBOSE |re.DOTALL) # re.DOTALL代表所有字符
for house in houses:
print(house)
def main():
base_url ="http://cs.ganji.com/zufang/pn[]/"
for x in range(1, 11):
page_url = base_url.format(x)
parse_page(page_url)
break
if__name__ == '__main__':
main()
# 总结：
# 1、如果想要让.代表所有字符，那么需要在函数后面加re.DOTALL来表示，否则不会代表\n，也就是换行。
# 2、写正则获取数据的时候，都要用非贪婪模式。
# 3、如果正则写的不对，那么获取不到结果，程序会假死，这时候可以把你刚刚写的正则删掉，重新运行下，看下程序还会不会假死。
# 如果不会假死了，说明正则写的有问题，这就需要去调整了。
# 4、如果正则写的有问题，那么不要去钻牛角尖，去更换一个思路就可以了。
上一篇文章 第三章 数据解析（十九） 2019-12-30 地址：
https://www.jianshu.com/p/91bc3f08b617
下一篇文章 第三章 数据解析（二十一） 2019-01-01 地址：
https://www.jianshu.com/p/8f3f09b196ed
以上资料内容来源网络，仅供学习交流，侵删请私信我，谢谢。
