摘要
爬取的目的网站是小猪短租
使用requests + cssselect模块
说明
分析：
1. 看到搜索框，选中某个地址比如北京，点击搜索小猪按钮，发现网页的地址变成http://bj.xiaozhu.com；再选中另一个地址如上海，再次之前的操作，发现地址变成http://sh.xiaozhu.com。那么可以发现，搜索哪个城市，就变成"http://" + 城市名字的拼音缩写 + ".xiaozhu.com"
2. 在城市页面比如http://bj.xiaozhu.com中，点击翻页，发现地址有规律地变成:
http://bj.xiaozhu.com/search-duanzufang-p1-0/
http://bj.xiaozhu.com/search-duanzufang-p2-0/
http://bj.xiaozhu.com/search-duanzufang-p3-0/
尝试第0页是否也这样，把http://bj.xiaozhu.com/search-duanzufang-p0-0/输入浏览器网址，发现页面和http://bj.xiaozhu.com一样
所以，翻页操作就是"http://bj.xiaozhu.com/search-duanzufang-p" + 页码 + "-0/"
3.通过1,2的分析，我们发现，可以直接跳过第一步搜索，直接使用如下地址进行相关操作：
"http://" + 城市名字缩写 + ".xiaozhu.com/search-duagzufang-p" + 页码 + "-0/"
这样，就可以对某个城市的某一页的租房信息进行获取
参考文章： 菜鸟学Python
基本流程：
- 确定搜索的城市和进行翻页的范围
- for pageNum in 范围:
2.1 通过requests请求"http://" + 城市名字缩写 + ".xiaozhu.com/search-duagzufang-p" + str(pageNum) + "-0/"
2.2 通过2.1获取的html页面内容获取页面的租房信息
2.3 输出租房信息
代码的实现
from lxml import etree
import requests
import time
def getHTMLText(url):
try:
headers = {"user-agent":"Mozilla/5.0"}
html = requests.get(url, headers=headers)
html.raise_for_status()
html.encoding = html.apparent_encoding
return html.text
except:
return ""
def getCityInfo(html):
'获取每一页的信息'
try:
selector = etree.HTML(html)
titles = selector.cssselect("#page_list > ul > li > div.result_btm_con.lodgeunitname > div > a > span")
rentInfos = selector.cssselect("#page_list > ul > li > div.result_btm_con.lodgeunitname > div > em")
dict = {"titles": titles, "rentInfos": rentInfos}
return dict
except:
return ""
def searchCity(cityName, pages):
'获取城市的信息，翻页范围是[start, end)'
for pageNum in range(int(pages["start"]), int(pages["end"])):
print("page" + str(pageNum) + "的信息：")
url = "http://" + cityName + ".xiaozhu.com/search-duanzufang-p" + str(pageNum) + "-0/"
try:
html = getHTMLText(url)
dict = getCityInfo(html)
titles = dict["titles"]
rentInfos = dict["rentInfos"]
length = len(rentInfos)
# 输出信息
for each in range(length):
print(titles[each].text)
print(rentInfos[each].text)
time.sleep(60)
except:
continue
def main():
pages = {"start":0,"end":2}
searchCity("bj", pages)
if __name__ == '__main__':
main()
