其实3月29日就写了爬取点评酒店的代码(想以后去成都工作生活所以就选了成都),但当天运行爬到第三页就出错了,由于功力尚浅,debug了一晚上不知什么原因造成了bug,就放那等日后再说了.今天尝试run了一下,又可以用了,不知是什么神秘力量暗中抬了我一手.
开发环境python3.5, PyCharm, Ubuntu16.0.4
暂时还只会写点简单的代码抓取静态页面,所以用到的库都很简单:
- requests
- BeautifulSoup (刚学会BeautifulSoup所以就多练练,尽量不用re)
- csv (也是只懂点皮毛)
分析网页
- 观察url的特征并构建url(本来当时是打算按之前那个爬豆瓣top250的套路模仿人类实现翻页功能的，然后return下一页的链接,因为到第3页就爬不动了，所以改成了利用range手动拼接下一页的链接地址)
链接.png
for n in range(1,51):
url ='http://www.dianping.com/chengdu/hotel/p'+str(n)
- 观察页面特征,由于本次只打算爬名称,位置,价格以及每个酒店的详情链接,所以F12一下,结合网页源代码想一下用哪个标签比较稳妥一点,然后BeautifulSoup出要爬的信息
详情.png
soup = BeautifulSoup(html, "lxml")
ul_list = soup.find("ul", attrs={"class": "hotelshop-list"})
for li_list in ul_list.find_all("li", attrs={"class": " hotel-block"
" J_hotel-block"}):
hotel_name = li_list.find("h2", attrs={"class": "hotel-name"}).a.string
hotel_url = 'http://www.dianping.com' + li_list.find("h2", attrs={
"class": "hotel-name"}).a['href']
hotel_place = li_list.find("p", attrs={"class": "place"}).a.string\
+ ', ' + li_list.find("span", attrs={"class": "walk-dist"}).string
hotel_price = li_list.find("div", attrs={"class": "price"}).strong.string
把爬到的数据保存到csv文件
csv_file =open("../files/chengduhotel.csv",'wt',encoding='utf-8')
try:
writer = csv.writer(csv_file)
writer.writerow(('酒店名称','位置','价格','详情链接'))
writer.writerow((hotel_name,hotel_place,hotel_price,hotel_url))
效果图
效果.png
