#coding=UTF-8
import urllib2
from bs4 import BeautifulSoup
import sys
page=1
num=0
while page<100:
pages = str(page)
url = "http://tj.fangjia.com/ershoufang/--e-" + pages + "#pagelist"
reload(sys)
sys.setdefaultencoding('utf-8')
html = urllib2.urlopen(url)
soup = BeautifulSoup(html, "html.parser")
house = soup.find("div", class_="house")
for home in house.find_all("li", {"name": "__page_click_area"}):
for title in home.find_all("span", class_="tit"):
for text in title.stripped_strings:
print text
for address in home.find_all("span", class_="address"):
print address.get_text()
for attribute in home.find_all("span", class_="attribute"):
print attribute.get_text()
for price in home.find_all("span", class_="xq_aprice xq_esf_width"):
print price.em.string + "万"
print "--------------------"
num=num+1
page = page + 1
print "总计"+str(num)+"套房屋"
天津二手房数据爬虫
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
推荐阅读更多精彩内容
- 上周日的时候,用python写了一个爬虫,抓取了杭州各个区的二手房信息,并简单分析了一下。本意是进行python爬...