from pymongo import MongoClient
from bs4 import BeautifulSoup
import requests
host = 'localhost'
port = 27017
client = MongoClient(host,port)
db = client['test']
sheet = db['sheet']
urls = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(str(i)) for i in range(1,4)]
print(urls)
for url in urls:
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text, 'lxml')
titles = soup.select('#page_list > ul > li > div.result_btm_con.lodgeunitname > div > a > span')
prices = soup.select('#page_list > ul > li > div.result_btm_con.lodgeunitname > span.result_price > i')
for title, price in zip(titles,prices):
data = {
'title':title.get_text(),
'price':price.get_text()
}
print(data)
sheet.insert_one(data)
print('----------------------------------------')
for record in sheet.find():
if int(record['price']) >= 500:
print(record)
课时26 在MongoDB中筛选房源
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 筛选结果 