之前用过SQL，在使用Mongo的查询时，很不适应，需要一 个过渡的过程，代码直接在week1-3的作业中进行修改的
我的代码
from bs4 import BeautifulSoup
import requests,pymongo
import time
client = pymongo.MongoClient('localhost',27017)
xz_db = client['xz_db']
houseinfo = xz_db['houseinfo']
#获取详情页链接
def get_url_xz(n=1): #通过参数n来控制爬取的页数，默认为一页
urls_list = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(str(i)) for i in range(1, n+1)] # 列表页链接列表
urls_attr = [] # 详情页链接列表
#通过for循环，把列表页的详情页链接加入urls_attr
for url_single in urls_list:
wb_data = requests.get(url_single)
soup = BeautifulSoup(wb_data.text, 'lxml')
urls = soup.select('div#page_list > ul > li > a[target="_blank"]')
for url in urls:
urls_attr.append(url.get('href'))
return urls_attr
#爬取详情页数据
def get_attractions_xz(url,data=None):
for each_url in url:
wb_data = requests.get(each_url) # 获取页面内容
soup = BeautifulSoup(wb_data.text, 'lxml')
# print(soup)
# 获取目标信息
title = soup.select('div.pho_info > h4 > em') # 标题
address = soup.select('div.pho_info > p > span') # 地址
price = soup.select('div.day_l > span') # 价格
pic_fd = soup.select('div.member_pic > a > img') # 房东照片
name = soup.select('div.w_240 > h6 > a') # 房东姓名
sex = soup.select('div.w_240 > h6') # 房东性别
img = soup.select('div.pho_show_big > div > img') # 第一张图片链接
# print(titls,address,price,pic_fangdong,name,sex,img)
# 据分析，若房东为男性，则用的CSS为'member_boy_ico'，否则为女性，通过条件判断为sex赋值
if len(sex[0].find_all("span", class_="member_boy_ico")):
sex = 'Male' # 男性
else:
sex = 'Female' # 女性
data = {
'title': title[0].get_text(),
'addres': address[0].get_text().split('\n')[0], # 地址中包含换行符及一行空格，通过分割，只保留地址部分
'price': int(price[0].get_text()),
'pic_fd': pic_fd[0].get('src'),
'name': name[0].get("title"), # 房东姓名在title属性中，用get方法获取
'sex': sex,
'img': img[0].get('src')
}
print(data)
houseinfo.insert_one(data)
print('Done')
#将数据保存至Mongo数据库
url=get_url_xz(n=3) #获取3页的所有详情页链接,页数可自由选择
get_attractions_xz(url)
#读取所需的数据
#房价大于500的房子信息
for item in houseinfo.find({'price': {'$gt':500}}):
print(item)
# 分割线
print('\n' + '-'*200 +'\n')
#房价小于500的房子信息
for item in houseinfo.find({'price': {'$lt':500}}):
print(item)
# 分割线
print('\n' + '-'*200 +'\n')
#房东为女性，房价大于300
for item in houseinfo.find({'price': {'$gt':300}} and {'sex': 'Female'} ):
print(item)
总结
1.还得去认真学习Mongo的操作语言；
2.想在python中实现Mongo的like 查询，在mongo shell中可以这样db.test.find({'name':/hucuibai/}),但在python中会报错，请问老师，在python中应该怎么写。
