本次学习目的：
学会筛选所需要的信息。
解析网页的步骤：
1.使用Beautiful解析网页
Soup = BeautifulSoup(html,'lxml')
- 描述要爬取的东西在哪里
message = Soup.select()
3.从标签中获得你要的信息
1.使用BeautifulSoup解析网页
Soup = BeautifulSoup(html, 'lxml)
这一句代码的意思是，解析一个html文件，使用lxml这个库，在Python中，解析一个网页有多种的库，比如：html.parse、lxml HTML、lxml XML和html5lib等，选择lxml的原因是这个库相对比较快速且稳定性较好。
2.描述要爬取的元素的位置
网页中对应元素的检查，Copy的格式有两种，selector和XPath。
区别如下：
CSS selector:body > div:nth-child(2) > div > div.col-md-9 > div:nth-child(2) > div:nth-child(1) > div > img
XPath:/html/body/div[1]/div/div[2]/div[2]/div[1]/div/img
上面两行代码是一个网页中的同一个元素的selector和XPath,可以看出，XPath单纯的指出了元素所在的位置，selector则同时标出了元素的样式。
3.筛选所需要的信息
筛选所需要的信息，在逻辑处理上进行操作即可完成，增加筛选条件即可。
示例代码：
from bs4 import BeautifulSoup
info = []
with open('index.html','r') as wb_data:
Soup = BeautifulSoup(wb_data,'lxml')
titles = Soup.select('body > div > div > div.col-md-9 > div > div > div > div.caption > h4 > a')
images = Soup.select('body > div > div > div.col-md-9 > div > div > div > img')
prices = Soup.select('body > div > div > div.col-md-9 > div > div > div > div.caption > h4.pull-right')
reviews = Soup.select('body > div > div > div.col-md-9 > div > div > div > div.ratings > p.pull-right')
# 爬取商品的星级评分
stars = Soup.select('body > div > div > div.col-md-9 > div > div > div > div.ratings > p:nth-of-type(2)')
for title, image, price, review, star in zip(titles, images, prices, reviews, stars):
data = {
'title': title.get_text(),
'iamge': image.get('src'),
'price': price.get_text(),
'review': review.get_text(),
# 对评分进行提取
# 每个星级都有一个class_="glyphicon glyphicon-star"
'star': len(star.find_all("span", class_="glyphicon glyphicon-star"))
}
info.append(data)
for i in info:
if i['star'] > 3:
print i['title'],i['price']
上述代码实现了从一个页面index.html页面爬取到所需要的信息，并对结果进行筛选并打印出来。其中的难点部分是对商品的星级评分进行爬取。
上述代码中，提取标签中的文本信息使用get_text()方法，提取图片信息使用的是get('src'),在星级评分中使用的是find_all()。
具体的用法可以参考BeautifulSoup的中文手册。
