一、 爬取前的准备工作
1. 选择一个网站：http://www.xiachufang.com/explore/
2. 在进行爬取之前，我们先去看看它的robots协议。
协议网址：http://www.xiachufang.com/robots.txt
阅读这个robots协议，你会发现：我们要爬取的/explore/不在禁止爬取的列表内，但如果你要爬取/recipe/，服务器就会不欢迎。在网页里，recipe是每一道菜的详情页面，记录了这道菜的做法。
3.确定我们要拿到的信息：就是首页面上的：菜名、所需材料、和菜名所对应的详情页URL。
4. 获取数据，我们使用requests.get()就能实现。解析数据，我们用BeautifulSoup来实现。
5. 我们需要知道网页的结构：单击“工具”-“开发人员工具”，我们在Elements里查看这个网页，是怎样的结构。
6. 定位到了菜名"排骨焖饭"的所在位置： <a>标签内的文本，顺带找到了详情页URL的所在位置。如上图，<a>标签里有属性href，其值是/recipe/104196008/。点击它，你会跳转到这道菜的详情页：http://www.xiachufang.com/recipe/104196008/。
7. 我们可以去提取<a>标签。接着，先用text拿到它的文本，再使用[href]获取到半截URL，和http://www.xiachufang.com)做拼接即可。
8. 和查找菜名一样的操作，去点击小箭头，去挑选一个食材。如下图：
它们有的是<a>标签里的纯文本，有的是<span>标签里的纯文本。它们的共同父级标签（相对于子标签，上级标签的意思，父标签包含子标签）是<p class="ing ellipsis">。
9. 根据菜名的路径、URL的路径、食材的路径，我们可以这三者的最小共同父级标签，是：<div class="info pure-u">。
10. 制定爬取思路：
思路一：我们先去爬取所有的最小父级标签<div class="info pure-u">，然后针对每一个父级标签，想办法提取里面的菜名、URL、食材。
思路二：我们分别提取所有的菜名、所有的URL、所有的食材。然后让菜名、URL、食材给一一对应起来（这并不复杂，第0个菜名，对应第0个URL，对应第0组食材，按顺序走即可）。
二、代码实现过程（思路一）
我们先使用思路一来写代码，即：先去爬取所有的最小父级标签<div class="info pure-u">，然后针对每一个父级标签，想办法提取里面的菜名、URL、食材。
1. 获取数据和解析数据：
import requests# 引用requests库
from bs4 importBeautifulSoup# 引用BeautifulSoup库
res_foods=requests.get('http://www.xiachufang.com/explore/')# 获取数据
bs_foods=BeautifulSoup(res_foods.text,'html.parser')# 解析数据
print(bs_foods)# 打印解析结果
2. 提取最小父级标签: 它的标签是<div>，有一个class属性，其值是info pure-u。我们可以使用find_all()语法，来找到它们。
list_foods=bs_foods.find_all('div',class_='info pure-u')# 查找最小父级标签
print(list_foods)# 打印最小父级标签
当遇到这种糟糕的情况，一般有两种处理方案：数量太多而无规律，我们会换个标签提取；数量不多而有规律，我们会对提取的结果进行筛选——只要列表中的若干个元素就好。
3. 我们先尝试提取一组，等成功了，再去写循环提取所有。
我们对父级标签，使用find()方法来查找，所用的参数就是<a>标签本身。
tag_a=list_foods[0].find('a')# 提取第0个父级标签中的<a>标签
print(tag_a.text[17:-13])# 输出菜名，使用[17:-13]切掉了多余的信息print('http://www.xiachufang.com'+tag_a['href'])# URL拼接, 输出完整的URL
4. 你只需要查找<p>标签，然后使用text提取<p>标签里的纯文本信息，就可以了！
tag_p=list_foods[0].find('p',class_='ing ellipsis')# 提取第0个父级标签中的<p>标签
ingredients=tag_p.text[1:-1]# 食材，使用[1:-1]切掉了多余的信息
print(ingredients)# 打印食材
5. 写循环，存列表。
要求：写一个循环，提取当前页面的所有菜名、URL、食材，并将它存入列表。其中每一组菜名、URL、食材是一个小列表，小列表组成一个大列表。如下：
[[菜A,URL_A,食材A],[菜B,URL_B,食材B],[菜C,URL_C,食材C]]
完整代码如下：
import requests# 引用requests库
from bs4 importBeautifulSoup# 引用BeautifulSoup库
res_foods=requests.get('http://www.xiachufang.com/explore/')# 获取数据
bs_foods=BeautifulSoup(res_foods.text,'html.parser')# 解析数据
list_foods=bs_foods.find_all('div',class_='info pure-u')# 查找最小父级标签
list_all=[]# 创建一个空列表，用于存储信息
for food in list_foods:
tag_a=food.find('a')# 提取第0个父级标签中的<a>标签
name=tag_a.text[17:-13]# 菜名，使用[17:-13]切掉了多余的信息
URL='http://www.xiachufang.com'+tag_a['href']# 获取URL
tag_p=food.find('p',class_='ing ellipsis')# 提取第0个父级标签中的<p>标签
ingredients=tag_p.text[1:-1]# 食材，使用[1:-1]切掉了多余的信息
list_all.append([name,URL,ingredients])# 将菜名、URL、食材，封装为列表，添加进
list_allprint(list_all)# 打印
三、代码实现过程（思路二）
import requests# 引用requests库
from bs4 import BeautifulSoup# 引用BeautifulSoup库
res_food=requests.get('http://www.xiachufang.com/explore/')# 获取数据
bs_foods=BeautifulSoup(res_foods.text,'html.parser')# 解析数据
tag_name=bs_foods.find_all('p',class_='name')# 查找包含菜名和URL的<p>标签
tag_ingredients=bs_foods.find_all('p',class_='ing ellipsis')# 查找包含食材的<p>标签
list_all=[]# 创建一个空列表，用于存储信息
for x in range(len(tag_name)):# 启动一个循环，次数等于菜名的数量
list_food=[tag_name[x].text[18:-14],tag_name[x].find('a')['href'],tag_ingredients[x].text[1:-1]]# 提取信息，封装为列表。注意此处[18:-14]切片和之前不同，是因为此处使用的是<p>标签，而之前是<a>
list_all.append(list_food)# 将信息添加进list_all
print(list_all)# 打印
