从第一章到上一章为止，基本把python所有的基础点都已经包括了，我们有控制逻辑的关键字，有内置数据结构，有用于工程需要的函数和模块，又有了标准库和第三方库，可以写正规的程序了。
python可以做非常多的事情，最火爆的事情应该是大家一直都在讨论的爬虫，这里编写一个简单的爬虫例子，它能够真正的运行，但主要的目的是在提高对之前知识点的理解和熟悉python如何编写简单工程。
编写一个爬虫，爬取www.duitang.com网站的数据，主要的功能是通过搜索词得到搜索结果，并分析网页得到商品图片的链接地址并下载图片。
程序的各个模块功能
爬虫的一个重要的模块是根据url获取网页数据，我们利用前面一章介绍的第三方库requests，用简单的几行代码来抓取网页数据，可以熟悉函数的写法和逻辑控制。
def get_http_content(url):
s = requests.Session()
request = s.get(url, headers = headers,timeout=120, verify=False)
body = ''
if request.status_code == 200:
body = request.text
return body
下载图片的功能如下：
def get_image( url, name):
image_path = os.path.join('images/', name)
if not os.path.exists(image_path):
r = requests.get(url, stream=True, headers=headers)
if r.status_code == 200:
with open(image_path, 'wb') as f:
for chunk in r:
f.write(chunk)
else:
print('==> get image error: ', url)
get_image有两个参数，一个是图片的url地址，一个是图片的名称，为了不想有太多的参数，图片存放的地址在程序中写的是当前路径下的images/目录。
程序的逻辑控制
这里我们会详细的解释如何对网站进行分析，如何抽取出我们最想要的数据来满足我们的需求。先用浏览器打开链接 https://www.duitang.com/search/?kw=%E4%B8%AD%E7%A7%8B%E8%8A%82&type=feed&from=tuijian 我们搜索的是中秋节这个关键字，如下：
查看网页的源代码，也就是我们通过get_http_content 能够得到的数据，一般来说可以利用Beautiful Soup对数据进行处理，并取出关键的字段。但duitang的搜索比较特殊，通过它分页的数据可以看出是动态加载网页内容，查看网络请求，看看是哪一个网络接口。
通过网络请求的数据，查到了搜索的分页数据，接口在
https://www.duitang.com/napi/blog/list/by_search/?kw=%E4%B8%AD%E7%A7%8B%E8%8A%82&type=feed&_type=&start=0
分析里面的接口参数，start为分页参数，要取得所有的分页数据只需要改变这个参数。
如，第二页数据在：
https://www.duitang.com/napi/blog/list/by_search/?kw=%E4%B8%AD%E7%A7%8B%E8%8A%82&type=feed&_type=&start=24
可以使用for循环，取前十页的数据：
url_start = 'https://www.duitang.com/napi/blog/list/by_search/?kw=%E4%B8%AD%E7%A7%8B%E8%8A%82&type=feed&_type=&start='
for i in range(0,10):
url = url_start + str(i*24)
整个流程如下：
if __name__ == '__main__':
# 接口地址
url_start = 'https://www.duitang.com/napi/blog/list/by_search/?kw=%E4%B8%AD%E7%A7%8B%E8%8A%82&type=feed&_type=&start='
next_start = 0
while True:
#获取api接口数据
url = url_start + str(next_start)
content = get_http_content(url)
json_data = json.loads(content)
# 分析得出图片地址，并下载
for object_list in json_data['data']['object_list']:
image_path = object_list['photo']['path']
image_name = os.path.basename(image_path)
get_image(image_path,image_name)
#下一页
next_start = json_data['data']['next_start']
# 分页结束
if next_start == 0:
break
程序通过不断的取得分页的数据，用json模块解析数据，提出图片的地址，并下载图片。在images/ 目录下存放着下载的图片文件。
总结
一个简单的对网页进行爬取，并根据自己的需求提取网页中所需要的字段，并对字段进行处理，这里仅仅是对图片进行了下载，你还可以对需求进一步的进行扩展，比如把特殊的字段存到数据库中，搜索更多的热词等，进行更多的尝试。
更多教程：阿猫学编程
