目录
一、 爬虫的逻辑
二、XPath 爬取网站的数据
三、函数封装
四、运行结果
一、 爬虫的逻辑
作业内容是抓取阳光电影网的下载链接：也就是「国内电影」标签页面下，第一页至第七页的电影的所有下载链接。
先看看网站页面之间的关系：
网站主页 -> 导航栏 -> 国内电影页（点击标签默认进入第一页）
-> 具体电影页面 -> 迅雷下载链接
整体的思路：
- 先获取国内电影页面第一页的源代码；
- 将源代码的字符串类型转换为 selector 对象，把它的值赋予变量 HTML；
- 用 XPath 提取出变量 html 中的文本，并把它放入一个列表中；
- 提取的文本有两个部分，一个部分是国内电影页面的第一页的所有影片标题，另一部分是第一页所有影片标题的 URL（点击它可进入具体电影页面），我们将它赋值给变量 new_html；
- 用 XPath 提取出变量 new_html 中的文本，并把它放入一个列表中；
- 这一次提取的文本包括下载链接；
- 把列表的文本打印出来，文本就是电影信息和下载链接；
- 修改获取范围为第一页至第七页的源代码，再打印一次；
二、XPath 爬取网站的数据
第一次打印（运行结果在文章末尾）：
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
# 导入 requests 模块，lxml etree
import requests
from lxml import etree
# 我们先获取国内电影页面的第一页。
# 将标签「国内电影」的第一页的 URL 粘贴在' '中，并赋值给变量url
url = 'http://www.ygdy8.com/html/gndy/china/list_4_1.html'
res = requests.get(url)
# # 在网页的源码搜索 charset 可以发现网页编码为 gb2312，省略这一步会出现乱码的情况
res.encoding = 'gb2312'
# 如果打印源码的时候出现报错，可以把 text 转换为 content，这一步是需要调试的
html = res.text
# 测试：print(html)
selector = etree.HTML(html)
# 因为在 table 标签下，所以：
infos = selector.xpath('//table[@class="tbspan"]//a[@class="ulink"]')
# 测试：print(len(infos))
# 循环，打印
# 第一次打印的结果发现运行结果是列表，所以第二次打印时在列表后面附上[0]
# 第二次打印发现：
# movie_url 的值是 /html/gndy/dyzz/20170806/54699.html，
# 看起来并不是一个完整的 URL，可以进入电影名页面看看
# 电影名页面URL:
# http://www.ygdy8.com/html/gndy/dyzz/20170806/54699.html
# 所以在movie_url值里加上了 'http://www.ygdy8.com' + ，
for info in infos:
movie_url = 'http://www.ygdy8.com' + info.xpath('@href')[0]
movie_name = info.xpath('text()')[0]
# print(movie_url, movie_name)
new_url = movie_url
new_res = requests.get(new_url)
new_res.encoding = 'gb2312'
new_html = new_res.text
new_selector = etree.HTML(new_html)
new_infos = new_selector.xpath('//td[@style="WORD-WRAP: break-word"]/a')
for new_info in new_infos:
new_movie_url = new_info.xpath('@href')[0]
new_movie_name = new_info.xpath('text()')[0]
print(movie_url, movie_name, new_movie_url, new_movie_name)
上面的代码成功获取国内电影页面第一页的所有电影名称和下载链接，接下来我们将函数封装，修改获取范围为第一页至第七页的源代码，再打印一次。
三、函数封装
第二次打印（运行结果在文章末尾）：
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import requests
from lxml import etree
# 封装函数的写法
def get_movie_url(url):
res = requests.get(url)
res.encoding = 'gb2312'
html = res.text
selector = etree.HTML(html)
infos = selector.xpath('//table[@class="tbspan"]//a[@class="ulink"]')
for info in infos:
movie_url = 'http://www.ygdy8.com' + info.xpath('@href')[0]
movie_name = info.xpath('text()')[0]
get_movie_soure(movie_url, movie_name)
def get_movie_soure(movie_url, movie_name):
new_url = movie_url
new_res = requests.get(new_url)
new_res.encoding = 'gb2312'
new_html = new_res.text
new_selector = etree.HTML(new_html)
new_infos = new_selector.xpath('//td[@style="WORD-WRAP: break-word"]/a')
for new_info in new_infos:
new_movie_url = new_info.xpath('@href')[0]
new_movie_name = new_info.xpath('text()')[0]
print('电影名称：%r，下载链接：%r' % (movie_name, new_movie_url))
if __name__ == '__main__':
base_url = 'http://www.ygdy8.com/html/gndy/china/list_4_%s.html'
for page in range(1, 8):
url = base_url %str(page)
print('第%d页' % page, '页面链接：', url)
get_movie_url(url)
