一、目的：
个人比较喜欢看欧美电影，最近刚学了爬虫，所以敲了这个程序 来爬取 电影天堂IMB 评分8.0以上的 欧美电影 跟大家分享一下。
二、爬取电影天堂需要掌握的基本技能：
1、熟悉python的基本语法。
2、会使用 简单的正则表达式。
3、掌握beautifulsoup4的基本使用，了解网页源代码的组成结构。
4、了解requests模块的基本使用
三、过程：
步骤一：分析网页的基本结构
首先打开电影天堂 欧美电影 的栏目
1）我们发现 欧美电影栏目 的网址 是有规律的。
当我们点开 欧美电影的第一页 时网址 是 http://www.ygdy8.net/html/gndy/oumei/list_7_1.html
当我们点开 欧美电影的第二页 时网址 变为 http://www.ygdy8.net/html/gndy/oumei/list_7_2.html
也就是说其实 改变 网址页数的 该网址 7_ 之后的数字
2）接下来我们 点开 开发者工具查看网页源代码（F12）
我们发现 其实 每部电影的 内容 都是包含在一个 class=“tbspan”的table 里
于是我们可以使用beautiful的find_all函数 去获取 全部 class=“tbspan”的table
代码为：table = BeautifulSoup(content.text,"lxml").find_all('table',class_='tbspan')
我们点开 class=“tbspan”的table
我们可以发现 电影 内容简介 包含在一个a标签内
而该a标签的 文本内容（text）里包含了 “《”这个关键符号
于是我们可以使用正则以及beautifulsoup去找到a标签内的全部内容
代码为：table.find('a', text=re.compile("《"))
（table是 class=“tbspan”的table，因为a标签是包含在它之下，所以我们要在他的基础上找）
同理 电影的 IMB评分 以及详细内容 页 也是一样道理 可以取到
传入正则表达式，查找所有的td标签文本内容中含有IMB的内容 # td是匹配文本内容到包含“IMB”的内容的整条 td 标签内容
td = table.find('td', text=re.compile("IMD"))
3）然后我们点开其中一部电影 比如 《狂暴巨兽》
拉下来之后 我们 可以发现该电影的下载地址 那我们要怎么去获取呢？
打开开发者工具 查看源代码
我们发现 他的下载地址包含在 一个
"style": "WORD-WRAP: break-word" 的 td 标签里
于是我们去获取该标签
Td = BeautifulSoup(content.text,"lxml").find('td', attrs={"style": "WORD-WRAP: break-word"})
然后利用正则 获取 到 该电影下载地址
downloadA = downloadTd.find('a')
到此处 网页的基本结构分析就清楚 了 下面贴上源代码 ，不懂得可以查看注释
下面是代码：
import requests
from bs4 import BeautifulSoup
import re
#电影 详情页的的基本前缀
site = 'http://www.ygdy8.net'
#构建电影类
class Movie:
def __init__(self, name, url, score, link):
self.name = name
self.url = url
self.score = score
self.link = link
def __str__(self):
return '%s,\t%s分,\t下载地址:%s' % (self.name, self.score, self.link)
__repr__ = __str__
def getSoup(url):
r = requests.get(url)
r.encoding = 'gb18030'
return BeautifulSoup(r.text, "html.parser")
def findMovie(url):
movieList = []
# 链接网址
soup = getSoup(url)
tables = soup.find_all('table', class_='tbspan')
for table in tables:
#传入正则表达式，查找所有的a标签文本内容中含有《的内容
# aContent是匹配到a标签text里面包含《的整个a标签
aContent = table.find('a', text=re.compile("《"))
#传入正则表达式，查找所有的td标签文本内容中含有IMB的D内容
# td是匹配文本内容到包含“IMB”的内容的整条 td 标签内容
td = table.find('td', text=re.compile("IMD"))
if td is not None:
# 利用正则找到电影的评分
# +?匹配一次或更多次的重复，但是在能使整个匹配成功的前提下使用最少的重复
# 只匹配 +？的值 即如 评分 6.0/10 只输出 【‘6.0’】
# 因为 有/ 为了不为被当成转义符所以需要在前面r
scoreStr = re.findall(r"评分 (.+?)/10", td.text)
if (len(scoreStr) > 0):
try:
# 将字符串 转换为 浮点型
score = float(scoreStr[0])
if (score > 8):
name = aContent.text
print(name)
# 此处的url 是 电影的详情页面
url = site + aContent['href']
print('url:', url)
print('title:', name)
print('score:', score)
# downloadLink是获得电影的下载地址
downloadLink = getDownloadLink(url)
movie = Movie(name, url, score, downloadLink)
movieList.append(movie)
except:
print('error !!')
return movieList
#该方法是用来获取电影下载地址的
def getDownloadLink(url):
soup = getSoup(url)
downloadTd = soup.find('td', attrs={"style": "WORD-WRAP: break-word"})
downloadA = downloadTd.find('a')
return downloadA['href']
#该方法是用来保存电影的信息到本地文本文件的
def saveMovie(movieList):
#打开文本文件
fileObj = open('movie.txt', 'a')
for movie in movieList:
movie_str = str(movie)
print('movie info:', movie_str)
fileObj.write(movie_str)
fileObj.write('\n')
fileObj.write(
'————————————————————————————————————————————————————————————————————————————————————————————————')
fileObj.write('\n')
fileObj.close()
def getPageResource(url):
resultList = findMovie(url)
if len(resultList) > 0:
saveMovie(resultList)
if __name__ == '__main__':
for index in range(156):
index += 1
#电影天堂网的欧美电影基本前缀
#在网页中第一页的地址为http://www.ygdy8.net/html/gndy/oumei/list_7_1.html
#在网页中第一页的地址为http://www.ygdy8.net/html/gndy/oumei/list_7_2.html
#容易发现其实网页改变页数 其实是改变 7_之后的数字
#此处的url 为 欧美电影 的 地址 index 表示页数
url = 'http://www.ygdy8.net/html/gndy/oumei/list_7_' + \
str(index) + '.html'
getPageResource(url)
运行结果展示：
三：心得体会：
此次爬虫加深了我对python 基础语法的掌握，也让我发现了python的有趣，在学习爬虫的过程中，我遇到了很多困难，第一个困难是 解析网页的结构，我觉得这是爬虫中很重要的一部分。第二个是，Beautifulsoup的 使用，有些语法不是很清楚。第三个是正则表达式的运用。第四是经常遇到反爬虫无法进行下去。
