前言
最近python的学习有所停滞，就在昨天写了一个爬取猫眼电影TOP100的榜单，参考了网上一些大神的例子，现在就写下我自己学习的代码，供大家参考，网上大神大多数使用了正则表达式，再此我就不在使用正则表达式。
正文
先附上猫眼TOP100榜单的首页网址：http://maoyan.com/board/4?offset=0
在这个网站中，总共是100条数据，每页10条。
#导入库依赖包
#python版本是3.7
import requests
from lxml import etree #解析网页数据
import time #时间上稍作延迟，模拟人为收集数据
class MaoYan(object):
'''下载猫眼电影TOP100榜'''
def __init__(self):
'''初始化'''
self.headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134'}
def getOnePage(self,url):
'''获取网页源码'''
html = requests.get(url,headers=self.headers)
return html
'''解析网页数据'''
def parseOnePage(self, text):
html = etree.HTML(text)
#电影名
names = html.xpath('//p[@class="name"]//text()')
#主要演员
stars = html.xpath('//p[@class="star"]//text()')
for item in range(len(names)):
yield{
'names':names[item],
'stars':stars[item].strip()
}
@staticmethod
def write2File(content):
with open(r'G:\猫眼.txt', 'a', encoding='utf-8') as f:
f.write(str(content) + '\n')
#print(jsons.dumps(content, ensure_ascii=True))
if __name__ == '__main__':
maoyan = MaoYan()
for offSet in range(10):#循环爬取10页
time.sleep(1)#时间上停顿一秒
urls = 'http://maoyan.com/board/4?offset={}'.format(offSet * 10)
html = maoyan.getOnePage(urls)
text = maoyan.parseOnePage(html.text)
for item in text:
maoyan.write2File(item)
print(item)
网站的每一页的网址说明
第一页是：http://maoyan.com/board/4?offset=0
第二页是：http://maoyan.com/board/4?offset=10
第三页是：http://maoyan.com/board/4?offset=20
规律就是offset后边的数字每次➕10。
注意事项
需要注意的是在进行json字典转换的时候，很多人写的是
jsons.dumps()
转换,但是我写了这个，转换出来的不是正常的汉字字符，类似于\u25a2 这样的字符，所以我在
f.write(str(content) + '\n')
直接用了str()转换。保存的文件是.txt。不知道上面的原因是啥，知道的小伙伴可以下方留言交流。
爬取效果
猫眼01.png
总共是100条数据
后记
这个代码是完整的代码，可以拿来练手，不规范的地方希望小伙伴指正。转载请注明出处，虽然我也是边学编写，尊重劳动成果。
