import requests
from requests.exceptions import RequestException
import re
import json
from multiprocessing import Pool
# 定义抓取一页信息的函数
def get_one_page(url):
try:
response = requests.get(url) # 获取网页信息
if response.status_code == 200: #根据状态码确认获取状态
return response.text
return None
except RequestException:
return None
# 解析获取到的信息
def parse_one_parse(html):
pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',re.S)
items = re.findall(pattern,html)
for item in items:
yield {'index': item[0],
'image': item[1],
'title': item[2],
'actor': item[3].strip()[3:],
'time': item[4].strip()[5:],
'score': item[5] + item[6]
}
# 将解析出来的信息写入文件
def write_to_file(content):
with open('result.txt','a',encoding='utf-8') as f:
f.write(json.dumps(content,ensure_ascii=False)+'\n',)
f.close
# 爬虫程序的主函数
def main(offset):
url = 'https://maoyan.com/board/4?offset='+str(offset)
html = get_one_page(url)
for item in parse_one_parse(html):
print(item)
write_to_file(item)
if __name__ == '__main__':
pool=Pool()
pool.map(main,[i*10 for i in range(10)])
# for i in range(10):
# main(i*10)
Requests库+正则表达式爬取猫眼Top100
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 1 代码 编程思想：首先获取单一的网页内容，然后使用正则表达式获取页面中我们所需要的内容，接下来把他们保存下来，最...
- 先回娘家陪伴母亲，中途在看我的小棉袄，再回家陪陪我家高考帅斌， 前半个月，和哥哥通电话，哥哥讲侄子马上要快高考，侄...
