#导入包
import requests
from bs4 import BeautifulSoup
import re
import pandas as pd
file_url="http://maoyan.com/board/4?"+"offset="#猫眼电影top100第一页
url_setx=["http://maoyan.com/board/4?"]#用于测试
url_set=["http://maoyan.com/board/4?"]
for i in range(10,100,10):
url_set.append("http://maoyan.com/board/4?offset="+str(i))
print(url_set)
#使用字符串循环连接,得到猫眼top100的十个url连接
name=[]#film name
star=[]#film star
date=[]# film date
for url in url_set:
html=requests.get(url).content
x=BeautifulSoup(html)
y=x.find_all(name="a",attrs={"href":re.compile("\/films\/[0-9]{1,6}"),"class":"image-link"})
print(y)
for i in y:
i0=string=re.sub(string=i.attrs['title'],pattern="\n",repl="")
name.append(i0)
z=x.find_all(name="p",attrs={"class":"star"})
for i in z:
i1=re.sub(string=i.string,pattern=u"主演:",repl="")
i1=re.sub(string=i1,pattern=" *",repl="")
i1=re.sub(string=i1,pattern="\n",repl="")
star.append(i1)
p=x.find_all(name="p",attrs={"class":"releasetime"})
for i in p:
date.append(re.sub(string=re.sub(string=i.string,pattern=u"上映时间:",repl=""),pattern="\(.*\)",repl=""))
#cbind into a DataFrame
data={"name":name,"star":star,"date":date}
x=pd.DataFrame(data)
print(x)
python爬取猫眼电影top100
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
推荐阅读更多精彩内容
- 项目目标:使用 requests 库和正则表达式爬取猫眼电影 Top100 榜单,并保存为文件 目标站点分析 电影...
- 本文根据网易云课堂视频学习实现:传送门 环境:Python 3.6 在学习视频的时候,添加了request的库。打...