#导入包
import requests
from bs4 import BeautifulSoup
import re
import pandas as pd
file_url="http://maoyan.com/board/4?"+"offset="#猫眼电影top100第一页
url_setx=["http://maoyan.com/board/4?"]#用于测试
url_set=["http://maoyan.com/board/4?"]
for i in range(10,100,10):
url_set.append("http://maoyan.com/board/4?offset="+str(i))
print(url_set)
#使用字符串循环连接，得到猫眼top100的十个url连接
name=[]#film name
star=[]#film star
date=[]# film date
for url in url_set:
html=requests.get(url).content
x=BeautifulSoup(html)
y=x.find_all(name="a",attrs={"href":re.compile("\/films\/[0-9]{1,6}"),"class":"image-link"})
print(y)
for i in y:
i0=string=re.sub(string=i.attrs['title'],pattern="\n",repl="")
name.append(i0)
z=x.find_all(name="p",attrs={"class":"star"})
for i in z:
i1=re.sub(string=i.string,pattern=u"主演：",repl="")
i1=re.sub(string=i1,pattern=" *",repl="")
i1=re.sub(string=i1,pattern="\n",repl="")
star.append(i1)
p=x.find_all(name="p",attrs={"class":"releasetime"})
for i in p:
date.append(re.sub(string=re.sub(string=i.string,pattern=u"上映时间：",repl=""),pattern="\(.*\)",repl=""))
#cbind into a DataFrame
data={"name":name,"star":star,"date":date}
x=pd.DataFrame(data)
print(x)
python爬取猫眼电影top100
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
