import requests
from bs4 import BeautifulSoup
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:75.0) Gecko/20100101 Firefox/75.0',
'Cookie':'jobui_p=1588600609732_82812311; TN_VisitCookie=65; Hm_lvt_8b3e2b14eff57d444737b5e71d065e72=1588640833,1588641001,1588641152,1588642264; jobui_area=%25E8%258B%258F%25E5%25B7%259E; jobui_user_passport=yk158860070505234; job-subscribe-guide=1; TN_VisitNum=51; Hm_lpvt_8b3e2b14eff57d444737b5e71d065e72=1588642691; PHPSESSID=btjbrtg3e7j2ib7mrdsbcv6co0'
}
url='https://www.jobui.com/rank/company/'
res=requests.get(url,headers=headers)
print(res.status_code)
soup=BeautifulSoup(res.text,'html.parser')
item=soup.find('div',class_='searchCont')
list0=item.find_all('li')
for shuju in list0:
a=shuju.find('a')
gongsi=a['title']
wangzhi=a['href']
link='https://wwww.jobui.com'+wangzhi+'jobs'
res1=requests.get(link,headers=headers)
soup1=BeautifulSoup(res1.text,'html.parser')
items=soup1.find('div',id='companyJobsJobList')
try:
list1=items.find_all('div',class_='c-job-list')
for list in list1:
zhiwei=list.find('a',class_='job-name')['title']
address=list.find('div',class_='job-desc').find_all('span')
didian=address[0]['title']
yaoqiu=address[1]['title']
print(gongsi,zhiwei,didian,yaoqiu)
except AttributeError:
pass
python爬虫实战5
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
推荐阅读更多精彩内容
- python爬虫实战——图片自动下载器 之前介绍了那么多基本知识【Python爬虫】入门知识(没看的赶紧去看)大家...
- 前言 蛋肥学习了Scrapy框架,打算实践一下,利用Scrapy来爬取一下最美应用推荐APP的数据,并储存到MyS...
- (实战项目三)新浪网分类资讯爬虫 爬取新浪网导航页所有下所有大类、小类、小类里的子链接,以及子链接页面的新闻内容。...
- items.py spiders/coser.py pipelines.py settings.py 在项目根目录...