#!/usr/bin/env python
#-*-coding:utf-8-*-
from bs4 import BeautifulSoup
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'
}
for i in range(1,3):
link = "https://search.51job.com/list/080200,000000,0000,01,9,99,python,2,{}.html?".format(i)
resp = requests.get(link,headers=headers)
resp = resp.text
resp = resp.encode( "ISO-8859-1")
soup = BeautifulSoup(resp,"lxml")
names = soup.select(".el p.t1 span a" )
countrys = soup.select(".el span.t2 a")
salarys = soup.select(".el span.t4")
print("=" * 40)
for index in range(0,len(names)):
name = names[index]
country = countrys[index]
salary = salarys[index+1]
name = name.text.strip()
country = country.text.strip()
salary = salary.text.strip()
print("名称是:{}".format(name))
print("公司是:{}".format(country))
print("薪水是:{}".format(salary))
print("="*40)
print("第{}页数据爬取完毕....".format(i))
爬虫
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
推荐阅读更多精彩内容
- 爬虫(Spider),反爬虫(Anti-Spider),反反爬虫(Anti-Anti-Spider) 之间恢宏壮阔...
- 通用爬虫和聚焦爬虫 根据使用场景,网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种. 通用爬虫 通用网络爬虫 是 捜索...
- scrapy框架是爬虫界最为强大的框架,没有之一,它的强大在于它的高可扩展性和低耦合,使使用者能够轻松的实现更改和...
- 关于苹果2017年1月1日之后,要求App Store 商店所有的app 使用https 的计划虽已延迟,但尽早掌...