#!/usr/bin/env python
#-*-coding:utf-8-*-
from bs4 import BeautifulSoup
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'
}
for i in range(1,3):
link = "https://search.51job.com/list/080200,000000,0000,01,9,99,python,2,{}.html?".format(i)
resp = requests.get(link,headers=headers)
resp = resp.text
resp = resp.encode( "ISO-8859-1")
soup = BeautifulSoup(resp,"lxml")
names = soup.select(".el p.t1 span a" )
countrys = soup.select(".el span.t2 a")
salarys = soup.select(".el span.t4")
print("=" * 40)
for index in range(0,len(names)):
name = names[index]
country = countrys[index]
salary = salarys[index+1]
name = name.text.strip()
country = country.text.strip()
salary = salary.text.strip()
print("名称是:{}".format(name))
print("公司是:{}".format(country))
print("薪水是:{}".format(salary))
print("="*40)
print("第{}页数据爬取完毕....".format(i))
爬虫
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 爬虫(Spider)，反爬虫(Anti-Spider)，反反爬虫(Anti-Anti-Spider) 之间恢宏壮阔...
- 通用爬虫和聚焦爬虫 根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种. 通用爬虫 通用网络爬虫 是 捜索...
- scrapy框架是爬虫界最为强大的框架，没有之一，它的强大在于它的高可扩展性和低耦合，使使用者能够轻松的实现更改和...
- 关于苹果2017年1月1日之后，要求App Store 商店所有的app 使用https 的计划虽已延迟，但尽早掌...
