初试python 用xpath爬求职网站(修改 成功)

import requests

#from bs4 import BeautifulSoup

from lxml import etree

#//*[@id="resultList"]/div[4]/p/span/a 第一条职位

#//*[@id="resultList"]/div[4]/span[1]/a 第一条公司

#//*[@id="resultList"]/div[4]/span[3] 第一条薪资

url='https://search.51job.com/list/000000,000000,0000,00,9,99,%2520,2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare='

res=requests.get(url)

res.encoding = res.apparent_encoding

html=etree.HTML(res.text)

name=html.xpath("//*[@id='resultList']/div/p/span/a/text()")

names=[]

coms=[]

salarys=[]

for i in range(50):

    name=html.xpath("//*[@id='resultList']/div[{}]/p/span/a/text()".format(4+i))[0].strip()#for循环来爬xpath!!!

    com=html.xpath("//*[@id='resultList']/div[{}]/span[1]/a/text()".format(4+i))[0].strip()

    salary=html.xpath("//*[@id='resultList']/div[{}]/span[3]/text()".format(4+i))

    names.append(name)

    coms.append(com)

    salarys.append(salary)

for i in range(len(names)): 

    print("{}    {}    {}".format(names[i],coms[i],salarys[i]))



最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容