记一个入门级的Python爬虫

这是什么?

是一个入门级python小爬虫.爬取testhome最新一页招聘的简单信息.

直接上代码:

from requests_html import HTMLSession

def save(data):
    title = data.get('title')
    href =  data['href']
    with open('jobs.md', 'a+') as f:
        f.write("\n[{title}]({href})\n".format(title=title, href=href))

def start():
    session = HTMLSession()
    response = session.get('https://testerhome.com/jobs')
    jobs = response.html.find(selector='.panel-body', first=True)
    for job in jobs.find('.title a'):
        data = job.attrs
        data['href'] = job.absolute_links.pop()
        save(data)


if __name__ == '__main__':
    start()

解释

from requests_html import HTMLSession

引入库,库的Doc在这.随后,实例化一个HTMLSession对象.

response = session.get('https://testerhome.com/jobs')
jobs = response.html.find(selector='.panel-body', first=True)
for job in jobs.find('.title a'):
    data = job.attrs
    #  获取绝对地址,返回的是set数据,将之赋值到data中的href即可
    data['href'] = job.absolute_links.pop()     
    save(data)

接着,get方法打开目标网页,得到一个response.通过阅读上面提到的Doc官方文档,可以学习到response实现的接口.

每一个网页链接,请求返回回来的数据,可以理解为一大串看得眼花缭乱的字符串.在浏览器中加载css文件,提供样式.加载JavaScript文件,提供交互,最后渲染出赏心悦目的页面.而数据,在页面中展示出来.

当前这个爬虫,则通过response.html.find()与css选择器,去获取类名为panel-body的元素,以及此元素内部的数据.

什么是css和JavaScript?

如果你想要了解什么是css和JavaScript,W3C欢迎你.

first设置为True,应该是让css选择器只选中第一个类名为panel-body的元素及其内部数据.

for job in jobs.find('.title a'):
    data = job.attrs
    data['href'] = job.absolute_links.pop()
    save(data)

通过遍历获取到的类名为panel-body的元素数据,再查找内部类名为title下的a元素,得到结果列表中每一个item.再通过attrs属性得到dict类型的数据.

为什么是dict类型的数据?

print(type(job.attrs)) 即可知道type.再此调用save函数,save函数对dict数据进行解析.

def save(data):
    title = data.get('title')
    href = data('href')
    with open('jobs.md', 'a+') as f:
        f.write("\n[{title}]({href})\n".format(title=title, href=href))

最后解析到title和招聘详细信息的链接.