简易爬虫

python写的,超简易爬虫,具体的使用还有待学习:

# -*- coding:UTF-8 -*-
import requests
from bs4 import BeautifulSoup

if __name__ == '__main__':

    url = 'http://127.0.0.1:8080/login.jsp'   #登陆的网页
    target = 'http://127.0.0.1:8080/test/?filter=-1'   #获取内容的网页
    data = {'os_username': "123",
            'os_password': '111'}
    req = requests.Session()
    response = req.post(url, data=data)  # 登陆

    html = req.get(target).text   #获取网页所有信息
    bf = BeautifulSoup(html)
    div = bf.find_all(class_='issue-link')  #筛选出网页中指定元素信息

    for i in div:
        print("遍历:"+i)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容