python爬虫代码爬取rpm依赖包(附带源码解析)

前言
由于需要离线安装蓝鲸运维平台,需要下载一堆的rpm依赖包,来解决离线环境的依赖包版本不一致问题,于是决定下载相关系统版本的所有依赖包,一次下载,终生受用。还可以制作离线环境的yum源,以供所有离线环境主机进行rpm安装包的依赖下载,不过这是后话,先按下不表。

首先找到系统rpm安装包的下载地址,相关地址很多,以下列举一些以供参考:

  1. 清华大学开源软件镜像站
  2. centos镜像站
  3. rpmfind
  4. pkgs
  5. fedora koji
  6. pbone

本次使用 centos镜像站作为rpm软件包提供的服务器地址,相关源码及注释如下所示:

import random
import re
import socket
import struct

import requests
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

RANDOM_IP_POOL = ['192.168.10.222/0']


# 生成随机IP地址
def __get_random_ip():
    str_ip = RANDOM_IP_POOL[random.randint(0, len(RANDOM_IP_POOL) - 1)]
    str_ip_addr = str_ip.split('/')[0]
    str_ip_mask = str_ip.split('/')[1]
    ip_addr = struct.unpack('>I', socket.inet_aton(str_ip_addr))[0]
    mask = 0x0
    for i in range(31, 31 - int(str_ip_mask), -1):
        mask = mask | (1 << i)
    ip_addr_min = ip_addr & (mask & 0xffffffff)
    ip_addr_max = ip_addr | (~mask & 0xffffffff)
    return socket.inet_ntoa(struct.pack('>I', random.randint(ip_addr_min, ip_addr_max)))


chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
# rpm安装包源地址
weburl = "https://vault.centos.org/7.7.1908/os/x86_64/Packages/"
# rpm安装包名获取规则
ex1 = '<a href="(.*?.rpm)">'

# 初始化browser对象
browser = webdriver.Chrome(executable_path='chromedriver.exe', chrome_options=chrome_options)
# 访问该url
browser.get(url=weburl)

# 抓取到页面信息
page_text = browser.execute_script("return document.documentElement.outerHTML")
# 获取安装包名的list列表
name_list = re.findall(ex1, page_text, re.M)
# 循环遍历,当超时时报错中断,从中断处再开始下载即可
for i in range(584, len(name_list)):
    print(str(i + 1) + '.' + str(name_list[i]))
    # 获取rpm安装包名
    filename = str(name_list[i])
    # rpm安装包下载到的本地地址
    save_path = "D:\\7.7.1908\\Packages\\"
    save_file = save_path + filename
    # rpm安装包获取的url地址
    url = weburl + filename
    print(str(i + 1) + '.' + save_file)
    print(str(i + 1) + '.' + url)
    # 获取随机ip地址
    dir_ip = __get_random_ip()
    # 进行UA伪装,防止服务器将请求直接打回
    webheader2 = {
        'Connection': 'Keep-Alive',
        'Accept': 'text/html, application/xhtml+xml, */*',
        'Accept-Language': 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',
        'Accept-Encoding': 'gzip, deflate',
        'Host': dir_ip,
        'DNT': '1'
    }
    # 调用requests.get方法对url进行访问,和持久化存储数据,timeout必须加上,防止服务端无响应后程序卡死
    audio_content = requests.get(url=url, headers=webheader2, timeout=(3, 7)).content

    # 存入本地
    with open(save_file, 'wb') as f:
        f.write(audio_content)
    print(save_file + " 下载完成")

# 退出浏览器
browser.quit()

执行程序后就静静等待rpm包全部下载完成即可,如有报错中断,修改range()函数的起始位置至失败处,重新执行程序,笔者由于工作环境网络极差,下载中失败了很多次。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容