前言
由于需要离线安装蓝鲸运维平台，需要下载一堆的rpm依赖包，来解决离线环境的依赖包版本不一致问题，于是决定下载相关系统版本的所有依赖包，一次下载，终生受用。还可以制作离线环境的yum源，以供所有离线环境主机进行rpm安装包的依赖下载，不过这是后话，先按下不表。
首先找到系统rpm安装包的下载地址，相关地址很多，以下列举一些以供参考：
本次使用 centos镜像站作为rpm软件包提供的服务器地址，相关源码及注释如下所示：
import random
import re
import socket
import struct
import requests
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
RANDOM_IP_POOL = ['192.168.10.222/0']
# 生成随机IP地址
def __get_random_ip():
str_ip = RANDOM_IP_POOL[random.randint(0, len(RANDOM_IP_POOL) - 1)]
str_ip_addr = str_ip.split('/')[0]
str_ip_mask = str_ip.split('/')[1]
ip_addr = struct.unpack('>I', socket.inet_aton(str_ip_addr))[0]
mask = 0x0
for i in range(31, 31 - int(str_ip_mask), -1):
mask = mask | (1 << i)
ip_addr_min = ip_addr & (mask & 0xffffffff)
ip_addr_max = ip_addr | (~mask & 0xffffffff)
return socket.inet_ntoa(struct.pack('>I', random.randint(ip_addr_min, ip_addr_max)))
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
# rpm安装包源地址
weburl = "https://vault.centos.org/7.7.1908/os/x86_64/Packages/"
# rpm安装包名获取规则
ex1 = '<a href="(.*?.rpm)">'
# 初始化browser对象
browser = webdriver.Chrome(executable_path='chromedriver.exe', chrome_options=chrome_options)
# 访问该url
browser.get(url=weburl)
# 抓取到页面信息
page_text = browser.execute_script("return document.documentElement.outerHTML")
# 获取安装包名的list列表
name_list = re.findall(ex1, page_text, re.M)
# 循环遍历，当超时时报错中断，从中断处再开始下载即可
for i in range(584, len(name_list)):
print(str(i + 1) + '.' + str(name_list[i]))
# 获取rpm安装包名
filename = str(name_list[i])
# rpm安装包下载到的本地地址
save_path = "D:\\7.7.1908\\Packages\\"
save_file = save_path + filename
# rpm安装包获取的url地址
url = weburl + filename
print(str(i + 1) + '.' + save_file)
print(str(i + 1) + '.' + url)
# 获取随机ip地址
dir_ip = __get_random_ip()
# 进行UA伪装，防止服务器将请求直接打回
webheader2 = {
'Connection': 'Keep-Alive',
'Accept': 'text/html, application/xhtml+xml, */*',
'Accept-Language': 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',
'Accept-Encoding': 'gzip, deflate',
'Host': dir_ip,
'DNT': '1'
}
# 调用requests.get方法对url进行访问，和持久化存储数据，timeout必须加上，防止服务端无响应后程序卡死
audio_content = requests.get(url=url, headers=webheader2, timeout=(3, 7)).content
# 存入本地
with open(save_file, 'wb') as f:
f.write(audio_content)
print(save_file + " 下载完成")
# 退出浏览器
browser.quit()
执行程序后就静静等待rpm包全部下载完成即可，如有报错中断，修改range()函数的起始位置至失败处，重新执行程序，笔者由于工作环境网络极差，下载中失败了很多次。
