Fabric 是一个 Python (2.5+ or 3.4+) 的库和命令行工具，用来提高基于 SSH 的应用部署和系统管理效率。
更具体地说，Fabric 是：
一个让你通过 命令行 执行 无参数 Python 函数 的工具；
一个让通过 SSH 执行 Shell 命令更加 容易 、 更符合 Python 风格 的命令库（建立于一个更低层次的库）。
因为大批量部署和维护爬虫需要依赖自动化运维；所以Fabric能很好地帮你解决这些问题，而且上手很容易。
- 安装
pip3 install fabric
- 本地连接
from fabric import Connection
server = Connection('127.0.0.1')
- 本地执行命令
result = server.local('cd ..')
print(result)
- 远程登陆
from fabric import Connection
# 密码登陆
conn = Connection(host='root@10.10.10.10:2201', user='root', connect_kwargs={'password': '123123123'})
# 秘钥登陆
# conn = Connection(host='root@10.10.10.10:2201', connect_kwargs={"key_filename": "/home/myuser/.ssh/private.key"})
- 远程执行代码
result = conn.run('ls')
print(result)
- 上传文件
result = server.put('D:\Work\project\DeployManager.py', '/root/')
- 下载文件
result = server.get('/root/DeployManager.py', '../')
- 批量连接操作
from fabric import Connection
for host in ('2.2.8.8', '5.8.0.5', '5.8.1.7'):
server = Connection(host, user='centos', connect_kwargs={"key_filename": r"key.pem"})
print(server)
result = server.run('ls')
print(result)
result = server.put('DeployManager.py', '.')
print(result)
- 群组批量连接操作
这种方式只支持相同密码或秘钥连接。
from fabric import SerialGroup as Group
pool = Group('2.2.8.8', '5.8.0.5', '5.8.1.7', user='centos',
connect_kwargs={"key_filename": r"key.pem"})
results = pool.run('ls')
print(results)
for connection, result in results.items():
print("{0.host}: {1.stdout}".format(connection, result))
- 批量部署Docker集群的Salve环境
结合上一篇的内容：Docker搭建大型分布式爬虫， 如果你有100台服务器需要安装配置，你肯定不想一台一台的手动完成。这时候使用Python的远程连接工具Fabric编写脚本，就可以自动的帮你搭建环境。
所以只需要配置好1台服务器，然后再把需要的命令用Python脚本批量登陆部署。
pool = Group('2.2.8.8', '5.8.0.5', '5.8.1.7', user='centos',
connect_kwargs={"key_filename": r"key.pem"})
code_str = '''yum update -y
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum makecache fast
yum -y install docker-ce
echo '{ "insecure-registries":["112.222.211.244:8181"] }' >> /etc/docker/daemon.json
systemctl restart docker
docker swarm join --token SWMTKN-1-2vkysm719347vkbs1x333aaan1w63s4-1q4ztrcirrrttttuu3fm50btm 112.222.211.244:2377'''
code_list = code_str.split('\n')
for code in code_list:
results = pool.run(code)
print(results)
for connection, result in results.items():
print("{0.host}: {1.stdout}".format(connection, result))
- 不使用Docker直接部署
for host in ('2.2.8.8', '5.8.0.5', '5.8.1.7'):
server = Connection(host, user='centos', connect_kwargs={"key_filename": r"key.pem"})
l = '''sudo yum install epel-release gcc gcc-c++ -y
sudo yum install https://rhel7.iuscommunity.org/ius-release.rpm -y
sudo yum install python36u python36u-pip python36u-devel -y && ln -s /bin/python3.6 /bin/python3
sudo /usr/bin/pip3.6 install --upgrade pip
sudo /usr/bin/pip3.6 install requests selenium pymongo redis tenacity fake_useragent celery pyexecjs sshtunnel pymysql jieba pillow scrapy_redis -i https://pypi.douban.com/simple/
sudo curl --silent --location https://rpm.nodesource.com/setup_8.x | sudo bash -
sudo yum -y install nodejs
sudo yum -y install unzip'''
l = l.split('\n')
for i in l:
print(i)
result = server.run(i)
print(result)
server.put('spider.zip', '.')
server.run('unzip spider.zip')
server.run('cd spider && nohup python3 -u run.py >res.log &')
