centos搭建proxypool抓取节点

步骤

  1. 安装宝塔并安装nginx做反向代理
  2. 在根目录创建一个目录名proxy
  3. 下载一个proxpool主程序和config和source的配置文件
  4. nginx添加域名开启反向代理
  5. 运行程序

安装宝塔

yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh

根下创建目录名proxy

  • 创建proxy目录

    image.png

  • 依次下载三个文件

    image.png

proxypool

https://pan.geekrabbit.top/?explorer/share/fileOut&shareID=7tywdr6g&path=%7BshareItemLink%3A7tywdr6g%7D%2F%E8%84%9A%E6%9C%AC%E6%96%87%E4%BB%B6%2Fproxypool%2Fproxypool

config.ymal

https://pan.geekrabbit.top/?explorer/share/fileOut&shareID=7tywdr6g&path=%7BshareItemLink%3A7tywdr6g%7D%2F%E8%84%9A%E6%9C%AC%E6%96%87%E4%BB%B6%2Fproxypool%2Fconfig.yaml

sourcel.ymal

https://pan.geekrabbit.top/?explorer/share/fileOut&shareID=7tywdr6g&path=%7BshareItemLink%3A7tywdr6g%7D%2F%E8%84%9A%E6%9C%AC%E6%96%87%E4%BB%B6%2Fproxypool%2Fsource.yaml

下载好文件后重命名,并设置proxypool为755权限

image.png
  • 修改config.yaml


    image.png

添加反向代理

  • 宝塔网站里添加一个网站,域名为刚刚解析好并填入配置文件的网址

    image.png

  • 申请一个 ssl 证书,并打开强制 https

image.png
  • 然后添加一个反向代理,代理到本机的 12580 端口(配置文件默认端口)


    image.png

运行程序

ssh启动进入/proxy

nohup ./proxypool -c config.yaml 1>>run.log 2>>run.log &
image.png

访问成功

image.png

如果要更新配置

  • 进入 /proxy目录结束掉proxypool的运行
cd /proxy
ps -ef
kill -s 9 4383  # 每个人的 PID 是不一样的
image.png

再次启动使用启动命令即可

nohup ./proxypool -c config.yaml 1>>run.log 2>>run.log &

原文链接

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
禁止转载,如需转载请通过简信或评论联系作者。

推荐阅读更多精彩内容

  • 最近很火的nulink是什么?解决了什么技术问题? NuLink 通过应用编程接口(API)为去中心化的 APP ...
    Aaron阿酷阅读 160评论 0 0
  • 11.1 了解架构 在研究Kubernetes如何实现其功能之前,先具体了解下Kubernetes集群有哪些组件。...
    众神开挂阅读 542评论 0 0
  • 设计模式 一.六大设计原则 1.开闭原则:针对扩展开放,修改关闭; 2.里氏替换原则:任何父类出现的地方都可由其子...
    说好的蔚蓝天空呢阅读 581评论 0 0
  • 商品管理 商品新增 当我们点击新增商品按钮就会出现一个弹窗: 里面把商品的数据分为了4部分来填写: 基本信息:主要...
    碎碎念_碎语阅读 198评论 0 0
  • 前言 随着前后端分离应用模式的推广,前端项目可独立部署维护上线,不再仅仅将前端开发后打包的文件直接丢到一个文件目录...
    维李设论阅读 530评论 0 0