用Jenkins来完成Python程序自动部署

Java环境及Jenkins安装

  • 确认Linux系统版本
    执行uname -a命令确认系统版本。

    Linux system03 4.18.0-193.el8.x86_64 #1 SMP Fri May 8 10:59:10 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux
    
  • 配置代理
    后续安装需要使用yum包管理器和wget下载工具,如果是企业内网环境需要配置代理。

    • 执行vi /etc/yum.conf,添加代理配置
    proxy=proxy_host:port
    
    • 执行vi /etc/wgetrc,添加代理配置
    https_proxy=proxy_host:port
    http_proxy=proxy_host:port 
    
  • 安装Jdk
    执行yum search openjdk*,列出有效的Jdk安装文件

      java-1.8.0-openjdk.x86_64 : OpenJDK 8 Runtime Environment
      java-1.8.0-openjdk-accessibility.x86_64 : OpenJDK 8 accessibility connector
      java-1.8.0-openjdk-demo.x86_64 : OpenJDK 8 Demos
      java-1.8.0-openjdk-devel.x86_64 : OpenJDK 8 Development Environment
      java-1.8.0-openjdk-headless.x86_64 : OpenJDK 8 Headless Runtime Environment
      java-1.8.0-openjdk-javadoc.noarch : OpenJDK 8 API documentation
      java-1.8.0-openjdk-javadoc-zip.noarch : OpenJDK 8 API documentation compressed in a single archive
      java-1.8.0-openjdk-src.x86_64 : OpenJDK 8 Source Bundle
      java-11-openjdk.x86_64 : OpenJDK Runtime Environment 11
      java-11-openjdk-demo.x86_64 : OpenJDK Demos 11
      java-11-openjdk-devel.x86_64 : OpenJDK Development Environment 11
      java-11-openjdk-headless.x86_64 : OpenJDK Headless Runtime Environment 11
      java-11-openjdk-javadoc.x86_64 : OpenJDK 11 API documentation
      java-11-openjdk-javadoc-zip.x86_64 : OpenJDK 11 API documentation compressed in a single archive
      java-11-openjdk-src.x86_64 : OpenJDK Source Bundle 11
      java-11-openjdk-static-libs.x86_64 : OpenJDK libraries for static linking 11
    

    这里选择最新版的java-1.8.0-openjdk-devel.x86_64开发环境安装。
    执行命令yum install -y java-1.8.0-openjdk-devel.x86_64进行安装,安装完成以后执行java -version确认。

    openjdk version "1.8.0_282"
    OpenJDK Runtime Environment (build 1.8.0_282-b08)
    OpenJDK 64-Bit Server VM (build 25.282-b08, mixed mode)
    

    到此Jdk安装成功。

  • 安装Jenkins

    由于yum的repos中默认是没有Jenkins,需要先将Jenkins存储库添加到yum的repos。

    这里选择Jenkins的LTS版进行安装,执行以下命令

      wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat/jenkins.repo
      rpm --import https://jenkins-ci.org/redhat/jenkins-ci.org.key
    

    接着,执行安装命令yum install jenkins
    以上步骤完成以后,可以适当修改Jenkins相关配置,满足各自需求。
    vi /etc/sysconfig/jenkins
    最后执行service jenkins start启动服务后,执行service jenkins status查看状态,如果一切安装无误,会出现如下信息

    jenkins.service - LSB: Jenkins Automation Server
    Loaded: loaded (/etc/rc.d/init.d/jenkins; generated)
    Active: active (running) since Tue 2021-04-13 11:25:53 JST; 6 days ago
    
  • Jenkins解锁

    • 打开http://host_ip:port,按照下图提示输入cat /var/lib/jenkins/secrets/initialAdminPassword

      查看管理者密码后,复制粘贴到文本框完成解锁。
    • 接着安装默认插件,企业内网环境在此处需要输入代理服务器相关信息。
    • 创建管理员
    • 登录进入Jenkins管理页面

创建Item

  • 点击New Item,输入item name,选中Freestyle project,点击OK即可。

  • 在设定页面,首先选中This project is parameterized,添加env参数,用于区分stging/production部署环境。

  • Source Code Management中,选择Git后,输入对应的仓库地址及相关认证,默认指定master分支

  • Build栏,点击Add build step选中Execute shell,此处需要定义每次Jenkins完成代码合并后所需要执行的shell脚本。
    先填入如下所示的测试脚本

    #!/bin/bash
    
    echo "部署环境:$env"
    
  • Build Triggers栏,有2种方式出发下面的Build。

    • 选择Poll SCM,可以根据指定的周期轮询仓库,发现有新版本时自动触发Build,此为被动触发
    • 主动触发需要自己编写本地仓库下./git/hooks下的钩子脚本
  • 完成项目创建后,点击Build with Parameters,测试Build。
    成功后,输出如下所示

    Started by user admin
    Running as SYSTEM
    Building in workspace /home/root/workspace/test
    The recommended git tool is: git
    using credential 仓库认证
    Cloning the remote Git repository
    Cloning repository 远程仓库地址
    > git init /home/root/workspace/test # timeout=10
    Fetching upstream changes from 远程仓库地址
    > git --version # timeout=10
    > git --version # 'git version 2.16.5'
    using GIT_ASKPASS to set credentials 
    Setting http proxy: 10.3.32.201:8080
    > git fetch --tags --progress -- 远程仓库地址 +refs/heads/*:refs/remotes/origin/* # timeout=10
    > git config remote.origin.url 远程仓库地址 # timeout=10
    > git config --add remote.origin.fetch +refs/heads/*:refs/remotes/origin/* # timeout=10
    Avoid second fetch
    > git rev-parse refs/remotes/origin/master^{commit} # timeout=10
    Checking out Revision d9097fb5b5320565ab3291fb1ae80f3fc7e726c4 (refs/remotes/origin/master)
    > git config core.sparsecheckout # timeout=10
    > git checkout -f d9097fb5b5320565ab3291fb1ae80f3fc7e726c4 # timeout=10
    Commit message: "format"
    First time build. Skipping changelog.
    [test] $ /bin/bash /tmp/jenkins5715523532502007103.sh
    部署环境:stg
    Finished: SUCCESS
    

脚本编写

  • 由于自定义执行的shell是在Jenkins编译完成以后,根据初次编译的log可以很清晰的看出Jenkins的编译过程,通过在本地保持副本,每次Build时会拉取仓库最新的HEAD标签,本地通过checkout命令指向最新标签完成合并。由此为了获取本地和仓库变更文件列表,可以使用change_files=$(git reflog -1 | cut -d ' ' -f6,8 | xargs git diff --name-only)实现
  • 将变更代码替换程序部署目录时,使用cp --path -a -v $change_files $app_folder命令,cp --path命令会自动创建相应子目录,然后把文件复制到对应的子目录下。
  • 使用以下函数完成变更文件类型检测
    #参数1-检测文件列表,参数2-文件后缀名
    is_assign_file() {
        for file in $1; do
            if [ "${file##*.}" = "$2" ]; then
                return 0
            fi
        done
        return 1
    }
    
    实际调用is_assign_file "$change_files" "py",如此可检测是否包含python文件来决定是否重启应用程序。
  • 使用scp传递文件到其他服务器,使用ssh命令完成在此服务器上执行命令。
  • 最后附上一份自己使用的脚本
    #!/bin/bash
    
    #判断是否包含某类型文件
    is_assign_file() {
        for file in $1; do
            if [ "${file##*.}" = "$2" ]; then
                return 0
            fi
        done
        return 1
    }
    
    #递归获取指定文件夹下所有文件名
    ergodic() {
        for file in $(ls $1); do
            if [ -d $1"/"$file ]; then
                ergodic $1"/"$file
            else
                #local path=$1"/"$file
                local name=$file
                #local size=`du --max-depth=1 $path|awk '{print $1}'`
                echo $name
            fi
        done
    }
    
    
    base_folder=/home/work
    project="test"
    
    target_folder=${base_folder}/app
    app_folder=$target_folder"/${project}"
    tmp_folder=$target_folder"/tmp/${project}"
    
    if [ $env == "stg" ]; then
        change_files=$(git reflog -1 | cut -d ' ' -f6,8 | xargs git diff --name-only)
        cp --path -a -v $change_files $app_folder
        cp --path -a -v $change_files $tmp_folder
    
        is_assign_file "$change_files" "py"
        if [ "$?" == 0 ]; then
            cd $target_folder
            echo "此处执行程序重新构建脚本"
        fi
    elif [ $env == "prod" ]; then
        prod_host=产品环境
        prod_folder=/home/work
        prod_app_folder=$prod_folder"/app/${project}"
        prod_release_folder=${prod_folder}/app/release
    
        if [ -n "$(ls -A $tmp_folder 2>/dev/null)" ]; then
            timestamp=$(date +"%Y%m%d%H%M%S")
            scp -i /root/.ssh/id_rsa -r -p $tmp_folder root@$prod_host:$prod_release_folder
    
            ssh root@$prod_host "cd ${prod_folder}/app; tar -cf ${project}_bak.tar ${project}; 
                            cp -a -r -v release/${project}/* ${project}; 
                            mv -f -v release/${project}/ release/${project}_${timestamp}"
    
            change_files=$(ergodic $tmp_folder)
            is_assign_file "$change_files" "py"
            if [ "$?" == 0 ]; then
                echo "此处执行程序重新构建脚本"
            fi
    
            rm -rfv $tmp_folder/*
        else
            echo "没有变更文件。"
        fi
    else
        echo "环境参数错误"
    fi
    
    
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,491评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,856评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,745评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,196评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,073评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,112评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,531评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,215评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,485评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,578评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,356评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,215评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,583评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,898评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,497评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,697评论 2 335

推荐阅读更多精彩内容