接上文https://www.jianshu.com/p/5e1ccf999c24，我们安装了sonarqube，并完成了对java/.net代码扫描，之后通过jenkins集成实现了自动化扫描。
本文我们将研究如何通过sonarqubeApi实现发布流程质量控制
1.Sonarqube Api介绍
sonarqube开放了很多api接口，用户及权限，项目及扫描结果，还有相关系统及配置等api。
api清单可以在sonar平台直接查看，默认地址为:http://localhost:9000/web_api/，localhost:9000是sonar的访问路径需要替换成你的地址，笔者的是绑定了域名的sonar.xxx.cn。
SonarqubeApi页面
2.获取扫描结果并与Jenkins集成控制发布质量
上文我们通过Jenkins实现了自动化扫描，但我们并没有对扫描结果进行获取或处理，这样导致整个扫描在整体发布流程中变成一个可有可无的弱势环节。
接下来我们将提升扫描环节的重要度，通过对其结果获取控制发布流程，思路发下：
1.通过api获取我们所需要采集的扫描指标值（每公司或团队关注的指标会有略有差异）
2.对指标质量规则建模，实现控制方案的数据模型
3.包装成一个可直接使用的接口供jenkins集成
4.jenkins通过调用我们包装好的接口获取扫描结果，并根据结果控制流程
步骤1：API获取指标
通过对API分析，我们找到如下获取指标的API
http://sonar.xxxx.cn/api/measures/search?projectKeys=项目 key&metricKeys=code_smells,bugs,coverage,duplicated_lines_density,ncloc,security_rating,vulnerabilities,comment_lines_density
调用后返回结果如下：
{
"measures": [{
"metric": "bugs",
"value": "0",
"component": "netCore01",
"bestValue": true
}, {
"metric": "code_smells",
"value": "3",
"component": "netCore01",
"bestValue": false
}, {
"metric": "comment_lines_density",
"value": "2.8",
"component": "netCore01",
"bestValue": false
}, {
"metric": "coverage",
"value": "0.0",
"component": "netCore01",
"bestValue": false
}, {
"metric": "duplicated_lines_density",
"value": "0.0",
"component": "netCore01",
"bestValue": true
}, {
"metric": "ncloc",
"value": "138",
"component": "netCore01"
}, {
"metric": "security_rating",
"value": "1.0",
"component": "netCore01",
"bestValue": true
}, {
"metric": "vulnerabilities",
"value": "0",
"component": "netCore01",
"bestValue": true
}]
}
说明：具体指标获取可以在项目--指标然后左侧各种指标点击查看，URL中会有该指标的字段名
步骤2：质量规则建模
以上接口我们获取了一些主要的扫描结果，但这些指标数据如何控制更合理，是每个团队需要考虑的事情，本例为演示技术实现为主，建模不具实际业务参考。
强制规则：首先我们认为BUG及安全漏洞是系统不能允许出现的，一旦有这两项，则需要先修复才能部署
扣分规则：不同的问题类型我们扣分权重不同，通过加权*数量进行扣分计算
通过阈值：如果强制规则通过，则验证最低通过分阈值判断是否通过
| 策略 | 是否通过 | 扣分 | 对应字段 |
|---|---|---|---|
| 漏洞大于0 | 否 | 漏洞数*5 | vulnerabilities 安全漏洞数量 |
| BUG大于0 | 否 | BUG数*5 | bugs BUG数量 |
| code_smells数量 | 扣分 | code_smells*2 | code_smells 代码坏味道数量 |
| duplicated_lines_density | 扣分 | duplicated_lines_density>5%则单独扣分规则 | duplicated_lines_density重复行比例 |
| comment_lines_density | 扣分 | comment_lines_density<7%则单独扣分规则 | comment_lines_density代码注释比例 |
还有其他几个指标，不再逐一讲解。
步骤3：对数据模型及sonar Api包装成专用api
服务接口采用.netCore开发，主要是vs开发工具的确太好用，然后用k8s部署即可
主要代码逻辑如下：
API层：
[Route("[controller]/[action]")]
[ApiController]
public class SonarController : Controller
{
static string fields = "code_smells,bugs,coverage,duplicated_lines_density,ncloc,security_rating,vulnerabilities,comment_lines_density";
static string sonarRootUrl = "http://sonarqube.default:9000";
static float minScore = 70f; //分数通过阈值
public SonarResult Scan(string projectKey)
{
string url = string.Format(sonarRootUrl + "/api/measures/search?projectKeys=" + projectKey + "&metricKeys=" + fields);
string result = HttpHelper.HttpGet(url, "application/json");
SonarScanResult scanResult = result.FromJSON<SonarScanResult>();
return new SonarResult(scanResult,minScore);
}
}
数据处理部分
public class SonarScanResult
{
public List<SonarScanResultItem> measures { get; set; }
}
public class SonarScanResultItem
{
public string metric { get; set; }
public string value { get; set; }
public string component { get; set; }
public bool bestValue { get; set; }
}
public class SonarResult
{
public List<SonarScanResultItem> measures;
/// <summary>
/// 坏味道
/// </summary>
public float code_smells { get; set; }
/// <summary>
/// BUG
/// </summary>
public float bugs { get; set; }
/// <summary>
/// 覆盖率
/// </summary>
public float coverage { get; set; }
/// <summary>
/// 重复率
/// </summary>
public float duplicated_lines_density { get; set; }
/// <summary>
/// 代码行数
/// </summary>
public float ncloc { get; set; } //代码行数
/// <summary>
///
/// </summary>
public float security_rating { get; set; }
/// <summary>
/// 漏洞数量
/// </summary>
public float vulnerabilities { get; set; }
/// <summary>
/// 可靠性
/// </summary>
public float reliability_rating { get; set; }
/// <summary>
/// 注释占比
/// </summary>
public float? comment_lines_density { get; set; }
/// <summary>
/// 总体得分
/// </summary>
public float Score { get; set; }
/// <summary>
/// 是否通过
/// </summary>
public bool Pass { get; set; }
public string Msg { get; set; }
private float minScore;
public SonarResult(SonarScanResult result, float minScore)
{
this.minScore = minScore;
if (result != null && result.measures != null)
{
this.measures = result.measures;
}
else
{
this.measures = new List<SonarScanResultItem>();
}
this.OutputResult();
}
/// <summary>
/// 计算输出结果
/// </summary>
public void OutputResult()
{
this.code_smells = GetMetricValue("code_smells");
this.bugs = GetMetricValue("bugs");
this.coverage = GetMetricValue("coverage");
this.duplicated_lines_density = GetMetricValue("duplicated_lines_density");
this.ncloc = GetMetricValue("ncloc");
this.security_rating = GetMetricValue("security_rating");
this.vulnerabilities = GetMetricValue("vulnerabilities");
this.reliability_rating = GetMetricValue("reliability_rating");
comment_lines_density = GetMetricValue2("comment_lines_density");
this.Pass = true;
if (bugs > 0 || vulnerabilities > 0)
{
//强制不通过，分数0，别怪我为难程序员，我也是被刁难了多年
this.Pass = false;
this.Score = 0;
this.Msg = string.Format("漏洞:{0},BUG:{1},不满足发布策略", vulnerabilities, bugs);
}
else
{
double cutScore = bugs * 5 + code_smells * 2 + security_rating * 2.5 + vulnerabilities * 5;
if (comment_lines_density.HasValue && comment_lines_density < 7) //7.0%的注释为一个及格线，大于7%不扣分
{
cutScore += (7 - comment_lines_density.Value);
}
if (duplicated_lines_density > 5)
{
cutScore += (comment_lines_density.Value - 5); //重复率每增加1百分比，扣1分
}
this.Score = 100 - (float)cutScore;
this.Pass = this.Score >= minScore;
if (!this.Pass)
this.Msg = "该代码综合质量评分过低，需改进后方可准入部署环境";
else
this.Msg = "代码综合质量分为:" + this.Score + ",允许部署";
}
}
private float GetMetricValue(string key)
{
var item = this.measures.FirstOrDefault(p => p.metric == key);
if (item == null) return 0f;
return ConvertHelper.Tofloat(item.value, 0f);
}
private float? GetMetricValue2(string key)
{
var item = this.measures.FirstOrDefault(p => p.metric == key);
if (item == null) return default(float?);
return ConvertHelper.Tofloat2(item.value);
}
}
部署接口到k8s，然后验证接口返回
{
"code_smells": 3,
"bugs": 0,
"coverage": 0,
"duplicated_lines_density": 0,
"ncloc": 138,
"security_rating": 1,
"vulnerabilities": 0,
"reliability_rating": 0,
"comment_lines_density": 2.8,
"score": 87.3,
"pass": true,
"msg": "代码综合质量分为:87.3,允许部署"
}
步骤4：Jenkins集成质量检查Api控制发布流程
在昨天我们Jenkins执行扫描完毕环节后添加发下脚本：
//说明：sonarCheckUrl是我们上面用.net core实现的API，地址:http://xxxxx/checkApi/Sonar/Scan?projectKey=$sonarKey
def response = httpRequest acceptType: 'APPLICATION_JSON', contentType: 'APPLICATION_JSON', httpMode: 'GET', url: "$sonarCheckUrl?projectKey=$sonarKey"
def responseBodyJson = readJSON text: response.content
if (responseBodyJson.pass) {
println("#############################################代码质量检测通过,综合得分:"+responseBodyJson.score+ "##################################################")
} else {
println("#############################################代码质量检测不通过,综合得分:"+responseBodyJson.score+"原因" + responseBodyJson.msg+ "，流水线退出##################################################")
sh "exit 1"
}
修改完毕后，我们重新执行发布过程，发布结果输出如下：
这里是刚扫描结束
INFO: Total time: 5.882s
INFO: Final Memory: 12M/44M
INFO: ------------------------------------------------------------------------
The SonarQube Scanner has finished
12:40:54.591 Post-processing succeeded.
[Pipeline] echo #############################################代码质量检查完毕##################################################
[Pipeline] echo #############################################开始请求质量检查结果##################################################
[Pipeline] httpRequest HttpMethod: GET
URL: [http://api.xxxx.cn/checkApi//onar/Scan?projectKey=netCore01](http://api.xxxx.cn/checkApi//Sonar/Scan?projectKey=netCore01)
Content-Type: application/json
Accept: application/json
Sending request to url: [http://api.xxxx.cn/checkApi/Sonar/Scan?projectKey=netCore01](http://api.xxx.cn/checkApi/Sonar/Scan?projectKey=netCore01)
Response Code: HTTP/1.1 200 OK
Success code from [100‥399]
[Pipeline] echo sonar Response:Status: 200
[Pipeline] echo response.content:{"code_smells":3,"bugs":0,"coverage":0,"duplicated_lines_density":0,"ncloc":138,"security_rating":1,"vulnerabilities":0,"reliability_rating":0,"comment_lines_density":2.8,"score":87.3,"pass":true,"msg":"代码综合质量分为:87.3,允许部署"}
[Pipeline] readJSON
[Pipeline] echo
#############################################代码质量检测通过,综合得分:87.3##################################################
[Pipeline] }
[Pipeline] // withEnv
3. 小结
本文通过对Sonar Api扩展及集成，实现了自定义的代码质量控制模型及策略，这种方案相对更灵活一些。
您也可以使用sonarqube中自带的【质量阈】，通过界面配置不同的策略进行控制的方式。
另外API获取数据的方案您也可以改为从sonar数据库中查询数据的方式获取，但该方式容易因为版本升级出现不兼容问题。
3.1 Sonar质量阈方案
Sonarqube质量阈控制
3.2 SQL查询数据方案
先查出项目uuid:
SELECT project_uuid,kee FROM projects where kee='projName'
--BUG
SELECT * FROM issues WHERE project_uuid='项目UUID' and issue_type=2
--漏洞
SELECT * FROM issues WHERE project_uuid='项目UUID' and issue_type=3
--坏味道
SELECT * FROM issues WHERE project_uuid='项目UUID' and issue_type=1
若要分级别获取，可以再加上条件
severity =
['BLOCKER','CRITICAL',"MAJOR",'MINOR','INFO']
对应含义：阻断/严重/主要/次要/提示
