1、跑数据

背景

如果产品经理或者需求方突然想让你统计xxxx时候xxx条件下的一批线上数据，怎么办？？而且仅仅是想看看这批数据长什么，没有现成的接口，数据库全部是密文存储，还可能依赖其他业务接口，一小时后就要看，怎么办？？

例如：解密一批手机号，并将明文的手机号做md5，原始数据为一个Excel

方案1：开发，测试，发布上线，等这些都OK了，两天都结束了，而且可能就想查看一次，这个代价太大
方案2：往下看

解决方案（Java版）

先将原始数据Excel转成csv文件，每列按照英文逗号,分隔，非常关键的第一步，转后的数据入下：其中第三列是手机号

列1,列2,列3
30csaf5ee47,oe23dsffsdn5AEhOxnF23fsWY,1823fsf599
12fdsa95e2,oe9hd43fassfagBo0tgZ32E,137234f459
3af062faf48,oe9Tfsafw2fsaqa2fab3fasfw,NULL
2006fa37fa4,oe9TfafYl232328ONE,NUL

在对应web工程下的webapp目录下创建一个jsp文件，在这个jsp里边编写查询数据的业务逻辑，例如：解密手机号做MD5

<!-- 设置编码格式 -->
<%@ page contentType="text/html;charset=UTF-8" language="java" %>
<!-- 非常重要配置，去掉response writer 打印的多余空白-->
<%@ page trimDirectiveWhitespaces="true" %>
<%
    //获取请求参数
    String data = request.getParameter("data");
    
    //不合法参数过滤
    if (StringUtils.isEmpty(data)) {
        return;
    }
    String[] datas = data.split(",");
    if (datas.length != 3) {
        response.getWriter().println(data);
        return;
    }
    if (StringUtils.isEmpty(datas[2]) || StringUtils.equals("NULL", datas[2])) {
        response.getWriter().println(data);
        return;
    }

    //创建打印值，数据按照逗号分隔
    StringBuilder stringBuilder = new StringBuilder(datas[0] + "," + datas[1] + "," + datas[2] + ",");

    //获取web应用spring 容器中的服务，这里获取的是DecyptClass这个服务对象，做解密手机号的操作
    ApplicationContext ctx = WebApplicationContextUtils.getRequiredWebApplicationContext(request.getSession().getServletContext());
    DecyptClass decryptClass = cxt.getBean(DecryptClass.class);
    
    //解密和md5操作
    String decrpytPhone = decryptClass.decrpytp(phone);
    String phoneMd5 = MD5Util.encrypt(decryptPhone);

    //打印操作结果
    stringBuilder.append(phoneMd5);
    response.getWriter().println(stringBuilder.toString());
%>

上述代码很简单，就是根据英文逗号,分隔传递的参数，取第三个参数手机号进行解密操作，然后做md5运算，运算完成后，将md5拼接到传参的后面，以逗号分隔,
需要有几点说明

<%@ page trimDirectiveWhitespaces="true" %>这句话非常重要，这样保证单行输出，不理解的话，可以将这行去掉请求对比一下就知道了
WebApplicationContextUtils.getRequiredWebApplicationContext(request.getSession().getServletContext());这句依赖spring容器，所以该web工程需要使用spring容器，并且需要在web.xml文件中配置
org.springframework.web.context.ContextLoaderListenerlistener，这样就可以在jsp中获取spring容器中任何的bean 了

将创建好的jsp文件贴到线上服务器该应用的webapp目录下，例如md5.jsp，这个时候就可以直接访问这个jsp文件了，此时我curl一下。

[wang.fancying@jianshu.com]$ curl http://localhost:8080/md5.jsp?data=3wfsfasf9,cTPwfscfsw,13923SSs48
3wfsfasf9,cTPwfscfsw,13923SSs48,ce407810c0fc05ce923e3e5ea7a1ec6d

这个时候接口已经OK了，业务代码已经完成，没有经过测试，上线这繁重的步骤，此时我们只需处理批量数据就行了

创建脚本
先在本地使用vim创建文件，将csv文件copy到vim文件中，内容入下（模拟数据，可能会存在几万条）

23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710

此时按下esc，然后再vim命令行输入%s/$/curl\ http:\/\/localhost\:8080\/md5.jsp\?data\=，按下回车，变为

curl http://localhost:8080/md5.jsp?data=23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
curl http://localhost:8080/md5.jsp?data=23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
curl http://localhost:8080/md5.jsp?data=23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
curl http://localhost:8080/md5.jsp?data=23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
curl http://localhost:8080/md5.jsp?data=23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
curl http://localhost:8080/md5.jsp?data=23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
curl http://localhost:8080/md5.jsp?data=23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
curl http://localhost:8080/md5.jsp?data=23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
curl http://localhost:8080/md5.jsp?data=23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
curl http://localhost:8080/md5.jsp?data=23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710

此时脚本已经创建完成。刚才那个vim命令是：每行的行首都添加一段字符串，命令为：%s/^/要插入的字符串

将本地脚本上传到对应的服务器上，一般使用ftp工具，上传时，要使用binary模式，否则会出现不可见非法字符

ftp> binary
200 Switching to Binary mode.
ftp>

在服务器上执行

[wang.fancying@jianshu.com]$ sh data.txt >> dataResult

执行完成后，输出的数据就重定向到dataResult文件中了，只需将文件下载下来，然后改成.csv文件就OK了

1、跑数据

背景

解决方案（Java版）

推荐阅读更多精彩内容