Spark菜鸟学习营Day4
单元测试程序的编写
Spark相比于传统代码是比较难以调试的，单元测试的编写是非常必要的。
Step0：需求分析
在测试案例编写前，需完成需求分析工作，明确程序所有的输入和输出情况。
具体请见需求分析章节。
Step1：新建测试案例
测试案例统一放置在如下位置：
compute-->src-->test-->java-->com.icbc.aas.darts.compute-->split.processor
选择New-->Java Class，在窗口中，输入测试代码名称，Kind选择ProcessorTest
如果无法选到ProcessorTest，请在Settings-->File and Code Template，右上角选择Project
在生成的测试案例代码中，首先完善addParams方法。
Step2：输入数据准备
针对每个输入数据，循环以下步骤：
Step2.1：pojo(Java数据结构)建立
运行PojoMaker工具
根据提示，完成pojo的建立
Step2.2：数据文件建立
运行DataPrepareUtil工具。
根据提示，从Oracle取数生成数据文件。
其中，suffix为文件名后缀，用于防止文件互相冲突，建议与代码编号一致。
文件保存在如下路径中
Step2.3：执行数据准备
在prepareData方法中，调用API，执行数据准备。
@Override
public void prepareData(ComputeBatchNode cbn, JavaSparkContext sc, Hashtable params, ComputeResult result) {
//Dateframe:qtsl_temp
mockSparkTempTable("QTSL_TEMP", "_600", cbn);
//Dataframe:par_fund_partner
mockSparkTempTable("PAR_FUND_PARTNER", "_600", cbn);
//Oracle表:out_trd_qtsl_his
mockMybatisTempTable("splitSqlMapper.getQtslHis", "OUT_TRD_QTSL_HIS_600");
//RDD:qtsl_temp
mockSparkRDD("QTSL_TEMP", "_600", cbn, QtslTempPojo.class);
//RDD:par_fund_fill_partner
mockSparkRDD("PAR_SYS_FILL_PARTNER", "_600", cbn, ParSysFillPartnerPojo.class);
doPrepareData(cbn, params);
}
