datax字段转换

    由于工作中需要对mysql数据做同步,最终选用阿里的datax。在同步过程中需要对某些列做定制处理。
  1. 通用转换

     针对通用的转换,如加密等很多表同步都使用到的,可以加入插件。可以参考com.alibaba.datax.core.transport.transformer下面的插件,自己加入插件。继承Transformer类。
    

2.非通用转换

    对于某些列特殊的转换,比如一个json格式的字段,转为多个字段。可以使用dx_groovy插件,写groove代码实现。

         "transformer": [{
                "name": "dx_groovy",
                "parameter": {
                    "code": "Column column = record.getColumn(2);
                    String oriValue = column.asString();
                    def jsonSlurper = new JsonSlurper();
                    def object = jsonSlurper.parseText(oriValue);
                    boolean isWatched = object.isMatched;
                    long paidNum = 0;
                    long noPaidNum = 0;
                    def list = object.details;
                    list.each { 
                        boolean settlement = it.settlement;
                        if(settlement){
                            paidNum++;
                        }else{
                            noPaidNum++;
                        }
                    };
                    record.setColumn(2, new BoolColumn(isWatched));
                    record.setColumn(3, new LongColumn(paidNum)); 
                    record.setColumn(4, new LongColumn(noPaidNum));
                    return record;",
                    "extraPackage": ["import groovy.json.JsonSlurper;"]
                }
            }]

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,026评论 19 139
  • 1. Java基础部分 基础部分的顺序:基本语法,类相关的语法,内部类的语法,继承相关的语法,异常的语法,线程的语...
    子非鱼_t_阅读 31,780评论 18 399
  • 发现 关注 消息 iOS 第三方库、插件、知名博客总结 作者大灰狼的小绵羊哥哥关注 2017.06.26 09:4...
    肇东周阅读 12,259评论 4 61