DataX源码打包编译采坑记--修改MongoDB 插件

1.通过maven打包

mvn -U clean package assembly:assembly -Dmaven.test.skip=true

2.otsstreamreader/pom.xml

<dependency>

<groupId>com.aliyun.openservices</groupId>

<artifactId>tablestore-streamclient</artifactId>

<version>1.0.0-SNAPSHOT</version>

</dependency>

此处把<version>1.0.0-SNAPSHOT</version>改成<version>1.0.0</version>

3.odpsreader||odpswriter /pom.xml

<dependency>

<groupId>org.bouncycastle</groupId>

<artifactId>bcprov-jdk15on</artifactId>

<version>1.52</version>

<scope>system</scope>

<systemPath>${basedir}/src/main/libs/bcprov-jdk15on-1.52.jar</systemPath>

</dependency>

改成

<dependency>

<groupId>org.bouncycastle</groupId>

<artifactId>bcprov-jdk15</artifactId>

<version>1.38</version>

<!--<artifactId>bcprov-jdk15on</artifactId>-->

<!--<version>1.52</version>-->

<!--<scope>system</scope>-->

<!--<systemPath>${basedir}/src/main/libs/bcprov-jdk15on-1.52.jar</systemPath>-->

</dependency>

4.odpsreader||odpswriter /pom.xml 现在编译datax odps插件模块会报错

比较过之前odps-sdk-core-0.19.3-public.pom的的依赖是

org.bouncycastle

bcprov-jdk15on

1.52

现在是

com.alibaba.external

bouncycastle.provider

1.38-jdk15

原因:    后来的这个依赖应该是阿里内部jar,外部仓库无法加载这个jar

解决:修改pom.xml

<dependency>

<groupId>com.aliyun.odps</groupId>

<artifactId>odps-sdk-core</artifactId>

<version>0.19.3-public</version>

</dependency>

改成

<dependency>

<groupId>com.aliyun.odps</groupId>

<artifactId>odps-sdk-core</artifactId>

<version>0.20.7-public</version>

<!--<version>0.19.3-public</version>-->

</dependency>

5. 更新MongoDB驱动版本,因为MongoDB驱动在3.4.0 之后添加了Decimal128类型

<dependency>

  <groupId>org.mongodb</groupId>

  <artifactId>mongo-java-driver</artifactId>

  <version>3.2.2</version>

</dependency>

改成

<dependency>

  <groupId>org.mongodb</groupId>

  <artifactId>mongo-java-driver</artifactId>

  <version>3.4.0</version>

  <!--<version>3.2.2</version>-->

</dependency>

-Dloglevel=info

-Dfile.encoding=UTF-8

-Dlogback.statusListenerClass=ch.qos.logback.core.status.NopStatusListener

-Djava.security.egd=file:///dev/urandom

-Ddatax.home=D:\IDEA\DataX-New\target\datax\datax

-Dlogback.configurationFile=D:\IDEA\DataX-New\target\datax\datax/conf/logback.xml

  -classpath D:\IDEA\DataX-New\target\datax\datax/lib/* 

-Dlog.file.name=tax\job\UserTest_txt com.alibaba.datax.core.Engine

-mode standalone

-jobid -1

-job D:\datax\job\UserTest.txt

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容