CarbonData安装

前一阶段看下CarbonData,说是基于HDFS列式存储,据说性能很好,支持复杂的查询,对我们的业务来说目前很需要,所以想尝试下。

1.源码下载

官网下载源码,没有编译好的,只能自己编译,好搓哦。

1)安装maven

这个简单,下载设置好mavenhome:
export MAVEN_HOME=/ssd/bigdata/software/apache-maven-3.3.9
和bin路径就可以了。

2)安装JAVA

这个安装过了,忽略。

3)安装Thrift 0.9.3

./configure JAVAC=/ssd/bigdata/software/jdk/bin/javac
报错:
configure: error: Bison version 2.5 or higher must be installed on the system!
改命令:
./configure JAVAC=/ssd/bigdata/software/jdk/bin/javac --prefix=/ssd/bigdata/software/bison-3.0/install
安装完成后,在环境变量的path前面加上安装路径。

再次安装thrift
make
然后检查 make check
然后用root用户进行make install

4)安装CarbonData

mvn clean -DskipTests -Pbuild-with-format -Pspark-2.1 install
无法连外网,安装不起来- -
转环境到自己虚拟机上编译试试。

[ERROR] Failed to execute goal on project carbondata-core: Could not resolve dependencies for project org.apache.carbondata:carbondata-core:jar:1.0.0-incubating: The following artifacts could not be resolved: pentaho-kettle:kettle-engine:jar:4.4.0-stable, pentaho-kettle:kettle-core:jar:4.4.0-stable, pentaho-kettle:kettle-db:jar:4.4.0-stable, org.apache.spark:spark-core_2.11:jar:2.1.0, org.apache.spark:spark-catalyst_2.11:jar:2.1.0: Failure to find pentaho-kettle:kettle-engine:jar:4.4.0-stable in

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容