CarbonData SDK集成OSS - 测试步骤

1、环境搭建

见:CarbonData集成OSS - 基础环境搭建

2、执行如下命令

java -classpath /home/carbondata/carbondata/assembly/target/scala-2.11/apache-carbondata-1.6.0-SNAPSHOT-bin-spark2.2.1-hadoop2.7.2.jar:/home/carbondata/carbondata/examples/spark2/target/carbondata-examples-1.6.0-SNAPSHOT.jar:/home/carbondata/hadoop-2.7.2/share/hadoop/tools/lib/:/home/carbondata/hadoop-2.7.2/share/hadoop/common/:/home/carbondata/hadoop-2.7.2/share/hadoop/mapreduce/* org.apache.carbondata.examples.sdk.SDKS3Example <access-key> <secret-key> <s3-endpoint> <table-path-on-s3>

其中access-key,secret-key,s3-endpoint,table-path-on-s3为CarbonData oss bucket管理中提到的4个基本要素

/home/carbondata为用户目录,carbondata和hadoop都安装在用户目录下。

3、查看oss写是否成功

image.png

4、查看oss读是否成功

图中显示9条数据被正确读取。


image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • [root@hh hadoop]# hdfs namenode -format 17/12/12 17:42:06...
    好了伤疤忘了阅读 1,378评论 0 51
  • 一、系统参数配置优化 1、系统内核参数优化配置 修改文件/etc/sysctl.conf,添加如下配置,然后执行s...
    张伟科阅读 3,773评论 0 14
  • 1 目的将hadoop 2.7.1 安装到 166、167、168 三台机器上2 提供环境练习环境192.168....
    灼灼2015阅读 3,434评论 4 40
  • 如果能给幸福装上开关, 那可该有多好? 有你在身边的日子, 我就把阀门打开, 让幸福使劲地流淌, 充满了每一个角落...
    江南烟雨阅读 172评论 0 2
  • 最近迷上了薄荷糖,上好佳的。一次买了两包,每天早上出门就揣几颗,不那么甜,凉凉的,想抽烟的时候,饿的时候,坐上末班...
    让我说阅读 248评论 0 0