使用gpfdist导入文本到HAWQ

本例中HAWQ环境采用Ambari方式搭建,实例分布
bd1: HAWQ-Master, Segment
bd2: Segment
bd3: Segment

准备工作

  • 在3台主机上分别创建/data/hawq/files目录,并分别添加文件f1.txt。文本格式如下(注意内容不要相同,便于后面观察):
    Spark|100|high|专家|2016-11-08
    HAWQ|60| medium |入门|2016-11-08
  • 创建日志目录/data/hawq/logs

导入流程

  • 在所有有数据的主机上开启文件服务
    gpfdist -d /data/hawq/files -p 8081 -l /data/hawq/logs/log &

默认最大行为32k,可以使用-m修改最大行长度,如下:
gpfdist -d /data/hawq/files -p 8081 -l /data/hawq/logs/log -m 655350 &

若表已经存在
INSERT INTO t SELECT * FROM table_ext;

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
禁止转载,如需转载请通过简信或评论联系作者。

推荐阅读更多精彩内容