1、、环境

OS：centos7
DB：postgresql10.11.3 + timescaleDB1.4.1

2、介绍

timescaledb-parallel-copy是一个命令行程序，用于并行化 PostgreSQL 的内置COPY功能，用于将数据批量插入TimescaleDB。

该工具的目的是通过 COPY 同时运行多个文件来加快大型数据的迁移。除了并行化工作负载之外，该工具还提供了一些标记来改善复制体验。
3、下载安装

[root@panghu /]# yum install golang
[root@panghu /]# su - postgres
# 临时启用Go Modules 功能
[postgres@panghu ~]$ export GO111MODULE=on
# 临时设置 环境变量
[postgres@panghu ~]$ export GOPROXY=https://goproxy.io,direct
# 还可以设置不走 proxy 的私有仓库或组，多个用逗号相隔
[postgres@panghu ~]$ export GOPRIVATE=git.mycompany.com,github.com/my/private
[postgres@panghu ~]$ go get github.com/timescale/timescaledb-parallel-copy/cmd/timescaledb-parallel-copy
[postgres@panghu ~]$ cd ./go/bin/

4、使用
将数据从名为data.csv的文件批量插入到名为sample的数据库中的（超）表test中：

#单线程
[postgres@panghu ~]$ timescaledb-parallel-copy --db-name test --table sample --file data.csv

# 2 个线程
[postgres@panghu ~]$ timescaledb-parallel-copy --db-name test --table sample --file data.csv --workers 2

# 2 个线程，每30秒输出一次进度
[postgres@panghu ~]$ timescaledb-parallel-copy --db-name test --table sample --file data.csv --workers 2 --reporting-period 30s

#将文字字符串 'NULL' 视为 NULL： 
[postgres@panghu ~]$ timescaledb-parallel-copy --db-name test --table sample --file data.csv --copy-options " NULL 'NULL' CSV "

属性说明

• batch-size int
  每次插入的行数 (默认5000)
• columns string
  CSV 中使用的逗号分隔列
• connection string
  PostgreSQL连接参数 (默认使用本地连接"host=localhost user=postgres sslmode=disable")
• copy-options string
  传递给 COPY 的其他选项 (例如 NULL 'NULL') (默认"CSV")
• db-name string
  目标表所在的数据库
• file string
  要读取的文件
• header-line-count int
  标题行数 (默认是1)
• limit int
  要插入的总行数， 0 表示全部插入
• log-batches
  是否对单个批次计时
• reporting-period duration
  报告插入统计数据的时间间隔， 如果为 0，则不会报告中间结果
• schema string
  目标表的 schema (默认是"public")
• skip-header
  跳过输入的第一行
• split string
  要拆分的字符（默认为“,”）
• table string
  插入的目标表（默认为“test_table”）
• token-size int
  令牌的最大大小。 默认情况下，是 64KB，因此任何小于该值的值都将被忽略（默认值 65536）
• truncate
  在插入之前截断目标表
• verbose
  打印有关复印统计信息的更多信息
• version
  显示此工具的版本
• workers int
  要发出的并行请求数（默认为 1）

真实测试

[postgres@panghu bin]$ ./timescaledb-parallel-copy --db-name=bridge --table=tb_hypertable --verbose --reporting-period=1s --file=/tmp/data_small.csv --connection='host=localhost user=postgres password=yourpwd sslmode=disable' --workers=2
at 1s, row rate 124929.23/sec (period), row rate 124929.23/sec (overall), 1.250000E+05 total rows
at 2s, row rate 139986.70/sec (period), row rate 132456.19/sec (overall), 2.650000E+05 total rows
at 3s, row rate 105004.61/sec (period), row rate 123307.95/sec (overall), 3.700000E+05 total rows
at 4s, row rate 139997.44/sec (period), row rate 127479.74/sec (overall), 5.100000E+05 total rows
at 5s, row rate 130013.91/sec (period), row rate 127986.46/sec (overall), 6.400000E+05 total rows
at 6s, row rate 119749.71/sec (period), row rate 126611.40/sec (overall), 7.600000E+05 total rows
at 7s, row rate 140278.32/sec (period), row rate 128559.77/sec (overall), 9.000000E+05 total rows
COPY 1000000, took 7.603663623s with 2 worker(s) (mean rate 131515.549554/sec)