批量导入配置项
storage.batch-loading =true
导入的数据必须具有一致性并且和已存在的数据必须具有一致性。(比如:name数据是具有唯一索引(a unique composite index),那么导入的数据在name属性上上和已有的数据不能重复)
下面是优化配置,优化的目的,就是减少批量导入时间。
ID 分配优化
ID Block Size
ids.block-size
- 配置项,JanusGraph实例通过id池管理对象从id blocks中获取ids值为新加入的vertex、edge分配唯一id,为了保证库唯一性,所以获取id block(id块)是昂贵的(因为存在多个实例竞争),所以增加block-size可以减少获取block的次数,但是值过大会导致多余的id被浪费掉。
- 一般情况下事务的负载,ids.block-size的默认值是满足要求的。但是对于批量导入时,需要调节值为每个JanusGraph实例需要添加节点和边数的10倍。
- 该配置项在集群中所有实例上值必须唯一。
ID Acquisition Process
1) ids.authority.wait-time
- 配置毫秒:id池管理器允许id block获取程序最大允许等待时间,时间到还未获取到就失败。建议值设置为存储后端第95%时读写时间之和。
- 该配置在集群上要设置统一值。
2) ids.renew-timeout
- 在失败获取id block后,id池管理程序等待多少毫秒后再次发起一个新的尝试。尽可能大。
读写优化
Buffer Size
storage.buffer-size 缓存大小
- JanusGraph会缓存写操作,然后批量发送到后端执行。这样可以减少请求次数,从而避免短时间内执行服务器写请求过多导致的失败。
- 如果缓存设置太大,会增加写延迟因此会增加执行失败的可能性。
- 建议:谨慎设置该值。
Read and Write Robustness
- 如果存储后端的写或读操作失败后(storage.buffer-size 太大会增加失败的可能性),将会重试多少次才会放弃。
storage.read-attempts 读尝试的次数
storage.write-attempts 写尝试次数
storage.attempt-wait :两次尝试之间的时间间隔,在批量导入情况下,此值可以设置大一些
策略
Parallelizing the Load
- 如果存储后端可以可承受足够的请求,那么可以在多个机器上并行批量导入,可以减少导入时间。
- Chapter 35, JanusGraph with TinkerPop’s Hadoop-Gremlin 通过MapReduce批量导入数据。
- 如果不使用Hadoop,则可以将大图拆分成小图并行导入。
- 如果图不可以被拆分,那么可以将顶点和边分开并行导入。(具体看文档)