2018-01-23 spark local[*] janusGraph

spark local[*] 模式操作janusgraph。

如果在创建schema时:graph.openManagement(),最后没有commit()。虽然schema创建成功,elasticsearch中也创建了相应的index。但是addVertex时会有问题:

1)local单节点运行时没有错误,但是index信息并没有入到es中。

2)local[*]多节点运行时直接抛出以下错误信息:

Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 2 in stage 2.0 failed 1 times, most recent failure: Lost task 2.0 in stage 2.0 (TID 4, localhost): org.janusgraph.core.JanusGraphException: Could not commit transaction due to exception during persistence

由于我的项目中schema的创建和addVertex是两个独立的Job。个人认为在创建schema的job中没有commit,导致schema信息和es中的索引信息并没有关联起来。在单节点运行时,只是单纯的把Vertex入到janusGraph中,而property的索引信息取不到,所以es中的index为空。

对于local[*]多节点报错的原因还不清楚。对management执行commit()之后错误就没有了。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 南乡子—欲雨待惊雷 程勇 欲雨待惊雷,唤醒相思梦几回。铺笺欲书嘘寒句,何言?...
    梦轩居士阅读 283评论 0 1
  • 今天要聊的这本书——《绝代有佳人——女性小品赏读》,作者是林赶秋,中州古籍出版社出版。这本书是我在旧书店里淘到的。...
    戲棚下的配角阅读 693评论 2 1
  • 嘿!近来可好。 许久不见,依旧是那么阳光。 记得你从小的梦想, 是在雪域上戍守边疆。 七八天的行程, 来到了那一直...
    kenny_bai阅读 395评论 1 4
  • /文林 躺下去病会凸起来 目光中的死越来越高大 我把享乐放到一边 骨肉就流离,燃烧由内向外 白色的背景远接天涯 医...
    成都文林阅读 435评论 0 0

友情链接更多精彩内容