fd857ab25ef0

@Helt 可能是es-spark不支持聚合。下面是我找到一个帖子的原话：I discussed with Elastic yesterday and learnt that count(*) or any other form of aggregation is not pushed down by ES for Spark.They recommended to use the Java REST API within Spark code for aggregations.

spark 使用elasticsearch-spark connector读取ES 跳坑记录

背景：我们希望将es中的数据通过elasticsearch-hadoop、或是elasticsearch-sparkconnector将其映射成hive\spark-sql ...

迷茫_小青年

9860 6 2

fd857ab25ef0

@本宝宝天然萌 在线等，挺急的

Spark连接Elasticsearch总结

spark连接elasticsearch总结与问题汇总，先立个flag，内容以后再写~.~

本宝宝天然萌

1227 4 1

fd857ab25ef0

快两年了，还写吗

Spark连接Elasticsearch总结

spark连接elasticsearch总结与问题汇总，先立个flag，内容以后再写~.~

本宝宝天然萌

1227 4 1

fd857ab25ef0

@迷茫_小青年 使用了es-spark还是和es-hadoop一样，show的时候会卡在(56+14)/70这里

spark 使用elasticsearch-spark connector读取ES 跳坑记录

背景：我们希望将es中的数据通过elasticsearch-hadoop、或是elasticsearch-sparkconnector将其映射成hive\spark-sql ...

迷茫_小青年

9860 6 2

fd857ab25ef0

我现在遇到的问题就是spark通过es-hadoop读取elasticsearch的数据（3G左右），求个count都需要1.5小时，换成es-spark就可以了吗？

spark 使用elasticsearch-spark connector读取ES 跳坑记录

背景：我们希望将es中的数据通过elasticsearch-hadoop、或是elasticsearch-sparkconnector将其映射成hive\spark-sql ...

迷茫_小青年

9860 6 2