Ignite分布式计算

call

call和funcation都是发送到分布式节点执行的代码。
是实现了IgniteCallable接口的算子,被ignite.compute()发送到节点去执行。
call和funcation可以同步或者异步执行,大多数情况下,我们会使用异步执行。

this.compute.broadcast(() -> System.out.println("Hello Node: " + ignite.cluster().localNode().id()));

private Collection<IgniteCallable<Integer>> createCalls(){
    Collection<IgniteCallable<Integer>> calls = new ArrayList<>();
    for(String word : "How many characters".split(" ")) {
        calls.add(() -> {
            return word.length();
        });
    }
    return calls;
}

public boolean call(){
    Collection<Integer> res = this.compute.call(createCalls());
    int total = res.stream().mapToInt(Integer::intValue).sum();
    logger.info("call: the total lengths of all words is = " + total);
    return true;
}

public boolean asyncCall(){
    IgniteFuture<Collection<Integer>> future = this.compute.callAsync(createCalls());
    future.listen(fut -> {
        int total = fut.get().stream().mapToInt(Integer::intValue).sum();
        logger.info("asyncCall: Total number of characters = " + total);
    });
    return true;
}

map-reduce

call和map-reduce的场景比较适合replicated的方式,当所有的节点通过复制模式拿到数据之后,使用call和map-redice可以从local快速获得数据.
但是“Replicated caches are ideal when data sets are small and updates are infrequent.”,这个就有点搞笑。

但当由于时钟同步差异,节点的数据不一致时会怎样?

public boolean mapReduce(){
    String text = "Hello Ignite Enable World!";
    int cnt = ignite.compute().execute(MapExampleCharacterCountTask.class, text);
    logger.info("mapReduce: text length without spaces = " + cnt);
    return true;
}

private static class MapExampleCharacterCountTask extends ComputeTaskAdapter<String, Integer> {
    @Override
    public Map<? extends ComputeJob, ClusterNode> map(List<ClusterNode> nodes, String arg) throws IgniteException {
        Map<ComputeJob, ClusterNode> map = new HashMap<>();
        Iterator<ClusterNode> it = nodes.iterator();
        for (final String word : arg.split(" ")) {
            if (!it.hasNext()) {
                it = nodes.iterator();
            }
            ClusterNode node = it.next();
            map.put(new ComputeJobAdapter() {
                @Override
                public Object execute() throws IgniteException {
                    System.out.println("** node map reduce call **>" + word);
                    return word.length();
                }
            }, node);
        }
        return map;
    }

    @Override
    public Integer reduce(List<ComputeJobResult> results) throws IgniteException {
        int sum = 0;
        for (ComputeJobResult res : results) {
            sum += res.<Integer>getData();
        }
        return sum;
    }
}

affinity compute

当cache使用partition方式部署时,affinity compute使用cache对象相同的算法调度compute到指定的节点,这样算子的执行和cache的位置一致,可以取得本地的查询速度。假设cache中的对象包含一个1000个随机数数组,我们的计算是对这个数据进行sum。

import org.apache.ignite.*;
import org.apache.ignite.binary.BinaryObject;
import org.apache.ignite.lang.IgniteCallable;
import org.apache.ignite.resources.IgniteInstanceResource;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import java.util.List;

public class AffinityComputeExample {
    Ignite ignite;
    IgniteCache<Long, Organization> cache;
    final static int COUNT_ORG = 1000;
    Logger logger = LoggerFactory.getLogger(getClass());
    final static String cacheName = "organization";
    final static int QUERY_TIMES = 10;
    Long[] idxes;

    public AffinityComputeExample(){
        idxes = new Long[QUERY_TIMES];
        for (int i = 0; i < QUERY_TIMES; i++) {
            idxes[i] = Long.valueOf(i + 1);
        }
    }

    public void setUp() {
        String path = AffinityKeyExample.class.getResource("/example-affinitykey.xml").getFile();
        this.ignite = Ignition.start(path);
        this.cache = this.ignite.getOrCreateCache(cacheName);
        this.cache.clear();
        IgniteDataStreamer<Long, Organization> streamerOrg = ignite.dataStreamer(cacheName);
        logger.info("load data ...");
        for (int i = 1; i <= COUNT_ORG; i++) {
            Organization r = new Organization("org_" + i);
            streamerOrg.addData(r.id, r);
        }
        streamerOrg.flush();
        streamerOrg.close();
    }

    public void run() {
        setUp();
        IgniteCompute compute = this.ignite.compute();

        for (Long k:idxes) {
            Long sum = compute.affinityCall(cacheName, k, new SumTask(k));
            logger.info(k + " sum = " + sum);
        }
    }
    
    private static class SumTask implements IgniteCallable<Long> {
        Long key;
        public SumTask(Long k) {
            this.key = k;
        }

        @IgniteInstanceResource
        private Ignite ignite;

        @Override
        public Long call() throws Exception {
            IgniteCache<Long, BinaryObject> cache = ignite.cache(cacheName).withKeepBinary();
            System.out.println(this.key);
            BinaryObject obj = cache.get(this.key);
            if (obj != null) {
                List<Long> data = obj.field("data");
                Long sum = data.stream().mapToLong(Long::longValue).sum();
                return sum;
            }
            return null;
        }
    }

}

https://ignite.apache.org/docs/latest/data-modeling/affinity-collocation

service

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,539评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,911评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,337评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,723评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,795评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,762评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,742评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,508评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,954评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,247评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,404评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,104评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,736评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,352评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,557评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,371评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,292评论 2 352

推荐阅读更多精彩内容

  • 为了更好地理解Apache Ignite和用例的功能,理解它的体系结构和拓扑结构非常重要。通过更好地理解Ignit...
    席梦思阅读 7,614评论 1 8
  • @erixhao 大数据时代,分布式缓存领域,大家可能较为熟悉Redis,当红一哥,还有经典老将Memcached...
    erixhao阅读 24,536评论 2 27
  • 转自:https://github.com/ty4z2008/Qix/blob/master/ds.md 分布式系...
    MacDonald阅读 1,028评论 1 2
  • 1. Infinispan是什么? 下述截自官方描述:Infinispan是基于Apache 2.0协议的分布式键...
    随安居士阅读 11,603评论 0 4
  • 一、平台架构 1.1 接入层 1.1.1 设备采集(IoT)数据采集(DAQ),是指从传感器和其它待测设备等模拟和...
    玄鸟西阅读 2,809评论 0 4