Author:mark.wei
High performance computing(HPC) 可以赋予桌面计算机和工作站高性能计算的能力,用来解决科学,工程和商业的大型计算型问题。
HPC 不仅仅能用来解决复杂的气象和天文计算等物理模型的问题,更为普通的应用场景是提升应用,降低产品成本和减少研发时间。当然,随着企业大数据收集能力的提升,分析数据的需求也应相应提升,HPC可以尽可能快的处理这些数据。
通常,我们可以通过组合少数的几台计算机,达到单一工作站2-3倍的计算性能,也能很容易通过增加闪存设备,达到4-5倍的性能,这是种非常便宜的提升性能的方法。然而,如果我们需要实现超过10-20倍的计算性能,我们就必须寻找一种新的解决方案 --- (in-memory computer )内存计算.
为什么内存计算开始流行?因为当下内存的价格大幅下降,得以我们可以通过内存计算来加速数据敏感型处理。设想一下,如果你想为您的客户提供一个16000RPS的或者每秒百万级事务的应用,这是一个基于硬盘计算难以完成的任务,但却是内存计算相当普通的应用场景。
内存计算的应用场景如下:
高通吐量的ACID事务处理
Cache as a Service
Database Caching
IOT 事件处理
Real-time 分析
HTAP 高可用性商业应用
ignite 是什么?
Ignite为处理实时大型数据集和内存计算的开发者,提供了方便易用的接口,
ignite的功能如下:
数据网格
计算网格
服务网格
大数据加速器
流式处理网格
Ignite的主要能力:
伸缩性:Ignite集群可以通过增加节点横向扩展
持久化:Ignite数据网格可以持久化缓存元素到RDBMS,Nosql数据库
CAAS:可以作为服务提供给多个应用访问替代基于磁盘的数据库
二级缓存: Ignite 可以作为hibernate和mybatis的二级缓存
高速hadoop加速器:Ignite 可以替换Hadoop的task tracker ,job tracker 和HDFS 来增加数据分析性能
RDD:Ignite RDD 可以在不同的Spark job和应用 应用间共享状态。
分布式计算:允许用户跨节点运算和数据处理来获取高性能
流式处理:允许用户在内存中持处理不间断的流式数据
与其他竞争者相比,Ignite 有什么优势?
除ignite之外,我们还可以选择HazelCast, Oracle,Ehcache,GemFire 等等,与其它供应商相比,Ignite提供了大量实用和简单的用法,Ignite也为Hadoop 和Spark用户提供了一整套组件如Hadoop加速器和Spark 共享RDD以提搞实时处理性能。