目前我正在研究Apache spark和Apache ignite框架。
本文ignite vs spark中描述了它们之间的一些主要区别,但我意识到我仍然不理解它们的目的。
我的意思是,对于哪些问题比点燃更可取,反之亦然?
发布于 2016-03-17 06:42:40
我想说Spark是一个很好的交互式分析产品,而Ignite更适合实时分析和高性能事务处理。Ignite通过提供高效且可扩展的内存中键值存储,以及用于索引、查询数据和运行计算的丰富功能来实现这一点。
Ignite的另一个常见用途是分布式缓存,它通常用于提高与关系数据库或任何其他数据源交互的应用程序的性能。
发布于 2017-11-15 21:05:35
虽然Apache Spark和Apache Ignite利用了内存计算的能力,但它们解决了不同的用例。Spark处理但不存储数据。它加载数据,处理它,然后丢弃它。另一方面,Ignite可用于处理数据,它还提供了分布式内存中的键值存储,具有符合ACID的事务和SQL支持。Spark也适用于非事务性、只读数据,而Ignite支持非事务性和事务性工作负载。最后,Apache Ignite还支持HPC和MPP用例的纯计算有效负载,而Spark仅适用于数据驱动的有效负载。
Spark和Ignite可以很好地互补。Ignite可以为Spark提供共享存储,因此状态可以从一个Spark应用程序或作业传递到另一个应用程序或作业。Ignite还可用于为分布式SQL提供索引,可将Spark SQL的速度提高多达1,000倍。
作者:尼基塔·伊万诺夫:http://www.odbms.org/blog/2017/06/on-apache-ignite-apache-spark-and-mysql-interview-with-nikita-ivanov/
发布于 2017-12-27 22:10:07
虽然Apache Spark和Apache Ignite都利用了内存计算的能力,但它们处理的用例略有不同,很少“竞争”相同的任务。一些概念上的差异:
Spark doesn’t store data, it loads data for processing from other storages, usually disk-based, and then discards the data when the processing is finished. Ignite, on the other hand, provides a distributed in-memory key-value store (distributed cache or data grid) with ACID transactions and SQL querying capabilities.
Spark is for non-transactional, read-only data (RDDs don’t support in-place mutation), while Ignite supports both non-transactional (OLAP) payloads as well as fully ACID compliant transactions (OLTP)
Ignite fully supports pure computational payloads (HPC/MPP) that can be “dataless”. Spark is based on RDDs and works only on data-driven payloads.
https://stackoverflow.com/questions/36036910
复制相似问题