实时流计算
实时流计算服务提供两种流式处理引擎:Storm或Spark Streaming。
Storm是一个分布式、可靠、容错的实时计算系统。用于对大规模流式数据提供实时处理。Storm有众多适用场景:实时分析、持续计算、分布式ETL等,易扩展、支持容错,易于构建和操控。
Spark Streaming是一种构建在Spark上的实时计算框架,它扩展了Spark处理大规模流式数据的能力。
Spark Streaming的优势在于:
- 能运行在100+的结点上,并达到秒级延迟。
- 使用基于内存的Spark作为执行引擎,具有高效和容错的特性。
- 能集成Spark的批处理和交互查询。
- 为实现复杂的算法提供和批处理类似的简单接口。