Flink学习第一天——什么是批量、流式计算？

• 批量计算(batch computing)

  • 批处理：对一定规模量的数据进行处理，类似搬砖，10个10个的搬
  • 场景：离线数据统计、报表分析等（过去1年 10000亿条日志，分析日、周、月，接口响应延迟 状态码）
  • 特点：批量计算非实时、高延迟，计算完成后才可以得到结果
  • 框架：Hadoop MapReduce
• 流式计算(stream computing)
  • 框架：Spark(宏观上)、Flink
  • 场景：实时监控、实时风控等
  • 特点：流式计算实时、低延迟，实时取最新的结果
  • 流处理：对源源不断的数据流进行处理，类似水龙头出水

• 区分（ 离线计算和实时计算 + 流式计算和批量计算）

  • 离线计算和实时计算 ：是对数据处理的【延迟】不一样（一个实时和一个非实时）
  • 流式计算和批量计算： 是对数据处理的【方式】不一样（一个流式和一个批量）
  • 结论：离线和批量不等价，实时和流式不等价，因为不是同个维度的东西