数仓：流批一体的探索与实践

---

简介

提到流批一体，不得不提传统的大数据平台 —— Lambda 架构。它能够有效地支撑离线和实时的数据开发需求，但它流和批两条数据链路割裂所导致的高开发维护成本以及数据口径不一致是无法忽视的缺陷。

通过一套数据链路来同时满足流和批的数据处理需求是最理想的情况，即流批一体。此外我们认为流批一体还存在一些中间阶段，比如只实现计算的统一或者只实现存储的统一也是有重大意义的。

以只实现计算统一为例，有一些数据应用的实时性要求比较高，比如希望端到端的数据处理延时不超过一秒钟，这对目前开源的、适合作为流批统一的存储来说是一个很大的挑战。以数据湖为例，它的数据可见性与 commit 的间隔相关，进而与 Flink 做 checkpoint 的时间间隔相关，此特性结合数据处理链路的长度，可见做到端到端一秒钟的处理并不容易。因此对于这类需求，只实现计算统一也是可行的。通过计算统一去降低用户的开发及维护成本，解决数据口径不一致的问题。

在流批一体技术落地的过程中，面临的挑战可以