实时数仓：网易严选基于Flink的实时数仓实践

---

1.背景

严选实时数仓项目是从 17 年下半年开始做的，背景总结为三个方面：
第一个是长链路且快速变化的业务，严选作为一个 ODM 电商，整个业务链度从商品采购、生产、仓库、到销售这个阶段可以在主站 APP 上购买或者分厂购买，然后通过商户配送到达消费者。链度是非常长的，这也决定数据的数据域非常广；严选作为一个成长的电商，会有很多新的业务出现。

第二个是越来越多的实时数据需求，目前需要更多的实时数据来做业务决策，需要依据销售情况做一个资源位的调整；同时有些活动也需要实时数据来增强与用户的互动。如果数据有实时和离线两种方案，优先考虑实时的，如果实时实现不了再考虑离线的方式。

第三个就是越来越高的数据质量要求，因为数据会直接影响业务决策，影响线上运营活动效果，因此对数据质量的要求越来越高。

针对这样的项目背景提出了三个设计目标，第一个是灵活可扩展，第二个是开发效率高，第三个是数据质量要求高。

2. 整体设计和