数据中台概念

数据中台

数据中台支撑技术的整体架构

中台解决什么问题

1. 指标口径不一致。 两个数据产品一个包含税，一个不包含税，它们相同的一个指标名称都是销售额，结果却不一样。运营面对这些指标的时候，不知道指标的业务口径，很难去使用这些数据。

2. 数据重复建设，需求响应时间长。随着需求的增长，运营和分析师不断抱怨需求的交付时间拉长，面对快速变化的业务，需求响应时间已经无法满足业务对数据的敏捷研发要求

3. 取数效率低。 面对数十万张表，我们的运营和分析师找数据、准确地理解数据非常困难，想找到一个想要的数据，确认这个数据和自己的需求匹配，他们往往需要花费三天以上的时间，对新人来说，这个时间会更长。

4. 数据质量差。数据经常因为 BUG 导致计算结果错误，最终导致错误的商业决策。

5. 数据成本线性增长。数据成本随着需求的增长而线性增长

数据中台是企业构建的标准的、安全的、统一的、共享的数据组织，通过数据服务化的方式支撑前端数据应用。

数据中台是怎么实现所有数据只加工一次的呢？

简单来说，就是对于数仓数据，我们要求相同粒度的度量或者指标只加工一次，构建全局一致的公共维表。

要实现上述目标，需要两个工具产品：

一个是数仓设计中心，在模型设计阶段，强制相同聚合粒度的模型，度量不能重复。

另外一个是数据地图，方便数据开发能够快速地理解一张表的准确含义。

数仓：

主题

主题域是业务过程的一个高层次的抽象，像商品、交易、用户、流量都能作为一个主题域，你可以把它理解为数据仓库的一个目录。数据仓库中的数据一般是按照时间进行分区存放，一般会保留 5 年以上，每个时间分区内的数据都是追加写的方式，对于某条记录是不可更新的。数仓建模

数仓建模

恩门建模：自顶向下（这里的顶是指数据的来源，在传统数据仓库中，就是各个业务数据库），基于业务中各个实体以及实体之间的关系，构建数据仓库

金博尔建模：与恩门正好相反，是一种自底向上的模型设计方法，从数据分析的需求出发，拆分维度和事实

由于现在的业务变化都比较快，所以我更推荐金博尔的建模设计方法。