当前位置:网站首页>数据中台概念
数据中台概念
2022-07-04 12:51:00 【这个程序猿可太秀了】
数据中台
数据中台支撑技术的整体架构
中台解决什么问题
1. 指标口径不一致。 两个数据产品一个包含税,一个不包含税,它们相同的一个指标名称都是销售额,结果却不一样。运营面对这些指标的时候,不知道指标的业务口径,很难去使用这些数据。
2. 数据重复建设,需求响应时间长。随着需求的增长,运营和分析师不断抱怨需求的交付时间拉长,面对快速变化的业务,需求响应时间已经无法满足业务对数据的敏捷研发要求
3. 取数效率低。 面对数十万张表,我们的运营和分析师找数据、准确地理解数据非常困难,想找到一个想要的数据,确认这个数据和自己的需求匹配,他们往往需要花费三天以上的时间,对新人来说,这个时间会更长。
4. 数据质量差。数据经常因为 BUG 导致计算结果错误,最终导致错误的商业决策。
5. 数据成本线性增长。数据成本随着需求的增长而线性增长
数据中台是企业构建的标准的、安全的、统一的、共享的数据组织,通过数据服务化的方式支撑前端数据应用。
数据中台是怎么实现所有数据只加工一次的呢?
简单来说,就是对于数仓数据,我们要求相同粒度的度量或者指标只加工一次,构建全局一致的公共维表。
要实现上述目标,需要两个工具产品:
一个是数仓设计中心,在模型设计阶段,强制相同聚合粒度的模型,度量不能重复。
另外一个是数据地图,方便数据开发能够快速地理解一张表的准确含义。
数仓:
主题
主题域是业务过程的一个高层次的抽象,像商品、交易、用户、流量都能作为一个主题域,你可以把它理解为数据仓库的一个目录。数据仓库中的数据一般是按照时间进行分区存放,一般会保留 5 年以上,每个时间分区内的数据都是追加写的方式,对于某条记录是不可更新的。数仓建模
数仓建模
恩门建模:自顶向下(这里的顶是指数据的来源,在传统数据仓库中,就是各个业务数据库),基于业务中各个实体以及实体之间的关系,构建数据仓库
金博尔建模:与恩门正好相反,是一种自底向上的模型设计方法,从数据分析的需求出发,拆分维度和事实
由于现在的业务变化都比较快,所以我更推荐金博尔的建模设计方法。
边栏推荐
- Matters needing attention in overseas game Investment Agency
- Read excel table data
- Assertion of unittest framework
- go语言中的文件创建,写入,读取,删除(转)
- Learning projects are self-made, and growth opportunities are self created
- Blob, text geometry or JSON column'xxx'can't have a default value query question
- LifeCycle
- R语言使用epiDisplay包的followup.plot函数可视化多个ID(病例)监测指标的纵向随访图、使用stress.col参数指定强调线的id子集的颜色(色彩)
- sql优化之explain
- nowcoder重排链表
猜你喜欢
Apple 5g chip research and development failure: continue to rely on Qualcomm, but also worry about being prosecuted?
【Matlab】conv、filter、conv2、filter2和imfilter卷积函数总结
Deming Lee listed on Shenzhen Stock Exchange: the market value is 3.1 billion, which is the husband and wife of Li Hu and Tian Hua
flink sql-client.sh 使用教程
Unity Shader学习(三)试着绘制一个圆
吃透Chisel语言.09.Chisel项目构建、运行和测试(一)——用sbt构建Chisel项目并运行
[R language data science]: cross validation and looking back
Remove duplicate letters [greedy + monotonic stack (maintain monotonic sequence with array +len)]
sharding key type not supported
【FAQ】华为帐号服务报错 907135701的常见原因总结和解决方法
随机推荐
Idea shortcut keys
Oppo find N2 product form first exposure: supplement all short boards
The font of markdown grammar is marked in red
瑞吉外卖笔记
[R language data science]: cross validation and looking back
【信息检索】分类和聚类的实验
The game goes to sea and operates globally
Understand chisel language thoroughly 05. Chisel Foundation (II) -- combinational circuits and operators
Incremental ternary subsequence [greedy training]
GCC【6】- 编译的4个阶段
Use of arouter
Unittest框架之断言
Understand chisel language thoroughly 08. Chisel Foundation (V) -- wire, REG and IO, and how to understand chisel generation hardware
Install and use MAC redis, connect to remote server redis
Understand chisel language thoroughly 09. Chisel project construction, operation and testing (I) -- build and run chisel project with SBT
奇妙秘境 码蹄集
go vendor 项目迁移到 mod 项目
golang fmt. Printf() (turn)
Vscode common plug-ins summary
吃透Chisel语言.08.Chisel基础(五)——Wire、Reg和IO,以及如何理解Chisel生成硬件