当前位置:网站首页>数仓分层简介(实时数仓架构)
数仓分层简介(实时数仓架构)
2022-08-01 09:50:00 【全栈程序员站长】
大家好,又见面了,我是你们的朋友全栈君。
数仓分层简介
1.数仓分层好处:复杂问题简单化;减少重复开发;隔离原始数据。
2.数仓分层具体实现
ODS(Operation Data Store)层:原始数据层,存原始数据,直接加载原始日志、数据
DWD(Data Warehouse Detail)层:明细数据层也有叫DWI层,结构和粒度与原始表保持一致,对ODS层数据进行清洗(去除空值、脏数据、超过极限范围的数据、行式存储转列式存储、改压缩格式)
DWS(Data Warehouse Service)层:服务数据层,以DWD为基础进行轻度汇总。比如:用户当日、设备当日、商品当日。
ADS(Application Data Store)层:数据应用层也有叫App层或DM层,为各种统计报表提供数据
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/126974.html原文链接:https://javaforall.cn
边栏推荐
- notes....
- 18张图,直观理解神经网络、流形和拓扑
- SkiaSharp's WPF self-painted five-ring bouncing ball (case version)
- Go-Excelize API source code reading (8) - GroupSheets(sheets []string), UngroupSheets()
- 记一次 .NET 某智慧物流WCS系统CPU爆高分析
- Install GBase 8 c database, the error shows "Resource, how to solve?
- 已解决(pip安装库报错)Consider using the-- user option or check the permissions.
- 程序员如何学习开源项目,这篇文章告诉你
- shell脚本------条件测试 if语句和case分支语句
- mysql login in cmd and basic operations of database and table
猜你喜欢
改版去不图床 Token 的获取
Idea 常用插件
报告:想学AI的学生数量已涨200%,老师都不够用了
Analysis of High Availability Solution Based on MySql, Redis, Mq, ES
Detailed explanation of JVM runtime data area and JMM memory model
rpm and yum
自定义类型——枚举、联合
Enterprise WeChat group: robot timing reminder function database configuration
Shell: Conditional test action
C语言小游戏——扫雷
随机推荐
SkiaSharp's WPF self-painted five-ring bouncing ball (case version)
如何保证数据库与缓存数据一致性?
A problem with writing to the database after PHP gets the timestamp
关于#SQL#的问题,如何解决?
YOLOv7-Pose尝鲜,基于YOLOv7的关键点模型测评
The use of scrapy crawler framework
Introduction and application of heap memory (including examples)
notes....
Idea 常用插件
报告:想学AI的学生数量已涨200%,老师都不够用了
[Software Architecture Mode] The difference between MVVM mode and MVC mode
Introduction to ADAS
sql server, FULL模式, dbcc shrinkfile(2,1) 不能收缩事务日志,还是原来的大小,是为什么?
C语言小游戏——扫雷
ASP.NET Core 6 Framework Revealing Instance Demonstration [30]: Develop REST API with Routing
Go-Excelize API source code reading (8) - GroupSheets(sheets []string), UngroupSheets()
notes....
【应用推荐】常见资源管理器整理,含个人使用体验和产品选型推荐
Comprehensive experiment BGP
SkiaSharp's WPF self-painted five-ring bouncing ball (case version)