当前位置:网站首页>数仓分层简介(实时数仓架构)
数仓分层简介(实时数仓架构)
2022-08-01 09:50:00 【全栈程序员站长】
大家好,又见面了,我是你们的朋友全栈君。
数仓分层简介
1.数仓分层好处:复杂问题简单化;减少重复开发;隔离原始数据。
2.数仓分层具体实现
ODS(Operation Data Store)层:原始数据层,存原始数据,直接加载原始日志、数据
DWD(Data Warehouse Detail)层:明细数据层也有叫DWI层,结构和粒度与原始表保持一致,对ODS层数据进行清洗(去除空值、脏数据、超过极限范围的数据、行式存储转列式存储、改压缩格式)
DWS(Data Warehouse Service)层:服务数据层,以DWD为基础进行轻度汇总。比如:用户当日、设备当日、商品当日。
ADS(Application Data Store)层:数据应用层也有叫App层或DM层,为各种统计报表提供数据
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/126974.html原文链接:https://javaforall.cn
边栏推荐
- C language game - minesweeper
- redis
- net stop/start mysql80 access denied
- SQL Server database schema and objects related knowledge notes
- ASP.NET Core 6框架揭秘实例演示[30]:利用路由开发REST API
- mysql在cmd的登录及数据库与表的基本操作
- MacOS下postgresql(pgsql)数据库密码为什么不需要填写或可以乱填写
- 已解决(pip安装库报错)Consider using the-- user option or check the permissions.
- 指针的介绍及应用
- HoloView -- Tabular Datasets
猜你喜欢
解析MySQL数据库:“SQL优化”与“索引优化”
Enterprise WeChat group: robot timing reminder function database configuration
sqlserver怎么查询一张表中同人员的交叉日期
How programmers learn open source projects, this article tells you
【软件架构模式】MVVM模式和MVC模式区别
redis
Intensive reading of ACmix papers, and analysis of its model structure
MySQL 必现之死锁
node 格式化时间的传统做法与高级做法(moment)
灵魂发问:MySQL是如何解决幻读的?
随机推荐
已解决(pip安装库报错)Consider using the-- user option or check the permissions.
如何解决 chrome 浏览器标签过多无法查看到标题的情况
mysql在cmd的登录及数据库与表的基本操作
Introduction to ADAS
阿里腾讯面试一二
Idea 常用插件
【软件架构模式】MVVM模式和MVC模式区别
notes....
用OpenCV的边缘检测
How to implement deep copy in js?
[Interview: Concurrency 39: Multithreading: Thread Pool] ThreadPoolExecutor Class - Submit, Stop
experiment....
ASP.NET Core 6框架揭秘实例演示[30]:利用路由开发REST API
WTM:ASP.NET Core快速开发利器!
微服务:事务管理
GBase 8c中怎么查询数据库配置参数,例如datestyle
MTK6225-紧急电话
STM32个人笔记-程序跑飞
Redis middleware (from building to refuse pit)
招聘随想2022