当前位置:网站首页>数仓分层简介(实时数仓架构)
数仓分层简介(实时数仓架构)
2022-08-01 09:50:00 【全栈程序员站长】
大家好,又见面了,我是你们的朋友全栈君。
数仓分层简介
1.数仓分层好处:复杂问题简单化;减少重复开发;隔离原始数据。
2.数仓分层具体实现
ODS(Operation Data Store)层:原始数据层,存原始数据,直接加载原始日志、数据
DWD(Data Warehouse Detail)层:明细数据层也有叫DWI层,结构和粒度与原始表保持一致,对ODS层数据进行清洗(去除空值、脏数据、超过极限范围的数据、行式存储转列式存储、改压缩格式)
DWS(Data Warehouse Service)层:服务数据层,以DWD为基础进行轻度汇总。比如:用户当日、设备当日、商品当日。
ADS(Application Data Store)层:数据应用层也有叫App层或DM层,为各种统计报表提供数据
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/126974.html原文链接:https://javaforall.cn
边栏推荐
- 可视化——Superset安装与部署
- IntellJ IDEA如何显示换行符(line endings)
- WTM:ASP.NET Core快速开发利器!
- 【应用推荐】常见资源管理器整理,含个人使用体验和产品选型推荐
- In the background of the GBase 8c database, what command is used to perform the master-slave switchover operation for the gtm and dn nodes
- How to implement deep copy in js?
- 杨辉三角(c语言实现)
- ASP.NET Core 6框架揭秘实例演示[30]:利用路由开发REST API
- Change Servlet project to SSM project
- Shell: Conditional test action
猜你喜欢
随机推荐
Introduction and application of heap memory (including examples)
MySQL query advanced - from the use of functions to table joins, do you remember?
PowerPC技术与市场杂谈
解析MySQL数据库:“SQL优化”与“索引优化”
[Dataset] Dataset summary of various insulators, bird's nests and anti-vibration hammers
如何保证数据库与缓存数据一致性?
C语言程序设计50例(三)(经典收藏)
GBase 8c中怎么查询数据库配置参数,例如datestyle
会议OA(待开会议&所有会议)
高级驾驶辅助系统ADAS简介
STM32个人笔记-程序跑飞
IntellJ IDEA如何显示换行符(line endings)
Prime Ring Problem
Introduction and application of pointers
Go-Excelize API source code reading (8) - GroupSheets(sheets []string), UngroupSheets()
记一次 .NET 某智慧物流WCS系统CPU爆高分析
How programmers learn open source projects, this article tells you
ClickHouse入门介绍与其特性
朴素贝叶斯--学习笔记--基本原理及代码实现
How to get page data