当前位置:网站首页>数仓:金融级数仓架构转型的最佳实践(下篇)
数仓:金融级数仓架构转型的最佳实践(下篇)
2022-08-02 15:08:00 【Freedom3568】
简介
前面我们在文《数仓:金融数据仓库架构转型的最佳实践》中介绍了 Kyligence 金融数据仓库迁移的整体方法论以及在某国有大行项目的最佳实践。本篇将对数据仓库迁移方法论中最为核心的脚本迁移过程进行深入剖析,从血缘分析、数据库对象迁移、ETL 脚本迁移和数据验证等具体环节详细介绍数仓迁移过程中的落地方法以及迁移自动化的挑战及实现。
迁移挑战
脚本(主要包括数据库对象和 ETL 脚本)是数据仓库的核心内容,数据仓库的日常运行和有机生长都是依托脚本来实现的。
因此,脚本迁移方案是数据仓库整体迁移方案的重中之重,如何保障脚本本身以及脚本所内含的数据加工逻辑能够被正确、高效的迁移,是整个迁移项目最有挑战的地方,其难度主要体现在几个方面:<
边栏推荐
猜你喜欢
随机推荐
codeforces k-Tree (dp still won't work)
【学习笔记之菜Dog学C】自定义类型详解(结构体+枚举+联合)
开篇-开启全新的.NET现代应用开发体验
ICML/ICLR'22 推荐系统论文梳理
MySQL-1-环境部署
阿里巴巴《MySQL成长手册》精简版
PostGresql listen与notify命令
Vest bag access process record
继续来学习有关淘宝的API接口的使用——获得店铺的所有商品 API
矩阵的特征值与特征向量
性能测试详解(理论篇)
系统延时任务及定时任务
Go-5-简单介绍fmt库
VLAN实验
Reed-Solomon Codes——RS纠错码
虚拟现实处理器(SXR2130P)ISO7640FMDW(数字隔离器)说明
【Untitled】
Typora永久使用,彻底解决This beta version of Typora is expired.
SIGIR'22 推荐系统论文之序列推荐(短文)篇
Why do I no longer recommend the enumeration strategy pattern?