当前位置:网站首页>数仓:金融级数仓架构转型的最佳实践(下篇)
数仓:金融级数仓架构转型的最佳实践(下篇)
2022-08-02 15:08:00 【Freedom3568】
简介
前面我们在文《数仓:金融数据仓库架构转型的最佳实践》中介绍了 Kyligence 金融数据仓库迁移的整体方法论以及在某国有大行项目的最佳实践。本篇将对数据仓库迁移方法论中最为核心的脚本迁移过程进行深入剖析,从血缘分析、数据库对象迁移、ETL 脚本迁移和数据验证等具体环节详细介绍数仓迁移过程中的落地方法以及迁移自动化的挑战及实现。
迁移挑战
脚本(主要包括数据库对象和 ETL 脚本)是数据仓库的核心内容,数据仓库的日常运行和有机生长都是依托脚本来实现的。
因此,脚本迁移方案是数据仓库整体迁移方案的重中之重,如何保障脚本本身以及脚本所内含的数据加工逻辑能够被正确、高效的迁移,是整个迁移项目最有挑战的地方,其难度主要体现在几个方面:<
边栏推荐
猜你喜欢
随机推荐
绝对最直白的MySQL MVCC机制总结,免费拿走
多线程------实际篇
ACL/NAACL'22 推荐系统论文梳理
动态权重之多任务不平衡论文 (一)
es6 循环,并终止循环
IPtables and binlog
esp32之arduino配置下载提速
Qt | 信号和槽的一些总结
如何利用PHP实现词法分析器与自定义语言
为什么我不再推荐枚举策略模式?
5000mAh大电池!华为全新鸿蒙手机今晚亮相:更流畅更安全
Apache APISIX 2.15 版本发布,为插件增加更多灵活性
aPaaS低代码平台(二) | 快速构建业务模型
如何用JDBC操作Mysql
开篇-开启全新的.NET现代应用开发体验
Alibaba "MySQL Growth Manual" Lite Edition
Apache的管理及web优化
SSRF(服务器端请求伪造)
PAT serie a 1137 final grades
SIGIR'22 推荐系统论文之序列推荐(长文)篇









