当前位置:网站首页>数仓:金融级数仓架构转型的最佳实践(下篇)
数仓:金融级数仓架构转型的最佳实践(下篇)
2022-08-02 15:08:00 【Freedom3568】
简介
前面我们在文《数仓:金融数据仓库架构转型的最佳实践》中介绍了 Kyligence 金融数据仓库迁移的整体方法论以及在某国有大行项目的最佳实践。本篇将对数据仓库迁移方法论中最为核心的脚本迁移过程进行深入剖析,从血缘分析、数据库对象迁移、ETL 脚本迁移和数据验证等具体环节详细介绍数仓迁移过程中的落地方法以及迁移自动化的挑战及实现。
迁移挑战
脚本(主要包括数据库对象和 ETL 脚本)是数据仓库的核心内容,数据仓库的日常运行和有机生长都是依托脚本来实现的。
因此,脚本迁移方案是数据仓库整体迁移方案的重中之重,如何保障脚本本身以及脚本所内含的数据加工逻辑能够被正确、高效的迁移,是整个迁移项目最有挑战的地方,其难度主要体现在几个方面:<
边栏推荐
猜你喜欢

Based on mobileNet dog breed classification (migration)

23.支持向量机的使用

How to check the WeChat applet server domain name and modify it

Sql文件导入数据库-保姆级教程

24、wpf之布局(二)

Win 10、Win 11 安装 MuJoCo 及 mujoco-py 教程

开篇-开启全新的.NET现代应用开发体验

2022 Low Voltage Electrician Exam Questions and Online Mock Exam

线程安全问题以及其解决方法

SQL实现将多行记录合并成一行
随机推荐
【个人总结】2022.7月结
5000mAh大电池!华为全新鸿蒙手机今晚亮相:更流畅更安全
Qt | 关于 Qt Creator 打开项目编译不过的问题
太帅了!我用炫酷大屏展示爬虫数据!
不平衡之钥: 重加权法知几何
第十四天笔记
数据防泄漏产品该如何选择
622. 设计循环队列 : 数组模拟循环队列
form的编辑与展示的切换(输入框,单选多选框,上传图片,颜色选择器)适用个人信息的展示与修改
SQL查询数据之多表(关联)查询
Sql文件导入数据库-保姆级教程
阿里巴巴《MySQL成长手册》精简版
NXP i.MX 8M Mini工业核心板B2B版本,4核ARM [email protected]设计
SQL查询数据以及排序
Qt | 关于如何使用事件过滤器 eventFilter
Drag and Drop in H5
IPtables and binlog
SQL实现将多行记录合并成一行
类的比较大小(Comparable -> compareTo(类自己实现接口),Comparator -> compare(新建一个类作为比较器))
Qt | 关于对象树和元对象的相关问题