当前位置:网站首页>数仓:金融级数仓架构转型的最佳实践(下篇)
数仓:金融级数仓架构转型的最佳实践(下篇)
2022-08-02 15:08:00 【Freedom3568】
简介
前面我们在文《数仓:金融数据仓库架构转型的最佳实践》中介绍了 Kyligence 金融数据仓库迁移的整体方法论以及在某国有大行项目的最佳实践。本篇将对数据仓库迁移方法论中最为核心的脚本迁移过程进行深入剖析,从血缘分析、数据库对象迁移、ETL 脚本迁移和数据验证等具体环节详细介绍数仓迁移过程中的落地方法以及迁移自动化的挑战及实现。
迁移挑战
脚本(主要包括数据库对象和 ETL 脚本)是数据仓库的核心内容,数据仓库的日常运行和有机生长都是依托脚本来实现的。
因此,脚本迁移方案是数据仓库整体迁移方案的重中之重,如何保障脚本本身以及脚本所内含的数据加工逻辑能够被正确、高效的迁移,是整个迁移项目最有挑战的地方,其难度主要体现在几个方面:<
边栏推荐
猜你喜欢
随机推荐
做好私域流量!全民拼购就可以了。
阿里云上安装MQTT服务器
兆骑科创双创服务平台,创业赛事活动,投融资对接平台
phpstudy实现命令行操作
Qt | QWidget 的一些总结
Application software code signing certificate
禅道16.5升级17.3
SSRF(服务器端请求伪造)
Qt | 模态对话框和非模态对话框 QDialog
mysql 自动添加创建时间、更新时间
【服务器数据恢复】Raid阵列更换故障硬盘后数据同步失败的数据恢复案例
软件成分分析:华为云重磅发布开源软件治理服务
Apache APISIX 2.15 版本发布,为插件增加更多灵活性
PAT Grade A 1143 Lowest Common Ancestor
从特征交互到数据交互,浅谈深度点击率模型的新趋势
系统延时任务及定时任务
SQL查询数据以及排序
5000mAh大电池!华为全新鸿蒙手机今晚亮相:更流畅更安全
IJCAI'22 推荐系统论文梳理
第十七天笔记