当前位置:网站首页>数仓:金融级数仓架构转型的最佳实践(下篇)
数仓:金融级数仓架构转型的最佳实践(下篇)
2022-08-02 15:08:00 【Freedom3568】
简介
前面我们在文《数仓:金融数据仓库架构转型的最佳实践》中介绍了 Kyligence 金融数据仓库迁移的整体方法论以及在某国有大行项目的最佳实践。本篇将对数据仓库迁移方法论中最为核心的脚本迁移过程进行深入剖析,从血缘分析、数据库对象迁移、ETL 脚本迁移和数据验证等具体环节详细介绍数仓迁移过程中的落地方法以及迁移自动化的挑战及实现。
迁移挑战
脚本(主要包括数据库对象和 ETL 脚本)是数据仓库的核心内容,数据仓库的日常运行和有机生长都是依托脚本来实现的。
因此,脚本迁移方案是数据仓库整体迁移方案的重中之重,如何保障脚本本身以及脚本所内含的数据加工逻辑能够被正确、高效的迁移,是整个迁移项目最有挑战的地方,其难度主要体现在几个方面:<
边栏推荐
猜你喜欢
随机推荐
为什么我不再推荐枚举策略模式?
mysql 索引使用与优化
2022 VMware下载安装教程
Getting Started with MySQL Syntax
性能测试详解(理论篇)
美团面试:如何设计一个注册中心?
Basic management of system storage -- mounts, partitions, user quotas
Advanced usage of vim configuration
vim的高级用法配置
继续来学习有关淘宝的API接口的使用——获得店铺的所有商品 API
phpstudy实现命令行操作
矩阵的特征值与特征向量
redis学习四redis消息订阅、pipeline、事务、modules、布隆过滤器、缓存LRU
SQL查询数据之多表(关联)查询
ACL/NAACL'22 推荐系统论文梳理
esp32之arduino配置下载提速
祝蔡徐坤生日快乐!
面试必问的HashCode技术内幕
AI智能剪辑,仅需2秒一键提取精彩片段
【知乎高赞】为什么很多资质平庸的女人嫁得很好,很多优质女性却成了剩女?









