当前位置:网站首页>当 TiDB 与 Flink 相结合:高效、易用的实时数仓
当 TiDB 与 Flink 相结合:高效、易用的实时数仓
2020-11-07 20:15:00 【InfoQ】
随着互联网飞速发展,企业业务种类会越来越多,业务数据量会越来越大,当发展到一定规模时,传统的数据存储结构逐渐无法满足企业需求,实时数据仓库就变成了一个必要的基础服务。以维表 Join 为例,数据在业务数据源中以范式表的形式存储,在分析时需要做大量的 Join 操作,降低性能。如果在数据清洗导入过程中就能流式的完成 Join,那么分析时就无需再次 Join,从而提升查询性能。
利用实时数仓,企业可以实现实时 OLAP 分析、实时数据看板、实时业务监控、实时数据接口服务等用途。但想到实时数仓,很多人的第一印象就是架构复杂,难以操作与维护。而得益于新版 Flink 对 SQL 的支持,以及 TiDB HTAP 的特性,我们探索了一个高效、易用的 Flink+TiDB 实时数仓解决方案。
本文将首先介绍实时数仓的概念,然后介绍 Flink+TiDB 实时数仓的架构与优势,接着给出一些已经在使用中的用户场景,最后给出在 docker-compose 环境下的 Demo,用于读者进行尝试。
实时数仓的概念
数据仓库的概念在 90 年代由 Bill Inmon 提出,是指一个面向主题的、集成的、相对稳定的、反映历史变化的集合,用于支持管理决策。当时的数据仓库通过消息队列收集来自数据源的数据,通过每天或每周进行一次计算以供报表使用,也称为离线数仓。
原文链接:【https://www.infoq.cn/article/IoD228mbbr7wylDEQKkh】。未经作者许可,禁止转载。
版权声明
本文为[InfoQ]所创,转载请带上原文链接,感谢
https://www.infoq.cn/article/IoD228mbbr7wylDEQKkh?utm_source=rss&utm_medium=article
边栏推荐
- Mate 40系列发布 搭载华为运动健康服务带来健康数字生活
- cubemx做stm32 USB开发
- Shanghai Pudong Development Bank, which frequently receives penalty tickets, has been cheated by hundreds of millions of yuan in loans, and lacks of internal control?
- 如何应对事关业务生死的数据泄露和删改?
- 工作1-3年的程序员,应该具备怎么样的技术能力?该如何提升?
- yum [Errno 256] No more mirrors to try 解决方法
- bgfx编译教程
- CI / CD of gitlab continuous integrated development environment
- How to solve the problem of blank page in Google Chrome browser
- 我们为什么需要软件工程——从一个简单的项目进行观察
猜你喜欢
Using thread communication to solve the problem of cache penetrating database avalanche
想要忘记以前连接到Mac的WiFi网络,试试这个方法!
Why do we need software engineering -- looking at a simple project
2018中国云厂商TOP5:阿里云、腾讯云、AWS、电信、联通 ...
The JS solution cannot be executed after Ajax loads HTML
vscode 配置
Test the necessary skill points of siege lion! This article takes you to interpret the testing technology under Devops
C语言Ⅰ博客作业03
华为HCIA笔记
PHP security: the past and present of variables
随机推荐
Kubernetes (1): introduction to kubernetes
Web API series (3) unified exception handling
不要把异常当做业务逻辑,这性能可能你无法承受
阿里terway源码分析
Python 3 operates the Jenkins module API
yum [Errno 256] No more mirrors to try 解决方法
【笔记】Error while loading PyV8 binary: exit code 1解决方法
使用“1”个参数调用“DownloadString”时发生异常:“操作超时”
About Devops seven misunderstandings, 99% of people have been hit!
Idea activation to 2089 failure
C# 枚举权限 |和||,&和&&的区别
一文详解微服务架构
graph generation model
频收罚单的浦发银行:增收不增利,曾遭骗贷数亿元,内控缺位?
抽絲剝繭——門面和調停者設計模式
9.集群之间服务通信 RoutingMesh
Code Review最佳实践
CI / CD of gitlab continuous integrated development environment
HMS core push service helps e-commerce app to carry out refined operation
Solution to st link USB communication error in stlink Download