当前位置:网站首页>应用实践 | 蜀海供应链基于 Apache Doris 的数据中台建设
应用实践 | 蜀海供应链基于 Apache Doris 的数据中台建设
2022-07-04 18:34:00 【InfoQ】
业务背景
- 同时支持高并发点查询和高吞吐的 Ad-hoc 查询。
- 同时支持离线批量导入和实时数据导入。
- 同时支持明细和聚合查询。
- 兼容 MySQL 协议和标准 SQL。
- 支持 Rollup Table 和 Rollup Table 的智能查询路由。
- 支持较好的多表 Join 策略和灵活的表达式查询。
- 支持 Schema 在线变更。
- 支持 Range 和 Hash 二级分区。
- 高可用,能容忍部分节点挂掉。
- 运维简单,部署,维护,升级都比较简单,不依赖外部组件。
数据接入
- 订阅 MySQL Binlog,入仓到 Doris 表。
- 订阅 Kafka Topic,入仓到 Doris 表。
- 数据动态清洗,在页面编写代码即可完成数据入仓之前的转换。
- 接入任务合并,为节省资源,支持分库分表在一个任务接入,支持多个 TOPIC 在一个任务接入。
- 动态数据质量校验,配置字段质量规则,进行接入数据质量校验。
- 入仓加密,再接入过程中,可以对敏感数据进行加密后再入到 Doris 表。
- 错误数据管理,因为网络或者数据错误等原因,在页面可完成数据的重新入仓。
- 数据接入链路监控,比如错误数据监控,数据生产链路异常监控,数据消费链路异常监控,任务数据接入趋势图,集群数据接入趋势图等。
数据服务编排
数据安全建设
数仓数据备份
Doris 的应用
收益
- 数据实时接入稳定可靠,通过 Stream Load,实时接入了数千张表,每天接入数据总条数在亿级别,非常稳定可靠;
- 支持高并发高性能的数据在线分析查询,每天对 Doris 的在线分析查询次数在百万级别,大部分 SQL 在毫秒级别,慢 SQL 也有很大优化空间,并且 Doris 会自动做一些场景下的查询优化;
- 通过直接查询原始接入表,建立物化试图,建立索引,支撑了多个低延时高并发的实时查询需求。并且多表 Join 性能优异;
- Doris 的整体架构简单,运维成本很低,可在线滚动升级,可节省人力专注于数据中台的建设以及业务开发;
- Doris 高度兼容 MySQL 协议,交互式查询分析,提供高效的数据开发体验;
- 高可用,数据分区多副本存储,不会因为部分节点的异常导致整体服务不可用;
- 广泛生态兼容,社区提供了和 Flink,Datax 等大数据交互的 Doris 插件,通过 Broker 导入导出数据简单快捷;
- 社区活跃,Doris 功能和性能在不断的扩充和提升,遇到问题能够得到社区的密切帮助。
加入社区
边栏推荐
- 牛客小白月赛7 I 新建 Microsoft Office Word 文档
- 牛客小白月赛7 谁是神箭手
- Shell programming core technology "three"
- Comment utiliser async awati asynchrone Task Handling au lieu de backgroundworker?
- Educational codeforces round 22 E. Army Creation
- 安徽 中安在线文旅频道推出“跟着小编游安徽”系列融媒体产品
- Kotlin condition control
- PointNeXt:通过改进的模型训练和缩放策略审视PointNet++
- Multi table operation inner join query
- The page element is vertically and horizontally centered, realizing the vertical and horizontal centering of known or unknown width.
猜你喜欢
随机推荐
指定输出的字符集
The page element is vertically and horizontally centered, realizing the vertical and horizontal centering of known or unknown width.
kotlin 循环控制
1002. A+b for Polynomials (25) (PAT class a)
黑马程序员-软件测试--08阶段2-linux和数据库-23-30-进程端口相关,修改文件权限,端口号信息的获取,程序和进程相关操作,linux命令案例
Online text line fixed length fill tool
黑马程序员-软件测试--09阶段2-linux和数据库-31-43修改文件权限字母发的说明,-查找链接修改文件,查找文件命令,链接文件,压缩解压方式,vi编辑器基本使用,
. Net ORM framework hisql practice - Chapter 2 - using hisql to realize menu management (add, delete, modify and check)
HDU 1097 A hard puzzle
@transactional滥用导致数据源连接池耗尽问题
Educational codeforces round 22 E. Army Creation
记一次 .NET 某工控数据采集平台 线程数 爆高分析
HDU 1372 & POJ 2243 Knight Moves(广度优先搜索)
Shell programming core technology "three"
Double colon function operator and namespace explanation
socket编程demo二
勾股数规律(任意三个数能够满足勾股定理需要满足的条件)
PolyFit软件介绍
Online sql to excel (xls/xlsx) tool
Jetpack Compose 教程