当前位置:网站首页>Apache Doris刚“毕业”:为什么应关注这种SQL数据仓库?
Apache Doris刚“毕业”:为什么应关注这种SQL数据仓库?
2022-07-07 13:29:00 【墨天轮】
译者:布加迪
Doris是一种基于SQL的大规模并行处理(MPP)开源分析数据仓库,正在Apache Incubator(Apache孵化器)进行开发。现在,Doris跻身顶级项目行列,据Apache 软件基金会(ASF)声称,这意味着“它已证明了能够进行适当的自治”。
该数据仓库最近迎来了版本1.0,这是它在该孵化器进行开发的第八个版本(还有六个Connector版本)。它旨在支持联机分析处理(OLAP)工作负载,通常用于数据科学场景。
Doris原名Palo,诞生于中国互联网搜索巨头百度,是其广告业务的数据仓库系统,2017 年开源,2018年进入Apache 孵化器。
Doris植根于Apache Impala和Google Mesa
据Apache软件基金会声称,Doris基于Google Mesa和Apache Impala集成,Apache Impala是2012年开发的开源MPP SQL查询引擎,基于Google F1的基础。
Mesa在2014年左右被设计成一种高度可扩展的分析数据仓库系统,用于存储与谷歌互联网广告业务相关的关键测量数据。
据百度和Apache孵化器的开发人员声称,Doris提供了简单的设计架构,同时提供了很高的可用性、可靠性、容错性和可扩展性。
“易于(开发、部署和使用),以及单一系统满足众多数据服务的需求,这是Doris的两大特点”,Apache软件基金会在一份声明中表示,补充道该数据仓库支持多维报告、用户画像、即席查询和实时仪表板。
Doris的其他一些功能包括列存储、并行执行、矢量化技术、查询优化、ANSI SQL,以及通过面向Apache Flink、Apache Hive、Apache Hudi、Apache Iceberg、Apache Spark、 Elasticsearch及其他系统的连接件与大数据生态系统集成。
开源数据库的使用量预计将增长
企业级开源数据库的使用率预计会增长。咨询公司Gartner在《2019年开源DBMS市场状况》报告中预测,到2022年底,超过70%的新的内部应用程序将在开源数据库管理系统(OSDBMS)或基于OSDBMS的数据库平台即服务(dbPaaS)上开发。
此外,随着数据激增和企业越来越需要实时分析,一种简单的大规模并行处理开源数据库成为了当下的需要。
Ventana Research研究总监David Menninger说:“随着数据量不断增长,MPP数据库成为了能够以足够快的速度或足够低的成本处理数据以满足组织需求的唯一实际方法。”
云架构激发了组织对MPP数据库的兴趣
Menninger表示,推动MPP数据库发展的其他趋势是现在有了相对廉价的基于云的服务器实例,这些实例可以用作MPP配置的一部分,因而组织不需要采购和安装这些系统使用的物理硬件。
Menninger认为Doris大有希望,虽然有许多MPP数据库可选,其中一些是开源的,但实际上没有一种开源的MPP MySQL替代方案。
“MySQL本身和MariaDB已经过扩展,可支持更庞大的分析工作负载,但它们最初是为事务处理设计的”,Menninger说,补充道可以将开源PostreSQL数据库Greenplum以及Google BigQuery、Amazon RedShift和Microsoft Synapse等超大规模服务视为Doris的竞争对手。
此外,Gartner大数据和分析前研究副总裁Sanjeev Mohan表示,还可以将ClickHouse、Apache Druid和Apache Pinot视为是竞争对手。
据Apache基金会声称,使用Doris可能有诸多优势,比如架构简单和更快的查询时间。
Doris简单的原因之一是,它不依赖多个组件来完成类管理、同步和通信之类的任务。快速查询时间可归因于矢量化,这种方法让程序或算法可以一次针对多个值而不是单个值进行操作。
据Apache基金会的开发人员声称,该数据仓库的另一个好处是Doris的超高并发支持,这意味着它可以同时处理来自成千上万用户提出的处理数据、从数据库获取洞察力的请求。
由于大多数组织允许其员工访问数据,以便促进他们利用数据获取洞察力,而不是只有高管才能享用分析工具,如今对高并发性的需求已有所增加。
文章来源:https://baijiahao.baidu.com/s?id=1737572791176015816&wfr=spider&for=pc
边栏推荐
- 【微信小程序】Chapter(5):微信小程序基础API接口
- ./ Functions of configure, make and make install
- [original] all management without assessment is nonsense!
- 【數字IC驗證快速入門】26、SystemVerilog項目實踐之AHB-SRAMC(6)(APB協議基本要點)
- Function: JS Click to copy content function
- [quick start of Digital IC Verification] 29. Ahb-sramc (9) (ahb-sramc svtb overview) of SystemVerilog project practice
- webgl_ Enter the three-dimensional world (1)
- HPDC smart base Talent Development Summit essay
- Summary of knowledge points of xlua hot update solution
- Three. JS introductory learning notes 13: animation learning
猜你喜欢
有钱人买房就是不一样
【微信小程序】Chapter(5):微信小程序基础API接口
Implementation of crawling web pages and saving them to MySQL using the scrapy framework
银行需要搭建智能客服模块的中台能力,驱动全场景智能客服务升级
Mesh merging under ue4/ue5 runtime
【数字IC验证快速入门】19、SystemVerilog学习之基本语法6(线程内部通信...内含实践练习)
Write sequence frame animation with shader
Vite path alias @ configuration
[quick start for Digital IC Validation] 26. Ahb - sramc (6) for system verilog project practice (Basic Points of APB Protocol)
The rebound problem of using Scrollview in cocos Creator
随机推荐
Whether runnable can be interrupted
一大波开源小抄来袭
【数字IC验证快速入门】24、SystemVerilog项目实践之AHB-SRAMC(4)(AHB继续深入)
Getting started with webgl (1)
Connecting FTP server tutorial
从 1.5 开始搭建一个微服务框架链路追踪 traceId
[quick start of Digital IC Verification] 19. Basic grammar of SystemVerilog learning 6 (thread internal communication... Including practical exercises)
Async and await
UE4 exports the picture + text combination diagram through ucanvasrendertarget2d
Basic knowledge sorting of mongodb database
Three. JS introductory learning notes 13: animation learning
Streaming end, server end, player end
LeetCode1_ Sum of two numbers
C4D learning notes 3- animation - animation rendering process case
The "go to definition" in VS2010 does not respond or prompts the solution of "symbol not found"
The significance of XOR in embedded C language
Three. JS introductory learning notes 03: perspective projection camera
[quick start of Digital IC Verification] 20. Basic grammar of SystemVerilog learning 7 (coverage driven... Including practical exercises)
OpenGL common functions
航运船公司人工智能AI产品成熟化标准化规模应用,全球港航人工智能/集装箱人工智能领军者CIMC中集飞瞳,打造国际航运智能化标杆