当前位置:网站首页>HiEngine:可媲美本地的云原生内存数据库引擎
HiEngine:可媲美本地的云原生内存数据库引擎
2022-07-05 15:47:00 【InfoQ】
导读
摘要
研究背景
1. 以内存为中心的计算架构
2. OLTP数据库生态
3. 华为云基础设施
- 硬件趋势和挑战:1)存算分离架构中引入持久内存,尤其在计算侧配置持久内存能够提供高速的事务日志缓存等功能,但是这与计算节点的Stateless特性相违背。2)基于ARM的多核处理器具有更好的性价比和理想的能耗,但是也带来Cross-NUMA的多核扩展挑战。
- SRSS:作为华为云新一代分布式存储服务,它使用RDMA建立在现代SSD/NVM硬件之上 ,采用日志结构型的追加存储。
- SRSS在云中提供了必要的持久性内存原语。SRSS支持内存语义和计算端持久存储,定制化的mmapMMAP内核驱动程序API支持从本地或远程持久存储层一致性的读取数据,SRSS通过内存映射提供除了打开、/关闭、/追加、/读取等接口外,还提供内存语义操作。数据在计算侧和存储侧三副本存储,采用具有低延迟存储网络。这允许计算节点可以在计算侧本地持久化和存储侧远端持久化,似的存储层之间关键路径上没有往返网络开销。
HiEngine架构
1. 以日志为中心的Log-centric MVCC存储引擎概览
2. Tuple-level内存布局
3. 事务模型
4. PIA/行映射
- 行更新操作不会改变索引的内部结构
- 二级索引的“键”=“用户自定义键+ RID”
- 检查点变得轻量级,因为只需要持久化PIA而不是真实数据
- 恢复只会重新构建PIA,而不是读取元组版本
5. 高可靠高扩展的Redo-Only Logging
- 追加写和基于mmapMMAP的读
- 更新后的版本包含一条记录的完整内容
- 使用SRSS的追加接口将日志记录写入段/ PLOGPlog
- 数据成功三副本持久化到计算侧持久性内存后提交事务
6. Dataless的检查点和并行恢复
7. 索引持久化和检查点
部署方式
系统评测
总结
边栏推荐
- Seaborn绘制11个柱状图
- OceanBase社区版之OBD方式部署方式本地安装
- 记一次'非常诡异'的云安全组规则问题排查过程
- Relationship between objects and classes
- 18.[STM32]读取DS18B20温度传感器的ROM并实现多点测量温度
- 服务器的数据库连不上了2003,10060“Unknown error“【服务已起、防火墙已关、端口已开、netlent 端口不通】
- SQL injection sqllabs (basic challenges) 1-10
- vlunhub- BoredHackerBlog Social Network
- 19.[STM32]HC_ SR04 ultrasonic ranging_ Timer mode (OLED display)
- Five common negotiation strategies of consulting companies and how to safeguard their own interests
猜你喜欢
CISP-PTE之PHP伪协议总结
vlunhub- BoredHackerBlog Social Network
Li Kou today's question -729 My schedule I
ES6深入—ES6 Class 类
The difference between abstract classes and interfaces
Data Lake (XIV): spark and iceberg integrated query operation
21.[STM32]I2C协议弄不懂,深挖时序图带你编写底层驱动
Why should we learn mathematical modeling?
ES6深入—async 函数 与 Symbol 类型
Clock switching with multiple relationship
随机推荐
21.[STM32]I2C协议弄不懂,深挖时序图带你编写底层驱动
CISP-PTE之SQL注入(二次注入的应用)
Coding devsecops helps financial enterprises run out of digital acceleration
The OBD deployment mode of oceanbase Community Edition is installed locally
[Netease Yunxin] research and practice of super-resolution technology in the field of real-time audio and video
How difficult is it to pass the certification of Intel Evo 3.0? Yilian technology tells you
Quelques réflexions cognitives
How to use FRP intranet penetration +teamviewer to quickly connect to the intranet host at home when mobile office
Research and practice of super-resolution technology in the field of real-time audio and video
自己要有自己的坚持
今日睡眠质量记录79分
vlunhub- BoredHackerBlog Moriarty Corp
写单元测试的时候犯的错
ES6 deep - ES6 class class
ES6 drill down - Async functions and symbol types
单商户 V4.4,初心未变,实力依旧!
Research and development efficiency measurement index composition and efficiency measurement methodology
漫画:什么是蓝绿部署?
【毕业季】作为一名大二计科在校生,我有话想说
Transaction rollback exception