当前位置:网站首页>Bifrost 之 文件队列(一)
Bifrost 之 文件队列(一)
2020-11-09 00:28:00 【布哦】
为了解决表同步设置并行同步,共用一个Binlog解析线程,因为某一个同步出错等原因造成的 Binlog 解析阻塞的情况.
在 Bifrost v1.2.1 版本开始 , Bifrost 新增了一个文件队列功能,在表同步出现阻塞的时候,自动启动文件队列,并不影响 Binlog 解析,也不影响其他表数据同步。
简单的说 只要所有同步都足够快的时候, 就用的纯内存队列,只要有一个同步出错了,为了保证自己出错,不影响 其他表同步,当前同步线程,就自动启用的一个文件队列.
文件队列,是在同步出现问题,跟不上Binlog解析速度的时候 ,自动启动的,不需要人为界面点击启动.当前 管理系统界面 点提供了方法 让用户点击强制启动!
文件队列配置
#是否开启文件队列功能 true|false
file_queue_usable=true
#统计是否启文件队列的时间,单位毫秒
file_queue_usable_count_time_diff=5000
#file_queue_usable_count_time_diff 时间内内存队列被挤满的次数
file_queue_usable_count=10
假如配置 file_queue_usable = false ,不管什么情况,都不会启用文件队列
默认情况下,文件队列是在 5000ms 内 内存队列连续被写满10次,自动启动,不需要人为在管理界面任何操作
文件队列,是按表的同步配置为单位启动的,也就是说,假如一个表配置了 10 个同步, 其中第一个配置同步是同步到 Redis, 在这个同步到 Redis 的同步中同步慢了,出现了内存队列阻塞的情况下,则启用一个文件队列,用于缓冲 同步到当前这个表同步到 Redis
版权声明
本文为[布哦]所创,转载请带上原文链接,感谢
https://my.oschina.net/u/4233862/blog/4708421
边栏推荐
- App crashed inexplicably. At first, it thought it was the case of the name in the header. Finally, it was found that it was the fault of the container!
- 【200人面试经验】,程序员面试,常见面试题解析
- 如何将 PyTorch Lightning 模型部署到生产中
- C / C + + Programming Notes: pointer! Understand pointer from memory, let you understand pointer completely
- 第五章编程
- Introduction skills of big data software learning
- The interface testing tool eolinker makes post request
- Leetcode-11: container with the most water
- Octave基本语法
- 接口测试工具Eolinker进行post请求
猜你喜欢
Have you ever thought about why the transaction and refund have to be split into different tables
C + + adjacency matrix
Factory Pattern模式(简单工厂、工厂方法、抽象工厂模式)
第五章编程
App crashed inexplicably. At first, it thought it was the case of the name in the header. Finally, it was found that it was the fault of the container!
SaaS: another manifestation of platform commercialization capability
How to get started with rabbitmq
非阻塞的无界线程安全队列 —— ConcurrentLinkedQueue
Brief introduction of Integrated Architecture
Constructors and prototypes
随机推荐
非阻塞的无界线程安全队列 —— ConcurrentLinkedQueue
Linked list
你有没有想过为什么交易和退款要拆开不同的表
Fiddler can't grab requests from browsers like Google_ Solution
使用容器存储表格数据
基于链表的有界阻塞队列 —— LinkedBlockingQueue
Newbe.ObjectVisitor Example 1
Introduction to nmon
代码保存
[200 interview experience], programmer interview, common interview questions analysis
Introduction and application of swagger
Tips in Android Development: requires permission android.permission write_ Settings solution
Combine theory with practice to understand CORS thoroughly
接口测试工具Eolinker进行post请求
上线1周,B.Protocal已有7000ETH资产!
Programmers should know the URI, a comprehensive understanding of the article
Concurrent linked queue: a non blocking unbounded thread safe queue
Test comparison of three domestic cloud databases
Web上的分享(Share)API
android开发中提示:requires permission android.permission write_settings解决方法