【TcaplusDB知识库】TcaplusDB表数据缓写介绍

【TcaplusDB知识库】TcaplusDB表数据缓写介绍

缓写功能介绍：

表数据缓写服务是指tcaplus的增量数据可以缓写到第三方系统（目前支持MySQL和Kafka），用作产品数据查询与分析。其原理为tcapsvr将（从启用缓写开始的）增量写入数据（基于tcaplus binlog）同步到tcapdb，tcapdb再写入/更改到MySQL或者Kafka中。所以该功能必须保证tcapdb机器有访问MySQL或者Kafka的权限，如果是MySQL，还要有在Mysql建表的权限。否则改功能无法配置成功。

以缓写MySQL为例（Kafka入口跟配置步骤类似），配置方法为：进入表管理页面，找到相应的表，右边有"缓写"链接，即可配置缓写：

缓写页面如下，填入相应的参数即可配置缓写：

提交后会生成事务，配置服务。

其中：

• 缓写周期：代表数据用户可以接受的数据从Tcapdb同步到第三方系统的延迟，最小1s，这个值越大，代表用户对时延越不敏感。Tcapdb侧会对缓写周期时间窗口内的请求做去重（例如，1s内对同一个key有多次Replace操作，去重后只需要将最后一次Replace后的内容同步给第三方系统，可以省去了前两次的请求），从而降低整体同步的QPS提升性能。

• key字段映射：tcaplus表key字段到MySQL表或者Kafka的key字段的映射，无特别要求的话两个系统的表字段最好保持一致，利于定位问题。不支持二进制类型的key字段（即tdr中的数组、二级字段，pb中的 bytes 、repeated等类型）缓写。

• value字段映射：tcaplus表value字段到MySQL表或者Kafka的value字段的映射，无特别要求的话两个系统的表字段最好保持一致，利于定位问题。value字段如果是二进制类型，会以binary同步到MySQL或者Kafka，需要用户自己从MySQL读取反序列化解析。

注意：

• tcaplus缓写功能只会同步缓写启用之后的增量修改到第三方系统，没有启用之前的数据是没有同步过去的，这部分数据如果也希望同步的话需要DBA拉取冷备，将txh数据dump出来导入进第三方系统，再开启缓写。

• 缓写的性能瓶颈在于tcapsvr同步线程CPU，tcapsvr侧单机QPS最大可达到8w/s。tcapdb侧的能力可以水平扩展不是瓶颈。

更多信息请关注TcaplusDB微信公众号，风里雨里，我们一直在等你！

TcaplusDB是腾讯出品的分布式NoSQL数据库，存储和调度的代码完全自研。具备缓存+落地融合架构、PB级存储、毫秒级时延、无损水平扩展和复杂数据结构等特性。同时具备丰富的生态、便捷的迁移、极低的运维成本和五个九高可用等特点。客户覆盖游戏、互联网、政务、金融、制造和物联网等领域。