当前位置:网站首页>TDengine可通过数据同步工具 DataX读写
TDengine可通过数据同步工具 DataX读写
2022-07-05 09:28:00 【涛思数据(TDengine)】
小 T 导读:DataX 是由阿里云开源的离线数据同步工具/平台,目前已经支持多种主流异构数据源在内的高效的数据互相同步功能。我们的研发团队完成了 TDengine 的适配,相关代码已被 DataX 官方接受并合并到主干中。
DataX 是由阿里云开源的离线数据同步工具/平台,目前已经实现了包括 MySQL、Oracle、OceanBase、SQL Server、PostgreSQL、HDFS、Hive、HBase 等多种异构数据源在内的高效的数据互相同步功能。
DataX 的设计思路是:
DataX 本身作为数据同步框架,将不同数据源的同步抽象为从数据源读取数据的
Reader
插件,以及向目标端写入数据的Writer
插件,理论上 DataX 框架可以支持任意数据源类型的数据同步工作。同时 DataX 插件体系作为一套生态系统,每接入一套新数据源,就可以实现该数据源和现有数据源的互通。
基于该设计思路,我们的研发团队完成了 TDengine 的适配,实现了 TDengineReader
和 TDengineWriter
两个插件,并被 DataX 官方接受,合并到了其主干中。
TDengineReader
提供的功能包括:
- 支持通过 SQL 进行数据筛选;
- 根据时间间隔进行任务切分;
- 支持 TDengine 的全部数据类型;
- 支持批量读取,可以通过
batchSize
参数控制批量拉取结果集的大小,从而提高读取性能。
TDengineWriter
支持的功能包括:
- 支持 OpenTSDB 的 json 格式的行协议,可以使用 TDengine 的 Schemaless 方式写入 TDengine。
- 支持批量写入,可以通过
batchSize
参数控制批量写入的数量,从而提高写入性能。
目前 TDengine 已经加入 DataX 正式支持的数据库列表中。
现在,如果用户要将历史 Database(比如 MySQL、OpenTSDB 等)中的数据迁移到 TDengine,或者将 TDengine 中的数据导出,就可以利用 DataX 来实现了。
更多使用细节,可以参考“基于 DataX 的 TDengine 数据迁移工具”一文。
基于 DataX 的 TDengineWriter 和 TDengineReader 的实现和最新动态,请关注:https://github.com/taosdata/DataX
想了解更多 TDengine Database的具体细节,欢迎大家在GitHub上查看相关源代码。
边栏推荐
- What should we pay attention to when entering the community e-commerce business?
- [two objects merged into one object]
- AUTOSAR from getting started to mastering 100 lectures (103) -dbc file format and creation details
- Kotlin introductory notes (II) a brief introduction to kotlin functions
- Principle and performance analysis of lepton lossless compression
- [JS sort according to the attributes in the object array]
- 【PyTorch Bug】RuntimeError: Boolean value of Tensor with more than one value is ambiguous
- 测试老鸟浅谈unittest和pytest的区别
- Multiple solutions to one problem, asp Net core application startup initialization n schemes [Part 1]
- How to choose the right chain management software?
猜你喜欢
【ManageEngine】如何利用好OpManager的报表功能
Unity skframework framework (24), avatar controller third person control
Principle and performance analysis of lepton lossless compression
信息与熵,你想知道的都在这里了
Progressive JPEG pictures and related
Priority queue (heap)
The most comprehensive promotion strategy: online and offline promotion methods of E-commerce mall
C language - input array two-dimensional array a from the keyboard, and put 3 in a × 5. The elements in the third column of the matrix are moved to the left to the 0 column, and the element rows in ea
Unity SKFramework框架(二十四)、Avatar Controller 第三人称控制
Applet customization component
随机推荐
微信小程序获取住户地区信息
Multiple solutions to one problem, asp Net core application startup initialization n schemes [Part 1]
Figure neural network + comparative learning, where to go next?
Creation and reference of applet
Uni app implements global variables
LeetCode 496. Next larger element I
阿里十年测试带你走进APP测试的世界
Lepton 无损压缩原理及性能分析
Newton iterative method (solving nonlinear equations)
Unity SKFramework框架(二十二)、Runtime Console 运行时调试工具
OpenGL - Model Loading
[JS sort according to the attributes in the object array]
Hi Fun Summer, play SQL planner with starrocks!
Project practice | excel export function
[how to disable El table]
What should we pay attention to when developing B2C websites?
基于宽表的数据建模应用
LeetCode 503. Next bigger Element II
Unity SKFramework框架(二十三)、MiniMap 小地图工具
代码语言的魅力