datax安装

一、下载tar包

github地址：https://github.com/alibaba/DataX
下载tar包地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

二、上传tar包解压并安装

上传至服务器/opt/下并解压

 tar -xzvf datax.tar.gz

  
   

  
   

    
1
   

三、上传解压datax-web

链接: https://pan.baidu.com/s/1B8bb_KeyIYvpbI5s3IwCjA 提取码: 3pah
上传压缩包至服务目录，这里我上传到/usr/local/下，具体可根据自身希望上传到哪个目录就行

unzip datax-web-2.1.2.zip

  
   

  
   

    
1
   

四、创建datax-web数据库

sql文件在以下目录

四、修改配置文件

1.修改数据库连接
modules下的datax-admin下的conf下的bootstrap.properties

2.注意datax-executor下的bin下的env.properties的PYTOHON_PATH的配置地址，需与我们安装的datax目录一致

五、启动datax-web及访问

执行datax-web-2.1.2下的bin下的start-all.sh启动所有模块

访问：http://服务器IP:9527/index.html#/dashboard

六、记录实际开发过程中可能会遇到的问题

1.解决Oracle没有dba权限查询用户和表失败问题

getSQLQueryTables方法sql中的dba_tables修改为all_tables。
getSQLQueryTableSchema方法sql中的dba_users修改为all_users。

  
   

  
   

    
1
    
2
   

通过下载源码后修改指定方法，打包jar后替换datax-admin下的lib下的datax-web-2.1.2.jar

2.解决datax写数据至db2数据库

datax暂时没有独立插件支持db2，需要使用通用RDBMS；这里是写入db2，使用rdbmswriter，对应目录为/datax/plugin/writer/rdbmswriter/
修改该目录下的plugin.json，注册数据库驱动

{
     
    "name": "rdbmswriter",
    "class": "com.alibaba.datax.plugin.reader.rdbmswriter.RdbmsWriter",
    "description": "useScene: prod. mechanism: Jdbc connection using the database, execute select sql, retrieve data from the ResultSet. warn: The more you know about the database, the less problems you encounter.",
    "developer": "alibaba",
    "drivers":["com.ibm.db2.jcc.DB2Driver"]
}

  
   

  
   

    
1
    
2
    
3
    
4
    
5
    
6
    
7
   

上传db2驱动到该目录下的libs，如图所示

job文件都放在/datax/job目录
创建需要执行的job的json文件

执行任务命令

python /opt/datax/bin/datax.py /opt/datax/job/xx.json

  
   

  
   

    
1