LinkedIn DataHub --- 经验分享

Passion begets persistence

---

datahub官网地址: https://datahubproject.io/docs/.
github地址: https://github.com/datahub-project/datahub.
在线Demo: https://demo.datahubproject.io.

---

1. docker command

1.1 docker quickstart

• github地址: https://github.com/datahub-project/datahub.
• docker没有装neo4j，所以看这篇yml.
• 将数据写入mysql
  
• 进入mysql，docker exec -it containerId /bin/bash
  

1.2 python3 -m datahub docker nuke --keep-data

1.3 docker data volumes

2. error

2.1 DPI-147:Cannot locate a 64-bit Oracle Client library

• 首先确保oracle client安装完成，以及cx_oracle
  官网安装: https://blog.csdn.net/weixin_43916074/article/details/124827554.

---

• 看报警记录，确保当前databub和python与服务器的版本相同，我当时就是执行了下面的命令导致版本不一致。所以找不到cx_oracle.

  python3 -m datahub docker nuke --keep-data
  python3 -m datahub docker quickstart --version v0.8.38
  

• 要升版，保存数据，然后就直接升
  python3 -m datahub docker nuke --keep-data
  官网参考: https://datahubproject.io/docs/cli.
  

2.2 UI界面无法cancle

• ingest已经执行完，UI还在转圈圈
  暂时无解。

3. delete metadata

• 删除qa中的oracle
  python3 -m datahub delete --env QA --entity_type dataset --platform oracle
  

4. oracle permission

• 设定oracle 账密权限，只能看到一个schema下的table/view

---

• 在datahub config中配置正则
  
• 多翻官方文档，熟悉配置
  官网参考: https://datahubproject.io/docs/generated/ingestion/sources/oracle.