当前位置:网站首页>湖仓一体电商项目(二):项目使用技术及版本和基础环境准备
湖仓一体电商项目(二):项目使用技术及版本和基础环境准备
2022-07-30 12:16:00 【Lanson】
文章目录
项目使用技术及版本和基础环境准备
一、项目使用技术及版本
下表列出项目中使用的大数据技术组件及各个组件的版本,如下:
使用技术 | 版本 |
|---|---|
zookeeper | 3.4.13 |
HDFS | 3.1.4/3.2.2 |
Hive | 3.1.2(MySQL 5.7.32) |
iceberg | 0.11.1 |
Hbase | 2.2.6 |
phoenix | 5.0.0 |
kafka | 0.11.0.3 |
redis | 2.8.18 |
flink | 1.11.6 |
flume | 1.9.0 |
maxwell | 1.28.2 |
clickhouse | 21.9.4.35 |
二、项目基础环境准备
这里我们使用5台节点来安装各个大数据组件,每台节点给了3G内存,4个core,并且每台节点已经关闭防火墙、配置主机名、设置yum源、各个节点时间同步、各个节点两两免密、安装JDK操作。5台节点信息如下:
节点IP | 节点名称 |
|---|---|
192.168.179.4 | node1 |
192.168.179.5 | node2 |
192.168.179.6 | node3 |
192.168.179.7 | node4 |
192.168.179.8 | node5 |
下篇一一进行基础技术组件搭建。
边栏推荐
- Matlab基础(3)——元胞与结构体
- 私有化部署的即时通讯平台,为企业移动业务安全保驾护航
- saltstack学习3模块
- MySQL【排序与分页】
- PanGu-Coder: 函数级的代码生成模型
- Reverse linked list - recursive inversion method
- Dry Goods Sharing: Various Implementation Methods of Bean Management Factory with Great Use of Small Skills
- 什么是私有云?您应该知道的 6 个优势
- Go 事,Gopher 要学的数字类型,变量,常量,运算符 ,第2篇
- 概率论的学习和整理--番外4: 关于各种平均数:算术平均数,几何平均数,调和平均数,以及加权平均数和平方平均数 (未完成)
猜你喜欢
随机推荐
Rust 从入门到精通02-安装
崩了,该来的终究躲不掉
JD.com was brutally killed by middleware on two sides. After 30 days of learning this middleware booklet, it advanced to Ali.
限时招募!淘宝无货源副业,800/天,不限经验,男女皆可,仅限前200名!
MySQL【多表查询】
[BJDCTF2020]Cookie is so stable-1|SSTI注入
The method of judging the same variable without the if branch
CMake library search function does not search LD_LIBRARY_PATH
Matlab基础(5)——符号运算
Js - 内置对象
no matching host key type found. Their offer: ssh-rsa
和数集团:让智慧城市更智慧,让现实生活更美好
Mysql 批量插入事务唯一键重复处理
[BJDCTF2020]Cookie is so stable-1|SSTI injection
私有化部署的即时通讯平台,为企业移动业务安全保驾护航
数据湖(十八):Flink与Iceberg整合SQL API操作
Vivado安装后添加器件库
刷屏了!!!
MySQL【排序与分页】
AlphaFold预测了几乎所有已知蛋白质!涵盖100万物种2.14亿结构,数据集开放免费用...









