当前位置:网站首页>湖仓一体电商项目(二):项目使用技术及版本和基础环境准备
湖仓一体电商项目(二):项目使用技术及版本和基础环境准备
2022-07-30 12:16:00 【Lanson】
文章目录
项目使用技术及版本和基础环境准备
一、项目使用技术及版本
下表列出项目中使用的大数据技术组件及各个组件的版本,如下:
使用技术 | 版本 |
---|---|
zookeeper | 3.4.13 |
HDFS | 3.1.4/3.2.2 |
Hive | 3.1.2(MySQL 5.7.32) |
iceberg | 0.11.1 |
Hbase | 2.2.6 |
phoenix | 5.0.0 |
kafka | 0.11.0.3 |
redis | 2.8.18 |
flink | 1.11.6 |
flume | 1.9.0 |
maxwell | 1.28.2 |
clickhouse | 21.9.4.35 |
二、项目基础环境准备
这里我们使用5台节点来安装各个大数据组件,每台节点给了3G内存,4个core,并且每台节点已经关闭防火墙、配置主机名、设置yum源、各个节点时间同步、各个节点两两免密、安装JDK操作。5台节点信息如下:
节点IP | 节点名称 |
---|---|
192.168.179.4 | node1 |
192.168.179.5 | node2 |
192.168.179.6 | node3 |
192.168.179.7 | node4 |
192.168.179.8 | node5 |
下篇一一进行基础技术组件搭建。
边栏推荐
- 为什么说Prometheus是足以取代Zabbix的监控神器?
- 电脑奔溃的时候,到底发生了什么?
- PyQt5快速开发与实战 8.4 设置窗口背景 && 8.5 不规则窗口的显示
- 13-GuliMall Basics Summary
- Based on MySQL database, Redis cache, MQ message middleware, ES high availability scheme of search engine parsing
- [SCTF2019]Flag Shop
- 即时通讯-改变社交与工作状态的新型软件
- Matlab绘图(1)——二维绘图
- IO/multiplexing (select/poll/epoll)
- 京东二面痛遭中间件虐杀,30天学透这套中间件小册,挺进阿里
猜你喜欢
Concepts of cloud-native applications and 15 characteristics of cloud-native applications
来n遍剑指--04. 二维数组中的查找
js 构造函数 return 非空对象,其实例化的对象在原型上的差异
解码Redis最易被忽视的CPU和内存占用高问题
使用百度EasyDL实现明厨亮灶厨师帽识别
OpenHarmony环境搭建报错: ImportError: cannot import name ‘VERSION‘ from ‘hb.__main__‘
Another blast!Ali's popular MySQL advanced collection is open source, reaching P7
概率论的学习整理2:如何对随机实验的对象:“事件” 进行计数呢? 四种计数方法,不只是排列组合
最基础01/完全背包
13-GuliMall Basics Summary
随机推荐
概率论的学习整理--番外1:可重复且无次序的计数公式C(n+k-1,k) 的例题 : 同时丢3个骰子,会有多少种情况?答案不是216而是56!
【记一个kaggle划水比赛】PetFinder.my - Pawpularity Contest 宠物预测
作业7.29 目录相关函数和文件属性相关函数
Reverse linked list - recursive inversion method
Horizontal comparison of 5 commonly used registration centers, whether it is used for interviews or technical selection, is very helpful
最基础01/完全背包
Unity Beginner 6 - Simple UI production (blood bar production) and audio addition and NPC dialogue bubbles (2d)
初级永磁直线电机双动子电流镜像容错控制
ECCV 2022 | 新加坡国立大学提出:全新可恢复型模型遗忘框架LIRF!
别被隐私计算表象骗了 | 量子位智库报告(附下载)
[SCTF2019]Flag Shop
【MySQL系列】-B+树索引和HASH索引有什么区别
我又造了个轮子:GrpcGateway
来n遍剑指--04. 二维数组中的查找
saltstack学习1入门基础
基于DoS攻击能量分级的ICPS综合安全控制与通信协同设计
IO/多路复用(select/poll/epoll)
北上广线下活动丨年底最不可错过的技术聚会都齐了
SQL 根据时间范围查询数据
Matlab基础(1)——基础知识