当前位置:网站首页>Flink学习11:flink程序并行度
Flink学习11:flink程序并行度
2022-08-05 06:35:00 【hzp666】
1.程序并行度介绍
slot即一个资源组,
一般默认情况下,每个节点的slot个数,是该节点CPU的核数。
flink会把一个任务拆分为多个子任务,
然后子任务会由多个并行的线程来执行。
一个任务的并行线程数目,就被称为该任务的并行度。
flink会把子任务分配到slot执行,因此任务的最大并行度,是由每个TaskManager上可用的slot数量决定的。
比如说一个taskManager上有4个slot, 那么taskManager会为每个slot分配25%的内存。
同一个slot中可以运行一个或多个线程。
同一个slot中的线程,共享同一个Java虚拟机 JVM
同一个JVM中的任务共享TCP连接和心跳信息
Task Manager的一个slot代表一个可用线程,ps:slot只对应内存隔离,并没有对CPU隔离
默认情况下,flink允许子任务共享slot,即使他们是不同任务的子任务,但是要是来自同一个作业即可。这种共享可以更好的实现资源利用率。
2.执行层次的并行度介绍
如上 生成环境后,设置setParallelism 为1,即代表设置并行度为1.
边栏推荐
猜你喜欢
随机推荐
RK3568环境安装
【C语言】结构体变量数据通过 void* 传入到函数中
【MyCat简单介绍】
Linux中安装Redis教程
typescript65-映射类型(keyof)
怎么样避免线上内存泄漏
文本样式这一篇文章就够了
游戏思考19:游戏多维计算相关:点乘、叉乘、点线面距离计算
利用将网页项目部署到阿里云上(ngnix)
(2022杭电多校六)1010-Planar graph(最小生成树)
Freeswitch操作基本配置
今天虚竹哥又发现了一款好用的国产化API工具
AH8669-AC380/VAC220V转降5V12V24V500MA内电源芯片IC方案
盒子模型小练习
Source code analysis of Nacos configuration service (full)
MySQL:order by排序查询,group by分组查询
防抖函数和节流函数
MySQL:JDBC编程
typescript68-索引查询类型(查询多个)
自媒体人一般会从哪里找素材呢?