当前位置:网站首页>Flink学习11:flink程序并行度
Flink学习11:flink程序并行度
2022-08-05 06:35:00 【hzp666】
1.程序并行度介绍

slot即一个资源组,
一般默认情况下,每个节点的slot个数,是该节点CPU的核数。
flink会把一个任务拆分为多个子任务,
然后子任务会由多个并行的线程来执行。
一个任务的并行线程数目,就被称为该任务的并行度。
flink会把子任务分配到slot执行,因此任务的最大并行度,是由每个TaskManager上可用的slot数量决定的。

比如说一个taskManager上有4个slot, 那么taskManager会为每个slot分配25%的内存。
同一个slot中可以运行一个或多个线程。

同一个slot中的线程,共享同一个Java虚拟机 JVM
同一个JVM中的任务共享TCP连接和心跳信息
Task Manager的一个slot代表一个可用线程,ps:slot只对应内存隔离,并没有对CPU隔离
默认情况下,flink允许子任务共享slot,即使他们是不同任务的子任务,但是要是来自同一个作业即可。这种共享可以更好的实现资源利用率。

2.执行层次的并行度介绍


如上 生成环境后,设置setParallelism 为1,即代表设置并行度为1.
边栏推荐
猜你喜欢
随机推荐
基于快速行进平方法的水面无人船路径规划
Rapid Medical超小体积且唯一可调的取栓器获得FDA核准
Japan Sanitary Equipment Industry Association: Japan's warm water shower toilet seat shipments reached 100 million sets
工作3年,回想刚入门和现在的今昔对比,笑谈一下自己的测试生涯
(四)旋转物体检测数据roLabelImg转DOTA格式
腾讯实习总结
Hong Kong International Jewellery Show and Hong Kong International Diamond, Gem and Pearl Show kick off
golang-条件语句
h5页面回退到微信小程序并携带参数
typescript62-泛型工具类型(record)
七夕!专属于程序员的浪漫表白
Freeswitch操作基本配置
2022 crane driver (limited bridge crane) exam question bank and simulation test
Source code analysis of Nacos configuration service (full)
八大排序之快速排序
LaTeX Notes
2022 Fusion Welding and Thermal Cutting Operation Certificate Exam Questions and Mock Exams
document.querySelector() method
【动态类型检测 Objective-C】
lingo入门——河北省第三届研究生建模竞赛B题








