当前位置:网站首页>Flink学习11:flink程序并行度
Flink学习11:flink程序并行度
2022-08-05 06:35:00 【hzp666】
1.程序并行度介绍

slot即一个资源组,
一般默认情况下,每个节点的slot个数,是该节点CPU的核数。
flink会把一个任务拆分为多个子任务,
然后子任务会由多个并行的线程来执行。
一个任务的并行线程数目,就被称为该任务的并行度。
flink会把子任务分配到slot执行,因此任务的最大并行度,是由每个TaskManager上可用的slot数量决定的。

比如说一个taskManager上有4个slot, 那么taskManager会为每个slot分配25%的内存。
同一个slot中可以运行一个或多个线程。

同一个slot中的线程,共享同一个Java虚拟机 JVM
同一个JVM中的任务共享TCP连接和心跳信息
Task Manager的一个slot代表一个可用线程,ps:slot只对应内存隔离,并没有对CPU隔离
默认情况下,flink允许子任务共享slot,即使他们是不同任务的子任务,但是要是来自同一个作业即可。这种共享可以更好的实现资源利用率。

2.执行层次的并行度介绍


如上 生成环境后,设置setParallelism 为1,即代表设置并行度为1.
边栏推荐
猜你喜欢

如何将.asd恢复为Word文档

Nacos cluster construction

合工大苍穹战队视觉组培训Day9——相机标定

DNSlog外带数据注入

女生做软件测试会不会成为一个趋势?

Source code analysis of Nacos configuration service (full)

LabVIEW中如何实现任意形状的不规则按键

《PyTorch深度学习实践》第十一课(卷积神经网络CNN高级版)

腾讯实习总结

After working for 3 years, I recalled the comparison between the past and the present when I first started, and joked about my testing career
随机推荐
概率与期望部分题解
香港国际珠宝展及香港国际钻石、宝石及珍珠展揭幕
Mysql master-slave delay reasons and solutions
1、Citrix XenDesktop 2203之AD域系统安装(一)
2022起重机司机(限桥式起重机)考试题库及模拟考试
UDP group (multi)cast
【内推】新相微电子
在小程序中关于js数字精度丢失的解决办法
技术分析模式(七)发挥差距
Advanced Redis
开源中国活动合作说明书
矩阵的构造
Technical Analysis Patterns (11) How to Trade Head and Shoulders Patterns
360度反馈调查表中的问题示范
UDP组(多)播
Takeda Fiscal 2022 First Quarter Results Strong; On Track to Achieve Full-Year Management Guidance
Shiny04---Application of DT and progress bar in shiny
MySQL: JDBC programming
AI + video technology helps to ensure campus security, how to build a campus intelligent security platform?
Technical Analysis Mode (7) Playing the Gap