当前位置:网站首页>Flink学习11:flink程序并行度
Flink学习11:flink程序并行度
2022-08-05 06:35:00 【hzp666】
1.程序并行度介绍
slot即一个资源组,
一般默认情况下,每个节点的slot个数,是该节点CPU的核数。
flink会把一个任务拆分为多个子任务,
然后子任务会由多个并行的线程来执行。
一个任务的并行线程数目,就被称为该任务的并行度。
flink会把子任务分配到slot执行,因此任务的最大并行度,是由每个TaskManager上可用的slot数量决定的。
比如说一个taskManager上有4个slot, 那么taskManager会为每个slot分配25%的内存。
同一个slot中可以运行一个或多个线程。
同一个slot中的线程,共享同一个Java虚拟机 JVM
同一个JVM中的任务共享TCP连接和心跳信息
Task Manager的一个slot代表一个可用线程,ps:slot只对应内存隔离,并没有对CPU隔离
默认情况下,flink允许子任务共享slot,即使他们是不同任务的子任务,但是要是来自同一个作业即可。这种共享可以更好的实现资源利用率。
2.执行层次的并行度介绍
如上 生成环境后,设置setParallelism 为1,即代表设置并行度为1.
边栏推荐
- Database table insert data
- 技术分析模式(十一)如何交易头肩形态
- Mysql master-slave delay reasons and solutions
- 技术分析模式(七)发挥差距
- 《基于R语言的自动数据收集》--第3章 XML和JSON
- Technical Analysis Patterns (11) How to Trade Head and Shoulders Patterns
- 2022起重机司机(限桥式起重机)考试题库及模拟考试
- AI+视频技术助力保障校园安全,校园智能安防平台该如何建设?
- 2022最强版应届生软件测试面试攻略
- Tips for formatting code indentation
猜你喜欢
随机推荐
给网站套上Cloudflare(以腾讯云为例)
基于KECA-IGWO-KELM的间歇过程故障诊断方法
今天虚竹哥又发现了一款好用的国产化API工具
开启防火墙iptable规则后,系统网络变慢
Promise (三) async/await
更改小程序原生radio的颜色及大小
LaTeX Notes
数据库多表关联插入数据
How to avoid online memory leaks
FPGA解析B码----连载4
字体样式及其分类
原来使Maya Arnold也能渲染出高质量作品!超赞小技巧
软件测试必问面试题(附答案和解析)
淘宝宝贝页面制作
日本卫生设备行业协会:日本温水喷淋马桶座出货量达1亿套
2022 Fusion Welding and Thermal Cutting Operation Certificate Exam Questions and Mock Exams
边缘盒子+时序数据库,美的数字化平台 iBUILDING 背后的技术选型
Put Cloudflare on the website (take Tencent Cloud as an example)
【工具配置篇】VSCode 常用使用总结
MyCat安装