当前位置：网站首页>spark中的bykey

spark中的bykey

2022-08-03 05:32:00 【贾斯汀玛尔斯】

reduceByKey 与 groupByKey 的区别

reduceByKey：具有预聚合操作
groupByKey：没有预聚合
在不影响业务逻辑的前提下，优先采用 reduceByKey。

reduceByKey、foldByKey、aggregateByKey、combineByKey 区

ReduceByKey 没有初始值 分区内和分区间逻辑相同
foldByKey 有初始值 分区内和分区间逻辑可以相同
aggregateByKey 有初始值 分区内和分区间逻辑可以不同
combineByKey 初始可以变化结构 分区内和分区间逻辑不同

原网站

版权声明
本文为[贾斯汀玛尔斯]所创，转载请带上原文链接，感谢
https://blog.csdn.net/u011095039/article/details/126075695

边栏推荐

猜你喜欢

随机推荐