当前位置：网站首页>groupByKey和reduceBykey的区别

groupByKey和reduceBykey的区别

2022-08-01 21:21:00 【xiexiexie0520】

groupByKey和reduceBykey的区别？

groupByKey

groupByKey.png

reduceBykey

reduceBykey.png

区别：

  • reduceBykey会在map端进行预聚合，可以减少shuffle过程中传输的数据量，提高执行效率，groupByKey不能做预聚合
  • 在某些业务场景reduceBykey没有办法实现，需要使用groupByKey
  • 尽量使用reduceBykey代替groupByKey
原网站

版权声明
本文为[xiexiexie0520]所创，转载请带上原文链接，感谢
https://blog.csdn.net/holiday0520/article/details/126085925

边栏推荐

猜你喜欢

随机推荐