spark analyze命令使用及其作用 map join broadcast join 广播join

下附大量官方文档链接

使用 

ANALYZE TABLE - Spark 3.0.0 Documentation

注意 hive中不支持该语法,必须用spark sql.

作用

为spark 任务join 提供参考.如果你analyze统计了表 并且<10MB 那么在join的时候就会使用 广播join,即broadcast join 即 map join.

//                            _ooOoo_  
//                           o8888888o  
//                           88" . "88  
//                           (| -_- |)  
//                            O\ = /O  
//                        ____/`---'\____  
//                      .   ' \\| |// `.  
//                       / \\||| : |||// \  
//                     / _||||| -:- |||||- \  
//                       | | \\\ - /// | |  
//                     | \_| ''\---/'' | |  
//                      \ .-\__ `-` ___/-. /  
//                   ___`. .' /--.