当前位置:网站首页>Spark 判断DF为空

Spark 判断DF为空

2022-07-07 18:15:00 南风知我意丿


不同方案性能测试

我有同样的问题,并且测试了3个主要解决方案:

df!= null df.count> 0
df.head(1).isEmpty()
df.rdd.isEmpty

大约需要9366ms
大约需要5607毫秒
大约需要1921ms

当然这3种有效,但是就性能而言,这是我在执行时间方面在我的机器的同一DF上执行这些方法时发现的

更新另一种方法

/** * 判断DataFrame是否为空 * @param df DataFrame * @return true 表示为空 or false 表示非空 */
  def isEmpty(df: DataFrame): Boolean ={
    

    try{
    
      df.head()
      false
    }catch {
    
      case e: NoSuchElementException =>
        println(e.getMessage)
        true
    }

  }
原网站

版权声明
本文为[南风知我意丿]所创,转载请带上原文链接,感谢
https://blog.csdn.net/Lzx116/article/details/125664174