当前位置:网站首页>Spark 判断DF为空
Spark 判断DF为空
2022-07-07 18:15:00 【南风知我意丿】
不同方案性能测试
我有同样的问题,并且测试了3个主要解决方案:
df!= null df.count> 0
df.head(1).isEmpty()
df.rdd.isEmpty
大约需要9366ms
大约需要5607毫秒
大约需要1921ms
当然这3种有效,但是就性能而言,这是我在执行时间方面在我的机器的同一DF上执行这些方法时发现的
更新另一种方法
/** * 判断DataFrame是否为空 * @param df DataFrame * @return true 表示为空 or false 表示非空 */
def isEmpty(df: DataFrame): Boolean ={
try{
df.head()
false
}catch {
case e: NoSuchElementException =>
println(e.getMessage)
true
}
}
边栏推荐
- 使用 BR 恢复 Azure Blob Storage 上的备份数据
- CUDA versions are inconsistent, and errors are reported when compiling apex
- 有用的win11小技巧
- Force buckle 599 Minimum index sum of two lists
- JVM 类加载机制
- 浅尝不辄止系列之试试腾讯云的TUIRoom(晚上有约,未完待续...)
- BI的边界:BI不适合做什么?主数据、MarTech?该如何扩展?
- 力扣 989. 数组形式的整数加法
- Implement secondary index with Gaussian redis
- [résolution] le paquet « xxxx» n'est pas dans goroot
猜你喜欢
Open source heavy ware! Chapter 9 the open source project of ylarn causal learning of Yunji datacanvas company will be released soon!
LeetCode_ 7_ five
有了ST7008, 蓝牙测试完全拿捏住了
Data island is the first danger encountered by enterprises in their digital transformation
How to test CIS chip?
vulnhub之tre1
网络原理(1)——基础原理概述
Chapter 9 Yunji datacanvas was rated as 36 krypton "the hard core technology enterprise most concerned by investors"
School 1 of vulnhub
大厂经典指针笔试题
随机推荐
Useful win11 tips
EasyGBS级联时,上级平台重启导致推流失败、画面卡住该如何解决?
MSE API学习
【哲思与实战】程序设计之道
CSDN syntax description
One click deployment of any version of redis
关于cv2.dnn.readNetFromONNX(path)就报ERROR during processing node with 3 inputs and 1 outputs的解决过程【独家发布】
mysql 的一些重要知识
pom.xml 配置文件标签:dependencies 和 dependencyManagement 区别
vulnhub之Funfox2
4G设备接入EasyGBS平台出现流量消耗异常,是什么原因?
Machine learning notes - explore object detection datasets using streamlit
CUDA versions are inconsistent, and errors are reported when compiling apex
Solve the problem of incomplete display around LCD display of rk3128 projector
【Auto.js】自动化脚本
Opencv学习笔记 高动态范围 (HDR) 成像
rk3128投影仪lcd显示四周显示不完整解决
Precautions for cjson memory leakage
使用 BR 备份 TiDB 集群数据到 Azure Blob Storage
CSDN语法说明