当前位置:网站首页>pyspark --- 空串替换为None
pyspark --- 空串替换为None
2022-08-03 05:29:00 【WGS.】
df = ss.createDataFrame([{
'time_h': '', 'city': '北京', 'model': '华为'},
{
'time_h': '', 'city': '北京', 'model': '华为'},
{
'time_h': '', 'city': '', 'model': ''},
{
'time_h': None, 'city': None, 'model': None},
{
'time_h': None, 'city': '青岛', 'model': '华为'},
{
'time_h': '20', 'city': '青岛', 'model': '华为'}])\
.select(*['city', 'model', 'time_h'])
df.show()
# # 方法1
# for column in df.columns:
# trimmed = fn.trim(fn.col(column))
# df = df.withColumn(column, fn.when(fn.length(trimmed) != 0, trimmed).otherwise(None))
# 方法2
df = df.replace(to_replace='', value=None, subset=['time_h', 'model', 'city'])
df.show()
+----+-----+------+
|city|model|time_h|
+----+-----+------+
|北京| 华为| |
|北京| 华为| |
| | | |
|null| null| null|
|青岛| 华为| null|
|青岛| 华为| 20|
+----+-----+------+
+----+-----+------+
|city|model|time_h|
+----+-----+------+
|北京| 华为| null|
|北京| 华为| null|
|null| null| null|
|null| null| null|
|青岛| 华为| null|
|青岛| 华为| 20|
+----+-----+------+
边栏推荐
猜你喜欢
2021年PHP-Laravel面试题问卷题 答案记录
ESXI主机给虚拟机添加USB加密狗设备
RADIUS计费认证如何配置?这篇文章一步一步教你完成
Command errored out with exit status 1类似问题解决方案
C#程序默认以管理员权限打开
【云原生 · Kubernetes】Kubernetes简介及基本组件
el-tree设置利用setCheckedNodessetCheckedKeys默认勾选节点,以及通过setChecked新增勾选指定节点
ClickHouse删除数据之delete问题详解
2021-06-15
MySql之json_extract函数处理json字段
随机推荐
一文读懂PCB品质体系认证
MySQL的10种常用数据类型
快速理解JVM+GC
界面仅允许扫码枪录入禁止手工键盘输入
单节点部署 gpmall 商城系统(二)
xshell报错-要继续使用此程序,您必须应用最新的更新或使用新版本
5G网络入门基础--5G网络的架构与基本原理
UniApp 获取当前页面标题(navigationBarTitleText)
VO、DTO、DO、POJO的区别和概念
C # program with administrator rights to open by default
2021-06-14
502 bad gateway原因、解决方法
cookie和session区别
零代码工具拖拽流程图
使用Contab调用Shell脚本执行expdp自动备份Oracle
ESXI主机给虚拟机添加USB加密狗设备
【项目案例】配置小型网络WLAN基本业务示例
SQLServer2019安装(Windows)
【YOLOv3 SPP 数据集准备】YOLOv3 SPP数据集准备代码理解
【dllogger bug】AttributeError: module ‘dllogger‘ has no attribute ‘StdOutBackend‘