当前位置:网站首页>pyspark --- 空串替换为None
pyspark --- 空串替换为None
2022-08-03 05:29:00 【WGS.】
df = ss.createDataFrame([{
'time_h': '', 'city': '北京', 'model': '华为'},
{
'time_h': '', 'city': '北京', 'model': '华为'},
{
'time_h': '', 'city': '', 'model': ''},
{
'time_h': None, 'city': None, 'model': None},
{
'time_h': None, 'city': '青岛', 'model': '华为'},
{
'time_h': '20', 'city': '青岛', 'model': '华为'}])\
.select(*['city', 'model', 'time_h'])
df.show()
# # 方法1
# for column in df.columns:
# trimmed = fn.trim(fn.col(column))
# df = df.withColumn(column, fn.when(fn.length(trimmed) != 0, trimmed).otherwise(None))
# 方法2
df = df.replace(to_replace='', value=None, subset=['time_h', 'model', 'city'])
df.show()
+----+-----+------+
|city|model|time_h|
+----+-----+------+
|北京| 华为| |
|北京| 华为| |
| | | |
|null| null| null|
|青岛| 华为| null|
|青岛| 华为| 20|
+----+-----+------+
+----+-----+------+
|city|model|time_h|
+----+-----+------+
|北京| 华为| null|
|北京| 华为| null|
|null| null| null|
|null| null| null|
|青岛| 华为| null|
|青岛| 华为| 20|
+----+-----+------+
边栏推荐
猜你喜欢
随机推荐
linux安装redis
cookie和session区别
Chrome插件开发入门
process.env环境变量配置方式(配置环境变量区分开发环境和生产环境)
CPU上下文切换详解思维导图
Prometheus monitors container, pod, email alerts
MySql之json_extract函数处理json字段
你真的了解volatile关键字吗?
Use of Alibaba Cloud SMS Service (create, test notes)
【Personal summary】Key points of MES system development/management
UniApp 获取当前页面标题(navigationBarTitleText)
【FCOS】FCOS理论知识讲解
【云原生 · Kubernetes】Kubernetes基础环境搭建
Content type ‘applicationx-www-form-urlencoded;charset=UTF-8‘ not supported“【已解决】
Oracle常用命令-基本命令
【设计指南】避免PCB板翘,合格的工程师都会这样设计!
el-tabs(标签栏)的入门学习
Oracle数据文件收缩_最佳实践_超简单方法
prometheus 监控mysql数据库
【英语单词】常见深度学习中编程用到的英语词汇









