当前位置:网站首页>pyspark --- 空串替换为None
pyspark --- 空串替换为None
2022-08-03 05:29:00 【WGS.】
df = ss.createDataFrame([{
'time_h': '', 'city': '北京', 'model': '华为'},
{
'time_h': '', 'city': '北京', 'model': '华为'},
{
'time_h': '', 'city': '', 'model': ''},
{
'time_h': None, 'city': None, 'model': None},
{
'time_h': None, 'city': '青岛', 'model': '华为'},
{
'time_h': '20', 'city': '青岛', 'model': '华为'}])\
.select(*['city', 'model', 'time_h'])
df.show()
# # 方法1
# for column in df.columns:
# trimmed = fn.trim(fn.col(column))
# df = df.withColumn(column, fn.when(fn.length(trimmed) != 0, trimmed).otherwise(None))
# 方法2
df = df.replace(to_replace='', value=None, subset=['time_h', 'model', 'city'])
df.show()
+----+-----+------+
|city|model|time_h|
+----+-----+------+
|北京| 华为| |
|北京| 华为| |
| | | |
|null| null| null|
|青岛| 华为| null|
|青岛| 华为| 20|
+----+-----+------+
+----+-----+------+
|city|model|time_h|
+----+-----+------+
|北京| 华为| null|
|北京| 华为| null|
|null| null| null|
|null| null| null|
|青岛| 华为| null|
|青岛| 华为| 20|
+----+-----+------+
边栏推荐
猜你喜欢
随机推荐
MySQL 数据库基础知识(系统化一篇入门)
Content type ‘applicationx-www-form-urlencoded;charset=UTF-8‘ not supported“【已解决】
ES 中时间日期类型 “yyyy-MM-dd HHmmss” 的完全避坑指南
Podman can learn in one piece
SQLSERVER将子查询数据合并拼接成一个字段
HDI与普通PCB的4点主要区别
VS Project Configuration Manager
ES6中 Symbol 的基础学习,迭代器和生成器的基本用法
Charles抓包显示<unknown>解决方案
【经验分享】配置用户通过Console口登录设备示例
ClickHouse 数据插入、更新与删除操作 SQL
计算机网络高频面试考点
linux安装mysql
Docker安装Mysql
html+css+php+mysql实现注册+登录+修改密码(附完整代码)
【应届生租房】应届生如何租房以及注意事项
一根网线完美解决IPTV+千兆网复用,还不来试试
Oracle常用命令-基本命令
【英语单词】常见深度学习中编程用到的英语词汇
VS项目配置管理器