当前位置:网站首页>pyspark --- 空串替换为None
pyspark --- 空串替换为None
2022-08-03 05:29:00 【WGS.】
df = ss.createDataFrame([{
'time_h': '', 'city': '北京', 'model': '华为'},
{
'time_h': '', 'city': '北京', 'model': '华为'},
{
'time_h': '', 'city': '', 'model': ''},
{
'time_h': None, 'city': None, 'model': None},
{
'time_h': None, 'city': '青岛', 'model': '华为'},
{
'time_h': '20', 'city': '青岛', 'model': '华为'}])\
.select(*['city', 'model', 'time_h'])
df.show()
# # 方法1
# for column in df.columns:
# trimmed = fn.trim(fn.col(column))
# df = df.withColumn(column, fn.when(fn.length(trimmed) != 0, trimmed).otherwise(None))
# 方法2
df = df.replace(to_replace='', value=None, subset=['time_h', 'model', 'city'])
df.show()
+----+-----+------+
|city|model|time_h|
+----+-----+------+
|北京| 华为| |
|北京| 华为| |
| | | |
|null| null| null|
|青岛| 华为| null|
|青岛| 华为| 20|
+----+-----+------+
+----+-----+------+
|city|model|time_h|
+----+-----+------+
|北京| 华为| null|
|北京| 华为| null|
|null| null| null|
|null| null| null|
|青岛| 华为| null|
|青岛| 华为| 20|
+----+-----+------+
边栏推荐
猜你喜欢
随机推荐
Redis的应用详解
CPU上下文切换详解思维导图
linux安装mysql
Prometheus monitors container, pod, email alerts
Composer require 报错 Installation failed, reverting ./composer.json and ./composer.lock to their ...
Cesium加载离线地图和离线地形
502 bad gateway原因、解决方法
mysql 时间字段默认设置为当前时间
【云原生 · Kubernetes】Kubernetes基础环境搭建
【EA Price strategy OC1】以实时价格为依据的EA,首月翻仓!】
Scala 高阶(八):集合内容汇总(下篇)
MySQL master-slave replication
linux安装redis
Chrome 配置samesite=none方式
Prometheus监控容器、pod、邮件告警
【地平线 开发板】实现模型转换并在地平线开发板上部署的全过程操作记录(魔改开发包)
MySQL 操作语句大全(详细)
C # program with administrator rights to open by default
【OpenStack云平台】搭建openstack云平台
5 个开源的 Rust Web 开发框架,你选择哪个?









