当前位置:网站首页>Pyspark - an empty string is replaced by None
Pyspark - an empty string is replaced by None
2022-08-03 07:43:00 【WGS.】
df = ss.createDataFrame([{
'time_h': '', 'city': '北京', 'model': '华为'},
{
'time_h': '', 'city': '北京', 'model': '华为'},
{
'time_h': '', 'city': '', 'model': ''},
{
'time_h': None, 'city': None, 'model': None},
{
'time_h': None, 'city': '青岛', 'model': '华为'},
{
'time_h': '20', 'city': '青岛', 'model': '华为'}])\
.select(*['city', 'model', 'time_h'])
df.show()
# # 方法1
# for column in df.columns:
# trimmed = fn.trim(fn.col(column))
# df = df.withColumn(column, fn.when(fn.length(trimmed) != 0, trimmed).otherwise(None))
# 方法2
df = df.replace(to_replace='', value=None, subset=['time_h', 'model', 'city'])
df.show()
+----+-----+------+
|city|model|time_h|
+----+-----+------+
|北京| 华为| |
|北京| 华为| |
| | | |
|null| null| null|
|青岛| 华为| null|
|青岛| 华为| 20|
+----+-----+------+
+----+-----+------+
|city|model|time_h|
+----+-----+------+
|北京| 华为| null|
|北京| 华为| null|
|null| null| null|
|null| null| null|
|青岛| 华为| null|
|青岛| 华为| 20|
+----+-----+------+
边栏推荐
猜你喜欢
深入理解IO流(第一篇)
【着色器实现HandDrawn简笔画抖动效果_Shader效果第十二篇】
《多线程案例》阻塞队列、定时器、线程池、饿汉与懒汉模式
Roson的Qt之旅#106 QML在图片上方放置按钮并实现点击按钮切换图片
【着色器实现Glow可控局部发光效果_Shader效果第十三篇】
加载properties文件,容器总结
Multi-Head-Attention principle and code implementation
解读 refresh 十二步骤
帆软11版本参数联动为null查询全部
- display image API OpenCV 】 【 imshow () to a depth (data type) at different image processing methods
随机推荐
boot-SSE
idea远程debug
Multi-Head-Attention principle and code implementation
被数据分析重塑的5个行业
ISIJ 2022收官,中国初中生再展风采
REST学习
uniapp 请求接口封装
jvm 面试题
死锁的成因和对应的解决方案
升级
CISP-PTE Zhenti Demonstration
依赖注入(DI),自动配置,集合注入
RHCSA第四天
第四章:架构,Architecture
华为设备配置BFD状态与接口状态联动
drop database出现1010
Laravel 中使用子查询
Example of embedding code for continuous features
JS 原型原型链
9月考,如何选择靠谱正规的培训机构?