实际应用中,在得到原始数据时,经常碰到数据缺失问题,对数据进行加工或清洗就非常有必要了
import numpy as np
from numpy import nan
import pandas as pd
data=pd.DataFrame(np.arange(3,19,1).reshape(4,4),index=list('abcd'))
print(data)
print(data.isnull())
pritn(data.notnull())
输出结果:
0 1 2 3
a 3 4 5 6
b 7 8 9 10
c 11 12 13 14
d 15 16 17 18
0 1 2 3
a False False False False
b False False False False
c False False False False
d False False False False
0 1 2 3
a True True True True
b True True True True
c True True True True
d True True True True
print(data.drop('a'))
print(data.drop(1,axis=1)
0 1 2 3
b 7 8 9 10
c 11 12 13 14
d 15 16 17 18
0 2 3
a 3 5 6
b 7 9 10
c 11 13 14
d 15 17 18
print(data.drop(index=list('ac')))
print(data.drop([1,3],axis=1))
0 1 2 3
b 7 8 9 10
d 15 16 17 18
0 2
a 3 5
b 7 9
c 11 13
d 15 17
data.iloc[0:2,0:3]=nan
print(data)
print(data.isnull())
0 1 2 3
a NaN NaN NaN 6
b NaN NaN NaN 10
c 11.0 12.0 13.0 14
d 15.0 16.0 17.0 18
0 1 2 3
a True True True False
b True True True False
c False False False False
d False False False False
print(data.dropna()) ### 默认axis=0,how='any',删除带有空值的行,只要有一个空值,就删除整行
0 1 2 3
c 11.0 12.0 13.0 14
d 15.0 16.0 17.0 18
print(data.dropna(axis=1)) ### axis=1,删除带有空值的列,只要有一个空值,就删除整列
3
a 6
b 10
c 14
d 18
data=pd.DataFrame(np.arange(3,19,1).reshape(4,4),index=list('abcd'))
print(data)
data.iloc[0:1,:]=nan
data[3]=nan
print(data)
0 1 2 3
a NaN NaN NaN NaN
b 7.0 8.0 9.0 NaN
c 11.0 12.0 13.0 NaN
d 15.0 16.0 17.0 NaN
print(data.dropna(how='all')) ### 整行都是空值时,才会被删除
0 1 2 3
b 7.0 8.0 9.0 NaN
c 11.0 12.0 13.0 NaN
d 15.0 16.0 17.0 NaN
print(data.dropna(how='all',axis=1)) ### 整列都是空值时,才会被删除
0 1 2
a NaN NaN NaN
b 7.0 8.0 9.0
c 11.0 12.0 13.0
d 15.0 16.0 17.0
print(data.dropna(thresh=2))
0 1 2 3
c 11.0 12.0 13.0 14
d 15.0 16.0 17.0 18
print(data.dropna(subset=[1,2]))
0 1 2 3
c 11.0 12.0 13.0 14
d 15.0 16.0 17.0 18
相关知识
Python 数据清洗
机器学习之数据预处理(Python 实现)
探索性数据分析—赛事数据集(Ⅰ)
Python pandas 数据清洗(二)
社交媒体数据分析的可视化展示:让数据讲述故事
宠物数据可视化如何做
【创新课题】猫狗养殖户养殖决策系统:基于python爬虫猫狗电商销售数据可视化分析
Python爬虫入门教程31:爬取猫咪交易网站数据并作数据分析
数据挖掘浅谈
python爬虫项目(九十六):爬取宠物论坛的用户发帖数据,分析宠物市场需求
网址: Python 数据清洗之缺失数据滤除dropna() https://m.mcbbbk.com/newsview475135.html
上一篇: 数据清洗之数据转换 |
下一篇: Python 数据清洗 |