Python Pandas找到缺失值的位置方法

yipeiwu_com7年前Python基础

问题描述:

python pandas判断缺失值一般采用 isnull(),然而生成的却是所有数据的true/false矩阵,对于庞大的数据dataframe,很难一眼看出来哪个数据缺失,一共有多少个缺失数据,缺失数据的位置。

首先对于存在缺失值的数据,如下所示

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randn(10,6))
# Make a few areas have NaN values
df.iloc[1:3,1] = np.nan
df.iloc[5,3] = np.nan
df.iloc[7:9,5] = np.nan
 0   1   2   3   4   5
0 0.520113 0.884000 1.260966 -0.236597 0.312972 -0.196281
1 -0.837552  NaN 0.143017 0.862355 0.346550 0.842952
2 -0.452595  NaN -0.420790 0.456215 1.203459 0.527425
3 0.317503 -0.917042 1.780938 -1.584102 0.432745 0.389797
4 -0.722852 1.704820 -0.113821 -1.466458 0.083002 0.011722
5 -0.622851 -0.251935 -1.498837  NaN 1.098323 0.273814
6 0.329585 0.075312 -0.690209 -3.807924 0.489317 -0.841368
7 -1.123433 -1.187496 1.868894 -2.046456 -0.949718  NaN
8 1.133880 -0.110447 0.050385 -1.158387 0.188222  NaN
9 -0.513741 1.196259 0.704537 0.982395 -0.585040 -1.693810

df.isnull()会产生如下结果

  0  1  2  3  4  5
0 False False False False False False
1 False True False False False False
2 False True False False False False
3 False False False False False False
4 False False False False False False
5 False False False True False False
6 False False False False False False
7 False False False False False True
8 False False False False False True
9 False False False False False False

df.isnull().any()则会判断哪些”列”存在缺失值

0 False
1  True
2 False
3  True
4 False
5  True
dtype: bool

对于该问题,可以采用如下方式解决:

df[df.isnull().values==True]
Out[126]: 
   0   1   2   3   4   5
1 1.090872  NaN -0.287612 -0.239234 -0.589897 1.849413
2 -1.384721  NaN -0.158293 0.011798 -0.564906 -0.607121
5 -0.477590 -2.696239 0.312837  NaN 0.404196 -0.797050
7 0.369665 -0.268898 -0.344523 -0.094436 0.214753  NaN
8 -0.114483 -0.842322 0.164269 -0.812866 -0.601757  NaN

可以只显示存在缺失值的行列,清楚的确定缺失值的位置。

以上这篇Python Pandas找到缺失值的位置方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

python matplotlib 画dataframe的时间序列图实例

在python中经常会用到pandas来处理数据,最常用的数据类型是dataframe,但是有时候在dataframe有时间字段需要画时间序列图的时候会遇到一些问题,下面是我处理这个问题...

Python比较文件夹比另一同名文件夹多出的文件并复制出来的方法

Python比较文件夹比另一同名文件夹多出的文件并复制出来的方法

本文实例讲述了Python比较文件夹比另一同名文件夹多出的文件并复制出来的方法。分享给大家供大家参考。具体如下: 这个东东本来是做来给公司数据同步用的:新服务器还没正式启用,旧的服务器还...

使用SAE部署Python运行环境的教程

因为 GAE 在国内访问不便,所以平时有一些小应用,我都会放在 SAE 上面, 虽然 SAE 还有很多缺陷,但算是上手比较容易的一个了,最起码文档写的不错。 开发 SAE 上的应用,我一...

python pandas时序处理相关功能详解

创建时间序列 函数pd.date_range() 根据指定的范围,生成时间序列DatetimeIndex,每隔元素的类型为Timestamp。该函数应用较多。 ts = pd....

ubuntu17.4下为python和python3装上pip的方法

如果刚装上ubuntu会发现自带了python2和python3,但是发现系统没有带pip,所以输入下面的命令分别给他们装上pip: sudo apt-get install pyt...