1pandas数据规整化目录o合并数据集n数据库风格的DataFrame合并n索引上的合并n轴向连接n合并重叠数据o重塑和轴向旋转n重塑层次化索引n将“长格式”旋转为“宽格式”2目录o数据转换n移除重复数据n利用函数或映射进行数据转换n替换值n重命名轴索引n离散化和面元划分n检测和过滤异常值n排列和随机采样n计算指标/哑变量34数据分析和建模方面的大量编程工作都是用在数据准备上的：加载、清理、转换以及重塑。有时候，存放在文件或数据库中的数据并不能满足数据处理应用的要求。pandas和Python标准库提供了一组高级的、灵活的、高效的核心函数和算法，它们能够轻松地将数据规整化为正确的形式。合并数据集pandas对象中的数据可以通过一些内置的方式进行合并：npandas.merge可根据一个或多个键将不同DataFrame中的行连接起来。nPandas.concat可以沿着一条轴将多个对象堆叠到一起。n实例方法combine_first可以将重复数据编接在一起，用一个对象中的值填充另一个对象中的缺失值。5合并数据集o数据库风格的DataFrame合并数据集的合并(merge)或连接(join)运算是通过一个或多个键将行链接起来的。这些运算是关系型数据库的核心。pandas的merge函数是对数据应用这些算法的主要切入点。以一个简单的例子开始：6frompandasimportSeries,DataFrameimportpandasaspddf1=DataFrame(key:b,b,a,c,a,a,b,data1:range(7)df2=DataFrame(key:a,b,d,data2:range(3)合并数据集这是一种多对一的合并。df1中的数据有多个被标记为a和b的行，而df2中key列的每个值则仅对应一行。对这些对象调用merge即可得到：注意，并没有指明要用哪个列迸行连接。如果没有指定，merge就会将重叠列的列名当做键。不过，最好显式指定一下：7df1df2pd.merge(df1,df2)pd.merge(df1,df2,on=key)合并数据集如果两个对象的列名不同，也可分别进行指定：结果里面c和d以及与之相关的数据消失了。默认情况下，merge做的是“inner”连接:结果中的键是交集。其他方式还有“left”、“right”以及“outer”。外连接求取的是键的并集，组合了左连接和右连接的效果：8df3=DataFrame(lkey:b,b,a,c,a,a,b,data1:range(7)df4=DataFrame(rkey:a,b,d,data2:range(3)pd.merge(df3,df4,left_on=lkey,right_on=rkey)pd.merge(df1,df2,how=outer)合并数据集多对多的合并操作非常简单，无需额外的工作。如下所示：多对多连接产生的是行的笛卡尔积。由于左边的DataFrame有3个“b”行，右边的有2个，所以域终结果中就有6个“b”行。连接方式只影响出现在结果中的键：9df1=DataFrame(key:b,b,a,c,a,b,data1:range(6)df2=DataFrame(key:a,b,a,b,d,data2:range(5)df1pd.merge(df1,df2,on=key,how=left)pd.merge(df1,df2,how=inner)合并数据集要根据多个键进行合并，传入一个由列名组成的列表即可：结果中会出现哪些键组合取决于所选的合并方式，也可以这样来理解：多个键形成一系列元组，并将其当做单个连接键（当然，实际上并不是这么回事）。注意：在进行列-列连接时，DataFrame对象中的索引会被丢弃。10left=DataFrame(key1:foo,foo,bar,key2:one,two,one,lval:1,2,3)right=DataFrame(key1:foo,foo,bar,bar,key2:one,one,one,two,lval:4,5,6,7)pd.merge(left,right,on=key1,key2,how=outer)合并数据集11对于合并运算需要考虑的最后一个问题是对重复列名的处理。虽然可以手工处理列名重叠的问题，但merge有一个更实用的suffixes选项，用于指定附加到左右两个DataFrame对象的重叠列名上的字符串：merge函数的参数pd.merge(left,right,on=key1)pd.merge(left,right,on=key1,suffixes=(_left,_right)参数说明left参与合并的左侧DataFrameright参与合并的右侧DataFramehow“inner”、“outer”、“left”、“right”其中之一。默认为“inner”合并数据集12参数说明on用于连接的列名。必须存在于左右两个DataFrame对象中。如果未指定，且其他连接键也未指定，则以left和right列名的交集作为连接键left_on左侧DataFrame中用作连接键的列right_on右侧DataFrame中用作连接键的列leftjndex将左侧的行索引用作其连接键rightjndex类似于leftjndexsort根据连接键对合并后的数据进行排序，默认为True。有时在处理大数据集时，禁用该选项可获得更好的性能suffixes字符串值元组，用于追加到重叠列名的末尾，默认为(_x,_y).例如，如果左右两个DataFrame对象都有data，则结果中就会出现“data一x”和“data一y”copy设置为False,可以在某些特殊情况下避免将数据复制到结果数据结构中。默认总是复制合并数据集o索引上的合并有时DataFrame中的连接键位于其索引中。在这种情况下，你可以传入left_index=True或right_index=True(或两个都传）以说明索引应该被用作连接键：13pd.merge(left,right,on=key1,suffixes=(_left,_right)left1=DataFrame(key:a,b,a,a,b,c,value:range(6)right1=DataFrame(group_val:3.5,7,index=a,b)left1right1pd.merge(left1,right1,left_on=key,right_index=True)合并数据集由于默认的merge方法是求取连接键的交集，因此可通过外连接的方式得到它们的并集：对于层次化索引的数据，稍微复杂些：14pd.merge(left1,right1,left_on=key,right_index=True,how=outer)lefth=DataFrame(key1:Ohio,Ohio,Ohio,Nevada,Nevada,key2:2000,2001,2002,2001,2002,data:np.arange(5.)righth=DataFrame(np.arange(12).reshape(6,2),index=Nevada,Nevada,Ohio,Ohio,Ohio,Ohio,2001,2000,2000,2000,2001,2002,columns=event1,event2)lefthrighth合并数据集这种情况下，必须以列表的形式指明用作合并键的多个列（注意对重复索引值的处理）:同时使用合并双方的索引也没问题：15pd.merge(lefth,righth,left_on=key1,key2,right_index=True)pd.merge(lefth,righth,left_on=key1,key2,right_index=True,how=outer)left2=DataFrame(1.,2.,3.,4.,5.,6.,index=a,c,e,columns=Ohio,Nevada)right2=DataFrame(7.,8.,9.,10.,11.,12.,13,14,index=b,c,d,e,columns=Missouri,Alabama)left2right2pd.merge(left2,right2,how=outer,left_index=True,right_index=True)合并数据集16DataFrame还有一个join实例方法，它能更为方便地实现按索引合并。它还可用于合并多个带有相同或相似索引的DataFrame对象，而不管它们之间有没有重叠的列。由于一些历史原因（早期版本的pandas)，DataFrame的join方法是在连接键上做左连接。它还支持参数DataFrame的索引跟调用者DataFrame的某个列之间的连接：left2.join(right2,how=outer)left1.join(right1,on=key)合并数据集17最后，对于简单的索引合并，还可以向join传入一组DataFrame(后面会介绍更为通用的concat函数，它也能实现此功能）：another=DataFrame(7.,8.,9.,10.,11.,12.,16.,17.,index=a,c,e,f,columns=NewYork,Oregon)left2.join(right2,another)left2.join(right2,another,how=outer)合并数据集o轴向连接另一种数据合并运算也被称作连接（concatenation)、绑定（binding)或堆叠(stacking)。NumPy有一个用于合并原始NumPy数组的concatenation函数:18arr=np.arange(12).reshape(3,4)arrarray(0,1,2,3,4,5,6,7,8,9,10,11)np.concatenate(arr,arr,axis=1)array(0,1,2,3,0,1,2,3,4,5,6,7,4,5,6,7,8,9,10,11,8,9,10,11)合并数据集对于pandas对象（如Series和DataFrame)，带有标签的轴能够进一步推广数组的连接运算。假设有三个没有重叠索引的Series:对这些对象调用concat可以将值和索引粘合在一起：19s1=Series(0,1,index=a,b)s2=Series(2,3,4,index=c,d,e)s3=Series(5,6,index=f,g)pd.concat(s1,s2,s3)a0b1c2d3e4f5g6dtype:int64合并数据集默认情况下，concat是在axis=0上工作的，最终产生一个新的Series。如果传入axis=1，则结果就会变成一个DataFrame(axis=1是列）：这种情况下，另外一条轴上没有重叠，从索引的有序并集（外连接）上就可以看出来。传入join=inne即可得到它们的交集：20pd.concat(s1,s2,s3,axis=1)s4=pd.concat(s1*5,s3)pd.concat(s1,s4,axis=1)pd.concat(s1,s4,axis=1,join=inner)合并数据集可以通过join_axes指定要在其他轴上使用的索引：想要参与连接的片段在结果中区分开。可在连接轴上创建一个层次化索引。使用keys参数即可达到这个目的：21pd.concat(s1,s4,axis=1,join_axes=a,c,b,e)result=pd.concat(s1,s1,s3,keys=one,two,three)resultonea0b1twoa0b1threef5g6dtype:int64合并数据集如果沿着axis=1对Series进行合并，则keys就会成为DataFrame的列头：同样的逻辑对DataFrame对象也是一样：如果传入的不是列表而是一个字典，则字典的键就会被当做keys选项的值22pd.concat(s1,s2,s3,axis=1,keys=one,two,three)df1=DataFrame(np.arange(6).reshape(3,2),index=a,b,c,columns=one,two)df2=DataFrame(5+np.arange(4).reshape(2,2),index=a,c,columns=three,four)pd.concat(df1,df2,axis=1,keys=level1,level2)pd.concat(level1:df1,level2:df2,axis=1)合并数据集23此外还有两个用于管理层次化索引创建方式的参数.DataFrame行索引:在这种情况下，传入ignore_index=True即可：pd.concat(df1,df2,axis=1,keys=level1,level2,names=upper,lower)df1=DataFrame(np.random.randn(3,4),columns=a,b,c,d)df2=DataFrame(np.random.randn(2,3),columns=b,d,a)df1df2pd.concat(df1,df2,ignore_index=True)合并数据集concat函数的参数24objs参与连接的pandas对象的列表或字典。唯一必需的参数axis指明连接的轴向，默认为0join“inner”、“outer”其中之_，默认为“outer”。指明其他轴向上的索引是按交集（inner)还是并集（outer)进行合并join_axes指明用于其他n-1条轴的索引，不执行并集/交集运算keys与连接对象有关的值，用于形成连接轴向上的层次化索引。可以是任意值的列表或数组、元组数组、数组列表（如果将levels设置成多级数组的话）levels指定用作层次化索引各级别上的索引，如果设置了keys的话names用于创建分层级别的名称，如果设置了keys和（或）levels的话verify_integrity检查结果对象新轴上的重复情况，如果发现则引发异常。默认(False)允许重复ignore_index不保留连接轴上的索引，产生一组新索引range(total_length)合并数据集o合并重叠数据还有一种数据组合问题不能用简单的合并（merge)或连接（concatenation)运算来处理。比如说，可能有索引全部或部分重叠的两个数据集。给这个例子增加一点启发性，使用NumPy的where函数，它用于表达一种矢量化的if-else:25a=Series(np.nan,2.5,np.nan,3.5,4.5,np.nan,index=f,e,d,c,b,a)b=Series(np.arange(len(a),dtype=np.float64),index=f,e,d,c,b,a)合并数据集Series有一个combine_first方法，实现的也是一样的功能，而且会进行数据对齐:26b-1=np.nanafNaNe2.5dNaNc3.5b4.5aNaNdtype:float64b:-2.combine_first(a2:)aNaNb4.5c3.0bf0e1d2c3b4aNaNdtype:float64np.where(pd.isnull(a),b,a)array(0.,2.5,2.,3.5,4.5,nan)d2.0e1.0f0.0dtype:float64合并数据集27对于DataFrame，combine_first自然也会在列上做同样的事情，因此可以将其看做用参数对象中的数据为调用者对象的缺失数据“打补丁”：df1=DataFrame(a:1.,np.nan,5.,np.nan,b:np.nan,2.,np.nan,6,c:range(2,18,4)df2=DataFrame(a:5.,4.,np.nan,3.,7.,b:np.nan,3.,4.,6.,8.)df1.combine_first(df2)重塑和轴向旋转28有许多用于重新排列表格型数据的基础运算,这些函数也称作重塑（reshape)或轴向旋转（pivot)运算。o重塑层次化索引层次化索引为DataFrame数据的重排任务提供了一种具有良好一致性的方式。主要功能有二：nstack:将数据的列“旋转”为行。nunstack:将数据的行“旋转”为列。重塑和轴向旋转看一个简单的DataFrame，其中的行列索引均为字符串：使用该数据的stack方法即吋将列转换为行，得到一个Series:29data=DataFrame(np.arange(6).reshape(2,3),index=pd.Index(Ohio,Colorado,name=state),columns=pd.Index(one,two,three,name=number)dataresult= data.stack()resultstatenumberOhioone0two1three2Coloradoone3two4three5dtype:int32重塑和轴向旋转对一个层次化索引的Series，可以用unstack将其重排为一个DataFrame:默认情况下，unstack操作的是最内层（stack也是如此）。传入分层级别的编号或名称即可对其他级别进行unstack操作：30result.unstack()result.unstack(0)result.unstack(state)重塑和轴向旋转如果不是所有的级別值都能在各分组中找到的话，则unstack操作可能会引入缺失数据:stack默认会滤除缺失数据，因此该运算是可逆的：31s1=Series(0,1,2,3,index=a,b,c,d)s2=Series(4,5,6,index=c,d,e)data2=pd.concat(s1,s2,keys=one,two)data2.unstack()data2.unstack().stack()data2.unstack().stack(dropna=False)重塑和轴向旋转在对DataFrame进行unstack操作时，作为旋转轴的级別将会成为结果中的最低级別:32df=DataFrame(left:result,right:result+5,columns=pd.Index(left,right,name=side)dfdf.unstack(state)df.unstack(state).stack(side)重塑和轴向旋转33o将“长格式”旋转为“宽格式”时间序列数据通常是以所谓的“长格式”（long)或“堆叠格式”（stacked)存储在数据库和CSV中的：1data:10数据转换到目前为止介绍的都是数据的重排。另一类重要操作则是过滤、清理以及其他的转换工作。o移除重复数据DataFrame中常常会出现重复行。下面就是一个例子：DataFrame的duplicated方法返回一个布尔型Series，表示各行是否是重复行:34data=DataFrame(k1:one*3+two*4,k2:1,1,2,3,3,4,4)datadata.duplicated()数据转换还有一个与此相关的drop_duplicates方法，它用于返回一个移除了重复行的Data_Frame：这两个方法默认会判断全部列，也可以指定部分列进行重复项判断。假设还有一列值，且只希望根据k1列过滤重复项：35data.drop_duplicates()datav1=range(7)data.drop_duplicates(k1)数据转换36duplicated和drop_duplicates默认保留的是第一个出现的值组合。传入take_last=True则保留最后一个：data.drop_duplicates(k1,k2,take_last=True)数据转换o利用函数或映射进行数据转换在对数据集进行转换时，可能希望根据数组、Series或DataFrame列中的值来实现该转换工作。37data=DataFrame(food:bacon,pulledpork,bacon,Pastrami,cornedbeef,Bacon,pastrami,honeyham,novalox,ounces:4,3,12,6,7.5,8,3,5,6)data数据转换假设想要添加一列表示该肉类食物来源的动物类型。Series的map方法可以接受一个函数或含有映射关系的字典型对象，但是这里有一个小问题，即有些肉类的首字母大写了，而另一些则没有。因此，还需要将各个值转换为小写：38meat_to_animal=bacon:pig,pulledpork:pig,pastrami:cow,cornedbeef:cow,honeyham:pig,novalox:salmondataanimal=datafood.map(str.lower).map(meat_to_animal)data数据转换也可以传入一个能够完成全部这些工作的函数：使用map是一种实现元素级转换以及其他数据清理工作的便捷方式。39datafood.map(lambdax:meat_to_animalx.lower()0pig1pig2pig3cow4cow5pig6cow7pig8salmonName:food,dtype:object数据转换40o替换值利用fillna方法填充缺失数据可以看做值替换的一种特殊情况。虽然前面提到的map可用于修改对象的数据子集，而replace则提供了一种实现该功能的更简箏、更灵活的方式。看看下面这个Series:ata=Series(1.,-999.,2.,-999.,-1000.,3.)data011-999223-9994-100053数据转换-999这个值可能是一个表示缺失数据的标记值。要将其替换为pandas能够理解的NA值，可以利用replace来产生一个新的Series:如果希望一次性替换多个值，可以传入一个由待替换值组成的列表以及一个替换值:41data.replace(-999,np.nan)011NaN223NaN4-100053dtype:float64data.replace(-999,-1000,np.nan)Out58:011NaN223NaN4NaN53dtype:float64数据转换如果希望对不同的值进行不同的替换，则传入一个由替换关系组成的列表即可：42data.replace(-999,-1000,np.nan,0)011NaN223NaN4053dtype:float64#传入的参数也可以是字典：data.replace(-999:np.nan,-1000:0)数据转换43o重命名轴索引跟Series中的值一样，轴标签也可以通过函数或映射进行转换，从而得到一个新对象。轴还可以被就地修改，而无需新建一个数据结构。跟Series一样，轴标签也有一个map方法：data=DataFrame(np.arange(12).reshape(3,4),index=Ohio,Colorado,NewYork,columns=one,two,three,four)data.index.map(str.upper)array(OHIO,COLORADO,NEWYORK,dtype=object)数据转换可以将其赋值给index，这样就以对DataFrame进行就地修改了：如果想要创建数据集的转换版（而不是修改原始数据），比较实用的方法是rename:44data.index=data.index.map(str.upper)datadata.rename(index=str.title,columns=str.upper)数据转换45特別说明一下，rename可以结合字典型对象实现对部分轴标签的更新:rename实现了：复制DataFrame并对其索引和列标签进行赋值。如果希望就地修改某个数据集，传入inplace=True可:#总是返MDataFrame的引用_=data.rename(index=OHIO:INDIANA,inplace=True)datadata.rename(index=OHIO:INDIANA,columns=three:peekaboo)数据转换46o离散化和面元划分为了便于分析，连续数据常常被离散化或拆分为“面元”(bin)。假设有一组人员数据，而希望将它们划分为不同的年龄组：接下来将这些数据划分为“18到25”、“26到35”、“35到60”以及“60以上”几个面元。要实现该功能，需要使用pandas的cut函数：ages=20,22,25,27,21,23,37,31,61,45,41,32bins=18,25,35,60,100cats=pd.cut(ages,bins)cats数据转换pandas返回的是一个特殊的Categorical对象。可以将其看做一组表示面元名称的字符串。实际上，它含有一个表示不同分类名称的levels数组以及一个为年龄数据进行标号的labels属性：47cats.labelsarray(0,0,0,1,0,0,2,1,3,2,2,1,dtype=int8)cats.levelsIndex(u(18,25,u(25,35,u(35,60,u(60,100,dtype=object)pd.value_counts(cats)(18,255(35,603(25,353(60,1001dtype:int64数据转换跟“区间”的数学符号一样，圆括号表示开端，而方括号则表示闭端（包括）。哪边是闭端可以通过right=False进行修改：48pd.cut(ages,18,26,36,61,100,right=False)18,26),18,26),18,26),26,36),18,26),.,26,36),61,100),36,61),36,61),26,36)Length:12Categories(4,object):18,26)26,36)36,61)group_names=Youth,YoungAdul,MiddleAged,Seniorpd.cut(ages,bins,labels=group_names)Youth,Youth,Youth,YoungAdul,Youth,.,YoungAdul,Senior,MiddleAged,MiddleAged,YoungAdulLength:12Categories(4,object):YouthYoungAdulMiddleAgeddata=np.random.rand(20)pd.cut(data,4,precision=2)(0.29,0.49,(0.69,0.89,(0.69,0.89,(0.29,0.49,(0.69,0.89,.,(0.094,0.29,(0.49,0.69,(0.49,0.69,(0.49,0.69,(0.29,0.49Length:20Categories(4,object):(0.094,0.29(0.29,0.49(0.49,0.69data=np.random.randn(1000)cats=pd.qcut(data,4)#按四分位数进行切割catspd.value_counts(cats)(0.755,3.27250(0.0421,0.755250(-0.623,0.0421250-3.0985,-0.623250dtype:int64数据转换跟cut一样，也可以设置自定义的分位数（0到1之间的数值，包含端点）：稍后在讲解聚合和分组运算时会再次用到cut和qcut，因为这两个离散化函数对分量和分组分析非常重要。52pd.qcut(data,0,0.1,0.5,0.9,1.)Out91:(0.0421,1.349,(0.0421,1.349,(-1.201,0.0421,(-1.201,0.0421,(-1.201,0.0421,.,(0.0421,1.349,(-1.201,0.0421,(0.0421,1.349,(-1.201,0.0421,(-1.201,0.0421Length:1000Categories(4,object):-3.0985,-1.201(-1.201,0.0421(0.0421,1.349np.random.seed(12345)data=DataFrame(np.random.randn(1000,4)data.describe()col=data3colnp.abs(col)3973.927528305-3.399312400-3.745356Name:3,dtype:float64数据转换54要选出全部含有“超过3或-3的值”的行，可以利用布尔型DataFrame以及any方法:根据这些条件，即可轻松地对值进行设置。下阁的代码可以将值限制在区间-3到3以内:np.sign这个ufunc返回的是一个由1和-1组成的数组，表示原始值的符号。data(np.abs(data)3).any(1)datanp.abs(data)3=np.sign(data)*3data.describe()数据转换o排列和随机采样利用numpy.random.permutation函数可以轻松实现对Series或DataFrame的列的排列工作(permuting，随机重排序)。通过需要排列的轴的长度调用penmutation，可产生一个表示新顺序的整数数组：55df=DataFrame(np.arange(5*4).reshape(5,4)sampler=np.random.permutation(5)samplerarray(1,0,2,3,4)数据转换56然后就可以在基于ix的索引操作或take函数中使用该数组了：如果不想用替换的方式选取随机子集，则可以使用permutation:从permutation返回的数组中切下前k个元素，其中k为期望的子集大小。dfdf.take(sampler)df.take(np.random.permutation(len(df):3)数据转换57要通过替换的方式产生样本，最快的方式是通过np.random.randint得到一组随机整数:bag=np.array(5,7,-1,6,4)sampler=np.random.randint(0,len(bag),size=10)samplerarray(1,3,1,0,1,4,4,1,1,4)draws=bag.take(sampler)drawsarray(7,6,7,5,7,4,4,7,7,4)数据转换o计算指标/哑变量另一种常用于统计建模或机器学习的转换方式是:将分类变量(categoricalvariable)转换为“哑变量矩阵”（dummymatrix)或“指标矩阵”（indicatormatrix)。如果DataFrame的某一列中含有k个不同的值，则可以派生出一个k列矩阵或DataFrame(其值全为1和0)。pandas有一个get_dummies函数可以实现该功能：58df=DataFrame(key:b,b,a,c,a,b,data1:range(6)pd.get_dummies(dfkey)数据转换59给指标DataFrame的列加上一个前缀，以便能够跟其他数据进行合并。get_dummies的prefix参数可以实现该功能：如果DataFrame中的某行同属于多个分类，则事情就会有点复杂。回到本书前面那个MovieLenslM数据集上：dummies=pd.get_dummies(dfkey,prefix=key)df_with_dummy=dfdata1.join(dummies)df_with_dummymnames=movieid,title,genresmovies=pd.read_table(ch02/movielens/movies.dat,.:sep=:,header=None,names=mnames)movies:10数据转换要为每个genre添加指标变量就需要做一些数据规整操作。首先，从数据集中抽取出不同的genre值（注意巧用set.union):现在，从一个全零DataFrame开始构建指标DataFrame:60genre_iter=(set(x.split(|)forxinmovies.genres)genres=sorted(set.union(*genre_iter)dummies=DataFrame(np.zeros(len(movies),len(genres)，columns=genres)数据转换接下来，迭代每一部电影并将dummies各行的项设置为1:然后，再将其与movies合并起来：61fori,geninenumerate(movies.genres):dummies.ixi,gen.split(|)=1movies_windic=movies.join(dummies.add_prefix(Genre_)movies_windic.ix0数据转换62一个对统计应有用的秘诀是：结合get_dummies和诸如cut之类的离散化函数。values=np.random.rand(10)valuesbins=0,0.2,0.4,0.6,0.8,1pd.get_dummies(pd.cut(values,bins)63