pandas学习笔记(第五弹)

注：本教程为系列教程此章节接前面第一弹
跳转到专题地址
跳转到上一章
本章主要讲述分组的用法

16 分组聚合、过滤、转换
16.1 准备数据

# 设置最多显示8列数据
pd.options.display.max_columns = 8
collage_data = pd.read_csv("pandasLearnData/college.csv")
collage_data.head(5)

5 rows × 27 columns

16.2 定义聚合

gb_STABBR = collage_data.groupby("STABBR")

type(gb_STABBR)

pandas.core.groupby.generic.DataFrameGroupBy

for attr in dir(gb_STABBR):
    print("" if attr.startswith("_") else attr+"t",end="")

CITYCURROPERDISTANCEONLYGRAD_DEBT_MDN_SUPPHBCUINSTNMMD_EARN_WNE_P10MENONLYPCTFLOANPCTPELLPPTUG_EFRELAFFILSATMTMIDSATVRMIDSTABBRUG25ABVUGDSUGDS_2MORUGDS_AIANUGDS_ASIANUGDS_BLACKUGDS_HISPUGDS_NHPIUGDS_NRAUGDS_UNKNUGDS_WHITEWOMENONLYaggaggregateallanyapplybackfillbfillboxplotcorrcorrwithcountcovcumcountcummaxcummincumprodcumsumdescribediffdtypesexpandingffillfillnafilterfirstget_groupgroupsheadhistidxmaxidxminindiceslastmadmaxmeanmedianminndimngroupngroupsnthnuniqueohlcpadpct_changepipeplotprodquantilerankresamplerollingsemshiftsizeskewstdsumtailtaketransformtshiftvar

gb_STABBR.ngroups

59

# groups是返回一个字典 {"分组键":索引列表, ...}
gb_STABBR.groups.keys()

dict_keys(['AK', 'AL', 'AR', 'AS', 'AZ', 'CA', 'CO', 'CT', 'DC', 'DE', 'FL', 'FM', 'GA', 'GU', 'HI', 'IA', 'ID', 'IL', 'IN', 'KS', 'KY', 'LA', 'MA', 'MD', 'ME', 'MH', 'MI', 'MN', 'MO', 'MP', 'MS', 'MT', 'NC', 'ND', 'NE', 'NH', 'NJ', 'NM', 'NV', 'NY', 'OH', 'OK', 'OR', 'PA', 'PR', 'PW', 'RI', 'SC', 'SD', 'TN', 'TX', 'UT', 'VA', 'VI', 'VT', 'WA', 'WI', 'WV', 'WY'])

gb_STABBR.get_group("AK")

10 rows × 27 columns

16.3.6 DataFrameGroupBy对象是一个可迭代对象

from collections import Iterable
isinstance(gb_STABBR,Iterable)

True

# 显示前3个分组
i  = 0
for name,group in gb_STABBR:
    i += 1
    print("组名:",name,"tt类型:",type(group))
    display(group.head(2))
    if i >= 3:
        break

组名: AK 类型:

2 rows × 27 columns

组名: AL 类型:

2 rows × 27 columns

组名: AR 类型:

2 rows × 27 columns

16.3.7 head显示每个分组的头几行

# 前面一个head用于空值每个分组内显示前几行,后面表示总共显示前几行
gb_STABBR.head(2).head(5)

5 rows × 27 columns

16.3.8 nth指定显示分组内的相应行

# 显示每个分组的第一行,最后一行
gb_STABBR.nth([1,-1]).head(5)

5 rows × 26 columns

16.4 对分组对象使用聚合函数
16.4.1 agg函数传入聚合函数名称

# 统计每个每个州的本科生人数
gb_STABBR["UGDS"].agg("sum").head(5)

STABBR
AK     24932.0
AL    248298.0
AR    134820.0
AS      1276.0
AZ    520439.0
Name: UGDS, dtype: float64

gb_STABBR["UGDS"].sum().head(5)

STABBR
AK     24932.0
AL    248298.0
AR    134820.0
AS      1276.0
AZ    520439.0
Name: UGDS, dtype: float64

gb_STABBR["UGDS"].agg(["mean",np.sum,"std"]).head(5)

16.5 对多个字段进行分组
16.5.1 分组

#对州和城市进行分组
collage_data.groupby(["STABBR","CITY"]).head(2).head(5)

5 rows × 27 columns

16.5.2 对多个字段分组并使用多种聚合方法

grouped = collage_data.groupby(["STABBR","CITY"]).agg({"INSTNM":"size","UGDS":["mean","std","sum"]})
grouped.head(5)

16.6 消除多级索引
16.6.1 查看索引结构

# 可以看到列索引具有两级
grouped.columns

MultiIndex([('INSTNM', 'size'),
            (  'UGDS', 'mean'),
            (  'UGDS',  'std'),
            (  'UGDS',  'sum')],
           )

columns_level1 = grouped.columns.get_level_values(0)
columns_level1

Index(['INSTNM', 'UGDS', 'UGDS', 'UGDS'], dtype='object')

columns_level2 = grouped.columns.get_level_values(1)
columns_level2

Index(['size', 'mean', 'std', 'sum'], dtype='object')

grouped.columns = columns_level1 + "_" + columns_level2
grouped.head(5)

16.6.5 行索引可直接利用reset_index清除

grouped.reset_index().head(5)

16.6.6 在使用groupby方法时,传入参数不增加索引

# as_index:表示是否改变索引,sort:表示是否根据分组字段进行排序
collage_data.groupby(["STABBR","CITY"],as_index=False,sort=False)
.agg({"INSTNM":"size","UGDS":["mean","std","sum"]})
.head(5)

16.7 自定义聚合函数
16.7.1 定义聚合函数

def my_max(s):
    max_value = 0
    for i in  s:
        max_value = max_value if max_value > i and i != np.NAN else i
    return s.max()

collage_data.groupby("STABBR")[["UGDS"]].agg(my_max).head(5)

16.7.3 和自带的聚合函数混合使用

collage_data.groupby("STABBR")["UGDS"].agg(["mean","sum",my_max]).head(5)

16.7.4 修改列名

# 默认就是显示该聚合函数的名称(__name__属性)
# 方法1: 修改__name__属性即可
my_max.__name__ = "max"
collage_data.groupby("STABBR")["UGDS"].agg(["mean","sum",my_max]).head(5)

# 方法2: 使用DataFrame的rename方法修改列名称
# inplace 参数表示是否在操作的DataFrame中进行修改
collage_data.groupby("STABBR")["UGDS"].agg(["mean","sum",my_max]).rename({"my_max":"max"},inplace=False).head(5)

16.8 用 args 和 *kwargs 自定义聚合函数
16.8.1 定义聚合函数

def  my_between_cnt(s,low,high):
    return s.between(low,high).sum()

collage_data.groupby("STABBR")["UGDS"].agg(my_between_cnt,10000,20000).head(5)

STABBR
AK    1.0
AL    4.0
AR    0.0
AS    0.0
AZ    4.0
Name: UGDS, dtype: float64

def init_agg_func(func,col_name,*args,**kwargs):
    def wrapper(s):
        return func(s,*args,**kwargs)
    wrapper.__name__ = col_name
    return wrapper
my_max = init_agg_func(np.max,"max")
between_10_20k = init_agg_func(my_between_cnt,"10k~20k",10000,20000)
between_20_30k = init_agg_func(my_between_cnt,"20k~30k",20000,30000)
# 统计每个州本科生人数的最大值,和在10k-20k,20k-30k之间的人数
collage_data.groupby("STABBR")["UGDS"].agg([my_max,between_10_20k,between_20_30k]).head(5)

16.9 使用filter对分组进行过滤

# 对DataFrameGroupBy对象使用过滤时,会根据回调函数返回的布尔值决定是否保留该分组
# 显示每个州本科生人数和大于100万的州
collage_data.groupby("STABBR").filter(lambda x:x["UGDS"].sum() > 1000000)

1245 rows × 27 columns

7535 rows × 27 columns

16.10 分组对象的 apply方法的使用

# 注意这里apply和DataFrame中的apply方法不一样,这里传入回调函数的是一个分组的DataFrame
# 你需要返回的是一个Series
# 求每个分组各个字段的平均值
collage_data.groupby("STABBR").apply(lambda df:df.mean()).head(5)

5 rows × 22 columns

16.11 用连续变量分组
16.11.1 cut概念

# 被划分成了六个片元(就是六个区间,将这些区间映射到传入的Series中)
my_cut = pd.cut(collage_data["UGDS"],bins=[-np.Inf,10000,20000,30000,40000,50000,np.Inf])
my_cut

0          (-inf, 10000.0]1       (10000.0, 20000.0]2          (-inf, 10000.0]3          (-inf, 10000.0]4          (-inf, 10000.0]               ...
7530                   NaN
7531                   NaN
7532                   NaN
7533                   NaN
7534                   NaN
Name: UGDS, Length: 7535, dtype: category
Categories (6, interval[float64]): [(-inf, 10000.0] < (10000.0, 20000.0] < (20000.0, 30000.0] < (30000.0, 40000.0] < (40000.0, 50000.0] < (50000.0, inf]]

collage_data.groupby(my_cut,as_index=True)[["UGDS","INSTNM"]].max()

作者：尼克不可