Pandas案例精进 | 自定义截断分组规则
小小明：「凹凸数据」专栏作者，Pandas数据处理高手，致力于帮助无数数据从业者解决数据处理难题
Pandas案例需求
来自一位群友的需求：
求每个level列等于2之间的level等于1或3的dwell time的和。level列碰到2断开便断开，中间等于1或3的行，对dwell time列聚合求和。
要解决这个问题，只需要自定义分组规则即可。
数据处理流程
首先，我们读取测试数据：
import pandas as pd
df = pd.read_csv('20200922-02.csv')
df
| level | dwell time | dwell time of level 1+3 | |
|---|---|---|---|
| 0 | 2 | 7.8750 | NaN |
| 1 | 3 | 0.9065 | NaN |
| 2 | 2 | 4.0000 | NaN |
| ... | ... | ... | ... |
| 13095 | 3 | 2.6250 | NaN |
| 13096 | 1 | 3.2500 | NaN |
| 13097 | 3 | 2.2500 | NaN |
13098 rows × 3 columns
为了排除level等于其他数值的数据的干扰，我们取出只需要处理的数据：
df.query('level in (1,2,3)', inplace=True)| level | dwell time | dwell time of level 1+3 | |
|---|---|---|---|
| 0 | 2 | 7.8750 | NaN |
| 1 | 3 | 0.9065 | NaN |
| 2 | 2 | 4.0000 | NaN |
| ... | ... | ... | ... |
| 13095 | 3 | 2.6250 | NaN |
| 13096 | 1 | 3.2500 | NaN |
| 13097 | 3 | 2.2500 | NaN |
13030 rows × 3 columns
开始计算分组id：
group_ids = []
num = 0
for i, level in df.level.iteritems():
if level == 2:
num += 1
group_ids.append(None)
else:
group_ids.append(num)
group_ids[:20]
结果：
[None, 1, None, 2, 2, None, 3, 3, 3, 3, 3, 3, None, 4, 4, None, 5, 5, None, 6]只需要将不参与分组的对应行置为None即可，最终聚合结果将为空值。
计算结果：
df['dwell time of level 1+3'] = df.groupby(group_ids)['dwell time'].transform('sum')
df
结果：
已经顺利计算出结果，但如果严格要求聚合结果只出现在每组最后一行，计算过程就稍微麻烦一点。
主要是需要在计算分组序号的同时，保存结果行的位置，完整代码如下：
df = pd.read_csv('20200922-02.csv')df.query('level in (1,2,3)', inplace=True)group_ids = []mask = []num = 0last_i, last_level = -1, 2for i, level in df.level.iteritems(): if level == 2: num += 1 group_ids.append(None) if last_level != 2: mask.append(last_i) else: group_ids.append(num) last_i, last_level = i, levelif last_level != 2: mask.append(last_i)df.loc[mask,'dwell time of level 1+3'] = df.groupby(group_ids)['dwell time'].sum().valuesdf如果要求保留level不在[1,2,3]范围的行，可以先只对在[1,2,3]范围行进行计算，最终对原始数据进行赋值。
完整代码如下：
df = pd.read_csv('20200922-02.csv')
tmp = df.query('level in (1,2,3)')
group_ids = []
mask = []
num = 0
last_i, last_level = -1, 2
for i, level in tmp.level.iteritems():
if level == 2:
num += 1
group_ids.append(None)
if last_level != 2:
mask.append(last_i)
else:
group_ids.append(num)
last_i, last_level = i, level
if last_level != 2:
mask.append(last_i)
df.loc[mask, 'dwell time of level 1+3'] = tmp.groupby(group_ids)['dwell time'].sum().values
df
欢迎你在下方评论区留言，发表你的看法，给大家分享和互动！
如果大家喜欢我的文章，请动动你的小手，点个赞吧~
赞 (0)