项目三、电商用户画像分析（上）

一、前言：

电商用户画像分析：用户画像是通过分析用户的基础信息、特征偏好、社会属性等各维度的数据，刻画出用户的信息全貌，它是建立在一系列属性数据之上的目标用户模型。用户画像的本质是一个用以描述用户需求的工具。用户画像一般是产品设计、运营人员从用户群体中抽象出来的典型用户，从中可以挖掘用户价值，提供个性化推荐、精准营销等服务。
电商用户画像分析的作用：

二、理解数据与分析思路

1.导入使用的包：

#加上后可以直接在界面画图. %matplotlib inline #导入包 import pandas as pd import numpy as np import matplotlib import matplotlib.pyplot as plt # 减少绘图产生的问题 matplotlib.rcParams['font.sans-serif'] = ['SimHei'] # 指定字体 matplotlib.rcParams['font.family']='sans-serif' matplotlib.rcParams['axes.unicode_minus'] = False #解决负号'-'显示为方块的问题 # 导入数据库包，从数据库里读取数据与存储数据 import pymysql pymysql.install_as_MySQLdb() from sqlalchemy import create_engine import gc #gc模块可以回收内存 import warnings warnings.filterwarnings('ignore')#减少报错 from datetime import datetime

2.导入数据：

#导入数据集
df = pd.read_excel('order_data.xlsx')
df_user = pd.read_excel('user_data.xlsx')

3.理解数据：

df.head()

order_data共有五个字段，分别为，其中behavior_type中1为浏览，2为收藏，3为加购，4为购买

df_user.head()

4.分析维度：

三、数据预处理：

1.缺失值处理：

2.时间格式转换：

3.制作用户标签表：

四、分析过程：

1、用户活跃的时间
1.1 用浏览活跃时间段

time_brows = df[df['behavior_type']==1].groupby(['user_id','hour']).agg({'item_id':'count'}).reset_index() time_brows.rename(columns={'item_id':'hour_counts'},inplace=True) #求出每个用户最活跃的时间段 time_brows_max = time_brows.groupby('user_id').hour_counts.max().reset_index() time_brows_max.rename(columns = {'hour_counts':'hour_counts_max'},inplace = True) time_brows = pd.merge(time_brows,time_brows_max,how ='left',on = 'user_id') #选取各用户浏览次数最多的时段，如有并列最多的时段，用逗号连接 time_brows_hour = time_brows.loc[time_brows['hour_counts']==time_brows['hour_counts_max'],'hour'].groupby(time_brows['user_id']).aggregate(lambda x:','.join(x)).reset_index() #将用户浏览活跃时间段加入到用户标签表中 labels = pd.merge(labels,time_brows_hour,how = 'left',on = 'user_id') labels.rename(columns = {'hour':'time_browse'},inplace = True) #查看标签表 labels.head()

1.2 用户购买活跃时间段

time_buy = df[df['behavior_type'] == 4].groupby(['user_id','hour']).item_id.count().reset_index()
time_buy.rename(columns = {'item_id':'time_buy_count'},inplace = True)
time_buy_max = time_buy.groupby('user_id').time_buy_count.max().reset_index()
time_buy_max.rename(columns = {'time_buy_count':'time_buy_count_max'},inplace = True)
time_buy = pd.merge(time_buy,time_buy_max,how = 'left',on = 'user_id')
time_buy_hour = time_buy.loc[time_buy['time_buy_count'] == time_buy['time_buy_count_max'],'hour'].groupby(time_buy['user_id']).aggregate(lambda x:','.join(x)).reset_index()
labels = pd.merge(labels,time_buy_hour,how = 'left',on = 'user_id')
labels.rename(columns = {'hour':'buy_hour'},inplace = True)
#查看标签表
labels.head()

1.3 清除缓存：

del time_brows del time_brows_max del time_buy del time_buy_max del time_buy_hour del time_brows_hour gc.collect()

2、关于类目的用户行为

# 先获取各个需要的数据集
df_browse = df.loc[df['behavior_type']==1,['user_id','item_id','item_category']]
df_collect = df.loc[df['behavior_type']==2,['user_id','item_id','item_category']]
df_cart = df.loc[df['behavior_type']==3,['user_id','item_id','item_category']]
df_buy = df.loc[df['behavior_type']==4,['user_id','item_id','item_category']]

2.1 浏览最多的类目

#对用户和类目进行分组，统计浏览次数 df_browse_count = df_browse.groupby(['user_id','item_category']).item_id.count().reset_index() df_browse_count.rename(columns = {'item_id':'item_category_counts'},inplace = True) #按照用户进行分组，统计出每个用户浏览最多的类目 df_browse_count_max = df_browse_count.groupby('user_id').item_category_counts.max().reset_index() df_browse_count_max.rename(columns = {'item_category_counts':'item_category_counts_max'},inplace = True) df_browse_count = pd.merge(df_browse_count,df_browse_count_max,how = 'left',on = 'user_id') #将类目转换成字符串格式，否则会报错 df_browse_count['item_category'] = df_browse_count['item_category'].astype(str) #选取各用户浏览次数最多的类目，如有并列最多的类目，用逗号连接 df_browse_count= df_browse_count.loc[df_browse_count['item_category_counts']==df_browse_count['item_category_counts_max'],'item_category'].groupby(df_browse_count['user_id']).aggregate(lambda x:','.join(x)).reset_index() #将用户浏览最多的类目加到标签表 labels = pd.merge(labels,df_browse_count,how = 'left',on = 'user_id') labels.rename(columns = {'tiem_category':'cate_most_browse'},inplace = True) labels.head()

2.2 收藏最多的类目

#按照用户、类目进行分组，统计收藏次数
df_collect_count = df_collect.groupby(['user_id','item_category']).item_id.count().reset_index()
df_collect_count.rename(columns = {'item_id':'item_category_count'},inplace = True)
#按照用户分组，统计用户收藏最多的类目和
df_collect_count_max = df_collect_count.groupby('user_id').item_category_count.max().reset_index()
df_collect_count_max.rename(columns = {'item_category_count':'item_category_count_max'},inplace = True)
df_collect_count = pd.merge(df_collect_count,df_collect_count_max,how = 'left',on ='user_id')
#将类目转换成字符串格式，否则会报错
df_collect_count['item_category'] = df_collect_count['item_category'].astype(str)
#选取各用户收藏次数最多的类目，如有并列最多的类目，用逗号连接
df_collect = df_collect_count.loc[df_collect_count['item_category_count']==df_collect_count['item_category_count_max'],'item_category'].groupby(df_collect_count['user_id']).aggregate(lambda x:','.join(x)).reset_index()
df_collect.rename(columns = {'item_category':'cate_most_collect'},inplace = True)
#将用户收藏最多的类目加到标签表
labels = pd.merge(labels,df_collect,how ='left',on = 'user_id')
labels.head()

2.3 加购最多的类目

df_cart_count = df_cart.groupby(['user_id','item_category']).item_id.count().reset_index() df_cart_count.rename(columns = {'item_id':'item_category_count'},inplace = True) df_cart_count_max = df_cart_count.groupby('user_id').item_category_count.max().reset_index() df_cart_count_max.rename(columns = {'item_category_count':'item_category_count_max'},inplace = True) df_cart_count = pd.merge(df_cart_count,df_cart_count_max,how = 'left',on ='user_id') df_cart_count['item_category'] = df_cart_count['item_category'].astype(str) df_cart = df_cart_count.loc[df_cart_count['item_category_count']==df_cart_count['item_category_count_max'],'item_category'].groupby(df_cart_count['user_id']).aggregate(lambda x:','.join(x)).reset_index() df_cart.rename(columns = {'item_category':'cate_most_cart'},inplace = True) labels = pd.merge(labels,df_cart,how ='left',on = 'user_id') labels.head()

2.4 购买最多的类目

df_buy_count = df_buy.groupby(['user_id','item_category']).item_id.count().reset_index()
df_buy_count.rename(columns = {'item_id':'item_category_count'},inplace = True)
df_buy_count_max = df_buy_count.groupby('user_id').item_category_count.max().reset_index()
df_buy_count_max.rename(columns = {'item_category_count':'item_category_count_max'},inplace = True)
df_buy_count = pd.merge(df_buy_count,df_buy_count_max,how ='left',on ='user_id')
df_buy_count['item_category'] = df_buy_count['item_category'].astype(str)
df_buy = df_buy_count.loc[df_buy_count['item_category_count']==df_buy_count['item_category_count_max'],'item_category'].groupby(df_buy_count['user_id']).aggregate(lambda x:','.join(x)).reset_index()
df_buy.rename(columns = {'item_category':'cate_most_buy'},inplace = True)
labels = pd.merge(labels,df_buy,how = 'left',on = 'user_id')
labels.head()

3、30天用户行为
3.1 近30天购买次数

#将购买行为按用户进行分组，统计次数 df_count_30_buy = df[df['behavior_type'] == 4].groupby('user_id').item_id.count().reset_index() labels = pd.merge(labels,df_count_30_buy,how = 'left',on = 'user_id') labels.rename(columns = {'item_id':'count_30_buy'},inplace = True) labels.head()

3.2 近30天加购次数

#将加购行为按用户进行分组，统计次数
df_count_30_cart = df[df['behavior_type'] == 3].groupby('user_id').item_id.count().reset_index()
labels = pd.merge(labels,df_count_30_cart,how = 'left',on = 'user_id')
labels.rename(columns = {'item_id':'count_30_cart'},inplace = True)
labels.head()

3.3 近30天活跃天数

#对用户进行分组，统计活跃的天数，包括浏览、收藏、加购、购买 counts_30_active = df.groupby('user_id')['date'].nunique() labels = pd.merge(labels,counts_30_active,how='left',on='user_id') labels.rename(columns={'date':'count_30_active'},inplace=True) labels.head()

4、7天用户行为

本维度分析以2014/12/18作为最后一天去分析
4.1 近7天购买次数

df_near_7 = df[df['date']>datetime.strptime('2014-12-11','%Y-%m-%d')]
df_near_7_buy = df_near_7[df_near_7['behavior_type'] == 4].groupby('user_id').item_id.count().reset_index()
df_near_7_buy.rename(columns = {'item_id':'count_7_buy'},inplace = True)
labels = pd.merge(labels,df_near_7_buy,how = 'left',on = 'user_id')
labels.head()

4.2 近7天加购次数

df_near_7_cart = df_near_7[df_near_7['behavior_type'] == 3].groupby('user_id').item_id.count().reset_index() df_near_7_cart.rename(columns = {'item_id':'count_7_cart'},inplace = True) labels = pd.merge(labels,df_near_7_cart,how = 'left',on = 'user_id') labels.head()

4.3 近7天活跃次数

counts_7_active = df_near_7.groupby('user_id')['date'].nunique()
labels = pd.merge(labels,counts_7_active,how='left',on='user_id')
labels.rename(columns={'date':'count_7_active'},inplace=True)
labels.head()

5.最后一次行为距今天数(今天取2014/12/18)
5.1 上次浏览距今天数

#5.1 上次浏览距今天数 day_browes = df[df['behavior_type']== 1].groupby('user_id').date.max().apply(lambda x:(datetime.strptime('2014-12-19','%Y-%m-%d')-x).days) labels = pd.merge(labels,day_browes,how = 'left',on = 'user_id') labels.rename(columns = {'date':'day_browes'},inplace = True)

5.2 上次加购距今天数

#5.2 上次加购距今天数
day_cart = df[df['behavior_type']== 3].groupby('user_id').date.max().apply(lambda x:(datetime.strptime('2014-12-19','%Y-%m-%d')-x).days)
labels = pd.merge(labels,day_cart,how = 'left',on = 'user_id')
labels.rename(columns = {'date':'day_cart'},inplace = True)

5.3 上次购买距今天数

#5.3 上次购买距今天数 day_buy = df[df['behavior_type']== 4].groupby('user_id').date.max().apply(lambda x:(datetime.strptime('2014-12-19','%Y-%m-%d')-x).days) labels = pd.merge(labels,day_buy,how = 'left',on = 'user_id') labels.rename(columns = {'date':'day_buy'},inplace = True)

6.最近两次购买间隔天数

df_interval_buy = df[df['behavior_type'] == 4].groupby(['user_id','date']).item_id.count().reset_index()
interval_buy = df_interval_buy.groupby('user_id').date.apply(lambda x:x.sort_values().diff(1).dropna().head(1)).reset_index()
labels = pd.merge(labels,interval_buy,how = 'left',on = 'user_id')
labels.head()

7.是否有商品浏览未下单

#取出浏览未购买的数据 df_browse_buy = df.loc[(df['behavior_type'] == 1 )| (df['behavior_type'] == 4),['user_id','item_id','behavior_type','time']] #对上表进行数据透视表 browse_not_buy = pd.pivot_table(df_browse_buy,index = ['user_id','item_id'],columns = ['behavior_type'],values = ['time'],aggfunc = ['count']) browse_not_buy.columns = ['browes','buy'] #nall值填充0 browse_not_buy.fillna(0,inplace = True) #如果有浏览未购买的将browse_not_buy填充为1 browse_not_buy.loc[(browse_not_buy['browes'] > 0) & browse_not_buy['buy'] == 0,'browes_not_buy'] = 1 #统计用户有多少个商品浏览未购买 browse_not_buy = browse_not_buy.groupby('user_id').browes_not_buy.sum().reset_index() labels = pd.merge(labels,browse_not_buy,how = 'left',on ='user_id') #如果有浏览为购买的用户标签改为'是' labels['browes_not_buy'] = labels['browes_not_buy'].apply(lambda x:'是' if x>0 else '否') labels.rename(columns = {'browes_not_buy':'browse_not_buy'},inplace = True)

8.是否有商品加购未下单

#取出加购但未下单的数据
df_cart_buy = df.loc[(df['behavior_type'] == 3 )| (df['behavior_type'] == 4),['user_id','item_id','behavior_type','time']]
#对上表进行数据透视表
cart_not_buy = pd.pivot_table(df_cart_buy,index = ['user_id','item_id'],columns = ['behavior_type'],values = ['time'],aggfunc = ['count'])
cart_not_buy.columns = ['cart','buy']
#对nall值进行填充
cart_not_buy.fillna(0,inplace = True)
#如果有加购未购买的将browse_not_buy填充为1
cart_not_buy.loc[(cart_not_buy['cart'] > 0) & cart_not_buy['buy'] == 0,'cart_not_buy'] = 1
cart_not_buy = cart_not_buy.groupby('user_id').cart_not_buy.sum().reset_index()
labels = pd.merge(labels,cart_not_buy,how = 'left',on ='user_id')
#如果有浏览为购买的用户标签改为'是'
labels['cart_not_buy'] = labels['cart_not_buy'].apply(lambda x:'是' if x>0 else '否')

9、用户属性标签
9.1 是否复购用户

#提取购买用户的数据，并根据用户进行分组，统计购买次数 buy_again = df[df['behavior_type'] == 4].groupby('user_id').time.count().reset_index() buy_again.rename(columns = {'time':'buy_again'},inplace = True) labels = pd.merge(labels,buy_again,how = 'left',on = 'user_id') #如果购买次数大于1则为复购用户 labels['buy_again'] = labels['buy_again'].apply(lambda x:'是' if x > 1 else '否' if x == 1 else '未购买') labels.head()

9.2 访问活跃度

#对count_30_active进行分组，统计访问次数
user_active_level = labels['count_30_active'].value_counts().sort_index(ascending = False)
#进行绘图得到趋势图
plt.figure(figsize=(10,5))
user_active_level.plot(title='30天内访问天数与访问人数的关系',fontsize=18)
plt.ylabel('访问人数',fontsize=14)
plt.xlabel('访问天数',fontsize=14)

总体上看，访问天数多的访客比访问天数少的访客数量多，且以20次左右为拐点，因此定义访问天数小于20次的为低活跃，访问天数大于等于20次的定义为高活跃。

#定义活跃度大于20则为高活跃度用户 labels['buy_active_level'] = '高' labels.loc[labels['count_30_active']<=19,'buy_active_level'] = '低'

9.3 购买的品类是否单一

#提取购买的数据，并根据user_id进行分组，对购买类目进行统计
buy_sinple = df[df['behavior_type'] == 4].groupby('user_id').item_category.nunique().reset_index()
buy_sinple.rename(columns = {'item_category':'buy_sinple'},inplace = True)
labels = pd.merge(labels,buy_sinple,how = 'left',on = 'user_id')
labels['buy_sinple'].fillna(-1,inplace = True)
#判断技术是否大于1
labels['buy_sinple'] = labels['buy_sinple'].apply(lambda x:'否' if x>1 else '是' if x == 1 else '未购买')

9.4 用户价值分组

#获取标签统计值day_buy得到距今购买天数，并进行统计计数 last_buy_days = labels['day_buy'].value_counts().sort_index() #对统计计数的结果进行画图 plt.figure(figsize=(16,9)) last_buy_days.plot(title='最后一次购买距今天数与人数的关系',fontsize=18) plt.ylabel('购买人数',fontsize=14) plt.xlabel('距今天数',fontsize=14)

可以看出大于8天为低

labels['buy_days_level'] = '高'
labels.loc[labels['day_buy'] > 8,'buy_days_level'] = '低'
labels['rfm_value'] = labels['buy_active_level'].str.cat(labels['buy_days_level'])

#定义一个函数用来转换标签值 def trans_value(x): if x == '高高': return '重要价值客户' elif x == '低高': return '重要深耕客户' elif x == '高低': return '重要唤回客户' else: return '即将流失客户' #使用定义的函数转换标签纸 labels['rfm'] = labels['rfm_value'].apply(trans_value) #删除buy_days_level labels.drop(['buy_days_level','rfm_value'],axis=1,inplace=True) #统计rfm各个值的情况 labels['rfm'].value_counts()

# 保存数据到数据库中
#将数据存入数据库
engine = create_engine('mysql://root:mima@localhost:3306/datafrog_study?charset=gbk')
labels.to_sql('profile_user_labels',con = engine,if_exists='replace', index=False)