数据分析
数据分析的价值主要在于熟悉了解整个数据集的基本情况包括每个文件里有哪些数据，具体的文件中的每个字段表示什么实际含义，以及数据集中特征之间的相关性。在推荐场景下主要就是分析用户本身的基本属性，文章基本属性，以及用户和文章交互的一些分布，这些都有利于后面的召回策略的选择，以及特征工程。
建议：当特征工程和模型调参已经很难继续上分了，可以回来在重新从新的角度去分析这些数据，或许可以找到上分的灵感。
对于训练集
对训练集进行一些排序整理操作后，可以得到：
train_click_log.csv文件数据中每个字段的含义：
- user_id: 用户的唯一标识
- click_article_id: 用户点击的文章唯一标识
- click_timestamp: 用户点击文章时的时间戳
- click_environment: 用户点击文章的环境
- click_deviceGroup: 用户点击文章的设备组
- click_os: 用户点击文章时的操作系统
- click_country: 用户点击文章时的所在的国家
- click_region: 用户点击文章时所在的区域
- click_referrer_type: 用户点击文章时，文章的来源
image.png
#训练集中的用户数量为20w
trn_click.user_id.nunique()
# 训练集里面每个用户至少点击了两篇文章
trn_click.groupby('user_id')['click_article_id'].count().min()
>>2
然后画直方图大体看一下属性分布
plt.figure()
plt.figure(figsize=(15, 20))
i = 1
for col in ['click_article_id', 'click_timestamp', 'click_environment', 'click_deviceGroup', 'click_os', 'click_country',
'click_region', 'click_referrer_type', 'rank', 'click_cnts']:
plot_envs = plt.subplot(5, 2, i)
i += 1
v = trn_click[col].value_counts().reset_index()[:10]
fig = sns.barplot(x=v['index'], y=v[col])
for item in fig.get_xticklabels():
item.set_rotation(90)
plt.title(col)
plt.tight_layout()
plt.show()
image.png
对于测试集
可以看出训练集和测试集的用户是完全不一样的，训练集的用户ID由0 ~ 199999，而测试集A的用户ID由200000 ~ 249999。
image.png
- value_counts()是一种查看表格某列中有多少个不同值的快捷方法
- DataFrame.append(other, ignore_index=False, verify_integrity=False, sort=None)
功能说明：向dataframe对象中添加新的行，如果添加的列名不在dataframe对象中，将会被当作新的列进行添加- tail()方法一般用来对数据集进行矩阵形式的显示，默认显示为数据集的最后5行
对于新闻文章信息数据表articles.csv
#新闻文章数据集浏览 查看前五个和后五个
item_df.head().append(item_df.tail())
image.png
新闻文章embedding向量表示
image.png
进行数据分析
用户重复点击
要分析出多少用户没有重复阅读过文章
用户点击环境变化分析
image.png
用户点击新闻数量的分布
image.png
可以根据用户的点击文章次数看出用户的活跃度
image.png
点击次数排前50的用户的点击次数都在100次以上。思路：我们可以定义点击次数大于等于100次的用户为活跃用户，这是一种简单的处理思路， 判断用户活跃度，更加全面的是再结合上点击时间，后面我们会基于点击次数和点击时间两个方面来判断用户活跃度。
新闻的点击次数分析
image.png
新闻共现频次：
两篇新闻连续出现的次数
新闻文章信息
不同类型的新闻出现的次数
image.png
用户点击的新闻类型的偏好
此特征可以用于度量用户的兴趣是否广泛。
image.png
用户查看文章的长度的分布
image.png
用户点击新闻的时间分析
总结
可以从非常多的方向来看待数据
通过数据分析的过程， 我们目前可以得到以下几点重要的信息， 这个对于我们进行后面的特征制作和分析非常有帮助：
- 训练集和测试集的用户id没有重复，也就是测试集里面的用户模型是没有见过的
- 训练集中用户最少的点击文章数是2， 而测试集里面用户最少的点击文章数是1
- 用户对于文章存在重复点击的情况， 但这个都存在于训练集里面
- 同一用户的点击环境存在不唯一的情况，后面做这部分特征的时候可以采用统计特征
- 用户点击文章的次数有很大的区分度，后面可以根据这个制作衡量用户活跃度的特征
- 文章被用户点击的次数也有很大的区分度，后面可以根据这个制作衡量文章热度的特征
- 用户看的新闻，相关性是比较强的，所以往往我们判断用户是否对某篇文章感兴趣的时候， 在很大程度上会和他历史点击过的文章有关
- 用户点击的文章字数有比较大的区别， 这个可以反映用户对于文章字数的区别
用户点击过的文章主题也有很大的区别， 这个可以反映用户的主题偏好不同用户点击文章的时间差也会有所区别， 这个可以反映用户对于文章时效性的偏好
所以根据上面的一些分析，可以更好的帮助我们后面做好特征工程， 充分挖掘数据的隐含信息。
