Task2 数据分析
通过数据分析希望得出以下结论：
- 新闻文本的长度是多少？
- 数据的类别分布是怎么样的，哪些类别比较多？
- 字符分布是怎么样的？
2.0 读取数据
import pandas as pd
train_df = pd.read_csv('data/train_set.csv', sep='\t')
标签对应：{'科技': 0, '股票': 1, '体育': 2, '娱乐': 3, '时政': 4, '社会': 5, '教育': 6, '财经': 7, '家居': 8, '游戏': 9, '房产': 10, '时尚': 11, '彩票': 12, '星座': 13}
2.1 新闻长度分析
- 统计单词的个数来得到每个文本的长度（字符用空格隔开）：
train_df['text_len'] = train_df['text'].apply(lambda x: len(x.split(' ')))
print(train_df['text_len'].describe())
pandas.DataFrame.apply() - pandas Series 的 apply 方法：
需要对 pandas Series 里的值进行一些操作但没有内置函数时，可以自己写一个函数，可以对里面的每个值都调用这个函数，返回一个新的 Series
image.png
由此得出，每个文本平均由907个字符构成，最短的文本长度为2，最长的文本长度为57921。
- 将文本长度绘制直方图：
from matplotlib import pyplot as plt
plt.hist(train_df['text_len'], bins=200, range=(0,10000))
plt.xlabel('Text char count')
plt.title("Histogram of char count")
plt.show()
matplotlib.pyplot.hist(x, bins=None, range=None) - 直方图：
x - Series
bins - int: the number of equal-width bins in the range
image.png
2.2 新闻类别分布
- 统计每类新闻的样本个数：
train_df['label'].value_counts().plot(kind='bar')
plt.title('News class count')
plt.xlabel("category")
plt.show()
image.png
2.3 字符分布统计
- 统计字符个数及频率：
from collections import Counter
all_lines = ' '.join(list(train_df['text']))
word_count = Counter(all_lines.split(" "))
word_count = sorted(word_count.items(), key=lambda d:d[1], reverse=True)
print(len(word_count))
print(word_count[0])
print(word_count[-1])
image.png
由此得出，训练集中共6869个字，其中编号3750的字出现的次数最多。
- 统计不同字符在文本中出现的次数：
from collections import Counter
train_df['text_unique'] = train_df['text'].apply(lambda x: ' '.join(list(set(x.split(' ')))))
all_lines = ' '.join(list(train_df['text_unique']))
word_count = Counter(all_lines.split(" "))
word_count = sorted(word_count.items(), key=lambda d:int(d[1]), reverse=True)
N = 200000
print(word_count[0], word_count[0][1]/N)
print(word_count[1], word_count[1][1]/N)
print(word_count[2], word_count[2][1]/N)
image.png
其中字符3750，900和648在20w新闻的覆盖率接近99%，很有可能是标点符号。
结论
- 每个新闻包含的字符个数平均为1000个，还有一些新闻字符较长；
=> 每个新闻平均字符个数较多，可能需要截断； - 赛题中新闻类别分布不均匀，科技类（0）新闻样本量接近4w，星座类（13）新闻样本量不到1k；
=> 会严重影响模型的精度； - 赛题总共包括约8000个字符；
本章作业
- 假设字符3750，字符900和字符648是句子的标点符号，请分析赛题每篇新闻平均由多少个句子构成？
字符3750和900出现次数相似且接近99%，推断为逗号和句号。假设900为逗号，因此用字符3750和648计算。计算每篇新闻中这两种字符出现次数，即为句子总数。
import re
train_df['sent_len'] = train_df['text'].apply(lambda x: len(re.split('3750|648', x)))
print(train_df['sent_len'].describe())
image.png
Ans: 每篇新闻平均由64个句子构成。
- 统计每类新闻中出现次数最多的字符
用pandas.DataFrame.groupby()合并同类label并后统计。
d = {'label': list(range(14)), 'text': [], 'freq_max': []}
grouped = train_df.groupby('label')
for l in d['label']:
lines = ' '.join(list(grouped['text'].get_group(l)))
word_count = Counter(lines.split(" "))
word_count = sorted(word_count.items(), key=lambda d: d[1], reverse=True)
d['freq_max'].append(word_count[0])
# d['text'].append(lines)
comb_df = pd.DataFrame(data=d)
print(comb_df[['label', 'freq_max']])
image.png
Ans: 每类新闻中出现次数最多的字符均为3750。
References:
