文本数据探索性数据分析/可视化完整实例

【文本数据探索性数据分析/可视化完整实例】《A Complete Exploratory Data Analysis and Visualization for Text Data》by Susan Li O网页链接 notebook:O网页链接 pdf:O网页链接 ​​​​

英语原文:A Complete Exploratory Data Analysis and Visualization for Text Data    

Visually representing the content of a text document is one of the most important tasks in the field of text mining. As a data scientist or NLP specialist, not only we explore the content of documents from different aspects and at different levels of details, but also we summarize a single document, show the words and topics, detect events, and create storylines.

意译:文本内容可视化表示是文本挖掘领域中的重要研究任务。作为一个数据科学家或自然语言专家,我们不仅要探索不同领域、不同细粒度文本的内容,而且我们需要总结一个文本,展示它的词、主题、时间、故事线。

However, there are some gaps between visualizing unstructured (text) data and structured data. For example, many text visualizations do not represent the text directly, they represent an output of a language model (word count, character length, word sequences, etc.).

意译:可视化非结构化文本和可视化结构化文本之间存在着巨大差异。比如:许多文本可视化并不直接表示文本,它们通过一个语言模型输出文本的单词数量、字符长度、词序列等来间接的表示文本。

In this post. we will use Womens Clothing E-Commerce Reviews data set, and try to explore and visualize as much as we can, using Plotly’s Python graphing library and Bokeh visualization library. Not only we are going to explore text data, but also we will visualize numeric and categorical features. Let’s get started!

下载的数据集

意译:文本可视化数据集:女性衣服电子商业评论数据集  

注册一个kaggle账号就可以下载数据了。

工具一:Plotly's Python graphing library

工具二:Bokeh visualization library

所有的代码:code  jupyter

Let's get started!

The Data

df = pd.read_csv('Womens Clothing E-Commerce Reviews.csv')

数据的格式

After a brief inspection of the data, we found there are a series of data preprocessing we have to conduct.

·Remove the "Title" feature.

·Remove the rows where "Review Text" were missing.

意译:对数据做一些预处理,具体操作看以下截图:

·Clean "Review Text" column.

·Using TextBlob to calculate sentiment polarity which lies in the range of [-1,1] where 1 means positive sentiment and -1 means a negative sentiment.

·Create new feature for the length of the review.

·Create new feature for the word count of the review.

意译:以上英文操作解释可以看下图:

To preview whether the sentiment polarity score works, we randomly select 5 reviews with the highest sentiment polarity score(1):

意译:随机查看5个正情感本文。

Then randomly select 5 reviews with the most neutral sentiment polarity score(0):


意译:随机查看5条中立情感的文本。

There were only 2 reviews with the most negative sentiment polarity score:

意译:输出2个负情感的文本。

Univariate visualization with Plotly

Single-variable or univariate visualization is the simplest type of visualization which consists of observations on only a single characteristic or attribute. Univariate visualization includes histogram, bar plots and line charts.

The distribution of review sentiment polarity score

意译:用Plotly将数据进行可视化,单一变量的可视化是最简单的,可视化形式包括:直方图、条形图和折线图。

What is difference between plot and iplot in pandas?

后面部分内容因为df['polarity'].iplot()  中的.plot()在本地运行报错,暂没解决。所以后面的内容,请查看完文

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,240评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,328评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,182评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,121评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,135评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,093评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,013评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,854评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,295评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,513评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,678评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,398评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,989评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,636评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,801评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,657评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,558评论 2 352