如何使用 Alink 进行中文情感分析?

情感分析是对带有情感色彩(褒义贬义/正向负向)的主观性文本进行分析,以确定该文本的观点、喜好、情感倾向。本文将针对顾客对酒店的评论数据,进行建模,并通过模型进行预测。演示情感分析中的常用操作,包括分词,文本向量化,及使用朴素贝叶斯(Naive Bayes)方法进行建模、预测。

使用的酒店评论数据集链接为:

https://raw.githubusercontent.com/SophonPlus/ChineseNlpCorpus/master/datasets/ChnSentiCorp_htl_all/ChnSentiCorp_htl_all.csv

每条记录包括评论内容和标记喜好的标签,标签只有2个值:1代表喜欢,0为不喜欢。下图显示了4条数据:

下面我们使用Alink来进行分析、建模。

▼ 钉钉扫码加入 Alink 技术交流群 ▼

Python 版本 Alink 分析示例

使用CsvSourceBatchOp读取URL数据,代码如下:

source = CsvSourceBatchOp()\
.setFilePath('https://github.com/SophonPlus/ChineseNlpCorpus/raw/master/datasets/ChnSentiCorp_htl_all/ChnSentiCorp_htl_all.csv')\
.setSchemaStr('label long, review string')\
.setIgnoreFirstLine(True)

设置列名分别为label和review,数据类型分别为整型和字符串类型,由于该CSV数据第一行保存的是列名,需要设置读取数据时忽略第一行。

下面,我们选择5条数据打印显示出来,看一下数据源是否有问题:

source.firstN(5).print()

结果如下:

然后,我们设置Pipeline,将整个处理和模型过程封装在里面,代码如下:

pipeline = Pipeline(
    Imputer().setSelectedCols(["review"]).setOutputCols(["featureText"]).setStrategy("value").setFillValue("null"),
    Segment().setSelectedCol("featureText"),
    StopWordsRemover().setSelectedCol("featureText"),
    DocCountVectorizer().setFeatureType("TF").setSelectedCol("featureText").setOutputCol("featureVector"),
    LogisticRegression().setVectorCol("featureVector").setLabelCol("label").setPredictionCol("pred")
)

解释一下各个算法组件的作用:

  1. Imputer:对“review”列进行缺失值填充,方式是填充字符串值“null”,结果写到“featureText“列。

  2. Segment:是进行分词操作,即将原句子分解为单词,之间用空格分隔。由于没有输入结果列,分词结果会直接替换掉输入列的值。

  3. StopWordsRemover:是将分词结果中的停用词去掉。

  4. DocCountVectorizer:对“featureText“列出现的单词进行统计,并根据计算出的TF值,将句子映射为向量,向量长度为单词个数,并保存在"featureVector"列。

  5. LogisticRegression:是使用LogisticRegression分类模型。分类预测放在“pred” 列。

下面,我们就可以进入模型训练阶段。通过Pipeline的fit()方法,可以得到整个流程的模型(PipelineModel),记作变量model,代码如下:

model = pipeline.fit(source)

使用model可以对批式/流式数据进行预测,都是调用model的transform()方法。

model.transform(source).select("pred", "label", "review").firstN(10).print()

运行结果为:

Java 版本 Alink 分析示例

首先,我们需要一个Alink的Java工程,配置好相关环境。最简单的办法是使用Alink的example工程,下载Alink git的代码,并用Jave IDE打开项目,如下图所示,可以看到三个已经写好的示例:ALSExample, GBDTExample, KMeansExample.

我们在com.alibaba.alink package下新建一个Java文件:

package com.alibaba.alink;

public class SentimentHotelSimpleExample {

  public static void main(String[] args) throws Exception {

  }
  
}

使用CsvSourceBatchOp读取URL数据,代码如下。设置列名分别为label和review,数据类型分别为整型和字符串类型,由于该CSV数据第一行保存的是列名,需要设置读取数据时忽略第一行。

CsvSourceBatchOp source = new CsvSourceBatchOp()
  .setFilePath("https://github.com/SophonPlus/ChineseNlpCorpus/raw/master/datasets"
    + "/ChnSentiCorp_htl_all/ChnSentiCorp_htl_all.csv")
  .setSchemaStr("label int, review string")
  .setIgnoreFirstLine(true)

source.firstN(5).print();

最后一行代码是选择5条数据打印显示出来,结果如下:

label|review
-----|------
0|携程订单上写明:“房型特点:一张1.3*2,另一张1.1*2米,无法加床全部房间有免费宽带”,实际入住后见到的房间是我所见过的最小的标准间,两个床尺寸相同,床的两边均靠着墙,没有一点多余的空间,甚至连放行李的地方也没有,更不要提什么橱了,跟酒店提出与所订房间不同,他们说我们订的房间空调坏了,只能换这个房间,价格一样。我不知道这是酒店的欺诈还是携程的欺诈,我要求得到赔偿。如果需要证据的话,我有实拍的房间照片。另外,建议大家不要出泰山旅游,几乎一半的酒店会不定时,无预警的停电。
0|洗澡竟然没有热水!!太郁闷了~~第二天还要爬山啊!!不过网速还可以~
0|我要求里写了要安静的房间。。谁知道那天住在6楼,外面的风,凄惨的吹着,声音很大,一个小时才入睡。让酒店换房间。他们说,酒店周围没有树,每间房间声音都很大。。赫赫,这里理由么?看来下次,起风的时候就不能去住了。
0|过了好久才想起来评价,记得离火车站超级近,不过方便的同时必然会觉得比较吵。韩日旅游团住这里的很多,前台服务冷淡。两个人住标准间,只给一张房卡,还很挑衅的看我。气的没心情。宾馆反馈2008年7月17日:酒店针对客人提出的问题,现已认真整改,希望每一位入住渤海明珠酒店的您都能高兴入住,满意而归。
0|酒店在铁路旁,晚上火

然后,我们设置Pipeline,将整个处理和模型过程封装在里面,代码如下:

  Pipeline pipeline = new Pipeline(
    new Imputer()
      .setSelectedCols("review")
      .setOutputCols("featureText")
      .setStrategy("value")
      .setFillValue("null"),
    new Segment()
      .setSelectedCol("featureText"),
    new StopWordsRemover()
      .setSelectedCol("featureText"),
    new DocCountVectorizer()
      .setFeatureType("TF")
      .setSelectedCol("featureText")
      .setOutputCol("featureVector"),
    new LogisticRegression()
      .setVectorCol("featureVector")
      .setLabelCol("label")
      .setPredictionCol("pred")
  );

解释一下各个算法组件的作用:

  1. Imputer:对“review”列进行缺失值填充,方式是填充字符串值“null”,结果写到“featureText“列。

  2. Segment:是进行分词操作,即将原句子分解为单词,之间用空格分隔。由于没有输入结果列,分词结果会直接替换掉输入列的值。

  3. StopWordsRemover:是将分词结果中的停用词去掉。

  4. DocCountVectorizer:对“featureText“列出现的单词进行统计,并根据计算出的TF值,将句子映射为向量,向量长度为单词个数,并保存在"featureVector"列。

  5. LogisticRegression:是使用LogisticRegression分类模型。分类预测放在“pred” 列。

下面,我们就可以进入模型训练阶段。通过Pipeline的fit()方法,可以得到整个流程的模型(PipelineModel),记作变量model,代码如下:

  PipelineModel model = pipeline.fit(source);

使用model可以对批式/流式数据进行预测,都是调用model的transform()方法。

  model.transform(source)
    .select(new String[]{"pred","label","review"})
    .firstN(10)
    .print();

运行结果为:

pred|label|review
----|-----|------
1|1|酒店服务真的很好,房间也很整洁。从阳台可以看到海景,海上有好多停着的船只,蛮有感觉的。自助早餐很不错,品种还是蛮丰富的。
1|1|洗了衣服本挂在洗手间的,等外出回来,已经拿架子挂在阳台上!满意服务态度一流,看到的全是笑脸!开心房间虽然设施老化,但很干净!安心海景不错!爽
1|1|非常好的地理位置,住的是豪华海景房,打开窗户就可以看见栈桥和海景。记得很早以前也住过,现在重新装修了。总的来说比较满意,以后还会住
1|1|我也是通过比较携程的用户评论选择海景的,是第一次住。总体感觉很好,房间硬件一般但很干净,每天有水果、糖果赠送,第一天还送玩偶,小孩子很喜欢。特别要提的是酒店服务很周到,餐饮和包车的价格也很公道,我们在酒店吃了两次晚餐都非常的满意,人均消费在30元左右(含酒水的哦)。同去的朋友都很满意,下次去威海还会住海景的。补充点评2008年7月29日:这里的工作人员各个彬彬有礼,作为一家国有企业实在难能可贵。例如,我早餐后刚在大堂的沙发坐下,服务员立即给我送上茶水和毛巾;我们在二楼公共休息区打牌,服务员见天色将黑,就主动把灯打开......
1|1|再次入住海景花园大酒店仍感亲切,酒店员工热情不减,服务还是这样的到位,我入住过的威海其他几家四星酒店与它相比,服务不在一个档次上,海景花园确实不错,下次我还是会入住.我要提的意见是,酒店客房空调不太制冷,服务不能在这些地方留有瑕疵,希望得到改进.
1|1|非常好的服务,虽然酒店挂牌4星,但服务不比5星差,整个酒店的服务员都很热情,你所见到的每个人都会主动向你问好,该酒店在细节的服务上也做的非常好,如:你在大堂内入座,服务员马上会给你上茶水和毛巾,都是免费的哦;你下出租车,服务员马上会递给你一张卡片,上面有你所乘坐的出租车号码,以免你万一有什么事可以找的到那辆车(因威海出租车的发票上没有车号)。如果一定要找一些酒店的缺点,那就是酒店的餐厅上菜的速度较慢,而且不要点川菜,因厨师不太会做。但不管如何,下次我去威海,还是会去该酒店入住。
1|1|确实不错!地点较佳,海景房正对栈桥和小青岛,不出房门,不用挤在旅游人群中,就能欣赏怡人海景;早餐较丰富且环境好,相对其价格,性价比高;一楼咖啡吧的简餐价格不高,味道较好,份量足(特别是三明治、热狗),是住客和非住店游客解决简单一餐或作为点心的好选择;宾馆楼道里的点心较受欢迎,品种多,质量高,而且添加及时,深受孩子喜爱;就是床略小(指带一个孩子睡的话)。总之,总体感觉好,推荐入住。
1|1|位置便利,价格便宜,服务周到,环境幽美!谢谢!
1|1|挺不错的酒店,每次去盐城都住在这里,价格便宜量又足!
1|1|还不错酒店,就餐和出行都很方便。服务态度也比较好。

附录完整的Java代码如下:

package com.alibaba.alink;

import com.alibaba.alink.operator.batch.source.CsvSourceBatchOp;
import com.alibaba.alink.pipeline.Pipeline;
import com.alibaba.alink.pipeline.PipelineModel;
import com.alibaba.alink.pipeline.classification.LogisticRegression;
import com.alibaba.alink.pipeline.dataproc.Imputer;
import com.alibaba.alink.pipeline.nlp.DocCountVectorizer;
import com.alibaba.alink.pipeline.nlp.Segment;
import com.alibaba.alink.pipeline.nlp.StopWordsRemover;

public class SentimentHotelSimpleExample {

  public static void main(String[] args) throws Exception {
    CsvSourceBatchOp source = new CsvSourceBatchOp()
      .setFilePath("https://github.com/SophonPlus/ChineseNlpCorpus/raw/master/datasets"
        + "/ChnSentiCorp_htl_all/ChnSentiCorp_htl_all.csv")
      .setSchemaStr("label int, review string")
      .setIgnoreFirstLine(true);

    //source.firstN(5).print();

    Pipeline pipeline = new Pipeline(
      new Imputer()
        .setSelectedCols("review")
        .setOutputCols("featureText")
        .setStrategy("value")
        .setFillValue("null"),
      new Segment()
        .setSelectedCol("featureText"),
      new StopWordsRemover()
        .setSelectedCol("featureText"),
      new DocCountVectorizer()
        .setFeatureType("TF")
        .setSelectedCol("featureText")
        .setOutputCol("featureVector"),
      new LogisticRegression()
        .setVectorCol("featureVector")
        .setLabelCol("label")
        .setPredictionCol("pred")
    );

    PipelineModel model = pipeline.fit(source);

    model.transform(source)
      .select(new String[] {"pred", "label", "review"})
      .firstN(10)
      .print();
  }

}
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,372评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,368评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,415评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,157评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,171评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,125评论 1 297
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,028评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,887评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,310评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,533评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,690评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,411评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,004评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,659评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,812评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,693评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,577评论 2 353