引言
最近项目中可能有个需求需要用到分词，所以研究了解了一下Java的ansj，然后发现了个数字与英文量词一直被分隔出来的问题
场景复现
根据官方文档，通过配置文件的
isQuantifierRecognition字段可以开启数字和量词合并public class MyStaticValue { // 是否数字和量词合并 public static Boolean isQuantifierRecognition = true;通过源码可知，该变量已默认为true
实际测试效果
String text = "这是一条100厘米的绳子";
System.out.println(ToAnalysis.parse(text));
String text2 = "这是一条100cm的绳子";
System.out.println(ToAnalysis.parse(text2));
输出结果
这/r,是/v,一条/mq,100厘米/mq,的/u,绳子/n
这/r,是/v,一条/mq,100/m,cm/en,的/u,绳子/n
可以见到，开启数字和量词合并后，对于数字与中文量词组合的可以成功分割，但对于数字与英文量词组合的无法正确切分
问题排查
通过查阅文档和源码可知，量词词性使用q_mq，于是一开始思路考虑手动添加自定义词
DicLibrary.insert(DicLibrary.DEFAULT, "cm", "q_mq", DicLibrary.DEFAULT_FREQ);
但是经实验并没有生效，然后开始跟踪源码，发现isQuantifierRecognition变量开启后，主要是通过一个结果处理器NumRecognition对结果进行数字量词合并，
ToAnalysis
于是一路跟踪进去，查看这个Recognition的源码
NumRecognition
发现主要逻辑是根据这个
isQua来决定是否将两个词合并，然后我们来看一下刚那个cm量词的isQua,
numAttr
可以发现即使我们将cm添加为自定义量词，这个变量也仍为false，于是再跟踪这个变量的赋值过程，
TermNatures
AnsjItem
发现只有initValue的时候才会将内置的量词
NumNatureAttr的isQua字段置为true，后续添加的不会再走这段逻辑，所以也解释了为什么不生效的问题
解决方法
- 修改源码的core.dic生成文件，将要添加的量词直接生成进去
- 自己手写一个Recognition对结果进行处理
因为项目的需求不光是要将100cm合并，对于如DN25也需合并，所以我就直接采用第二种方法，将数字英文直接合并在一起了
这里也简单贴一下自己写的Recognition代码
public class SpecificationWordRecognition implements Recognition {
private static final Nature SPECIFICATION_NATURE = new Nature("specification");
@Override
public void recognition(Result result) {
List<Term> terms = result.getTerms();
for (Term term : terms) {
if (term.getName() == null) {
continue;
}
if ("m".equals(term.getNatureStr()) || "en".equals(term.getNatureStr())) {
Term to = term.to();
while ("m".equals(to.getNatureStr()) || "en".equals(to.getNatureStr())) {
term.merage(to);
to.setName(null);
term.setNature(SPECIFICATION_NATURE);
to = to.to();
}
}
}
for (Iterator<Term> iterator = terms.iterator(); iterator.hasNext();) {
Term term = iterator.next();
if (term.getName() == null) {
iterator.remove();
}
}
}
}
