FastText是一个开源、免费、轻量级的库，允许用户学习文本表示和文本分类器，由Facebook开源。
1、在OSx上安装fasttext
git clone https://github.com/facebookresearch/fastText.git
cd fastText
make
检查安装是否成功：./fasttext
2、获取并准备数据
预处理：
我们需要如下所示的数据，只有一列。那么如何区分label和data呢，就是给每个label之前加上__label__，如果其中包含多个单词，比如'a b'，则改造为__label__a_b，label和data之间以空格相连。
比如我的原始文本长这样，第一列是data，第二列是label。
改造后的训练文本长这样，注意我这里把label都换成数字了，为了看起来方便，其实不需要的哈，文本就可以。
用同样的方式处理训练数据和预测数据，分为两个文本。
注意，这里有两个坑：
A.一定不要在一个机器上处理了文件又挪到另一个机器上，因为可能格式会乱，比如用vim打开看到每一行结尾都有个$字符，这样处理的训练数据下一步没办法训练；
B.数据一定是一列，既然是一列就不要用pandas写入，就用普通的文件写入即可，我用pandas写入了一列，结果每一行前后都加上了"",导致无法训练。
3、训练分类模型
./fasttext supervised -input trainfile -output mymodel
其中trainfile是训练数据的文件名，mymodel训练生成的模型。注意这里的mymodel不用加.bin后缀，自动加的。
注意，一定要检查一下number of labels与训练数据是否相符，我的是10分类，所以是10，如果上一步文件格式不对，Label number就会很奇怪，或是0或很大的数。
4、用模型进行分类
A.对一个样本进行分类
./fasttext predict mymodel.bin -
回车后输入文本，再回车，即可得到分类结果
B.对测试数据文本进行分类及正确率统计
./fasttext test mymodel.bin validfile
其中validfile是验证文件，和训练文件一个格式。
N是验证样本数，检查。
************************************************************
以上就是基础的fasttext文本分类实战，但是我们的结果并不优秀，我们需要不断调优，当然fasttext也提供了调优方法。
1. 清洁数据
包括去除一些符号和字母小写。
cat originfile | sed -e “s/\([.\!?,’/()]\)/ \1 /g” | tr “[:upper:]” “[:lower:]” > objectfile
如上是把originfile处理成objectfile
然后在训练，测试即可。
2.设定训练的epoch
./fasttext supervised -input trainfile -output mymodel -epoch 1000
我这里设定了1000个epoch（fasttext训练非常之快，比自己搭建的CNN不知道快了多少倍），可以看到有效果有很大提升呢。
3.设定训练的学习率
(0.1到1)
./fasttext supervised -input trainfile -output mymodel -epoch 100 -lr 0.2
4.使用n-gram
./fasttext supervised -input trainfile -output mymodel -epoch 100 -wordNgrams 2
使用2-gram看看效果。
可以看到2-gram效果又提升了不少！
简单总结一下：
数据预处理 ;
epochs (-epoch, range [5 - 50]) ;
learning rate (-lr, range [0.1 - 1.0]) ;
word n-grams (-wordNgrams, range [1 - 5])
5、更改loss
为hs(hierarchical softmax)，对多分类非常有效
-loss hs
6、-dim 增大模型容量
*********************************************************
更多关于faxttextc参数的说明，见https://fasttext.cc/docs/en/options.html
以上！
向上吧，少年！
