在主题模型的构建中，如果训练集较小，效果通常不会太理想(对监督学习)，但是大数据量语料分析，常规方式性能堪忧，微软开源的LightLDA在性能上有了很大的提升。详见

http://www.flickering.cn/uncategorized/2016/05/peacock%E9%87%87%E6%A0%B7%E7%AE%97%E6%B3%95%E6%80%A7%E8%83%BD%E6%AF%94%E8%BE%83/

对比sparkLDA和JGibbsLDA，前者不支持Gibbs采样，还是用的EM和差分推理。后者是一个需要用命令行运行的工程，应该可以整合到spark，但是基于对lightLDA高性能口碑的好奇和兴趣，以及假如要使用lda模型，大型语料上的运行性能还是很重要的。

一、升级gcc版本

centos7的gcc满足4.8.5的版本要求，但是centos6需要升级。

#1.gcc版本检查 需要先确认
yum install gcc gcc-c++
 gcc --version 4.4.7 #gcc的版本要求是gcc-4.8.5：

#2.gcc编译安装
wget https://ftp.gnu.org/gnu/gcc/gcc-4.8.5/gcc-4.8.5.tar.gz
#编译安装 GCC 需要依赖 mpc，mpfr，gmp包。好在 GCC 源码里自带脚本可以轻松下载依赖包
tar czxf gcc-4.8.5.tar.gz
 cd gcc-4.8.5
 ./contrib/download_prerequisites
 mkdir gcc-build-4.8.5
 cd gcc-build-4.8.5
../configure --prefix=/usr --enable-checking=release --enable-languages=c,c++ --disable-multilib
make –j4 && make install

参数说明：
<1>--prefix 为了避免安装后系统里出现多个版本的 GCC，这里直接将编译安装的目录指定为 /usr，如果不指定–prefix，则会默认安装到 /usr/local 下
<2>--enable-languages        //指定 gcc 能编译哪些语言的文件，每种语言用逗号分隔, 例如 c,c++,java
<3>--disable-multilib    //默认gcc 能在32位系统上将代码编译成64位程序，或者在64位系统上编译成32位程序，

完成后， 默认会替换为正确的4.8.5的，及其特殊情况下会冲突

#gcc 冲突解决
 which gcc  #如果显示的是/usr/bin/gcc
 mv /usr/bin/gcc /usr/bin/gcc4.4.7
 ln -s /usr/local/bin/gcc(新gcc) /usr/bin/gcc

# g++冲突解决
 mv /usr/bin/g++ /usr/bin/g++4.4.7
 ln -s /usr/local/bin/g++（新） /usr/bin/g++

# cc 冲突解决
 mv /usr/bin/cc /usr/bin/cc4.4.7
 ln -s /usr/local/bin/cc（新） /usr/bin/cc

#c++冲突解决
 mv /usr/bin/c++ /usr/bin/c++4.4.7
 ln -s /usr/local/bin/c++（新） /usr/bin/c++

二。git安装

yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel
 yum install gcc perl-ExtUtils-MakeMaker
 yum remove git
 cd /usr/local/src
 wget https://www.kernel.org/pub/software/scm/git/git-2.0.5.tar.gz --no-check-certificate
 tar xzf git-2.0.5.tar.gz
 cd git-2.0.5
 make prefix=/usr/local/git all
 make prefix=/usr/local/git install
 echo "export PATH=$PATH:/usr/local/git/bin" >> /etc/bashrc
 source /etc/bashrc
 git --version

三、LightLDA源码安装

cd /usr/local/src
 git clone https://github.com/Microsoft/lightlda #如果报ssl error可能是ssl版本低，升级yum update nss
 cd lightlda

安装
默认安装sh ./build.sh会报错，里面的一些地址已经更换，按照以下的顺序安装：

1.下载DMTK，微软开源的机器学习工具包,lightLDA是基于DMTK的

yum install libopenmpi-dev openmpi-bin build-essential cmake git
 git clone -b multiverso-initial https://github.com/Microsoft/multiverso.git
 cd multiverso

2.安装第三方组件：
cd third_party
默认运行sh ./install.sh会失败的
  2.1 安装 zeromq
    注意一点：需要将zeromq的lib路径加入到/etc/ld.so.conf 后再编译，否则在后面运行的时候报错：

bin/lightlda: error while loading shared libraries: libzmq.so.5: cannot open shared object file: No such file or directory

vi /etc/ld.so.conf
#加入 /usr/local/src/lightlda/multiverso/third_party/lib ldconfig
# 注意这个时候会报错ldconfig: /usr/lib64/libstdc++.so.6.0.19-gdb.py 不是 ELF 文件 - 它起始的魔数错误
 mv /usr/lib64/libstdc++.so.6.0.19-gdb.py /usr/lib64/bak_libstdc++.so.6.0.19-gdb.py #后重新执行ldconfig

wget https://archive.org/download/zeromq_4.1.3/zeromq-4.1.3.tar.gz
#如果失败，自行下载到本地上传到third_party
 tar -zxf zeromq-4.1.3.tar.gz cd zeromq-4.1.3
 ./configure --prefix=/usr/local/src/lightlda/multiverso/third_party --without-libsodium
 make -j4
 make install -j4
 cd ..
 rm -rf zeromq-4.1.3

2.2 Get the C++ Wrapper zmq.hpp

wget https://github.com/zeromq/cppzmq/blob/master/zmq.hpp
# 不能直接wget会乱码，下载整个cppzmq的项目，解压出来zmp.hpp后单独上传
 mv zmq.hpp /usr/local/src/lightlda/multiverso/third_party/include/

2.3 Get MPICH2

wget http://www.mpich.org/static/downloads/3.0.4/mpich-3.0.4.tar.gz
# wget或者单独下载后上传
 tar -zxf mpich-3.0.4.tar.gz cd mpich-3.0.4
 ./configure --prefix=/usr/local/src/lightlda/multiverso/third_party --disable-fc --disable-f77
 make -j4
 make install -j4
 cd ..
 rm -rf mpich-3.0.4/
 rm -rf *.tar.gz

至此，已经完成第三方组件的编译安装

3.编译安装zmtk和lightlda

  3.1 编译安装DMTK

cd ../
make -j4 all

3.2 编译安装lightLDA

cd ..
 make -j4

至此，在lightLDA的bin目录下已经有lightlda和其他工具了

四、说明

Smultiverso(DMTK)：是一个标准c++lib库,是一个基于框架的参数服务器，用来在多台机器上训练大数据的机器学习模型，提供了友好的api接口，使用者不必考虑分布式模型存储和操作，内部线程和内部进程间的交互，多线程的管理，只需要专注于机器学习的逻辑：数据，模型和训练。

Libzmq：zeroMq轻量级的消息内核继承了标准的socket接口，具有定制化消息中间件产品的特点，zeroMQ socke提供了异步消息队列，多消息模式，消息过滤的抽象，无缝对接多种传输协议。

mpich-3.0.4:是一个高性能便携式Message Passing Interface标准的实现，将线程的管理和交互分离。

五、实例文档的安装使用

1.下载示例文档

wget https://archive.ics.uci.edu/ml/machine-learning-databases/bag-of-words/docword.nytimes.txt.gz
wget https://archive.ics.uci.edu/ml/machine-learning-databases/bag-of-words/vocab.nytimes.txt

2.安装使用
  (1)解压后的txt文件是UCI格式的文件，格式如下（其中前三行统计数据可以没有）

文档数
单词数
NNZ
docID wordID count
docID wordID count

  (2)需要使用example中的text2libsvm将UCI格式转化为libsvm，默认脚本是python2的，在python3下如要修改如下:

print使用print()替代
#if not word_dict.has_key(word_id):用if word_id not in word_dict:替代

  (3)用bin/dump_binary将libsvm转化为二进制的lightLDA格式数据

  (4)示例的doc文件是6000W的数据，可以用head -n 100000 docword.nytimes.txt > docword.nytimes_new.txt 提取10w数据测试

  (5)完整的执行过程如下：

cd /usr/local/src/lightlda/
 mkdir mytest cd mytest
 cp ../example/text2libscm.py ./
 vi text2libscm.py  #修正代码
 mkdir output

#输出output的libsvm和字典文件
python ./text2libsvm.py ./docword.nytimes.txt ./vocab.nytimes.txt output/nytimes.libsvm output/nytimes.word_id.dict

#输出block文件和vocab
../bin/dump_binary output/nytimes.libsvm output/nytimes.word_id.dict output 0

#运行lightLDA
 ../bin/lightlda -num_vocabs 18000 -num_topics 10 -num_iterations 100 -alpha 2 -beta 0.1 -mh_steps 2 -num_local_workers 1 -num_blocks 1 -max_num_document 500 -input_dir output -data_capacity 2

3.lightlda参数说明：

-num_vocabs 数据集中包含的单词数目，是词汇表中的词的数目，可以比实际值偏大
 -num_topics 要训练的主题数目，经验值是sqrt(#docs)/3，可以用HDP或交叉验证确定
 -num_iterations 迭代次数，越多越好
 -alpha 对称Dirichlet分布的参数alpha，经验值设置为 50/#topics -beta 对称Dirichlet分布的参数beta, 经验值设置为0.1
 -max_num_document 训练的文档数目
 -input_dir 训练数据所在目录，目录下需有转化为lightlda自定义的输入格式文件
 -data_capacity 至少要最大的block文件的size，block文件是由dump_binary生成的。
 -model/alias/delta capacity 可以指定任意值，一般model/alias大小是同义数量级，delta相对会小很多。

4. 输出结果
   结果数据直接在mytest目录：一共4个文件

doc_topic.0 #doc_topic.blockID 这个blockID下的doc_topic分布，格式： 文档id 主题id:次数 server_0_table_0.model #word_topic分布，格式：词id 主题id:次数
server_0_table_1.model #只有一行，所有主题的出现次数统计, 主题id:次数
 LightLDA.40000.log #日志文件

六、分布式运行过程
lightlda的真正能力在于分布式的执行，可以在多台机器上同步线性扩展，以下例子在2台阿里云8GBECS上测试

1.以50W数据测试 (以下内容在server1上运行)

cd mytest
head -n 500000 docword.nytimes_ori.txt > docword.nytimes.txt  #截取50W测试数据
#转换成libsvm格式
 python ./text2libsvm.py ./docword.nytimes.txt ./vocab.nytimes.txt output/nytimes.libsvm output/nytimes.word_id.dict

2.数据预处理，将libsvm切分为几部分，使用phraug
(1)分割为2份数据  #在mytest目录下

git clone https://github.com/zygmuntz/phraug.git

#因为脚本是python2的，将chunk.py修改为版本3的

修改print
os[n].write( line)修改为os[n].write( line.encode('utf-8') )

        #因为测试环境2台机器，将数据分割为2份:

cd output/
 python ../phraug/chunk.py ./nytimes.libsvm 2 #结果生成nytimes_0.libsvm 和nytimes_1.libsvm

(2)转换格式为2进制的lightLDA格式

cd ../ ../bin/dump_binary output/nytimes_0.libsvm output/nytimes.word_id.dict output 0
 ../bin/dump_binary output/nytimes_1.libsvm output/nytimes.word_id.dict output 1
#在output下生成如下的文件
 block.0 clock.1
 vocab.0 vocab.1
 vocab.0.txt vocab.1.txt
 nytimes_0.libsvm nytimes_1.libsvm

(3)将1的文件放置到server2的指定目录下，同时修改为0
(4)在server2重命名1的文件： 注意：每个文件夹下是5个文件
(5)配置两台机器的无密码访问

cd ~/.ssh #看看里面有没有id_rsa，如果没有需要生成秘钥
 ssh-keygen -t rsa ssh-copy-id root@远端IP #两台机器分别执行
 ssh-copy-id root@自己IP #否则报错Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)

(6)在其中一台机器上执行

/usr/local/src/lightlda/mytest #创建机器列表文件machinelist
 vi machinelist
 47.95.237.1
 60.205.1.2

#将mpi的路径加入到系统环境中
vi /etc/profile PATH=$PATH:$HOME/bin:/usr/local/src/lightlda/multiverso/third_party/bin
 export LD_LIBRARY_PATH=/usr/local/src/lightlda/multiverso/third_party/lib

 source /etc/profile

#分布式执行：注意开启动态端口的防火墙
 /etc/hosts的主机名和ip一定对应

(7)执行

cd /usr/local/src/lightlda/mytest
 mpiexec -machinefile ./machinelist ../bin/lightlda -num_vocabs 18000 -num_topics 10 -num_iterations 100 -alpha 2 -beta 0.1 -mh_steps 2 -num_local_workers 1 -num_blocks 1 -max_num_document 500 -input_dir output -data_capacity 2

（8）问题：
*** Error in `../bin/lightlda': munmap_chunk(): invalid pointer: 0x0000000008b778f0 ***

测试50W数据在8G的ecs上报错，30w测试通过，多轮测试发现是内存限制(50W单机也无法运行)，注意不同的数据集调整-num_vocabs等参数

（9）补充
偶然发现，lightLDA的python实现

https://github.com/nzw0301/lightLDA

六、其他

  实际测试，单台8GB机器最多运行数据30W左右，50W就报内存错误，看来对内存的依赖较大
  lightlda对多文档的主题模型分析非常有效，性能也非常好，2台机器70W左右再10秒左右可出结果