Hypre与Petsc安装文档及性能测试

1. 前言

本文介绍了并行计算库的Hypre和Petsc的安装方法以及在线性系统求解中不同算法的性能测试，用于日后在不同系统上的Hypre和Petsc的安装需要和新型算法性能测试基准。程序安装运行环境为NVIDIA-dgx1，详细参数请见dgx1参数。本文将分为Hypre和Petsc两个部分，分别以总体介绍，安装，程序运行关键代码和在IEEE不同节点数据下性能测试的顺序介绍两款软件的使用。

2. Hypre介绍，安装及使用

2.1 Hypre介绍

2.1.1 性能介绍

Hypre是运行在多核处理器上，借助目前性能较好的预处理矩阵（preconditioner）对于大型稀疏线性方程组使用迭代法求解的一个c语言库。其基本目标是让用户可以借助于多核处理器的并行性能，并行存储矩阵不同范围的信息，并行地进行迭代法求解，从而达到事半功倍的效果。Hypre具有扩展性极强的预处理矩阵算法，对于大型系统的预处理矩阵生成也有着不错的性能，并且迭代法所用算法选择空间较大，从后续的测试结果也可以看到，在选择了合适的算法的情况下，对于实际的电力系统线性方程组求解也可以有较快的计算速度。

另一方面，从用户的使用角度来讲，用户无需预先学习复杂的稀疏矩阵存储，而只需分配对应行列坐标给矩阵类，之后的空间压缩操作都可以由Hypre完成，这对于新手来说，可以在最短时间内搭好自己的第一个求解线性方程组程序，是很好的入门函数库。

2.1.2 程序框架介绍

Hypre使用了“原型”的概念，这个概念对于程序来说，是一种储存信息的统一格式，可以更为高效地分配存储空间。在编程之前，用户需要决定对于自己的问题，使用哪一种原型来存储信息。其包括：

  • Structured-Grid System Interface

    这是应用于矩阵中非零元素十分规则，可以用Stencil类型来统一表示非0元素分布的系统。其中Stencil类型使用的相对坐标位置的方法，在确定中心点的情况下（0，0），使用对应坐标来确定非零元素的位置和值，并且在矩阵的赋值过程得以使用。

  • Linear-Algebraic System Interface (IJ)

    IJ适用于一般的线性系统，这类系统非零元素的分布没有规律可循，我们可以通过按行赋值的方式存储矩阵中非零元素的信息。而在赋值完毕后，程序将使用CSR的格式存储非零元素的信息。

在线程的资源分配上，Hypre也采用了相对坐标的方式决定一个线程拥有的矩阵信息范围。使用左下角的坐标点和右上角的坐标点，Hypre可以通过他们的差值来得出其拥有的矩阵范围。另一方面，Hypre也可以通过行坐标的范围，来决定各线程所分配到矩阵范围。用户可以通过自身系统的特点，来判断到底采取哪一种分配方式。

2.1.3 用户使用的Hypre的总体步骤

综上，在使用Hypre计算线性系统方程时，需要包括以下步骤：

  • 根据系统特点，选择不同的原型结构
  • 根据该结构，对系统生成的矩阵进行赋值
  • 为系统不同的线程分配属于该线程的系统信息
  • 选用合适的方法与preconditioner进行求解
  • 获取结果

2.2 Hypre安装

2.2.1 检查openmpi安装

  • 首先检查系统中是否存在openmpi:

    $ mpirun --version
    • 如果存在则直接去安装Hypre，否则先安装openmpi（本文档选用的版本是openmpi v1.10）。

2.2.2 安装openmpi

  • 进入openmpi官网(https://www.open-mpi.org/software/ompi/v1.10/)，下载.tar.gz文件到本地。

  • 在下载路径下，解压该tar.gz文件

    $ tar -zxvf openmpi-1.10.7.tar.gz

  • 进入解压后生成的文件夹

    $ cd openmpi-1.10.7

  • configure路径下的文件，注意"--prefix="指定的是安装路径，用户可以自己指定，在后面找得到就行。

    $ ./configure --prefix="/usr/local/openmpi"

  • 编译并安装

    $ make 
$ sudo make install

  • 为openmpi设置环境变量，进入~/.bashrc加入如下内容后保存并source

    $ vim ~/.bashrc
/* 以下内容在.bashrc中更改 */
export PATH="$PATH:/usr/local/openmpi/bin"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/openmpi/lib/"
/****************************************************************/
$ source ~/.bashrc

  • 测试是否安装成功：进入openmpi解压的文件夹中有一个examples，运行如下例程将为出现两行"hello"，则表示安装成功

    $ mpirun -np 2 ./hello_c

2.2.3 安装Hypre

  • 进入Hypre的github中clone源代码

    $ git clone https://github.com/LLNL/hypre.git
// 进入source code文件夹
$ cd hypre/src

  • 注意在configure的时候要让hypre知道Openmpi在哪

    $ ./configure -prefix=/usr/local/hypre \
    -with-MPI-include=/usr/local/openmpi/include \
    -with-MPI-libs="mpi_cxx mpi" \
    -with-MPI-lib-dirs=/usr/local/openmpi/lib

  • 编译安装

    $ sudo make install

    需要一段时间。。。

  • 在src文件夹中有一个examples文件夹，里面有测试是否安装成功的例程。在使用Makefile编译后，生成的可执行文件需要mpirun运行。

    $ make
$ mpirun -np 2 ex1(ex2)

    如果正常输出，则表示安装成功。

2.3 Hypre计算代码详解

2.3.1 Hypre线程分配空间方式

在将矩阵不同行分给hypre不同线程时，需要告知该线程矩阵的起始行和终止行，在已知矩阵总行数（N）和处理器个数（线程个数 num_procs）的情况下，考虑N无法被num_procs整除的情况，可以得到如下的计算公式。其中，myid表示这是第几个线程。

local_size = N / num_procs;         // size per processor
extra = N - local_size * num_procs; // consider rows cannot be fully divided by procs
ilower = local_size * myid;
ilower += hypre_min(myid, extra);
iupper = local_size * (myid + 1);
iupper += hypre_min(myid + 1, extra);
iupper = iupper - 1;
// update num of rows
local_size = iupper - ilower + 1;

2.3.2 Hypre矩阵，向量储存形式和赋值

目前Hypre支持的存储形式为HYPRE_PARCSR，矩阵类为HYPRE_IJMatrix，和HYPRE_IJVector，经过print打出之后为“行，列，值”的坐标对。矩阵赋值支持按行赋值

HYPRE_IJMatrixSetValues(ij_matrix, nrows, ncols, rows, cols, values);
// 其中，ij_matrix为矩阵地址，nrows是赋值的行数，ncols为该行非0元素个数，rows为行坐标，cols为列作标，values为所赋的非0值

Vector的赋值与上述矩阵赋值相似。

另一方面，需要注意在每次赋值前都需要initialize矩阵，赋值完毕后都需要assemble矩阵，并且获取控制该矩阵的句柄。

HYPRE_IJMatrixInitialize(A);
/* ... 赋值操作 ... */
HYPRE_IJMatrixAssemble(A);
HYPRE_IJMatrixGetObject(A, (void **)&parcsr_A);

2.4 Hypre求解线性系统性能测试

<table>
<thead>
<td>计算题目</td>
<td>计算方法</td>
<td>迭代次数</td>
<td>计算时间</td>
</thead>

<tr>
    <td rowspan="4"> 14节点<br/>
</tr>
<tr>
    <td> PCG </td>
    <td> 13 </td>
    <td> 0.000860s </td>
</tr>
<tr>
    <td> AMG </td>
    <td> 5 </td>
    <td> 0.000328s </td>
</tr>
<tr>
    <td> PCG with AMG preconditioner </td>
    <td> 4 </td>
    <td> 0.000310s </td>
</tr>

<tr>
    <td rowspan="4"> 118节点<br/>
</tr>
<tr>
    <td> PCG </td>
    <td> 117 </td>
    <td> 0.001329s </td>
</tr>
<tr>
    <td> AMG </td>
    <td> 10 </td>
    <td> 0.000752s </td>
</tr>
<tr>
    <td> PCG with AMG preconditioner </td>
    <td> 6 </td>
    <td> 0.000787s </td>
</tr>   

<tr>
    <td rowspan="4"> 10790节点<br/>
</tr>
<tr>
    <td> PCG </td>
    <td> 6207 </td>
    <td> 0.9464s </td>
</tr>
<tr>
    <td> AMG </td>
    <td> 12 </td>
    <td> 0.0337s </td>
</tr>
<tr>
    <td> PCG with AMG preconditioner </td>
    <td> 7 </td>
    <td> 0.0284s </td>
</tr>

<tr>
    <td rowspan="4"> 
        福建1425节点
    <br/>
</tr>
<tr>
    <td> PCG </td>
    <td> 21246 </td>
    <td> 0.388728s </td>
</tr>
<tr>
    <td> AMG </td>
    <td> 迭代发散 </td>
    <td> NA </td>
</tr>
<tr>
    <td> PCG with AMG preconditioner </td>
    <td> 375 </td>
    <td> 0.061298s </td>
</tr>

<tr>
    <td rowspan="4"> 四川2433节点 <br/>
</tr>
<tr>
    <td> PCG </td>
    <td> 16705 </td>
    <td> 0.496167s </td>
</tr>
<tr>
    <td> AMG </td>
    <td> 迭代发散 </td>
    <td> NA </td>
</tr>
<tr>
    <td> PCG with AMG preconditioner </td>
    <td> 10000(迭代未结束但结果误差在0.01级别) </td>
    <td> 2.464774s </td>
</tr>

</table>

3. PETSC的安装及使用

3.1 PETSC安装

3.1.1 下载PETSC安装包

说明：本部分基于机器上已经安装有openmpi，如果没有，请移步“安装openmpi”部分。

  • 使用git clone下载petsc源码
$ git clone -b maint https://bitbucket.org/petsc/petsc petsc

3.1.2 安装PETSC

  • 在源代码根目录下，编译源码，假设你的openmpi装在了“/usr/local/openmpi”里面，你想把petsc装在“$HOME/petsc”下：
$ ./configure --with-mpi-dir=/usr/local/openmpi/ --download-fblaslapack --prefix=$HOME/petsc
  • 测试安装是否成功
$ make all test

3.1.3 运行PETSC程序

  • 源代码中有一些example的文件，假定你已经在petsc根目录下面，examples的文件在 “./src/snes/examples/tutorials/”中。注意在make的时候需要指定PETSC_DIR和PETSC_ARCH中的路径。PETSC_DIR就是petsc的根目录，PETSC_ARCH是名字带“ARCH”的文件夹。假设你要编译ex12.c的文件夹
# 编译
$ make PETSC_DIR=$HOME/iterative/petsc PETSC_ARCH=arch-linux2-c-debug ex12
# mpi运行, -n 为指定processor数量
$ mpiexec -n 4 ./ex12

3.2 PETSC计算代码详解

3.2.1 PETSC线程分配空间方式

与Hypre不同的是，PETSC无需显式地表达分配给该线程的矩阵/向量行坐标范围，而只需告诉PETSC矩阵的行数和列数，使用PETSC_DECIDE让PETSC自行决定分配给该线程的行坐标范围，并且可以通过内置的函数来获得属于该线程的起始坐标和结束坐标。以下为示例代码：

// A为matrix
ierr = MatSetSizes(A, PETSC_DECIDE, PETSC_DECIDE, numRow, numCol);
/*...矩阵操作...*/
ierr = MatGetOwnershipRange(A, &Istart, &Iend);

值得一提的是，PETSC中大部分的函数操作均会返回该操作的状态码，可以通过

CHKERRQ(ierr)

来检查程序是否出错。推荐每做一次操作都要检查一次状态码。

3.2.2 PETSC矩阵，向量储存形式和赋值

PETSC存储矩阵的类型为Mat,存储向量的类型为Vec，在矩阵赋值时，需要告知行坐标，赋值个数，和所赋的值。

ierr = MatSetValues(A, 1, &Ii, 1, &J, &v, INSERT_VALUES);

其中INSERT_VALUES表示赋值类型，代表将该坐标上的参数设为v。而在每次赋值完毕后，都需要Assemble矩阵来告知系统矩阵赋值已完成。

// assemble matrix A
ierr = MatAssemblyBegin(A, MAT_FINAL_ASSEMBLY);
CHKERRQ(ierr);
ierr = MatAssemblyEnd(A, MAT_FINAL_ASSEMBLY);
CHKERRQ(ierr);

3.3 PETSC求解线性系统性能测试

目前PETSC只能支持PCG的求解，如若要使用AMG的求解需要自行编写相关的代码，因此，本文只在PETSC测试中，使用了PCG的求解方法进行性能测试。

计算题目 迭代次数 计算时间
14节点 13 0.001009s
118节点 78 0.004705s
10790节点 2257 0.911253s
福建1425节点 发散 NA
四川2433节点 发散 NA

4 结论

本测试报告详细总结了并行计算库Hypre,PETSC的安装和求解线性方程组的过程，并且在不同的线性系统问题上进行了性能测试。测试结果表明，Hypre对于实际系统的适应度较高，在算法选择上多样，并且在合适的preconditioner的帮助下，对于实际系统方程的求解也会有比较好的性能。而PETSC在一些算法的开发的上仍然存在不足，如AMG的算法需要自行编写。并且在实际系统环境下的线性方程组求解上，无法获得比较好的结果。

©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 212,332评论 6赞 493
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 90,508评论 3赞 385
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 157,812评论 0赞 348
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 56,607评论 1赞 284
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 65,728评论 6赞 386
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 49,919评论 1赞 290
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 39,071评论 3赞 410
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 37,802评论 0赞 268
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,256评论 1赞 303
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,576评论 2赞 327
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,712评论 1赞 341
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 34,389评论 4赞 332
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 40,032评论 3赞 316
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,798评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,026评论 1赞 266
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 46,473评论 2赞 360
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 43,606评论 2赞 350

推荐阅读更多精彩内容