1、通讯类型
MPI最基本的通信模式是在一对进程之间进行的消息收发操作： 一个进程发送消息，另一个进程接收消息。这种通信方式称为点对点通信 (point to point communications)。
MPI 提供两大类型的点对点通信函数。第一种类型称为塞阻型 (blocking)，第二种类型称为非阻塞型 (non blocking)。
阻塞型函数需要等待指定操作的实际完成，或至少所涉及的数据已被 MPI 系统安全地备份后才返回。如 MPI_Send 和 MPI_Recv 都是阻塞型的。MPI_Send函数返回时表明数据已经发出或已被MPI 系统复制，随后对发送缓冲区的修改不会影响所发送的数据。而MPI_Recv 返回时，则表明数据已经接收到并且可以立即使用。阻 塞型函数的操作是非局部的，它的完成可能需要与其他进程进行通 信。
非阻塞型函数调用总是立即返回，而实际操作则由MPI系统在后台进行。非阻塞型函数名 MPI_ 前缀之后的第一个字母为 “I”，最 常用的非阻塞型点对点通信函数包括 MPI_Isend 和 MPI_Irecv。在 调用了一个非阻塞型通信函数后，用户必须随后调用其他函数，如MPI_Wait或MPI_Test等，来等待操作完成或查询操作的完成情况。 在操作完成之前对相关数据区的操作是不安全的，因为随时可能与 正在后台进行的通信发生冲突。非阻塞型函数调用是局部的，因为 它的返回不需要与其他进程进行通信。在有些并行系统上，通过非 阻塞型函数的使用可以实现计算与通信的重叠进行。 此外，对于点对点消息发送，MPI 提供四种发送模式，这四种
发送模式的相应函数具有一样的调用参数，但它们发送消息的方式 或对接收方的状态要求不同。
**标准模式 (standard mode) **由 MPI 系统来决定是先将消息拷贝 至一个缓冲区然后立即返回 (此时消息的发送由 MPI 系统在 后台进行)，还是等待将数据发送出去后再返回。大部分 MPI 系统预留了一定大小的缓冲区，当发送的消息长度小于缓冲区 大小时会将消息拷贝到缓冲区然后立即返回，否则则当部分或 全部消息发送完成后才返回。标准模式发送操作是非局部的因为它的完成需要与接收方联络。标准模式阻塞型发送函数是 MPI_Send。
**缓冲模式 (buffered mode) **MPI 系统将消息拷贝至一个用户提供 的缓冲区然后立即返回，消息的发送由 MPI 系统在后台进行。 用户必须确保所提供的缓冲区足以容下采用缓冲模式发送的消 息。缓冲模式发送操作是局部的， 因为函数不需要与接收方联络 即可立即完成(返回)。缓冲模式阻塞型发送函数为MPI_Bsend。
**同步模式 (synchronous mode) **在标准模式的基础上要求确认接 收方已经开始接收数据后函数调用才返回。显然，同步模式的 发送是非局部的。同步模式阻塞型发送函数为 MPI_Ssend。
就绪模式 (ready mode) 调用就绪模式发送时必须确保接收方已经 处于就绪状态(正在等待接收该消息)，否则将产生一个错误。 该模式设立的目的是在一些以同步方式工作的并行系统上由于发 送时可以假设接收方已经准备好接收而减少一些握手开销。如 果一个使用就绪模式的MPI程序是正确的，则将其中所有就绪 模式的消息发送改为标准模式后也应该是正确的。就绪模式阻 塞型发送函数为 MPI_Rsend。
MPI 点对点通信类型及模式汇总
2、编程模式
主从模式
构成并行程序的进程中有一个主进程 (master)，通常是进程 0，其余为从进程 (slave)。主进程与从进程运行不同的代码，但所有从进程运行的代码是相同的。在这种模式中，主进程一般负责整个并 行程序的控制，分配数据和计算任务给从进程，而从进程负责完成计算的从进程退出。实际实现中，数据可以存储在主进程中，分配任 务时将数据一起发送给从进程，从进程完成计算后将结果发回给主 进程；也可以将数据和结果分布存储在各从进程中，主进程只发布 用于控制计算的少量参数。后一种通信方式往往要复杂一些，但它 有助于避免在主进程中形成通信、内存容量方面的瓶颈。 主从模式便于处理某些动态负载平衡的问题，特别是在异构并行中各处理机的容量和速度不同时的负载平衡问题。但在大规模并 行程序中，主进程需要管理大量从进程，容易成为性能瓶颈，影响并 行可扩展性。主从模式可以看成一个二层树型模式，主进程是根，从 进程是叶子，它的一个自然扩展是多层树型模式。例如在三层树形 模式中，一个主进程管理数个“从”主进程，每个“从”主进程再分 别管理数个从进程。多级主进程的设立有助于缓解或消除可扩展性 瓶颈，但它也使得并行程序更加复杂。
SPMD模式
在这种编程模式中，没有主从进程之分，各个进程的地位是相同的，它们运行的代码是一样的。当然事实上在实际并行实现中，总 有一个进程，通常是进程 0，或多或少会担负一些基本控制任务。这 种模式由于没有明显的性能瓶颈并且便于有效利用 MPI 的聚合通信函数，往往能够达到理想的并行可扩展性，非常适合于大规模并 行。在SPMD模式中，各进程负责计算的部分通常由各进程根据它们的进程号以及总问题的规模来自动确定。在确定计算任务的划分 方案时需要综合考虑各进程间的负载平衡、进程间的通信、进程间 的数据相关性等多方面因素，以实现总体性能的最优。
MPMD模式
并行程序的各进程分别运行多个不同的代码。不同的进程所执行的代码可能相同，也可能不同。这种模式在实际并行应用程序中 比较少见。
