计算化学

 

集群构建教程

 

 

 

 

 

 

 

张鋆 编

 

 

 

前 言

 

 

 

 

本教程的目的是为读者提供计算机集群组建及其在计算化学中的应用的入

 

门知识。我们将先讲一些基本概念，然后以最快的速度进入实践阶段，使大家能

 

够在最短的时间内迅速建立起一个可以从事高性能计算的集群。

 

 

 

本教程的主要内容是以普通的高端 PC，服务器，千兆网等多数实验室所能

 

负担的起的硬件为基础，介绍如何构建一个具有完整文件共享，并行计算和作业

 

排队与调度功能的高性能计算机集群。这个教程，可以为从来没有组装过集群的

 

读者提供一些入门的知识，从而可以在组内构建自己的集群而免去在别的地方

 

“交钱”“排队”的苦恼。

 

 

 

有人会问：自己组建的集群和付费购买机时的集群会不会性能有很大差异？

 

这个严格来说取决于读者研究的体系。从单机计算的能力来看，高端 PC 已经和

 

最好的单机相差不大，而并行方面，由于专业机构有高水平的优化工程师和性能

 

卓越的网络硬件（当然这一切是以高成本为代价的），普通的研究组一般难以到

 

达它们的水平。但是，对于计算化学科研领域，大多数组需要计算的体系，即使

 

是很大蛋白质的长时间动力学（如 100000 原子的 10ns 动力学这种任务），借助

 

本教程里面的技术，即 MPI 并行+GPU 加速+自行编译，有两台 8 核 CPU 高端

 

PC，就基本可以在 10 天以内完成。因此，作者认为没有必要再去追逐更昂贵的

 

硬件。毕竟，科研的灵魂是 idea，而不是比谁的体系大，谁的速度快。当然，对

 

于特别的领域，如神经系统蛋白质的模拟，需要 512CPU 并行的，本教程里的技

 

术就略显不足了，不过依然可以作为一个入门来介绍。

 

 

 

本教程选取的软件技术如 Debian，Torque，NFS 等都是比较简单而实用的

 

软件，都经过作者测试。这些东西足以满足大多数要求，而且网上的文章也很多，

 

遇到错误便于随时查阅。专业大型集群的技术则更加高级，如我们使用 NFS 来

 

共享同步文件，而大型集群则会建立专门的“升级服务器”等来实现。这些技术读者如有兴趣可以参考这方面的资料。

 

 

 

在本教程的第三章还介绍了一些软件安装，编译和编程环境的设置的知识。一些计算化学的初学者常常面对软件的编译无从下手（如某人曾经半年也没编译

 

出 SAPT2008 来）。本来作者想将编译过的全部软件介绍一下，但是这样会使本教程变为一个无聊的软件集锦。所以这一章以 Gaussian，NAMD，Autodock 和

 

MKL 为例，分别介绍了四个类型的计算化学软件的配置技术。通过这四个软件

 

的配置的练习，再面对新的软件，读者就应该有足够的经验来应对了。如果还有

 

困难，可以参考网上的文章，如作者的博客：http://hi.baidu.com/coolrainbow/home。

 

 

 

本书并没有专门介绍 Linux，NIS，NFS 系统或者 Torque，Maui 软件的知识，读者可以参考相应的教材或者网上的资料，最重要的则是软件本身的文档，这个非常重要！

 

 

 

这个文档最早写成于 2009 年 5 月，曾在小范围内传播过。后来在 2010 年左右因集群升级，添加了一些新技术。在 2011 年 5 月时再次重新整理并定稿。希望这个教程能够为读者提供一些帮助！如果读者在教程中发现了错误并对作者进行指正，作者将不胜荣幸！

 

 

 

 

 

作者：张鋆，南开大学(coolrainbow@yahoo.cn)

 

2011 年 5 月 29 日

 

	目	录
第一章 绪论.....................................................................................................................................			1
§1.1 计算机集群的基本概念 ..................................................................................................			1
§1.2 计算机集群的软件结构 ..................................................................................................			4
第二章 集群的系统配置 .................................................................................................................			7
§2.1 操作系统的安装 ..............................................................................................................			7
§2.2 网络通信系统的建立 ......................................................................................................			9
§2.2.1 SSH：主机间无密码的远程登录.......................................................................			10
§2.2.2 NFS：主机间的文件共享 ..................................................................................			11
§2.2.3 NIS：主机间的用户同步 ...................................................................................			13
§2.3 编译器的安装 ................................................................................................................			15
§2.3.1 GNU编译器 .........................................................................................................			15
§2.3.2 intel编译器...........................................................................................................			16
§2.4 并行计算环境的配置 ....................................................................................................			17
§2.5 作业系统的建立 ............................................................................................................			19
§2.5.1 Torque的安装.......................................................................................................			20
§2.5.2 Maui的安装 .........................................................................................................			20
§2.5.3 Torque和Maui的配置 ..........................................................................................			21
§2.5.4 mpiexec的安装 ....................................................................................................			23
§2.6 第一次运行集群 ............................................................................................................			23
第三章 集群的计算化学软件配置 ...............................................................................................			26
§3.1 Gaussian03 安装与配置 .................................................................................................			26
§3.1.1 Gaussian03 的安装 ..............................................................................................			26
§3.1.2 Gaussian03 的单机配置 ......................................................................................			27
§3.2 NAMD安装与配置 ........................................................................................................			28
§3.2.1	组件安装 .............................................................................................................		29
§3.2.2 charm++安装 .......................................................................................................			29
§3.2.3 NAMD编译 .........................................................................................................			31
§3.2.4 NAMD运行 .........................................................................................................			32
§3.3 Autodock的安装与配置 .................................................................................................			33
§3.4 MKL编程环境的构建 ....................................................................................................			34
第四章 集群的管理技巧 ...............................................................................................................			38
§4.1 用户管理 ........................................................................................................................			38
§4.1.1	用户权限 .............................................................................................................		38
§4.1.2	高效的管理 .........................................................................................................		38
§4.2 作业管理 ........................................................................................................................			39
§4.2.1	管理员管理 .........................................................................................................		40
§4.2.2	普通用户管理 .....................................................................................................		43
第五章 GPU在集群上的应用 .......................................................................................................			45
§5.1 GPU/CUDA的安装配置 ................................................................................................			45
§5.1.1	驱动程序的安装 .................................................................................................		45
§5.1.2	程序开发环境 .....................................................................................................		45
§5.1.3 CUDA编程测试 ..................................................................................................			46

 

§5.2 NAMD CUDA版本的安装 46

 

继续前进! 49

第一章 绪论

 

 

 

第一章 绪论

 

 

 

§1.1 计算机集群的基本概念

 

 

正如题目所示，本教程的目的是为读者提供计算机集群组建及其在计算化学

 

中的应用的入门知识。可能对大多数读者而言，“集群”什么的是一个全新的概

 

念——没关系，万丈高楼平地起，我们先讲一些基本概念，然后将以最快的速度

 

进入实践阶段，使大家能够在最短的时间内迅速建立起一个可以从事高性能计算

 

的集群，为大家的科研提供帮助。

 

本教程主要面向从事计算化学的读者（当然也包括其它有计算机集群需要的

 

读者），相信大家知道，计算化学研究中常常需要巨大的计算量，无论对CPU速

 

度、存储容量和总线带宽都要很高的要求。例如，conventional SCF计算中，一个有 1000 个基函数的体系，所需要计算的双电子积分量约为 10¹²个，按双精度

 

存储需要 1.8TB，对于计算速度和存取速度都是极大的负担；在对神经系统的分

 

子动力学模拟中，钾通道动态工作的时间尺度为毫秒级，而即使利用 500 核的

 

Alpha机器，也只能达到每天 4 纳秒的速度。这样的速度是人们无法接受的。

 

解决这些计算问题的方法，从理论上应当发展新的更高效的算法，诸如量子

 

化学中的线性标度方法等等；从硬件角度说，需要发展更新的硬件，但由于物理

 

定律的限制，单个计算机的硬件能力已经接近极限，例如 CPU 主频的提高是以

 

发热量的增加为代价的，而现代 CPU 的主频已达到 4.00GHz 左右（实验室产品），

 

更高的主频由于发热量巨大而难以实现。从计算机的角度上来说，可以通过使用

 

超级计算机来解决。但是，这类超级计算机，硬件研发费用昂贵，软件投资更加

 

高居不下，开发出来的软件无法移植，并且学习代价非常高，非一般研究组所能

 

负担的起。

 

那么对于一般的研究组，如何才能突破计算瓶颈呢？答案就是本教程的核心

 

概念：计算机集群（computer cluster）！

 

相信很多实验室内部都有局域网，即一大堆计算机通过路由器等连成一个整

 

体，大家可以通过路由器上外网，而内网中，大家可以通过网络共享文件，如

 

Windows 下的“共享”。好了，既然局域网可以共享文件，为什么不可以共享计

 

 

 

第 1 页

第一章 绪论

 

 

 

算能力呢？好了，我们学院派的定义一下计算机集群：通过一组松散集成的计算

 

机软件和硬件连接起来高度紧密地协作完成计算工作的计算机系统，可以被看作

 

是一台计算机，这种系统就称为计算机集群。也就是说，只要大家有几台计算机

 

（PC 或服务器），一个路由器，几根网线，我们就可以把它们连接起来，通过

 

一些软件，使它们的计算能力得以共享，实现并行计算（parallel computing），

 

不仅可以实现高速的计算，而且可以使计算工作规范化，从而大大的提升科研效

 

率！

 

如图 1-1-1 所示，这是作者所在实验室的组建的一个集群的实景（摄于 2009

 

年）。这个集群现在已扩充升级。

 

图 1-1-1 集群系统实景图（摄于 2009 年）

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

下面我们讲几个计算机集群中常用的术语和概念。这些概念可以为读者组建

 

集群打下坚实的基础。

 

节点（node）。集群中单独的每一台计算机称为节点。这些计算机，既可以

 

是普通 PC 也可以是服务器。按照现在的发展（2011 年前后），高端 PC 和服务

 

器的计算能力已经相差无几，而 PC 的成本较低，不失为是个很好的选择。服务

 

器的优点在于可靠性高，即平均无故障时间长。比如，一个 500 台计算机构成的

 

集群连续运转一年，若全部为服务器，一个月平均可能只有几台机器出故障，若

 

 

第 2 页

第一章 绪论

 

 

 

全部为 PC，则可能平均每一天都会有机器崩溃。当然，对于普通研究组而言，

 

情况没有那么夸张。读者根据自己的需要决定是选择 PC 还是服务器。

 

控制节点。集群中需要多台计算机相互协作的完成任务，因此必须有一台计

 

算机作为“核心”领导者，控制其它的计算机，为其它的计算机分配计算任务，

 

调整负载等等。这个节点习惯称为控制节点。一般而言，控制节点可以选一台

 

CPU、内存一般（512MB 内存足矣！）的机器以节约成本，但是必须有大容量

 

的硬盘来存储用户的文件，即使是很小的组也一般最好是 1TB 以上（貌似更小

 

容量的硬盘已经没有卖的了），根据本组的人员数量和科研任务决定，作者知道

 

某个分子动力学研究组每个月都会有几个 TB 的轨迹文件产生。

 

计算节点。计算节点就是集群中直接进行计算任务的计算机，这是决定计算

 

机集群性能的最关键因素之一。自然，CPU 主频越高，内存越大，总线带宽越

 

高，对计算就越有利。当然，具体的任务对这些硬件的要求不同。对于分子动力

 

学模拟计算，内存的要求很低，一般 1～4GB 的内存就可以，但是要求 CPU 具

 

有强大的计算能力，最好在 8 核（或双 4 核）、主频 2.5GHz 以上。对于量子化

 

学计算，除了要求有强劲的 CPU 外，还要求有高容量和高读写速度的内存、硬

 

盘，因为量子化学计算常常需要大容量的缓存文件，如果存储容量不够，会对计

 

算速度带来很大的影响。通常，内存最好在 16GB 以上，如果经常计算金属有机

 

化合物，内存 32GB 也不嫌多；硬盘最好在 1TB 以上，特别是需要大量相关方

 

法计算（如 MP2 或 CCSD(T)计算）时，硬盘的读写速度也十分重要。有些计算，

 

诸如分子对接这种计算，对计算机性能要求很低，普通的高端配置即可。

 

现代计算机有 32 位，64 位等多种架构。64 位架构的机器当然是最好，但是

 

大多数研究组可能无法承担它的购买成本。现在的计算主流是选用虚拟 64 位的

 

机器，如 em64t 和 AMD64 等。本教程就是以虚拟 64 位机器为例介绍的，即所

 

谓 x86_64 或者 amd64 机器。

 

通信网络。顾名思义，就是集群中连接各个节点的网络。这是决定计算机集

 

群性能的另一个最关键因素。在进行并行计算时，网络速度是整个计算速度的瓶

 

颈。这个网络，当然可以选择使用普通实验室中的局域网连接即“宽带网加路由

 

器”结构。集群中，这个网的带宽最低不能低于百兆，即至少在千兆以上，再低

 

的网在计算时可能会出显各种由于网络延时过长而导致的错误。如果读者能使用

 

 

 

第 3 页

第一章 绪论

 

 

 

高性能的集群专用网络，如 Myrinet 或者 InfinitBand，那当然更好，这可以大大

 

地提升集群的并行效率！不过，这是要很高的成本的。

 

维护部件。这是维持集群能够正常工作的部件，包括散热系统如空调和电源、

 

机柜等。因为集群常常要长时间高功耗的工作，如果不能保持适当的温度和稳定

 

的电源，计算机内部出错的概率就会大大的提高，轻则死机导致作业失败，重则

 

烧毁硬件造成损失。特别是热天，集群高速运转时会有很高的温度，一定要做好

 

降温的工作；如果有断电通知，记得事先将总插头拔下，以免恢复供电时瞬时电

 

流的冲击将机器烧毁。

 

好了，下面我们来讨论一下构建集群所需要的软件基础。

 

离开之前，我们必须声明，本教程介绍的是面向科学计算用户的“高性能集群（High

 

Performance Cluster，HPC）”，而不是面向企业的“高可用集群（High Availability Cluster，

 

HAC）”。后者常常用于建立企业网站，服务器，大型数据库（如 Oracle 数据库）。这两

 

者，应该来说，完全不同！

 

 

§1.2 计算机集群的软件结构

 

 

有了硬件后，要真正实现集群，还必须有优秀的软件进行支持。集群的软件结构包括以下几部分：

 

操作系统。虽然世界 top100 的集群中确实有 Windows 集群，但是我们强烈

 

推荐读者使用 Linux 操作系统。Linux 免费，方便，最重要的是效率高，很多计

 

算化学软件都是专门为 Linux 编写的，而且 Linux 非常适合于程序开发和批量处

 

理，这都是 Windows 难以实现的，即使能，往往也比较臃肿。

 

Linux 操作系统也有很多不同的分支。比较常见的就是 RedHat 系列，但是

 

本教程不使用它。我们选择 Debian 操作系统，与 RedHat 相比它有很多优点，最

 

大的优点是体积小，安装完系统后只有不到 100MB，并且随时可以扩充新的功

 

能，没有冗余的文件，因此非常适合于科学计算。关于 Debian 可以在网上找到

 

很多信息。本教程不会直接讲解 Linux 或者 Debian 的使用方法，对 Linux 不熟

 

悉的读者可以参考：

 

王旭。Debian 标准教程。北京：人民邮电出版社，2009

 

关于哪个版本的 Linux 更适合组装集群是一个老掉牙的问题，和“C 和 C++哪个好”一

 

 

第 4 页

第一章 绪论

 

 

 

样，作者认为这是一个特别主观的问题。有很多人推荐过别的 Linux，如：

 

OpenSuse。这个系统很好用，但是作者不喜欢，因为它的系统太臃肿。

 

RedHat。“正统”的 Linux，而且带有 Cluster Tool。但是作者认为那个 Cluster Tool 不

 

适合做 HPC，仅仅适合 HAC。

 

Rocks。这个系统非常适合做生物计算的集群，但是因为种种原因，作者后来没有使用

 

它，还是因为它太大了！

 

当然，如果读者的个人偏好和作者不同，也没有关系。大多数操作在各个 Linux 间是兼

 

容的。

 

网络通信系统。这是集群得以成为“集群”的核心系统。没有这个系统，集

 

群只是几台互不相干的计算机组成的“机群”。这里的网络通信系统，不止是

 

TCP/IP 协议等网络连接功能，还包括文件共享系统、远程登录系统、信息管理

 

系统等，只有这样才能使集群中的计算机成为一个相互协作的整体。这些功能可

 

以直接使用 Debian 操作系统的组件完成。

 

并行计算系统。这是实现高性能计算的平台。并行计算系统是实现某种并行

 

计算协议的软件，各种并行计算的程序都要调用并行计算的函数和库才能运行，

 

例如量子化学软件 GAMESS，NWChem 和分子动力学软件 NAMD,Gromacs，

 

Amber 等。它本质上是一种通信协议。本教程将使用 MPICH2 作为并行计算系

 

统。

 

作业管理系统。这是管理集群的工具。它负责计算作业的提交、管理、控制，

 

集群资源的分配、调度，用户权限的分配、区分等，对于管理、维护特别是使用

 

集群具有重要的意义。本教程使用免费软件 TORQUE 和 Maui 实现。

 

应用软件。这是集群的实用部分，比如 Gaussian，NAMD 和各种编译器等

 

等。

 

本教程涉及到的软件，除了 Windows 操作系统和 Gaussian 等以外，所有软

 

件均为免费软件！

 

在继续之前，有一些话需要交代给读者。Linux 系列的软件和其它免费学术

 

类软件都是自由开发的，因此，它们的不同版本之间可能有某些不兼容情形，一

 

些安装时候发生的状况和本教程所描述的可能有很大的不同。作者曾经帮人装过

 

NWChem，因为作者本人安装过 NWChem5.2，没有遇到过什么问题。可是别人

 

 

 

第 5 页

第一章 绪论

 

 

 

安装的是 6.0 版本，在安装的时候碰到了无数编译错误，最后通过作者手动修改

 

了 NWChem6.0 的源码才得以解决（有经验的读者应该意识到这是编译器版本的问题）。读者在继续之前，应该意识到在组建集群的过程中可能会遇到巨大的困难。这时，可以在网上搜索或咨询身边有经验的人。不要灰心，一旦集群组建完成，读者的计算机水平会有质的飞跃！

 

好了，现在说一下本教程的集群的各种信息：1 个控制节点，8 个计算节点，千兆局域网，安装 Debian6 系统，安装有；Gaussian, Gamess, NWChem, NAMD, Gromacs, Autodock，以及 GNU 和 intel 编译器等等，这个集群可以实现各种计算

 

化学软件的运行，并提供完整的编程开发功能！

 

说了那么多，读者读完本教程并搭建完成了一个计算机集群后，对于使用集

 

群的人，集群无非是这样一个东西：

 

“……他装了个集群，在隔壁房间里，好像是好多台计算机，有啥计算节点控制节点的，

 

好像还装得神马 Linux，我也不懂。我就知道，我每天在我的实验室，打开 Win7，用 putty

 

登陆到集群，输入命令 qstat，我发现有两个 Gaussian 和一个 NAMD 任务在运行。哦，我前

 

天算的那个 NAMD 的任务已经结束了，算了七天可算完了，把输出文件下下来看看。我这

 

有还个 gjf，传上去，好，算上了。现在关了 putty，分析分析 NAMD 的轨迹吧……”

 

好了，概念性的东西到此结束，下面，我们组建集群的激动人心的过程就开始了！

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第 6 页

第二章 集群的系统配置

 

 

 

 

 

第二章 集群的系统配置

 

 

 

§2.1 操作系统的安装

 

 

到 2011 年 5 月时，Debian 的最新版本为 6.0，可以在 Debian 社区的网站 http://cdimage.debian.org 上获得其 DVD 镜像文件。根据读者的机器架构下载

 

到相应的镜像，由于我们的机器是 amd64 架构，只需要下载第一个：

 

debian-6.0.1a-amd64-CD-1.iso

 

当然，完整的镜像包括 50 多个 iso 文件，但出于我们组建集群的目的只需

 

要第一个就可以。如果读者有兴趣可以全部下载下来。

 

将第一个 iso 刻录为 DVD 光盘，利用光盘进行安装。注意，安装操作系统

 

的过程中，一定要保证外网的连通，因为安装过程需要在外网下载一些组件。安

 

装操作系统的步骤对控制节点和全部计算节点基本一致，叙述如下。

 

注意：读者在初学时，可以只装两台机器：一台 compuchem，一台 node021，等把全部

 

细节弄懂之后，再根据自己的需要扩充新的节点。事实上，如果读者的计算节点的硬件完全

 

相同的话，完全可以在配置好一台计算节点以后，用 Ghost 软件拷贝到其它所有机器上，然

 

后将其 IP（修改/etc/network/interface）和主机名（修改/etc/hostname）修改成正确的即可。

 

当然，逐台计算机修改 IP 和主机名也可以使用 shell 脚本在控制节点上轻松的实现，因此，

 

工作量不是问题。下面提到的“在全部计算节点上……”是为了让读者明确的知道，哪些操

 

作只在控制节点上做，哪些只在计算节点上做，哪些在全部节点上做。

 

1. 将 Debian 6.0 的光盘插入光驱，在 BIOS 中选择光盘启动，启动计算机。

 

2. 如启动成功，屏幕出现 Debian 的 logo，选择 text mode 按 Enter 键开始

 

安装。

 

3. 语言选择 American，后面的选项根据具体情况选择，这里选择默认选项。

 

4. 进入 Network 设置界面时，选择 Cancle 取消 DHCP，选择手动安装网络，在随后将出现一系列对话框，分别设置 IP 地址、子网掩码、默认网关、DNS 服务器、主机名、域名。其中 IP 地址、主机名设置如表 2-1-1。其它选项根据实验室的实际情况设定。

 

 

 

第 7 页

第二章 集群的系统配置

 

 

表 2-1-1 集群的主机名 IP 地址设置

 

节点	主机名	IP 地址
控制节点	compuchem	192.168.1.100
计算机点	node021 ~ node029	192.168.1.121 ~ 192.168.1.129

 

当然，IP 和主机名可以根据读者的喜好来定义。

 

5. 设置完网络后，会进入分区设置。对于计算节点，可以直接使用默认设置，整体划分为一个区，没有关系。对于控制节点，建议至少划分两个区，一个

 

用于挂载根目录“/”，一个用于挂载家目录“/home”，这个目录作为今后集群用户的工作目录，应该划分的很大，如 500GB 以上。

 

6. 在用户设定的界面，为 root 定制一个密码，密码最好包含有大小写字母、

 

数字、符号等，这样可增加系统的安全性。对于普通用户，要定义一个合法的用

 

户名（以下以 coolrainbow 为例）以及一个安全的密码（以下假设为 123456）。

 

7. 分区完成后，继续安装，在选择组件的地方，只选择“Base System”，安装最基本的系统。注意，选了这个选项，我们就安装了一个最小的 Debian 操作系统，并且没有图形界面。

 

8. 系统会请求选择安装的源（source）。所谓源就是 Linux 在安装时候下载

 

更新文件的地址。这个源非常重要，我们要反复用到，建议选择 Taiwan 或者Japanese，它们的速度比较快。

 

9. 稍微等待后，安装即可完成，重启计算机。

 

至此，系统安装完成。这个过程与网速有关，可能需要不到 20 分钟，也可

 

能需要 1 个小时。

 

现在需要对所有的节点做些准备工作：

 

1. 添加域名解析地址。打开/etc/hosts 文件，添加如下信息：

 

compuchem 192.168.1.100

 

node021 192.168.1.121

 

node022 192.168.1.122

 

node023 192.168.1.123

 

node024 192.168.1.124

 

node025 192.168.1.125

 

node026 192.168.1.126

 

node027 192.168.1.127

 

node028 192.168.1.128

 

node029 192.168.1.129

 

 

 

第 8 页

第二章 集群的系统配置

 

 

 

这样就建立了相应的解析关系。如 ping node023 就相当于执行 ping 192.

 

168.1.123。

 

2. 将所有计算节点的普通用户及其家目录删除。也就是说，删除掉 node021

 

~ node029 节点上的 coolrainbow 用户及其家目录/home/coolrainbow，使用命令：

 

# userdel –r coolrainbow

 

注意不要删除控制节点的 coolrainbow！

 

好了，操作系统的安装结束，现在开始安装网络通信系统！

 

 

§2.2 网络通信系统的建立

 

 

至此，所建立的机器还是互不相干的九台计算机“机群”，而不是相互协作

 

的“集群”。现在的任务是将它们连成一体，成为一个有组织的系统。下面把这

 

个问题详细的说明一下。这部分是整个集群技术的核心！

 

这一节可能会很罗嗦，对于 Linux 系统原理很熟悉的读者，可以跳过某些解释的部分，

 

直接阅读具体的配置步骤，相信读者一看就会明白集群的组建思想，也许能设计出比作者的

 

配置更简单更高效的方法：如果这样，作者将非常高兴。如果读者对 Linux 原理不熟（比如，

 

不知道/etc/fstab 是什么东西），可以一边操作，一边搜索其中的知识（如，google 一下 fstab），

 

这样才能进步。

 

前面说过，控制节点用来操作计算节点。前面说了，compuchem 是控制节

 

点，node021 ~ node029 是计算节点。实际上，对于用户（而不是像读者一样的

 

集群构建者），控制节点起到了一个黑箱的作用。比如读者的实验室有两个人将

 

要使用集群，名叫 coolrainbow 和 bingtear。当用户 coolrainbow 使用控制节点（比

 

如在 Windows7 下远程登录到控制节点）时，只要告诉控制节点：“在 node023

 

上用 8 个 CPU 拿 Gaussian 算我这个 C60.gjf”，控制节点就会执行这个任务，用

 

户完全不需要知道任何关于这个过程如何实现的细节。事实上，背后的细节是这

 

样的：

 

coolrainbow 登录到控制节点 compuchem，并发出了上述指令时，控制节点

 

首先检查 node023 是否可用，如果不可用（比如已经运行了别的任务，或者

 

coolrainbow 没有权限使用 node023，或者 node023 已经关机，或者根本不存在，）则拒绝执行；如果可用，使用 coolrainbow 的用户名登录到 node023，在 node023

 

 

 

第 9 页

第二章 集群的系统配置

 

 

 

上面执行 Gaussian 算 C60.gjf 的任务。当然，C60.gjf 文件在 compuchem 的硬盘

 

上，控制节点必须把 compuchem 上的 C60.gjf 以某种方式让 node023 得到并运行，

 

且监控这个任务。一旦算完，控制节点就会报告任务结束，并使C60.out 和C60.chk

 

出现在 compuchem 的硬盘上。node023 重新进入了可用状态。Done!

 

好吧，这个过程看着容易，实际做起来似乎并不那么简单。比如，要想

 

coolrainbow 能登录各个节点，我们必须从 compuchem 到 node029 挨个建立一个

 

叫 coolrainbow 的相同用户，密码还得全部知道；要执行 Gaussian，还得从 node021 ~ node029 全部安装 Gaussian，路经、配置还得完全一样（不然并行计算会出毛病）；还得设计套拷贝文件的系统，让机器自动把 C60.gjf 拷贝到 node023 上面，算完了再把 C60.out 和 C60.chk 拷贝回来……这个过程太可怕了，倘若集群要把 Gaussian 从 03 升级到 09，那就得 9 台全部重新来了。如果读者的组里面很有钱，有 100 台机器让你升级，嘿嘿……

 

作者的老师曾经说过一句话：只要有一件事情用计算机办是很繁琐的，那么肯定有一种技术你没有学会。没错，无数天才的程序员已经开发了很多优秀的程序来完美的解决上述问题，下面作者将逐步给出解决方法。再次强调：这部分是整个集群技术的核心！

 

 

§2.2.1 SSH：主机间无密码的远程登录

 

 

第一步，要实现 coolrainbow 在各个节点间自由登录。注意，在§2.1 最后，

 

我们已经在全部计算节点中删除了 coolrainbow，因此 coolrainbow 不能登录到计

 

算节点上。没关系，首先，安装 ssh。

 

ssh 的英文全称是 secure shell。它能够实现计算机间的远程登录，ssh 把所有

 

传输的数据进行加密，能够防止数据泄密、DNS 和 IP 欺骗，所以是“secure”，

 

还有一个额外的好处就是传输的数据是经过压缩的，所以可以加快传输的速度。

 

最初 ssh 是由芬兰的一家公司开发的。但是因为受版权和加密算法的限制，现在

 

很多人都转而使用 OpenSSH。OpenSSH 是 ssh 的替代软件，而且是免费的，可

 

以预计将来会有越来越多的人使用它而不是 ssh。

 

安装 OpenSSH，在控制节点和全部计算节点执行：

 

# aptitude install ssh

 

 

 

第 10 页

第二章 集群的系统配置

 

 

 

这里，aptitude 是 Debian 下安装程序的命令，此时 Debian 会自动在它的网上的源中搜索 ssh 并安装，因此要保持外网通畅。

 

强烈建议读者搜索一下 aptitude 的用法！我们会反复用到。

 

如果读者用过旧的 Debian，可能更喜欢 apt-get，没有关系，但是千万不要 aptitude 和

 

apt-get 同时使用，这会使依赖关系变得混乱！

 

如果读者就是喜欢用 RedHat 的话，上述命令就得改为 yum install 之类。

 

有了 ssh 后，现在配置无密码登录，以后 coolrainbow 用 ssh 登陆节点时就

 

不用输入密码了。

 

在控制节点，以 coolrainbow 身份（不能是 root！）执行：

 

$ ssh-keygen –t dsa

 

$ cd /home/coolrainbow/.ssh

 

$ cat id_dsa.pub >> authorized_keys

 

它的原理：假设要想实现从机器 A 无密码登录到 B，A 和 B 双方必须互相

 

有一个的密钥。第一个命令即是产生密钥，自动生成在家目录的.ssh 文件夹。然

 

后密钥另一方必须也拥有，这个文件名叫 authorized_keys，因此执行最后一行

 

命令，将密钥导入这个文件中。只要 A 机器的 authorized_keys 和 B 的.ssh/中

 

的内容匹配，就可以无密码的登录。

 

现在 ssh 本机：

 

$ ssh compuchem

 

The authenticity of host '192.168.1.100 (192.168.1.100)' can't be established.

 

RSA key fingerprint is e4:05:08:65:e4:b8:a0:88:cd:be:16:c8:9e:4b:96:87.

 

Are you sure you want to continue connecting (yes/no)?

 

回答 yes，即可。这样本机到本机便可实现无密码 ssh 登录，以后再次登陆

 

时，就不会出现上面的问题了，也不需要密码了。

 

有人问：自己到自己 ssh 有什么用，跟计算节点有什么关系？没事，马上就

 

有关系了。

 

 

§2.2.2 NFS：主机间的文件共享

 

 

第二步，配置文件共享。coolrainbow 要想在 node023 上面运行 Gaussian，

 

首先 node023 上面得有 Gaussian，还得有要运行的文件 C60.gjf 等等。保持这些

 

文件的同步是个很困难的事情。解决办法就是事用 NFS 系统。

 

 

 

第 11 页

第二章 集群的系统配置

 

 

 

NFS（Network File System）即网络文件系统，是一种在网络上的机器间共

 

享文件的方法，文件就如同位于客户的本地硬盘驱动器上一样。NFS 服务器可以

 

把文件系统导入给其它系统，NFS 客户端可以挂载从其它机器上导出的文件系

 

统。如果上面的描述看不懂，没关系，我们先把它安装上，然后详细解释。

 

在控制节点上安装 NFS 服务器：

 

# aptitude install nfs-kernel-server

 

现在，打开/etc/exportfs 文件，这个文件专门用来配置要共享的文件系统。

 

现在在此文件里添加如下内容：

 

/home 192.168.1.0/255.255.255.0(rw,sync,no_root_squash,subtree_check)

 

/opt 192.168.1.0/255.255.255.0(rw,sync,no_root_squash,subtree_check)

 

/usr/local 192.168.1.0/255.255.255.0(rw,sync,no_root_squash,subtree_check)

 

这个 exportfs 文件，就是我们要共享文件的配置文件，控制节点 compuchem

 

会按照这个文件里面的内容，给计算节点共享文件。以第一行为例，解释其中的

 

含义：

 

/home：要导出的目录。/home 是用户的家目录，必须要共享计算节点，这

 

样我们的文件才能被计算节点获取。我们还共享了另外两个目录：/opt 和

 

/usr/local。前者是为了共享后面将要安装的 intel 编译器；后者，习惯上，Linux

 

下的应用软件都安装到这一目录（相当于 Windows 下的 C:\Program Files），整

 

个集群的计算化学软件如 Gaussian 等都会装到这个目录下，因此也要共享出去。

 

192.168.1.0/255.255.255.0：可以挂载的 IP 范围，这个设置用了一个掩码，

 

表示共享给所有 192.168.1.X 的 IP，我们的计算节点的 IP 是 192.168.0.021 ~ 030，

 

所以计算节点可以共享到。

 

(rw,sync,no_root_squash,subtree_check)：挂载的配置。这里表示可读可

 

写，同步执行，若 NFS 主机使用分享目录的使用者，如果是 root 的话，那么对

 

于这个分享的目录来说，他就具有 root 的权限，强制 NFS 检查父目录的权限。

 

重启 NFS 服务：

 

# /etc/init.d/nfs-kernel-server restart

 

现在，这些目录就被挂载出去。但是，计算节点还没有“接手”这些目录，

 

现在，让计算节点将这些目录挂载。打开所有计算节点的/etc/fstab 文件，在文

 

件下面添加：

 

compuchem:/home	/home	nfs	rw,defaults	0	0
compuchem:/opt	/opt	nfs	rw,defaults	0	0

 

第 12 页

第二章 集群的系统配置

 

 

compuchem:/usr/local /usr/local nfs rw,defaults 0 0

 

以第一行为例解释一下这个文件的含义：

 

compuchem:/home /home：表示把 compuchem 主机的/home 目录挂载到

 

本地的/home 目录上。通俗的说，就是当读者在计算节点上访问/home 时，实际

 

上访问的是控制节点上的/home。这和 Windows 下的共享是类似的。后面几个参

 

数照抄就可以。

 

然后重启网络服务：

 

# /etc/init.d/networking restart

 

这样子节点就把服务器共享的文件挂载了。例如，在 node021 上，执行如下命令就可以看到.

 

# df
Filesystem	1K-blocks	Used	Available  Use% Mounted on
/dev/sda1	151225248	714456 142828916		1%	/
tmpfs	1037944	0	1037944	0%	/lib/init/rw
udev	10240	40	10200	1%	/dev
tmpfs	037944	0	1037944	0%	/dev/shm
compuchem:/home	480719072	452384 455847488		1%	/home
compuchem:/opt	151225248	1533472 142009888		2%	/opt
compuchem:/usr/local 151225248		1533472 142009888		2% /usr/local

 

看到最后三行了吗？我们已经成功的共享了目录！比如，当我们在控制节点

 

上在/usr/local 下安装了一个 Gaussian03C 时，所有的计算节点都可以通过

 

/usr/local 找到完全相同的 Gaussian ，因为它们实际上是通过网络访问的

 

compuchem 上的/usr/local。NFS 的作用，就是把这些操作屏蔽起来，使计算节

 

点在访问网络上的文件时如同访问本地一样。

 

好了，coolrainbow 的目录已经通过NFS 共享到计算节点了，但是coolrainbow

 

要想登陆计算节点，计算节点上必须有 coolrainbow 才行。好，现在就来这最后

 

一步！

 

 

§2.2.3 NIS：主机间的用户同步

 

 

第三步，配置用户信息。这里就要用 NIS。NIS（Network Information Service）

 

即网络信息服务，是集中控制几个系统管理数据库的网络用品。NIS 简化了 UNIX

 

和 LINUX 用户的管理工作，客户端利用它可以使用 NIS 服务器的管理文件，无

 

 

 

第 13 页

第二章 集群的系统配置

 

 

 

需建立他们自己的/etc/passwd，只简单的使用和维护在 NIS 服务器的文件即可。

 

1. 在所有机器上安装 NIS：

 

# aptitude install nis

 

安装过程中会要求输入 NIS 的域名，这里必须输入控制节点 compuchem。

 

配置 NIS 端。以下操作在控制节点上：

 

2. 确认域名。打开/etc/defaultdomain（这是包含 NIS 域名的文件），确认里

 

面有一行：

 

compuchem

 

如果没有则添上；

 

3. 打开/etc/default/nis，修改 NISSERVER=master，NISCLIENT=true，这

 

样本机便成为 NIS 服务器；

 

4. 配置 NIS 主机。打开/etc/yp.conf，写入：

 

ypserver compuchem

 

5. 重启 NIS 服务：

 

# /etc/init.d/nis restart

 

6. 编译用户数据库：

 

# cd /var/yp

 

# make

 

注意：以后无论控制节点对 passwd，group，shadow 文件做了任何修改，

 

都必须进入/var/yp 重新 make，才能保证服务器和客户端的用户信息同步。

 

以下操作在计算节点上：

 

6. 确认域名。打开/etc/defaultdomain（这是包含 NIS 域名的文件），确认里

 

面有一行：

 

compuchem

 

如果没有则添上；

 

7. 打开/etc/default/nis，修改 NISSERVER=false，NISCLIENT=true，这样

 

本机便成为 NIS 客户端；

 

8. 打开/etc/yp.conf，通过写入 ypserver compuchem 配置 NIS 主机名；

 

9. 写入“伪用户”信息，即：

 

打开/etc/passwd，最后一行写入字符串：+::::::（一个“+”六个“:”）；

 

打开/etc/group，最后一行写入字符串：+:::（一个“+”三个“:”）；

 

打开/etc/shadow，最后一行写入字符串：+::::::::（一个“+”八个“:”）；

 

第 14 页

第二章 集群的系统配置

 

 

 

10. 打开/etc/nsswitch 文件，将

 

hosts files dns

 

改为

 

hosts files nis dns

 

11. 重启 nis 服务：

 

# /etc/init.d/nis restart

 

这样整个集群的 NIS 服务都打通了。那么 NIS 究竟有什么用呢？我们知道，

 

控制节点 compuchem 已经有了 coolrainbow 的用户信息，而计算节点如 node021

 

没有。node021 开启了 NIS，那么它就会自动寻找 NIS 服务器即 compuchem，此

 

时 compuchem 所有的用户信息：用户名，密码，组信息等就都会被 node021 所接受，这样在 NIS 的帮助下，coolrainbow 就成为了 node021 的合法用户，就可以登陆了。

 

到此为止，本节开头所指出的问题彻底的解决了。用户信息、文件系统都已

 

经在整个集群间共享，并且，ssh 可以在整个集群间无密码登陆了——为什么？

 

很简单，当 coolrainbow 通过 ssh 连接 node021 时（命令：ssh node021），由于

 

NIS，coolrainbow 成为了 node021 的合法用户，所以有资格登陆；登陆后，系统

 

自动搜索家目录，由于 NFS，这个家目录实际就是 compuchem 上的家目录；而

 

在§2.2.1 中，我们已经在./ssh 中生成了 authorized_keys，所以登陆就不需要密

 

码了（当然，第一次登陆时会遇到提问，只要回答一次 yes 以后就不用了，所以

 

现在最好把所有的计算节点都 ssh 一下，这样 ssh 无密码的问题就解决了）。

 

我们发现，通过 ssh，NFS 和 NIS 这三个相互关联的技术，我们彻底的解决

 

了集群通信的问题。下一步，我们就可以开始安装软件了！

 

 

§2.3 编译器的安装

 

 

编译器是 Linux 下最重要的软件之一，几乎所有的软件都可以在 Linux 下重

 

新编译，从而达到最高的效率。在本教程中，需要两种编译器：GNU 编译器和

 

intel 编译器。

 

 

§2.3.1 GNU 编译器

 

 

我们需要两种编译器，Fortran 和 C 的。非常简单：

 

第 15 页

第二章 集群的系统配置

 

 

# aptitude install gcc-4.3 g++-4.3 gfortran

 

此时将安装 C，C++和 Fortran95 的编译器。

 

 

§2.3.2 intel 编译器

 

 

intel 编译器是 intel 公司专门为其处理器量身打造的编译器，对于 intel 处理

 

器具有非常高的性能。本教程使用的机器就是 intel 芯片的，因此将会大量使用

 

intel 编译器以获取最高性能。如果读者使用 AMD 处理器，便可以略去安装。

 

这个编译器可以在 intel 主页申请非商业版，利用邮箱注册即可，可以下载

 

到 intel 的 Fortran 和 C 编译器 11.1 版，注意申请 64 位版，因为我们选用 AMD64

 

机器：

 

l_cproc_p_11.1.069_intel64.tgz

 

l_cprof_p_11.1.069_intel64.tgz

 

intel 编译器是有最新版的，但是可能不稳定，这个 11.1 是经过作者测试的，至少在我

 

的集群上没有问题。

 

intel 编译器本身安装非常简单，但是它有几个依赖的库比较讨厌：第一，尽

 

管我们确实安装 64 位编译器，但是必须要装全套的 32 位的库才行；第二，现在

 

的 Linux 上的 libstdc++.so 都是 6 版本，但是 intel 编译器需要 5 版本；第三，要装 intel 编译器必须先装 GNU 编译器。

 

这些问题都很容易解决。GNU 编译器已经装好，首先解决 libstdc++的问题。

 

1. 在 http://packages.debian.org/lenny/libstdc++5 上下载 amd64 架构的 libstdc++.so.5 的库，这个文件为 libstdc++5_3.3.6-18_amd64.deb。

 

2. 下载后，在全部节点上执行：

 

# dpkg –I libstdc++5_3.3.6-18_amd64.deb

 

这样 libstdc++.so.5 就有了，现在安装 32 位库，全部节点执行一个命令：

 

# aptitude install ia32-lib

 

好了，现在正式安装 intel 编译器，以 C 编译器为例，在控制节点上进行。

 

3. 解压，进入文件夹，安装：

 

# tar –xvzf l_cproc_p_11.1.069_intel64.tgz

 

# cd l_cproc_p_11.1.069_intel64/

 

# ./install.sh

 

下面的工作就是一路默认安装，注意中间输入 intel 公司的授权号。安装完

 

 

第 16 页

第二章 集群的系统配置

 

 

 

成后，在/opt 下会出现 intel 文件夹。用同样的方法安装 Fortran 编译器即可。

 

此时，intel 的命令还不在命令路径中，我们解决它，在所有节点上打开

 

/etc/profile，将 PATH 改为：

 

if [ "`id -u`" -eq 0 ]; then

 

PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/local/maui/bin:/usr/lo

 

cal/maui/sbin:/opt/intel/Compiler/11.1/069/bin/intel64:/usr/local/mpich2/bin:/usr/local/mpich2/s

 

bin "

 

else

 

PATH="/usr/local/bin:/usr/bin:/bin:/usr/games:/usr/local/maui/bin:/opt/intel/Compiler/11.1/

 

069/bin/intel64:/usr/local/mpich2/bin"

 

fi

 

并且最后一行添加上 intel 编译器的库路径：

 

export LD_LIBRARY_PATH=/opt/intel/Compiler/11.1/069/lib/intel64:/opt/intel/Compiler/ 11.1/069/mkl/lib/em64t

 

这样，intel 编译器就可以使用了！如果读者选取了不同的安装路径，注意按

 

照正确的路径修改。注意：上面的 PATH 中还有一些新加的 mpich2 之类，将在

 

下一节用到。

 

 

§2.4 并行计算环境的配置

 

 

既然要并行计算，就得有并行环境。目前比较流行的并行计算环境被称为

 

MPI（Message Passing Interface）即消息传递接口，是一种并行计算的标准或规

 

范，迄今为止，所有的并行计算机制造商都提供对 MPI 的支持，可以在网上免

 

费得到 MPI 在不同并行计算机上的实现，一个正确的 MPI 程序可以不加修改地

 

在所有的并行机上运行。标准 MPI 虽然很庞大，但是它的最终目的是服务于进

 

程间通信这一目标。

 

MPI 的实现有多种，这里选用 MPICH2。它是免费软件，可以从 http://www.

 

mcs.anl.gov/research/projects/mpich2/downloads/index.php?s=downloads  上

 

得到。这里要下载源码，得到 mpich2-1.3.1p1.tar.tar。

 

注意：不要选择 MPICH1，它有很多缺点！

 

 

第 17 页

第二章 集群的系统配置

 

 

 

可以开始编译 MPICH2。这个过程只需要在控制节点完成。

 

1. 解压：

 

# tar –xvf mpich2-1.3.1p1.tar.tar

 

# cd mpich2-1.3.1p1

 

2. 设置编译选项。我们要把 mpich2 装到/usr/local 下，可以实现全部集群共

 

享，不妨建立一个 mpich2 的文件夹，装 MPICH2 并且配置 configure：

 

# mkdir /usr/local/mpich2

 

#./configure --prefix=/usr/local/mpich2 --enable-cxx --enable-f90 --enable-threads =multiple

这几项的含义：--prefix 设置安装的路径；--enable-cxx 和--enable-f90 使 MPICH2 支持 C，C++和 FORTRAN 语言；--enable-threads=multiple 表示支持线程，这样可以更好的利用共享内存，前提是机器上必须有多个 CPU。

 

3. 设置编译器。如果使用 GNU 编译器：

 

# export CC=gcc

 

如果使用 intel 编译器：

 

# export CC=icc

 

如果读者的机器是 intel CPU，强烈建议使用 intel 编译器。

 

4. 编译和安装：执行：

 

# make

 

# make install

 

完成后，在/usr/local/mpich2/bin 中就会出现很多命令，如 mpicc，mpif90

 

等等，都是并行的 C、Fortran 编译器。这些命令应该加入 PATH，一般来说，/bin

 

的命令对普通用户和 root 都需要加入，而/sbin 则最好只加入到 root 的 PATH。

 

这就是上一节中 PATH 加入的 mpich2 之类的含义，当然，如果读者的命令路径

 

不一样，需要转换。

 

要运行并行计算，还需要进行一些配置，告诉 MPICH2 哪些机器能进行并

 

行计算。对我们来说，当然就是计算节点 node021 ~ node029，配置方法：在控

 

制节点 compuchem 的/root 下，建立一个文件：mpd.hosts，里面写入：

 

node021

 

node022

 

node023

 

node024

 

node025

 

node026

 

 

第 18 页