服务器评测
本文介绍了在常规集群操作过程中应执行的后期安装工作和管理任务。维护一个集群配置并将更改应用到一个正在运行的集群需要严格的过程和更改管理；否则，集群可能无法维持平衡，并且在出现故障时可能无法按设计的方式进行响应（故障转移）。系统管理员和应用程序管理员必须密切协作，维护一个正常运行的集群，使之总能够提供预期的结果。
使用 C-SPOC
本文描述使用集群单点控制 (C-SPOC) 的 HACMP 系统管理的优点。
在我们的测试实验环境中（请参见图 1），集群配置由以下各项组成：
- 三个节点（IBM pSeries 630 – 6C4，机架安装）
- 两个用于客户端网络的 10/100 网络交换机，使用两个交换机是为了提供高可用性
- 一个千兆比特以太网交换机，用于进行高速互连
- 一个光纤通道交换机，型号为 2109-F32
- 一个存储子系统，型号为 1742-9RU (FAStT 900)，带一个 EXP 700 磁盘箱和 1 TB 的原始存储容量
图 1 ITSO 测试环境
为方便管理集群中的操作，HACMP 提供了一种方法，通过该方法可以在多个集群节点执行命令并维护要执行操作之间的协调。
一些集群维护操作可能影响 HACMP 配置（拓扑和资源），但通过 HACMP 系统管理工具 (C-SPOC)，无需停止关键作业即可执行这些任务（如添加或删除资源、用户和更改拓扑元素）。
注意：C-SPOC 使用一种新的集群通信守护进程 (clcomdES) 在远程节点上执行命令。如果此守护进程没有运行或者无法验证来自发起者节点的请求，将不会执行远程节点上的命令，因此 C-SPOC 操作将会失败。
C-SPOC 注意事项
C-SPOC 工具简化了多达 32 节点的集群中的共享 LVM 组件的维护。与单一节点上运行的标准 AIX 命令相比，C-SPOC 命令在集群环境中提供了与之相当的功能。通过自动执行重复任务，C-SPOC 消除了潜在的错误根源，加快了处理过程。
如果没有 C-SPOC ，系统管理员将需要花费较长时间在每个集群节点上分别执行管理任务。例如，要将一个用户添加到集群中的某些（或者所有）节点，则必须在每个集群节点上执行此任务。
使用 C-SPOC 实用工具，在一个节点（发起更改的节点）上执行的命令也会在其他集群节点上执行。C-SPOC 最大限度地减少了管理开销，并降低了节点状态不一致的可能性。例如，在使用 C-SPOC 添加某个用户时，会将该用户添加到所有指定的集群节点上。
注意：C-SPOC 命令位于 /usr/es/sbin/cluster/cspoc 目录中。
C-SPOC 通过其本身的一组集群管理命令提供了此功能，可以通过 SMIT 菜单和面板使用这些命令，也可以通过命令行使用。除非确实知道您要尝试获取的内容，否则，我们不建议您使用命令行界面。要使用 C-SPOC，请从 HACMP SMIT 菜单中选择 Cluster System Management 选项。
C-SPOC 概述
通过使用 C-SPOC，您可以执行下列任务：
- 启动和停止 HACMP 服务
- 通信接口管理
- 资源组和应用程序管理
- 安全和用户管理
- 逻辑卷管理
- 并发逻辑卷管理
- 物理卷管理
- GPFS 文件系统配置（可选）
- 在一个节点上打开 SMIT 会话
启动和停止 HACMP 服务
假设向 HACMP 定义的 IP 通信路径对远程节点可用，您可以在集群中的一个节点或多个节点上启动或停止 HACMP 服务（从同一个节点）。
可以通过以下三种模式执行停止 HACMP 服务：
- Graceful
- Graceful with takeover
- Forced
不应使用 Forced 选项一次在多个节点上停止集群服务。
如果一个节点包含一个具有并发卷组的资源组，则无论该并发卷组的类型如何（传统并发或增强的并发），都不得使用 Forced 选项停止该节点。否则可能会导致数据损坏。
通信接口管理
使用此功能，您可以修改集群中所有节点的通信接口设置。当您希望在节点上添加或从中删除通信接口时，包括替换（热交换）现有通信接口，此菜单特别有用。
可以在不停止 HACMP 服务的情况下执行这些操作，但前提是在每个网络上向 HACMP 定义了足够的通信接口，以避免使受影响的资源组脱机。
资源组和应用程序管理
可以对资源组和应用程序执行的操作有：
- 使资源组联机
- 使资源组脱机
- 将资源组移动到其他节点
- 挂起和恢复应用程序监视（如果已配置）
安全和用户管理
在 HACMP V5.1 中，与 HACMP 的远程命令扩展相关的操作是通过集群通信守护进程和提供的实用工具（cl_rsh、cl_rexec 等）执行的。只有集群命令（位于 /usr/es/sbin/cluster 中的命令）可以作为 root 用户运行；所有其他命令只能作为“nobody”用户运行。
集群通信守护进程根据 HACMP 配置中定义的通信接口的 IP 地址提供自己的身份验证（基于主机的身份验证）。
此外，还可以通过 Kerberos 服务器执行身份验证（假设在环境中已经设置服务器并且服务器可用）。
您可以将 clcomdES 身份验证从“标准”更改为“增强”(Kerberos)。
对于用户管理，您可以添加、删除和修改集群中所有节点或者指定节点或资源组上的用户和组。
还可以更改一个节点、集群中的所有节点、或者属于特定资源组的节点上的用户密码。
限制：在 HACMP V5.1 中，只有 root 用户才可以使用 C-SPOC 更改其他用户的密码。而且，HACMP 无法阻止用户在单个节点上更改自己的密码。逻辑卷管理
在使用此功能时，您可以添加新的和修改现有的卷组、逻辑卷和文件系统，但无法删除以前创建的 LVM 对象。对于此操作，需要确保卷组不属于任何资源组，然后才可以从所有节点上手动导出卷组定义。
重要：在向集群定义卷组后，应该运行 HACMP 配置自动发现（auto-discovery）功能，并将以前创建的卷组添加到资源组。如果不将新卷组添加到资源组，则即使在预定节点上成功地进行了挂载，也无法使用C-SPOC对此卷组创建逻辑卷或文件系统。并发逻辑卷管理
并发逻辑卷管理类似 “逻辑卷管理”，不同的是您可以创建并发卷组。请记住，使用 AIX 5L V5.2，您无法创建传统（classic）的并发卷组（即使使用 32 位内核也如此）；只能创建增强（enhanced）的并发卷组。
无论并发卷组的类型如何（传统的或增强的），还必须运行发现并在资源组中包括新卷组才能进一步使用（逻辑卷创建）。
物理卷管理
使用此选项，可以向集群节点添加或从中删除物理磁盘。
这有助于在所有节点上维护磁盘配置。
由于硬盘数在每个集群节点上可能不一样（由于不同的内部磁盘配置等原因造成），因此 HACMP 无法使用硬盘号进行 C-SPOC 操作。将使用物理卷 ID 进行进一步的操作。
在向集群添加物理磁盘时，HACMP 可以确保在所有集群节点上统一标识磁盘。
GPFS 文件系统配置（可选）
此选项也称为 HACMP GPFS 集成功能，它仅在安装了 cluster.es.cfs 包时才可用，并可以将其与 GPFS 包一起使用，以便在与 HACMP 集群相同的节点上配置 GPFS 集群。
有关先决条件和详细信息，请参阅 General Parallel File System (GPFS) for AIX 5L in an RSCT peer domain: Concepts, Planning, and Installation, GA22-7974。
在一个节点上打开 SMIT 会话
此工具为集群节点提供了远程系统管理和配置（不只是 HACMP 菜单）。此功能使用了客户端通信守护进程。
C-SPOC 及其相关的资源组
修改 LVM 组件的 C-SPOC 命令需要一个资源组名称作为参数。必须在资源组中配置作为此命令目标的 LVM 组件，才能实际更改此组件。
C-SPOC 使用资源组信息来确定它必须在哪些节点上执行所需的操作。
HACMP V5.1 中的 C-SPOC 增强功能
在 HACMP V5.1 中，为提高操作的速度和可靠性，我们改进了 C-SPOC，并添加了许多增强功能。
其中的一些主要增强功能有：
- 性能
过去，用户之所以不愿意使用 C-SPOC，是因为使用命令行等效项的速度更快一些。
性能改进的原因是由于 C-SPOC 使用了集群通信基础结构 (clcomdES)。
- 增强的并发模式 (ECM) 支持
从 AIX 5L V5.1 开始以及后续版本中，可以通过 C-SPOC 创建增强的并发卷组。
- 现在支持管理 VPATH 设备（在 HACMP V4.5 PTF 5 中也提供该支持）。
- 新名称 System Management (C-SPOC) 已经添加到 SMIT 面板中。
- HACMP 软件版本验证
引入了更快的机制。不是在每次执行验证时都计算具有最低 HACMP 版本的节点，而是仅执行一次计算，并在发起验证进程的节点上缓存一个小时数据，以便更快地访问。
- 为提高效率，更新了一些 LVM 脚本。
配置更改：DARE
在配置 HACMP 集群时，配置数据存储在 ODM 中的特定于 HACMP 的对象类中。AIX ODM 对象类的 HACMP 存储在缺省配置目录 (DCD) /etc/es/objrepos 中。
在集群运行时，可以对集群拓扑和集群资源执行特定的更改。此操作称为动态自动重新配置事件 (DARE)。
在 HACMP V5.1 之前，更改集群拓扑和集群资源非常耗时，这是因为需要在集群中运行多个 DARE 操作。
在同一操作中不可能对资源和拓扑同时执行动态重新配置更改。
HACMP V5.1 允许通过一个动态重新配置操作组合资源和拓扑更改。
限制：如果在集群中定义了站点，则无法使用 DARE 对集群资源或拓扑执行更改。这是由于在重新配置过程中，辅助（远程）站点可能会错误地检测到主站点故障并启动一个接管进程。DARE 操作
动态重新配置需要对集群中所有节点上的 HACMP ODM 类进行更改。在以前的 HACMP 版本中，每当执行动态配置更改时，将为需要更改的每个类发送到集群中其他节点的多个远程连接。
在当前版本中，由于提供了集群通信基础结构 (clcomdES)，到远程节点的连接已经开放和保持活动状态，因此远程操作更快。
在集群启动时，HACMP 将其 ODM 类复制到名为活动配置目录 (ACD) 的单独目录中。在集群运行时，HACMP 守护进程、脚本和实用工具引用 ODM 的活动配置目录 (ACD) 中存储的 ODM 数据。
如果当集群管理器在本地节点上运行时，同步集群拓扑或集群资源定义，此操作将触发动态重新配置 (DARE) 事件。
在动态重新配置事件中，将在分段配置目录 (SCD) 中启动重新配置进程的节点上收集所有集群节点上的缺省配置目录 (DCD) 中的 ODM 数据。将在本地节点上收集来自远程节点的 HACMP ODM 类，并执行和向节点发回带时间戳的校验和。
执行配置更改，更新分段配置目录中的 ODM 类，然后发回到原始节点。如果从多个节点启动了验证/同步，则将验证校验和以避免数据损坏，如果校验和正确，将更新目标节点上缺省配置目录中的 ODM 类（覆盖）。
在最后一步中，活动配置目录中的 ODM 数据将被新的配置数据覆盖。将刷新 HACMP 守护进程，以便新配置成为当前活动的配置（请参见图 2）。
图 2 DARE ODM 操作
更改资源和拓扑的动态重新配置操作过程按以下顺序进行：
- 释放受重新配置影响的任何资源
- 重新配置拓扑
- 获取和重新获取受重新配置操作影响的任何资源。
在对集群定义进行更改之前，请确保：
- 在所有节点和在同一级别上安装了 HACMP。
- 所有节点都可用（启动并正常运行）并能够相互通信。即使集群服务可能不在集群节点上运行，也可以从具有集群服务活动的其他节点执行重新配置。
- 集群处于稳定状态；最近没有事件错误或也不存在 config_too_long 消息。
同步配置更改
在更改集群的拓扑或资源时，HACMP 将更新缺省配置目录 (/etc/es/objrepos) 中的 ODM 中存储的数据。同步过程将导致本地集群节点上的缺省配置目录中存储的信息复制到其他集群节点上缺省配置目录中的 ODM 对象类。
在同步集群时，将触发动态重新配置事件，并且 HACMP 将验证集群拓扑和集群资源是否已正确配置（即使您仅修改其中之一也将验证）。
由于拓扑中的更改会导致资源配置无效（反之亦然），因此软件会检查这两种情况。
动态集群拓扑更改
注意：在 HACMP V5.1 中，DARE 已得到极大改进，可以在一个操作中同时支持资源更改和拓扑更改。您可以在活动集群上动态地对集群拓扑进行以下更改：
- 添加或删除节点
- 添加或删除网络接口
- 交换网络接口卡（用于更换硬件）
- 更改网络模块优化参数
- 添加新的网络
在不停止 HACMP 服务、使应用程序脱机或重新启动节点的情况下，无法动态执行以下拓扑和资源组更改：
- 拓扑更改
- 更改集群的名称。
- 更改集群 ID。
- 更改集群节点的名称。
- 更改通信接口的属性。
- 将网络从通过 IP 别名的 IPAT 更改为通过 IPAT 替换，反之亦然。
- 更改网络模块的名称。
- 添加网络接口模块。
- 删除网络接口模块。
- 完成重新配置集群管理器依赖的 RSCT 对等域（拓扑和组服务）所需的任何其他更改。
- 更改集群的名称。
- 资源更改
- 更改资源组的名称。
- 更改应用服务器的名称。
- 更改节点关系。
- 更改资源组的名称。
如果由于意外集群事件导致动态重新配置失败，则分段配置目录 (SCD) 可能仍然存在。这可以防止对集群进一步更改。
如果在同步过程中发生节点失败，则不会在所有节点上清除分段配置目录 (SCD)。
存在分段配置目录可以防止进一步执行配置更改。如果在同步结束时没有清除分段配置目录，则表明 DARE 操作没有完成；因此，分段配置目录将充当对进一步更改的锁定。
您可以观察到，在每个节点的集群管理器将更改复制到每个节点的活动配置目录之前，已对分段配置目录复制了 DCD 副本。在某个节点上启动 HACMP 时，如果存在分段配置目录，会将该分段配置目录复制到活动配置目录，然后删除该分段配置目录并使用新的活动配置目录。
如果在 DARE 过程中任何时间发生了节点故障，则在某些节点上会存在“残余”的分段配置目录，在任何节点上重新启动 HACMP 之前必须删除分段配置目录，
否则可能会造成不同的集群节点使用不同的配置运行，这种情况会导致一个或多个集群节点宕机。
要从此情况中恢复，必须使用 Release Locks Set By Dynamic Reconfiguration SMIT 菜单。这将清除其余的分段配置目录并允许进一步执行集群同步。如果在任一集群节点上存在分段配置目录，则在删除此目录之前不允许进一步同步。
要清除 DARE 锁定，请使用以下示例中的过程（从示例 1 开始）。
示例 1 Problem Determination Tools 屏幕
HACMP for AIX |
要释放 DARE 锁定，请使用 HACMP Problem Determination Tools 菜单，如示例 2 所示。
示例 2 Release Lock Set DARE 屏幕
Problem Determination Tools |
等待命令完成并成功结束（参见示例 3）。如果此操作没有成功，则无法继续执行下一步，并且可能需要支持人员的干预。
示例 3 Check status release DARE lock 屏幕
COMMAND STATUS |
要在一步中执行相同的操作，还可以使用 /usr/es/sbin/cluster/utilities/cldare -u 命令。
管理用户和组
在 HACMP 中，C-SPOC 允许您管理用户和组（创建和更改特征）。HACMP V5.1 中引入了一个新选项：现在您还可以通过 C-SPOC 更改用户密码。
在创建用户或组时，您可以按资源组选择节点，也可以指定集群中的单个节点或所有节点。
注意：在 HACMP V5.1 中，只有 root 用户可以更改用户的密码。在使用 HACMP 更改用户密码之前，应先检查以下先决条件：
- 所有节点必须已经安装了 HACMP V5.1。
- 已经配置了集群拓扑。
- 列表中的每个集群节点上必须存在该用户帐户。
- 此用户帐户必须在本地节点上存在。（将在本地节点上更改密码，即使该节点不在所选节点列表或资源组中也如此。）
- 必须在所有集群节点上运行 AIX，并且所有节点必须能够通过 clcomdES 进行通信。
可以通过 HACMP C-SPOC 菜单或使用以下 SMIT 快捷路径访问用户管理：
# smitty cl_usergroup |
将出现示例 4 中的屏幕。
示例 4 选择密码选项
HACMP Security and Users Management |
要更改用户的密码，请使用示例 5 中所示的菜单。
示例 5 更改用户密码
Passwords in an HACMP cluster |
您可以选择资源组（用户所属的节点集），并指定用户的名称，如示例 6 所示。
示例 6 选择节点和用户
Change a User’s Password in the Cluster |
注意：请考虑以下选项：
- Selecting the nodes by resource group
- User must change Password on first login?
如果设置为 True，则该用户在下次登录时将需要更改每个节点上的密码。如果设置为 False，则该用户在下次登录时将不需要更改密码，缺省值为 True。
输入用户名和当前密码，然后更改密码，如示例 7 所示。
示例 7 密码更改屏幕
COMMAND STATUS |
有关详细信息，请参阅 HACMP for AIX 5L V5.1 Adminstration and Troubleshooting Guide, SC23-4862-02 的第 14 章“Managing Users, Groups, and Security in a Cluster”。
使用 C-SPOC LVM 管理集群存储
更改 LVM 组件是集群中最常见的更改类型。使用 C-SPOC 可以执行以下操作：
- 对于共享卷组：
- 启用快速磁盘接管
- 创建共享卷组
- 扩展共享卷组
- 导入共享卷组
- 减少共享卷组
- 创建卷组的副本
- 删除卷组的副本
- 镜像卷组
- 取消镜像卷组
- 删除共享卷组
- 同步卷组镜像
- 启用快速磁盘接管
- 对于共享逻辑卷：
- 添加或删除共享逻辑卷
- 更改共享逻辑卷（重命名、扩展、添加或删除副本）
- 添加或删除共享逻辑卷
- 对于共享文件系统：
- 创建共享文件系统
- 更改共享文件系统
- 删除共享文件系统
- 创建共享文件系统
- 对于共享物理卷：
- 向集群节点添加磁盘定义
- 删除集群节点上的磁盘定义
- 更换集群磁盘
- 管理数据路径设备
- 向集群节点添加磁盘定义
在导出和导入后，卷组由 root 拥有，并且可由系统组访问。如果将原始逻辑卷的所有权更改为 root.system，使用原始逻辑卷的应用程序可能会受到此更改的影响，例如某些数据库服务器。必须在此操作序列之后将所有权和权限恢复为应用程序所需的所有权和权限。
在 HACMP V5.1 中，C-SPOC 还使用了 AIX 5L V5.1 CLVM 功能，该功能可以在不停止和重新启动集群的情况下更改并发 LVM 组件。
- 对于共享并发卷组：
- 在所选集群节点上创建并发卷组（使用硬盘或数据路径设备）。
- 将 SSA 并发卷组或 RAID 并发卷组转换为增强的并发模式。
- 列出集群中所有的并发卷组。
- 导入并发卷组。
- 扩展并发卷组。
- 减少并发卷组。
- 镜像并发卷组。
- 取消镜像并发卷组。
- 按卷组同步并发 LVM 镜像。
- 在所选集群节点上创建并发卷组（使用硬盘或数据路径设备）。
在 HACMP V5.1 中，同时支持并发 SSA 和 RAID 卷组以及高级并发
卷组；但是，SSA 和 RAID 并发卷组仅在 32 位 AIX 内核中受支持。
而且，在 AIX 5L V5.2 中不可能创建新的 SSA 和 RAID 并发卷组。我们建议所有现有的并发卷组（SSA 和 RAID）都迁移到增强的并发卷组。
由于增强的并发卷组对于并发机制使用 RSCT 组服务通信，因此，仅当 RSCT 集群存在并且在线时，它们在并发模式下才可能被启用（HACMP V5.1 是增强的可伸缩版本，因此它使用 RSCT 拓扑和组服务）。
下面将介绍如何使用 C-SPOC 在集群中创建并发卷组。
创建并发卷组（SSA 和 RAID）
在使用 C-SPOC 为集群创建并发卷组之前，请检查以下内容：
- 所有磁盘设备均正确连接到集群节点。
- 在所有集群节点上都正确地配置了所有磁盘设备，并在所有节点上列为可用设备。
- 安装了集群并发逻辑卷管理器。
- 构成卷组的所有磁盘都支持并发操作。
- 在 SSA 磁盘子系统上已经分配了唯一的非零节点号。
要创建并发卷组，请使用 smitty cl_convg 快速路径，如示例 8 所示。
示例 8 创建并发卷组
Concurrent Volume Groups |
选择将要创建并发卷组的节点（参见示例 9）。
示例 9 选择节点
选择希望使用的物理卷（示例 10）。
示例 10 选择物理卷
选择新并发卷组的名称（示例 11）。
示例 11 创建并发卷组
Create a Concurrent Volume Group |
检查是否成功，如示例 12 所示。
示例 12 创建并发状态
COMMAND STATUS |
在创建并发卷组之后，对于其他消息，还可以验证 /tmp/cspoc.log 文件。
在创建并发卷组之后，您需要将其添加到资源组；否则，将无法使用此卷组创建并发逻辑卷（用作应用程序的原始设备）。
还可以通过以下方式对 LVM 组件执行更改：
- 手动更新
- 懒惰更新（Lazy update）
手动更新
您可以在 HACMP 控制之外的集群中的 LVM 组件中手动执行更改。在此情况下，应确保在集群中的所有节点上尽快执行更新。
当更改 LVM 组件时，我们建议您遵循以下过程：
1. 在拥有共享卷组的节点上停止集群服务。
（有时只需停止应用程序即可）。
2. 对共享 LVM 组件进行更改。
3. 卸载属于共享卷组的所有文件系统。
4. 停用共享卷组。
5. 导出其他节点上的卷组定义（也可以使用 importvg -L 命令而无需导出卷组定义）。
6. 再次将卷组导入到其他节点以更新 AIX ODM，如果使用 NFS 安装，请确保您使用了相同的主卷组号。
7. 更改卷组需要的特征。
8. 停用此节点的卷组。
9. 在资源组的具有最高优先级的节点（主节点）上再次启动集群服务。
懒惰更新
对于 HACMP for AIX 控制下的 LVM 组件，不需要显式导出和导入即可将其他集群节点更新为最新状态。HACMP for AIX 可以在故障转移过程中激活卷组时执行导出和导入。
在集群中，HACMP 控制何时激活卷组。HACMP for AIX 通过为共享卷组保存一个 VGDA 时间戳副本实现了一个名为“懒惰更新”的功能。
每当修改 LVM 组件时，AIX 将会更新 VGDA 时间戳。
当其他集群节点尝试启用卷组时，HACMP for AIX 会将其 VGDA 时间戳副本与磁盘上 VGDA 中的时间戳副本进行比较。如果值不相同，HACMP 将导出卷组，并在重新激活之前重新导入卷组。如果时间戳相同，HACMP 通常会激活卷组（不进行导出和重新导入）。
注意：HACMP V5.1 对于增强的并发卷组不需要懒惰更新流程，这是因为它使用 LVM 信息来保持资源组中的所有节点最新。
