在本文中，我们将使用基于分布式存储的 Kubernetes 部署来构建一个 IRIS 的高可用配置，而不使用“传统的”IRIS Mirror。 这种部署将能够容忍与基础架构相关的故障，如节点、存储和可用区故障。 所描述的方法可以大大降低部署的复杂性，代价是 RTO的略微延长。

最近在多家现场都遇到了备机长时间宕机导致镜像日志写满磁盘的问题。在这里我将对这个问题发生的原因、发生后的处理、和如何预防这类问题发生进行一些讨论。

问题的发生一般始于一些原因导致的主机（如，01）宕机，进而触发镜像的主备切换。切换后备机（如，02）成为主机，并无缝接管业务。由于业务不受影响，如果不注意监控环境的话，很可能现场技术人员长时间都注意不到镜像的备机（01）是宕机状态。

备机长时间宕机会导致如下问题：

1. 这种情况下如果主机（02）再次遇到问题宕机，镜像将无法发挥其高可用性，无法保持业务稳定运行。

2. 主机（02）产生的镜像日志将无法同步到备机（01）。未同步的日志将一直被保存在主机（02）上不被删除。长此以往镜像日志磁盘将被写满，同样导致主机（02）宕机。

问题发现时切记不要手动从文件夹直接删除主机（02）上的镜像日志。未同步的日志一旦手动删除，镜像将无法自动同步，需要重做主备镜像。

问题发现时如果主机（02）还未宕机，此时尝试解决备机（01）问题，启动备机（01），等待镜像自动同步即可。同步完成之后镜像日志将可以被定时任务定时清除。如果遇到较为复杂的情况，现场请第一时间联系您的软件供应商，软件供应商将协同系联软件全球响应中心一起来解决您遇到的具体问题。

为了避免以上的问题发生，现场运维需要对镜像的状态和磁盘的状态配置监控。

我们最近发布了一份关于在镜像环境中使用报告节点（完整的“异步报告镜像成员”）的新白皮书。越来越多的客户正在研究这种机制，将其作为一种快速、简单的方法来设置保持最新的生产数据副本，但可以用于分析查询或重型报告工作负载，而不影响源系统。 请在此处阅读白皮书。

与往常一样，我们很想听听您对如何在组织中使用此镜像选项的反馈，以及您是否对我们如何提高其效率有想法。

在维护IRIS的镜像前，管理员需要清楚的了解以下一些概念：

Mirror的切换模式(failover mode)

切换模式在镜像监视器里被翻译成”故障转移模式“。 有两种模式：

• Agent Controlled模式：
• Arbiter Controlled模式：(页面上翻译为“仲裁程序受控制”)

通常情况，生产环境的镜像是安装了arbiter(仲裁者)的。Mirror启动时，在还没有连接上arbiter的时候，自动进入Agent-Controlled模式。而后当两台机器，主机，备机都连通了Arbiter，会保持在这个模式。

• 主备之间有连接；
• 又都连到arbiter;
• backup is active,

满足上面的条件，就进入arbiter controlled mode。而如果主备的任一方，失去了和arbiter的连接，或者备用侧丢了active, 开始尝试连接另一方，退回到agent-controlled模式。

Mirror同步成员的状态

Mirror Member Journal Transfer and Dejournaling Status. 请注意，这里面有两个概念：一个是Mirror成员的状态，一个是Journal传输和Dejournaling的状态。下面的图中是3个字段： STATUS, Journal传输，Dejournaling.

STATUS

镜像成员的状态。

++ 更新：2018 年 8 月 1 日

使用内置于 Caché 数据库镜像的 InterSystems 虚拟 IP (VIP) 地址有一定的局限性。特别是，它只能在镜像成员驻留在同一网络子网时使用。当使用多个数据中心时，由于增加了网络复杂性（ 此处有更详细的讨论），网络子网通常不会“延伸”到物理数据中心之外。出于类似的原因，当数据库托管在云端时，虚拟 IP 通常无法使用。

负载均衡器（物理或虚拟）等网络流量管理设备可用于实现相同级别的透明度，为客户端应用程序或设备提供单一地址。网络流量管理器自动将客户端重定向到当前镜像主服务器的真实 IP 地址。自动化旨在满足灾难后 HA 故障转移和 DR 升级的需求。

题外话：我刚刚翻译了InterSystems专家Bob Binstock的Caché Mirroring 101：简要指南和常见问题解答。 尽管题目是Caché Mirror 101, 而且是写于2016年，但因为讲解的都是Mirror的基本原理，所以在大量使用IRIS的今天也完全适用。

前面的3篇文章，包括了配置Mirror的各个方面。如果您照着操作，现在已经有了一个工作的mirror环境，并加入了您的数据库。然而，还没完，这篇我来讨论一下后面的工作，首先的问题是：

Mirror不复制什么

简单说，Caché/IRIS镜像是数据库复制(Database Replication)。在Caché/IRIS里什么是数据库？也就是Cache.dat和iris.dat文件。数据库的修改日志，也就是journal，从主机被传送到其他镜像成员。而除此之外的内容，需要维护人员来分别的个个处理， 解决这些内容在各个镜像成员间的拷贝。需要很多的计划和细心。

系统数据库, 包括IRISSYS, IRISTEMP, IRISLIB等等, 这些Caché/IRIS本身的数据库不应该被加入Mirror，在大多数Caché/IRIS版本里也都设置成不可以加入入MIRROR。

今天从官网下载了IRISHealth-2023.1.0.229.0-lnxrh9x64版本的数据库安装包，在RHEL9.0上进行安装配置测试，遇到一个问题，趁热记录下来。

测试环境及软件版本：

操作系统——Red Hat Enterprise Linux release 9.0 (Plow)

数据库——IRISHealth-2023.1.0.229.0-lnxrh9x64

测试创建镜像时，配置好虚拟IP，点击保存。

保存后发现数据库没有变成主成员状态，一直是等待的状态，如下图所示：

这时查看控制台日志发现有大量报错，如下图所示：

从控制台日志看出，此时矛头指向了virtualIP.sh，经过查找发现这个脚本位置在安装目录下的bin目录中。

这里只是创建了MIRROR的配置，然后出现了问题，大概可以猜到可能是添加VIP的方法有什么问题，开启脚本的DEBUG，测试运行添加VIP的方法。

果然，发现了一处报错，如下图所示：

打开脚本文件，查看第588行代码。

研究发现RHEL9.0中，ID=`id | grep uid= | awk -F"=" '{print $2}' | awk -F"(" '{print $1}'`，$ID返回是空，不是数字，所以报错了，修改脚本，注释掉其中六行代码，并关闭DEBUG，如下：

保存脚本后，再次执行添加IP方法测试，IP可以正常添加。PS：不要忘记把测试添加的IP移除掉。

我们客户的一个共同需求是配置 HealthShare HealthConnect 和 IRIS的高可用性模式。

市场上的其他集成引擎通常被宣传为具有“高可用性”配置，但事实并非如此。通常，这些解决方案与外部数据库一起使用，因此，如果这些数据库未配置为高可用性，当发生数据库崩溃或与它的连接丢失时，整个集成工具将变得不可用。

对于 InterSystems 解决方案，这个问题不存在，因为数据库是工具本身的一部分和核心。 InterSystems 如何解决高可用性问题？深奥的配置会把我们拖入异化和疯狂的漩涡？不！在 InterSystems，我们倾听并处理了您的投诉（正如我们一直努力做的那样 ;)），并且我们已将镜像功能提供给所有用户和开发人员。

镜像

镜像如何工作？这个概念本身非常简单。如您所知，IRIS 和 HealthShare 都使用一个日志系统，该系统记录每个实例的数据库上的所有更新操作。这个日志系统是后来帮助我们在崩溃后恢复实例而不会丢失数据的系统。好吧，这些日志文件在镜像中配置的实例之间发送，允许并保持镜像中配置的实例永久更新。

架构

让我们简要解释一下在 Mirror 中配置的系统架构是什么样的：

• 在故障转移模式下配置的两个实例：
  • 主动节点——接收所有常规的读/写操作。
  • 被动节点：在读取模式下，它同步接收主动节点产生的任何变化。

在生产环境中IRIS通常以故障转移集群的形态被部署，而集群中各故障转移成员的镜像状态将决定该集群在故障发生时是否能够顺利切换保障业务不中断。因此，成员状态通常也是运维团队需要巡检或监控的目标。

尽管IRIS内部API提供了丰富的集群配置、成员状态监控等一系列接口，但除Portal上的镜像监视器外，并没有特定的接口便于从外部系统访问（如进行企业级监控集成时），也没有整合好的监控接口可用与获取镜像的健康状态。但在IRIS上开发一个REST接口暴露镜像状态数据并不困难，如下所示：

Include %syMirror
Class Monitor.MirrorMonitoring Extends %CSP.REST
{

/// Default the Content-Type for this application.

在Cache 2018之前的版本中，数据库的高可用是通过第三方HA软件保障的，Cache数据库在2018以后及IRIS支持MIRROR技术，通过MIRROR可以保障数据库的高可用及数据的冗余，那么在新版本中，第三方HA软件与MIRROR是否可以同时使用以实现更高的数据库可用性？使用起来有哪些需要注意的？本文重点介绍探讨上述两个问题。

为得出正确结论，我们搭建了如下实验环境：

       我们采用3个服务器节点A、B、C分别部署IRIS 2021.1数据库，其中A节点、B节点部署第三方HA软件组成数据库高可用主备集群（本例中，采用的是基于POWER平台的PowerHA），该集群中定义A节点为主节点，B节点为备用节点，HA集群的共享资源组存放在共享SAN存储上，通过HA，生成HA集群的对外服务IP，即我们通常说的Service ip，保证在生产节点发生网络故障、主机故障、以及操作系统故障、手动切换等情况下，IRIS服务、共享资源组、以及HA的Service IP可自动切换至另外一台服务器，保障IRIS高可用，经测试，HA集群内部节点间服务切换时间约为30秒。

在虚拟化环境中使用镜像，构成镜像的InterSystems IRIS实例被安装在虚拟主机上，创造了一个混合的高可用性解决方案，将镜像的优点与虚拟化的优点结合起来。镜像通过自动故障切换对计划内或计划外的故障提供即时响应，而虚拟化HA软件在计划外的机器或操作系统故障后自动重新启动承载镜像成员的虚拟机。这允许失败的成员迅速重新加入镜像，充当备份（或在必要时作为主机）。

当镜像被配置在虚拟化环境中时，请参考以下建议：

• 故障转移成员的虚拟主机和备机不可以配置在同一台物理机上。

• 为了避免单点存储故障，故障转移成员上的InterSystems IRIS实例所使用的存储应永久隔离在不同磁盘组或存储阵列的独立数据存储中。

• 在虚拟化平台层面上进行的一些操作，如备份或迁移，可能会导致故障转移成员长时间没有反应，从而导致不需要的故障转移或不理想的警报频率。为了解决这个问题，你可以增加QoS超时设置。

• 在进行导致故障转移成员连接中断的计划性维护操作时，你可以暂时停止备份上的镜像，以避免不必要的故障转移和警报。

• 在镜像成员上必须非常谨慎地使用快照管理，因为将一个成员恢复到早期的快照，既会删除该成员的最新状态（例如，自拍摄快照以来，该成员可能已经从主机变为备机），也会删除其他成员仍然拥有的日志数据。

安装Arbiter

为了将自动故障转移扩展到尽可能广泛的故障情况，InterSystems建议你为每个镜像配置一个仲裁机。

要充当仲裁者，系统必须有一个正在运行的ISCAgent进程。由于ISCAgent是与InterSystems IRIS一起安装的，任何承载一个或多个InterSystems IRIS实例的系统都符合这一要求，可以被配置为仲裁者而无需进一步准备；但是，承载一个或多个故障转移或DR异步镜像成员的系统不应该被配置为该镜像的仲裁者。

没有托管InterSystems IRIS实例的系统可以通过安装Arbiter方式的作为仲裁者。请从InterSystems公司下载适合你的仲裁者系统平台的ISCAgent安装包，然后，安装ISCAgent。

注意：Arbiter的版本要和InterSystems IRIS安装版本保持一致。

在Windows上安装Arbiter

在Windows系统上，只需执行安装文件，例如ISCAgent-2020.1.0.540.0-win_x64.exe。

在Linux上安装Arbiter

[root@arbiterhost home]# gunzip ISCAgent-2020.1.0.540.0-lnxrhx64.tar.gz
[root@arbiterhost home]# tar -xf ISCAgent-2020.1.0.540.

我们所有的工作环境都是Ensemble 2017.2。但我们最近将迁移到IRIS for Health 2021.1版本。这是一个复杂的过程，但经过仔细考虑，我们找到了实现这一目标的方法。

我们有一个开发服务器和两个生产服务器的镜像，采用Failover模式。我们有40多个名称空间在使用中，有些有HL7集成，有些有Soap服务、Rest服务、文件处理......什么都有点。我们需要确定向IRIS的迁移不会出现问题，最重要的是，我们需要不惜一切代价避免服务中断。因此，我们必须做的第一件事是建立一个计划。

各位好，

你曾建立过一个镜像环境吗？它是否有一个私有网络、虚拟IP地址和SSL配置？ 在做了几次之后，我意识到这是一个漫长的过程，而且需要很多手动操作来生成证书和配置每个IRIS实例。 对于经常要做这件事的人来说，这是一个痛苦的过程。

例如，质量保证团队可能需要为每个新的应用程序版本创建一个新的镜像环境来测试。支持团队可能需要创建一个镜像环境来重现一个复杂的问题。

我们肯定需要工具来快速创建这些镜像环境。

在这篇文章中，我们将用如下环境创建一个镜像样例：

• 仲裁机
• 主服务器
• 故障切换备份成员
• 读写报告异步成员
• 节点间日志转移的SSL配置
• 镜像环境中的私有网络
• 虚拟IP地址
• 镜像数据库

乍一看，它似乎有点复杂，看起来需要大量的代码，但不要担心。 在OpenExchange上有一些库，可以轻松地执行大多数操作。

本文的目的是提供一个例子，说明如何根据你的需要调整这个过程，但在安全问题上，它不是一个最佳实践指南。 现在，让我们来创建我们的样本。

工具和库

• PKI-script: 公钥基础设施（PKI）是一个与IRIS集成的功能，它允许你生成一个自签名的证书并拥有你的授权服务器。在伟大的Pete Greskoff的文章之后，PKI-script的目标是以编程方式执行所有操作，避免在管理门户中进行任何手动操作。 该库包括用于镜像的实用方法。

在本帖中，我将展示使用_外部备份_来备份 Caché 的策略，以及与基于快照的解决方案集成的示例。 如今，大多数解决方案部署在基于 VMware 的 Linux 上，因此许多帖子都以展示解决方案如何集成 VMware 快照技术为例。

Caché 备份 - 包括电池？

Caché 安装后即包含 Caché 在线备份，可提供不间断的 Caché 数据库备份。 但随着系统规模的扩大，您应该考虑更高效的备份解决方案。 集成了快照技术的_外部备份_是推荐的系统（包括 Caché 数据库）备份解决方案。

外部备份有特殊注意事项吗？

外部备份的在线文档包含了全部详细信息。 一个关键考虑事项是：

“为确保快照的完整性，Caché 提供了在创建快照时冻结数据库写操作的方法。 在创建快照期间，只冻结对数据库文件的物理写入，从而允许用户进程继续在内存中不间断地执行更新。”

还需要注意的是，虚拟化系统上的部分快照过程会导致正在备份的虚拟机短暂暂停，这段时间通常称为关闭时间。 该时间通常不到一秒，因此不会被用户注意到，也不会影响系统运行，但在某些情况下，关闭时间可能较长。 如果关闭时间长于 Caché 数据库镜像的 QoS 超时时间，那么备份节点将认为主节点出现故障，并将进行故障转移。 在本帖的后面部分，我将说明在需要对镜像 QoS 超时时间进行更改时如何查看关闭时间。

本文提供了一个参考架构，作为示例说明基于 InterSystems Technologies（适用于 Caché、Ensemble、HealthShare、TrakCare 以及相关的嵌入式技术，例如 DeepSee、iKnow、Zen 和 Zen Mojo）提供的强大性能和高可用性应用。
Azure 有两种用于创建和管理资源的不同部署模型：Azure Classic 和 Azure Resource Manager。 本文中的详细信息基于 Azure Resource Manager (ARM) 模型。