使用 GitLab 持续交付 InterSystems 解决方案 – 第 8 部分：使用 ICM 的 CD

文章

Michael Lei · 九月 27 阅读大约需 9 分钟

#云 #容器化 #持续交付 #持续集成 #教程 #InterSystems IRIS

在这一系列文章中，我想向大家介绍并探讨使用 InterSystems 技术和 GitLab 进行软件开发可以采用的几种方式。我将介绍以下主题：

Git 101
Git 流程（开发流程）
GitLab 安装
GitLab 工作流
持续交付
GitLab 安装和配置
GitLab CI/CD
为何使用容器？
容器基础架构
使用容器的 CD
使用 ICM 的 CD

在本文中，我们将使用 InterSystems Cloud Manager 构建持续交付。 ICM 是一个面向基于 InterSystems IRIS 的应用程序的云配置和部署解决方案。它允许您定义所需部署配置，ICM 会自动提供这些配置。有关详情，请参阅 ICM 概述。

工作流

在我们的持续交付配置中，我们将完成以下任务：

将代码推送到 GitLab 仓库
构建 docker 镜像
将镜像发布到 docker 注册表
在测试服务器上测试镜像
如果测试通过，则在生产服务器上部署

也可以用示意图形式表示此流程：

如您所见，基本操作是相同的，不过我们将使用 ICM 而不是手动方式来管理 Docker 容器。

ICM 配置

在我们开始升级容器之前，需要对它们进行配置。因此，我们需要定义 defaults.json 和 definitions.json 来描述我们的架构。我将为 LIVE 服务器提供这 2 个文件，TEST 服务器的 definitions 是相同的，defaults 只在 Tag 和 SystemMode 值上有所不同。

defaults.json：

{
    "Provider": "GCP",
    "Label": "gsdemo2",
    "Tag": "LIVE",
    "SystemMode": "LIVE",
    "DataVolumeSize": "10",
    "SSHUser": "sample",
    "SSHPublicKey": "/icmdata/ssh/insecure.pub",
    "SSHPrivateKey": "/icmdata/ssh/insecure",
    "DockerImage": "eduard93/icmdemo:master",
    "DockerUsername": "eduard93",
    "DockerPassword": "...",
    "TLSKeyDir": "/icmdata/tls",
    "Credentials": "/icmdata/gcp.json",
    "Project": "elebedyu-test",
    "MachineType": "n1-standard-1",
    "Region": "us-east1",
    "Zone": "us-east1-b",
    "Image": "rhel-cloud/rhel-7-v20170719",
    "ISCPassword": "SYS",
    "Mirror": "false"
}

definitions.json

[
    {
    "Role": "DM",
    "Count": "1",
    "ISCLicense": "/icmdata/iris.key"
    }
]

在 ICM 容器内部，/icmdata 文件夹从主机挂载，并且：

TEST 服务器的定义放置在 /icmdata/test 文件夹中
LIVE 服务器的定义放置在 /icmdata/live 文件夹中

获取所有必需的密钥后：

keygenSSH.sh /icmdata/ssh
keygenTLS.sh /icmdata/tls

并将必需的文件放置在 /icmdata 中：

iris.key
gcp.json（用于部署到 Google Cloud Platform）

调用 ICM 来配置您的实例：

cd /icmdata/test
icm provision
icm run
cd /icmdata/live
icm provision
icm run

这将为每个 TEST 和 LIVE 服务器配置一个独立的 InterSystems IRIS 实例。

有关更详细的指南，请参阅 ICM 概述。

构建

首先，我们需要构建镜像。

我们的代码通常存储在仓库中，CD 配置位于 gitlab-ci.yml 中，但为了提高安全性，我们会在构建服务器上存储几个服务器特定的文件。

iris.key

许可证密钥。或者，它可以在容器构建过程中下载，而不是存储在服务器上。将密钥存储在仓库中非常不安全。

pwd.txt

包含默认密码的文件。将这类文件存储在仓库中也非常不安全。此外，如果您在单独的服务器上托管生产环境，它可能有不同的默认密码。

load_ci_icm.script

初始脚本，它执行以下任务：

加载安装程序
安装程序执行应用程序初始化
加载代码

set dir = ##class(%File).NormalizeDirectory($system.Util.GetEnviron("CI_PROJECT_DIR"))
do ##class(%SYSTEM.OBJ).Load(dir _ "Installer/Global.cls","cdk")
do ##class(Installer.Global).init()
halt

请注意，第一行有意留空。

与之前的示例相比，有几个不同之处。首先，我们没有启用操作系统身份验证，因为 ICM 会与容器交互而不是直接与 GitLab 交互。其次，我使用安装程序清单来初始化我们的应用程序，以展示不同的初始化方式。有关安装程序的更多信息，请参阅这篇文章。最后，我们将在 Docker Hub 中以私有仓库的形式发布我们的镜像。

Installer/Global.cls

我们的安装程序清单如下所示：

<Manifest>
    <Log Text="Creating namespace ${Namespace}" Level="0"/>
    <Namespace Name="${Namespace}" Create="yes" Code="${Namespace}" Ensemble="" Data="IRISTEMP">
        <Configuration>
            <Database Name="${Namespace}" Dir="${MGRDIR}/${Namespace}" Create="yes" MountRequired="true" Resource="%DB_${Namespace}" PublicPermissions="RW" MountAtStartup="true"/>
        </Configuration>

        <Import File="${Dir}MyApp" Recurse="1" Flags="cdk" IgnoreErrors="1" />
    </Namespace>

    <Log Text="Mapping to USER" Level="0"/>
    <Namespace Name="USER" Create="no" Code="USER" Data="USER" Ensemble="0">
        <Configuration>
            <Log Text="Mapping MyApp package to USER namespace" Level="0"/>
            <ClassMapping From="${Namespace}" Package="MyApp"/>
        </Configuration>

        <CSPApplication  Url="/"      Directory="${Dir}client" AuthenticationMethods="64" IsNamespaceDefault="false" Grant="%ALL"  />
        <CSPApplication  Url="/myApp" Directory="${Dir}"       AuthenticationMethods="64" IsNamespaceDefault="false" Grant="%ALL"  />
    </Namespace>
</Manifest>

它实现了以下更改：

创建应用程序命名空间。
创建应用程序代码数据库（数据将存储在 USER 数据库中）。
将代码加载到应用程序代码数据库中。
将 MyApp 软件包映射到 USER 命名空间。
创建 2 个 Web 应用程序：分别用于 HTML 和 REST。

gitlab-ci.yml

现在，继续持续交付配置：

build image:
  stage: build
  tags:
    - master
  script:
    - cp -r /InterSystems/mount ci
    - cd ci
    - echo 'SuperUser' | cat - pwd.txt load_ci_icm.script > temp.txt
    - mv temp.txt load_ci.script
    - cd ..
    - docker build --build-arg CI_PROJECT_DIR=$CI_PROJECT_DIR -t eduard93/icmdemo:$CI_COMMIT_REF_NAME .

这里会执行哪些操作？

首先，由于 docker build 只能访问基础构建目录（在我们的示例中为仓库根目录）的子目录，我们需要将我们的“秘密”目录（其中包含 iris.key、pwd.txt 和 load_ci_icm.script）复制到克隆的仓库中。

接下来，首次终端访问需要用户名/密码，因此我们会将这些信息添加到 load_ci.script 中（这也是 load_ci.script 开头一行留空的原因）。

最后，我们会构建 docker 镜像并适当地为其添加标签：eduard93/icmdemo:$CI_COMMIT_REF_NAME

其中，$CI_COMMIT_REF_NAME 是当前分支的名称。请注意，镜像标签的第一部分应与 GitLab 中的项目名称相同，这样才能在 GitLab 的“注册表”标签页中看到它（“注册表”标签页中提供了关于添加标签的说明）。

Dockerfile

构建 docker 镜像是通过 Dockerfile 完成的，具体如下：

FROM intersystems/iris:2018.1.1-released

ENV SRC_DIR=/tmp/src
ENV CI_DIR=$SRC_DIR/ci
ENV CI_PROJECT_DIR=$SRC_DIR

COPY ./ $SRC_DIR

RUN cp $CI_DIR/iris.key $ISC_PACKAGE_INSTALLDIR/mgr/ \
 && cp $CI_DIR/GitLab.xml $ISC_PACKAGE_INSTALLDIR/mgr/ \
 && $ISC_PACKAGE_INSTALLDIR/dev/Cloud/ICM/changePassword.sh $CI_DIR/pwd.txt \
 && iris start $ISC_PACKAGE_INSTANCENAME \
 && irissession $ISC_PACKAGE_INSTANCENAME -U%SYS < $CI_DIR/load_ci.script \
 && iris stop $ISC_PACKAGE_INSTANCENAME quietly

我们从基本的 iris 容器开始。

首先，我们将仓库（和“秘密”目录）复制到容器中。

接下来，我们将许可证密钥复制到 mgr 目录中。

然后，我们将密码更改为 pwd.txt 中的值。请注意，此操作会删除 pwd.txt。

之后，实例启动并执行 load_ci.script。

最后，iris 实例停止。

请注意，我使用的是 GitLab Shell 执行器，而不是 Docker 执行器。当您需要从镜像内部提取某些内容时，将使用 Docker 执行器，例如在 Java 容器中构建 Android 应用程序并且只需要一个 apk 时。在我们的示例中，我们需要整个容器，因此需要使用 Shell 执行器。因此，我们通过 GitLab Shell 执行器运行 Docker 命令。

发布

现在，我们将镜像发布到 Docker Hub

publish image:
  stage: publish
  tags:
    - master
  script:
    - docker login -u eduard93 -p ${DOCKERPASSWORD}
    - docker push eduard93/icmdemo:$CI_COMMIT_REF_NAME

注意 ${DOCKERPASSWORD} 变量，它是 GitLab 的秘密变量。我们可以在“GitLab > 项目 > 设置 > CI/CD > 变量”中添加它们：

作业日志中也不包含密码值：

Running with gitlab-runner 10.6.0 (a3543a27)
  on icm 82634fd1
Using Shell executor...
Running on docker...
Fetching changes...
Removing ci/
HEAD is now at 8e24591 Add deploy to LIVE
Checking out 8e245910 as master...
Skipping Git submodules setup
$ docker login -u eduard93 -p ${DOCKERPASSWORD}
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
Login Succeeded
$ docker push eduard93/icmdemo:$CI_COMMIT_REF_NAME
The push refers to repository [docker.io/eduard93/icmdemo]
master: digest: sha256:d1612811c11154e77c84f0c08a564a3edeb7ddbbd9b7acb80754fda97f95d101 size: 2620
Job succeeded

在 Docker Hub 中，我们可以看到新镜像：

运行

我们有了镜像，接下来在我们的测试服务器上运行它。脚本如下。

run image:
  stage: run
  environment:
    name: $CI_COMMIT_REF_NAME
  tags:
    - master
  script:
    - docker exec icm sh -c "cd /icmdata/test && icm upgrade -image eduard93/icmdemo:$CI_COMMIT_REF_NAME"

使用 ICM，我们只需要运行一个命令 (icm upgrade) 即可升级现有部署。我们通过运行“docker exec icm sh -c”来调用它，这会在 icm 容器内执行指定的命令。首先，我们进入 /icmdata/test，这里定义了我们为 TEST 服务器准备的 ICM 部署定义。之后，我们调用 icm upgrade 将当前存在的容器替换为新容器。

测试

我们来运行一些测试。

test image:
  stage: test
  tags:
    - master
  script:
    - docker exec icm sh -c "cd /icmdata/test && icm session -namespace USER -command 'do \$classmethod(\"%UnitTest.Manager\",\"RunTest\",\"MyApp/Tests\",\"/nodelete\")' | tee /dev/stderr | grep 'All PASSED' && exit 0 || exit 1"

同样，我们在 icm 容器内执行一条命令。 icm 会话在一个已部署的节点上执行命令。该命令运行单元测试。之后，它将所有输出传输到屏幕，同时也传输给 grep 以查找单元测试结果，并成功退出进程或以出错方式退出。

部署

生产服务器上的部署与测试服务器上的部署完全相同，只是为 LIVE 部署定义使用了另一个目录。如果测试失败，此阶段将不会被执行。

deploy image:
  stage: deploy
  environment:
    name: $CI_COMMIT_REF_NAME
  tags:
    - master
  script:
    - docker exec icm sh -c "cd /icmdata/live && icm upgrade -image eduard93/icmdemo:$CI_COMMIT_REF_NAME"

结论

ICM 为您提供了一种简单直观的方式来配置云基础架构并在它上面部署服务，帮助您立即进入云，无需大规模开发或重新工具化。基础架构即代码 (IaC) 和容器化部署的优势使您可以轻松地在公共云平台（如 Google、Amazon 和 Azure）或者在您的私有 VMware vSphere 云上部署基于 InterSystems IRIS 的应用程序。定义您的需求，发出几条命令，ICM 会完成其余工作。

即使您已经在使用云基础架构、容器或两者，ICM 也能通过自动执行大量原本需要手动完成的步骤，极大地减少配置和部署应用程序所需的时间和精力。

链接

查看原帖由 @Eduard Lebedyuk 撰写