使用Prometheus监控Cache集群

Executive Summary

生产级别的Cache集群往往由多个Cache实例组成，而Cache自带的管理界面不能满足对整个集群的监控，因此在实际使用中，往往需要投入人力对实例进行性能巡检。即便如此，这种巡检模式实时性低、告警的漏报错报率高、对既往数据追溯能力差。针对Cache/IRIS集群管理的这一缺憾，本文提出以Prometheus监控Cache集群的方案，最终实现了对集群全实例监控指标的自动化采集，以及准实时监控数据展示和告警提示。

前言

生产环境下我们部署和使用IRiS引擎，往往采用其主备镜像模式，虽然此架构简单但是往往我们需要持续在电脑前点击或者操作1到2小时，如果中间有个环节出现了问题有时我们可能需要部署一天.

接下来我分享的是IRIS自带的一个功能帮助我们部署---manifest-安装清单。他的主要使用方式是提前通过配置约定好我们期望的安装设置，在安装的过程中由IRIS程序直接执行脚本，简化IRIS集群的部署，减少运维人员的操作步骤，让我们有更多的精力放在实际项目和业务上。

日常工作中，JSON使用越来越多，很多其他的语言里面有成熟的JSON API,但cache 我一直没找到。而同事们使用的基本都是自己写的一些JSON工具。这些小工具，多多少少有些局限。使用ensemble2016后，发现了 Ens.Util.JSON类，他可以处理JSON。翻阅代码后，实际上主要API是 %ZEN.Auxiliary.abstractController。在使用中，我们遇到一个问题，那就是有些JSON的节点名是带有下划线的，这个不太好处理。一般来说，我们把对象转为xml的时候，对象的属性我们是去掉下划线的，带下划线的名字是用 XMLNAME来设置的，于是考虑JSON里面也使用它（如果配置了）作为对象转JSON的时候，JSON的名字。

前言

ensemble里边实现分页比较麻烦，毕竟对于sql的书写比较麻烦，单表的查询相对简单，对于多表的关联查询单纯的sql不好查询，我们使用sql进行先查询出主表满足条件的rowId,在根据根据满足条件的rowid进行遍历取值。

思路

我们先取对比一下其他数据库实现的原理。

1. Mysql的实现原理
   总数：SELECT COUNT(*) AS total FROM person WHERE (name LIKE ?)
   分页：SELECT id,name,age,email FROM person WHERE (name LIKE ?) LIMIT ?,?

iris 是数据平台，更是一种数据库。对于熟悉SQL语句的人来说，会认为“既然是数据库，数据应该就能使用sql语句来查询”。这是对的，但是因为有global这个概念，保存的数据可能在global里面，而没有对应的表，也可能保存在类的参数定义里面。这些数据，不能使用sql直接查询。要查询iris数据库的数据，通常有几种方式：1.直接查询表的数据。2.查询视图。3.调用存储过程(call 命令)。其中要查询“只存于global里面或者类参数里定义的数据”，只有使用存储过程。但是存储过程有个问题，就是程序如果迁移到低版本的cache数据库后，数据类型的定义会有问题，且不再支持使用select的方式，只能使用call。这对于第三方熟悉sql的人员来说很不友好。因此结合global和表的关系，介绍一种我称为“进程表”的表。进程表，指数据只存于该进程中，global的样式为"^||global名“。通常按照默认存储新加一个持久类(对应会生成一个表)，然后手动的把global改成进程global，也就是加上”||“。然后写个方法，把需要查询出来的数据写入进程global。这样就能查询出来 了。调用形式为 SELECT * FROM People WHERE People_GLB()=1。

示例如下：

在使用xDBC连接到字符集为US7ASCII的Oracle数据库时，大家可能遇到过中文的乱码问题，尤其是使用Oracle自己的xDBC驱动的时候。

字符集为US7ASCII的Oracle数据库虽然可以保存中文数据，但给客户端带来了很多麻烦，需要对获取和提交的数据进行转码。

在Ensemble/Health Connect/InterSystems IRIS 中使用SQL适配器连接到这样的Oracle数据库时，可以使用$ZCVT函数进行转码。

1. $ZCVT函数

$ZCVT函数是广泛使用的字符串转换函数，可以做大小写转换、编码转换、URL 和 URI 转换等。我们用其编码转换能力来解决字符集转码问题。

2. 获取的SQL结果集数据有中文时

ObjectScript是一种面向对象的编程语言，它是InterSystems公司的Caché和Ensemble数据库的核心语言之一。ObjectScript语言的语法类似于MUMPS语言，它支持面向对象编程、过程式编程、函数式编程等多种编程范式。ObjectScript语言主要用于开发Caché和Ensemble数据库应用程序，它可以访问数据库中的数据、调用数据库中的存储过程、触发器和事件，还可以与其他编程语言进行交互。

“池大小”（PoolSize）设置的值决定了一个组件的作业的量和启动方式。在这篇文章中我们将具体讨论对于不同类型的组件来说“池大小”设置的可能值和这些值所代表的含义。

Pool Size = 1

对于所有的组件来说，运行池大小为1的含义都是一样的: 该组件有且只有一个作业，单独运行该组件的代码，顺序处理发送到该组件的消息（FIFO）。

Pool Size > 1

对于业务进程（BP）和业务操作（BO）来说，当运行池大小大于1时，该组件将运行多个作业（作业数=运行池大小设置数）。每个作业都只运行该组件的代码，但消息处理的顺序将被打乱。将运行池的大小设为大于1的值可以在一定程度上提升组件处理消息的性能，但是每个作业的性能还是受限于系统资源的，所以并不是说组件的性能可以随着运行池的大小增加而无限提升。

对于轮询类业务服务（Polling BS）来说，当运行池大小大于1时，该服务也将运行多个作业（作业数=运行池大小设置数）。但这种配置会导致多个进程对轮询结果产生竞争（race condition），所以一般情况下轮询服务不应将运行池大小设为大于1的数值。

大家应该都已经很熟悉 InterSystems Ensemble（一个集成和应用程序开发平台），每个人都知道 Ensemble Workflow 子系统是什么以及它对于自动化人类交互的作用。 对于那些不了解 Ensemble Workflow 的人，我将简要介绍它的功能（已经熟悉的朋友可以直接跳过这一部分并学习如何使用 Angular.js 中的 Workflow 接口）。

InterSystems Ensemble

InterSystems Ensemble 是一个集成和应用程序开发平台，旨在集成异构系统、自动化业务流程和创建新的复杂应用程序，这些应用程序通过新的业务逻辑或新的用户界面增强集成应用程序的功能：EAI、SOA、BPM、BAM 甚至 BI （感谢 InterSystems DeepSee：一种用于开发分析应用程序的内置技术）。

Ensemble 具有以下关键功能：

在本文中，我將演示以下內容：

• 使用自定義實用程序函數從數據庫更新 ReferencesRange(OBX:7) 針對 ObservationIdentifier(OBX:3.1)[TestCode]
• 根據數據庫實用程序函數中的 ObservationIdentifier(OBX:3.1)[TestCode] 和 ObservationValue(OBX:5)[Result] 更新異常標誌 (OBX:8)
• 基於異常標誌的路由消息 (OBX:8)

以下是主要和轉換後的 HL7 2.5 ORU_R01 消息：

大家好!

InterSystems IRIS有一个叫做互操作性Interoperability的菜单。

它提供了轻松创建系统集成的机制（适配器、记录图、BPM、数据转换等），因此不同的系统可以轻松地连接起来。

一、背景

1.1 我遇到了几个项目，他们的接口服务器崩溃了。 项目上希望尽快恢复服务器。他们的服务器在局域网上运行，他们不能使用git，服务器中有多个命名空间运行不同的服务，而且通常只有一台平台服务器。

1.2 如果消息中有字符流类型的属性，消息搜索页面不支持使用字符流属性进行过滤，因此很难找到想要的消息。

1.3 其他同事可能会更新服务器上的代码，代码中可能有些错误。

2.挑战

2.1 如何快速恢复？

2.2 如何支持字符流属性过滤消息？

2.3 如何在编译类时自动备份？

3.解决方案

1.编译时自动导出为备份文件

首先，我们定义一个名为“SYS.base”的类，它只有一个名为“ CLSBAKPATH”的参数，并设置它的值

为什么要连接系统？

连接系统可以让一个系统处理来自非本系统的信息。例如，以下场景需要连接系统：

• 为了提高效率，最初设计为执行单一功能的系统需要集成。例如，您可以通过集成跟踪库存、订购材料、记录销售和控制运输的各个系统来提高效率。
• 系统合并后，在不同机构中执行相同功能的系统需要协同工作才能使统一的机构有效。

将系统连接在一起时，您可能会面临一些挑战，例如：

• 不同系统使用不同的通信协议：一个系统可能使用TCP，另一个系统使用SOAP，第三个系统使用REST。
• 不同系统使用不同格式或基于不同标准的不同消息。
• 需要保证消息成功传递到正确的系统，并能够检测和纠正故障。
• 必须监控传输消息的系统，如果一次消息过多，则为消息提供一个队列，并监控整体系统性能以确保没有任何障碍。

虽然可以编写自定义应用程序来连接系统，但开发一款InterSystems IRIS® 产品要容易得多，也快得多。

Production是开发者基于InterSystems IRIS产品家族实现互操作功能的主要技术架构。而每个Production的运行依赖于三类主要的业务组件：