搜索​​​​

# 第七十七章 方法关键字 - SoapBindingStyle 指定此方法用作`web方法`时使用的绑定样式或`SOAP`调用机制。仅适用于定义为`web服务`或`web客户端`的类。 # 用法 若要重写方法使用的默认绑定样式(当它用作`web方法`时)，请使用以下语法: ```java Method name(formal_spec) As returnclass [ WebMethod, SoapBindingStyle = soapbindingstyle ] { //implementation } ``` 其中`soapbindingstyle`是下列之一: - `document`文档(默认)—此`web方法`使用文档样式的调用。 使用这种绑定风格，`SOAP消息`被格式化为文档，并且通常只有一个部分。 在`SOAP消息`中，``元素通常包含一个子元素。``元素的每个子元素对应于一个消息部分。 - `rpc` —这个`web方法`使用`rpc`(远程过程调用)风格的调用。 使用这种绑定风格，`SOAP消息`被格式化为具有多个部分的消息。 在`SOAP消息`中，``元素包含一个子元素，其名称取自相应的操作名称。这个元素是一个生成的包装元素，它为方法的参数列表中的每个参数包含一个子元素。 重要提示:对于手动创建的`web服务`，该关键字的默认值通常是合适的。当使用`SOAP`向导从`WSDL`生成`web客户端`或`服务`时，InterSystems IRIS会将此关键字设置为适合该`WSDL`；如果修改该值，`web客户端`或服务可能不再工作。 # 详解 此关键字允许指定`web方法`使用的绑定样式。它影响`SOAP`主体的格式(但不影响任何`SOAP`头)。 # 默认 如果省略此关键字，则``元素的样式属性将改为由`SoapBindingStyle`类关键字的值确定。 # 与WSDL的关系 SoapBindingStyle方法关键字指定了WSDL的部分中< soap:operation >元素的样式属性的值。例如，如果SoapBindingStyle方法关键字是document，则WSDL可能如下所示: ```xml ... ... ... ``` 相比之下，如果`SoapBindingStyle`是`rpc`，则`WSDL`可以改为如下所示: ```xml ... ... ... ``` 绑定样式还会影响`web方法`的请求和响应``元素，如下所示: = 如果绑定样式是文档，默认情况下，每条消息只有一个部分。例如: ```xml ``` 如果`ARGUMENTSTYLE`参数是`message`，那么一条消息可以有多个部分。例如: ```xml ``` - 如果绑定样式是`rpc`，消息可以有多个部分。例如: ```xml ``` # 与 %XML.DataSet 一起使用 如果将此关键字与使用 `%XML.DataSet` 类型的对象作为输入或输出的方法一起使用，则存在一些限制。 # 第七十八章 方法关键字 - SoapBodyUse 当此方法用作 `Web方法`时，指定此方法的输入和输出使用的编码。仅适用于定义为 `Web服务`或 `Web客户端`的类。 # 用法 若要重写方法的输入和输出使用的默认编码(当它用作`web方法`时)，请使用以下语法: ```java Method name(formal_spec) As returnclass [ WebMethod, SoapBodyUse = soapbodyuse ] { //implementation } ``` 其中`soapbodyuse`是下列之一: - `literal`文字(默认)-此`web方法`使用文字数据。也就是说，`SOAP消息`的``中的`XML`与`WSDL`中给出的模式完全匹配。 - `encoded`编码——这个`web方法`使用`SOAP`编码的数据。也就是说，`SOAP消息`的``中的`XML`使用了适合所使用的`SOAP`版本的`SOAP`编码，如以下规范所要求的: - `SOAP 1.1` (https://www.w3.org/TR/2000/NOTE-SOAP-20000508/) - `SOAP 1.2` (https://www.w3.org/TR/soap12-part2/) 重要提示:对于手动创建的`web服务`，该关键字的默认值通常是合适的。当使用`SOAP`向导从`WSDL`生成`web客户端`或服务时，InterSystems IRIS会将此关键字设置为适合该WSDL；如果修改该值，web客户端或服务可能不再工作。 # 详情 此关键字指定`web方法`的输入和输出的编码。 # 默认 如果省略此关键字，将使用`SoapBodyUse`类关键字的值。 # 与 %XML.DataSet 一起使用 如果将此关键字与使用 `%XML.DataSet` 类型的对象作为输入或输出的方法一起使用，则存在一些限制。 # 第七十九章 方法关键字 - SoapMessageName 指定此`web方法`的响应消息的``元素的`name`属性。 仅适用于定义为`web服务`或`web客户端`的类。 # 用法 要覆盖响应消息的``元素的默认名称，请使用以下语法: ```java Method name(formal_spec) As returnclass [ WebMethod, SoapMessageName = MyResponse ] { //implementation } ``` 其中`soapmessagename`是在`XML`中有效的任何标识符。 # 详解 注意:此关键字仅对使用`SoapBindingStyle`等于`document`(这是默认设置)的`web方法`有效。 此关键字指定响应消息正文的子元素的名称。 # 默认 如果省略此关键字，消息名称就是结尾附加了响应的`web方法`的名称。 `web方法`的名称取自`web服务`中的`web方法`定义；这只能通过重命名该方法来更改。 # 与WSDL的关系 `SoapMessageName`关键字影响`web服务`的`WSDL`的``和``部分。例如，以下web方法: ```java Method Add(a as %Numeric,b as %Numeric) As %Numeric [ SoapMessageName=MyResponseMessage,WebMethod ] { Quit a + b } ``` 对于这个`web服务`，WSDL的``和``部分如下所示: ```xml ``` 默认情况下，如果方法没有指定`SoapMessageName`关键字，`AddSoapOut`消息将包含一个名为`addressponse`的元素，而不是`MyResponseMessa` 注意，`SoapMessageName`不影响响应消息的子元素(例如`AddResult`)。 如果使用`SOAP Wizard`从`WSDL`生成`web`服务或客户端，InterSystems IRIS将此关键字设置为适合该`WSDL`的关键字。 # 对SOAP消息的影响 `web服务`可能会发送如下响应消息: ```xml 42 ``` 默认情况下，如果该方法没有指定`SoapMessageName`关键字，则``元素将改为``。 # 第八十章 方法关键字 - SoapNameSpace 指定`web方法`使用的`XML`命名空间。 仅适用于定义为`web服务`或`web客户端`的类。 # 用法 要覆盖方法使用的默认`XML`命名空间(当该方法作为一个`web方法`使用时)，请使用以下语法: ```java Method name(formal_spec) As returnclass [ SoapNameSpace = "soapnamespace", WebMethod ] { //implementation } ``` 其中`soapnamespace`是一个命名空间`URI`。 注意，如果`URI`包含冒号(`:`)，则字符串必须用引号括起来。 也就是说，你可以使用以下方法: ```java Method MyMethod() [ SoapNameSpace = "http://www.mynamespace.org", WebMethod ] ``` 或以下: ```java Method MyMethod() [ SoapNameSpace = othervalue, WebMethod ] ``` 但不包括以下内容: ```java Method MyMethod() [ SoapNameSpace = http://www.mynamespace.org, WebMethod ] ``` 重要提示:对于手动创建的`web服务`，该关键字的默认值通常是合适的。 使用`SOAP`向导从`WSDL`生成`web`客户端或服务时，InterSystems IRIS将此关键字设置为适合该`WSDL`的关键字; 如果修改该值，`web客户端`或服务可能不再工作。 # 详解 这个关键字指定了这个`web方法`使用的`XML`名称空间。 注意:这个关键字只有在方法使用`rpc`样式绑定时才有效果。 也就是说，方法(或包含它的类)必须用`SoapBindingStyle`等于`rpc`来标记。 (如果为使用文档样式绑定的方法指定此关键字，则WSDL将不会是自一致的。) # 默认 如果忽略此关键字，则该方法位于`web服务`或客户端类的`namespace`参数指定的名称空间中。 # WSDL的关系 对于InterSystems IRIS web服务服务，`SoapNameSpace`关键字影响``元素中的名称空间声明。 这里添加了指定的名称空间(例如`http://www.customtypes.org`)。 例如: ```xml ... xmlns:ns2="http://www.customtypes.org" xmlns:s0="http://www.wsns.org" ... targetNamespace="http://www.wsns.org" ``` 在本例中，`http://www.customtypes.org`名称空间被分配给前缀`ns2`。 请注意，`WSDL`通常还声明了`web服务`的名称空间(`http://www.wsns.org`)。 在本例中，该名称空间被分配给前缀`s0`，并且也用作目标名称空间。 # 对SOAP消息的影响 一个可能的`SOAP消息`可能如下所示(为了可读性添加了换行符和空格): ```xml 42 ``` 注意，``元素位于`http://www.webservicetypesns.org`名称空间中。 相反，如果我们没有指定`SoapNameSpace`关键字，则消息将如下所示: ```xml 42 ``` 在本例中，``元素位于web服务的名称空间`http://www.wsns.org`中。

# 第八章 SQL修改数据库 可以对现有的表使用SQL语句，也可以对相应的持久化类使用ObjectScript操作来修改InterSystems IRIS®数据平台数据库的内容。 不能修改定义为只读的持久类(表)。 使用SQL命令为维护数据的完整性提供了自动支持。 SQL命令是一个原子操作(全部或没有)。 如果表上定义了索引，SQL将自动更新它们以反映更改。 如果定义了任何数据或引用完整性约束，SQL将自动执行它们。 如果有任何已定义的触发器，执行这些操作将拉动相应的触发器。 # 插入数据 可以使用SQL语句或设置和保存持久化类属性将数据插入表中。 ## 使用SQL插入数据 `INSERT`语句将一条新记录插入SQL表中。 可以插入一条记录或多条记录。 下面的示例插入一条记录。 它是插入单个记录的几种可用语法形式之一: ```sql INSERT INTO MyApp.Person (Name,HairColor) VALUES ('Fred Rogers','Black') ``` 以下示例通过查询现有表中的数据插入多条记录: ```sql INSERT INTO MyApp.Person (Name,HairColor) SELECT Name,Haircolor FROM Sample.Person WHERE Haircolor IS NOT NULL ``` 还可以发出`INSERT`或`UPDATE`语句。 如果SQL表中不存在新记录，则该语句将该记录插入该SQL表中。 如果记录存在，则该语句使用提供的字段值更新记录数据。 ## 使用对象属性插入数据 可以使用ObjectScript插入一条或多条数据记录。 创建一个现有持久化类的实例，设置一个或多个属性值，然后使用`%Save()`插入数据记录: 下面的例子插入一条记录: ```java SET oref=##class(MyApp.Person).%New() SET oref.Name="Fred Rogers" SET oref.HairColor="Black" DO oref.%Save() ``` 下面的例子插入多条记录: ```java SET nom=$LISTBUILD("Fred Rogers","Fred Astare","Fred Flintstone") SET hair=$LISTBUILD("Black","Light Brown","Dark Brown") FOR i=1:1:$LISTLENGTH(nom) { SET oref=##class(MyApp.Person).%New() SET oref.Name=$LIST(nom,i) SET oref.HairColor=$LIST(hair,i) SET status = oref.%Save() } ``` # UPDATE语句 `UPDATE`语句修改SQL表中的一条或多条现有记录中的值: ```java UPDATE语句修改SQL表中的一条或多条现有记录中的值: ``` # 在插入或更新时计算字段值 在定义计算字段时，可以指定ObjectScript代码来计算该字段的数据值。 可以在插入、更新行、插入和更新行或查询行时计算此数据值。 下表显示了每种计算操作类型所需的关键字以及字段/属性定义示例: - 只在插入时计算 - SQL DDL `COMPUTECODE`关键字`Birthday VARCHAR(50) COMPUTECODE {SET {Birthday}=$PIECE($ZDATE({DOB}，9)，"，")_" changed: "_$ZTIMESTAMP}` - 持久化类定义`SqlComputeCode`和`SqlComputeCode`关键字属性生日为`%String(MAXLEN = 50) [SqlComputeCode = {SET {Birthday}=$PIECE($ZDATE({DOB}，9)，"，") _" changed: "_$ZTIMESTAMP}， SqlComputed];` - 只在更新时计算 - SQL DDL DEFAULT, `COMPUTECODE`，和`COMPUTEONCHANGE`关键字`Birthday VARCHAR(50) DEFAULT ' ' COMPUTECODE {SET {Birthday}=$PIECE($ZDATE({DOB}，9)，"，")_" changed: "_$ZTIMESTAMP} COMPUTEONCHANGE (DOB)` - 在插入和更新上都进行计算 - SQL DDL `COMPUTECODE`和`COMPUTEONCHANGE`关键字`Birthday VARCHAR(50) COMPUTECODE {SET {Birthday}=$PIECE($ZDATE({DOB}，9)，"，")_" changed: "_$ZTIMESTAMP} COMPUTEONCHANGE (DOB)` - 持久化类定义`SqlComputeCode`, `SqlComputed, and SqlComputeOnChange`属性关键字属性`Birthday As %String(MAXLEN = 50) [SqlComputeCode = {SET {Birthday}=$PIECE($ZDATE({DOB}，9)，"，") _" changed: "_$ZTIMESTAMP}， SqlComputed, SqlComputeOnChange = DOB];` - 计算对查询 - SQL DDL `COMPUTECODE`和计算或瞬态关键字B`irthday VARCHAR(50) COMPUTECODE {SET {Birthday}=$PIECE($ZDATE({DOB}，9)，"，")_" changed: "_$ZTIMESTAMP}`计算 - 持久类定义`SqlComputeCode`, `SqlComputed, and calculate`或瞬态属性关键字属性`Birthday`为%`String(MAXLEN = 50) [SqlComputeCode = {SET {Birthday}=$PIECE($ZDATE({DOB}，9)，"，") _" changed: "_$ZTIMESTAMP}， SqlComputed, calculate]`; DDL `DEFAULT`关键字在插入时优先于计算数据值。 `DEFAULT`必须接受一个数据值，例如空字符串; 不能为空。 在持久类定义中，InitialExpression属性关键字在插入时不会覆盖`SqlComputed`数据值。 DDL `COMPUTEONCHANGE`关键字可以使用单个字段名，也可以使用逗号分隔的字段名列表。 这些字段名指定了哪些字段更新时会触发对该字段的计算; 列出的字段名称必须存在于表中，但它们不必出现在计算代码中。 必须指定实际的字段名; 不能指定星号语法。 在修改记录时，可以使用`ON UPDATE`关键字短语将字段设置为文字或系统变量(如当前时间戳)，而不是使用`COMPUTECODE`和`COMPUTEONCHANGE`。 `ON UPDATE`短语同时修饰`INSERT`和`UPDATE`; 若要只在更新时修改，请使用默认短语和更新短语。 每次查询访问该字段时，DDL计算或`TRANSIENT`关键字都会计算一个数据值。 该字段不需要在选择列表中指定。 例如，`SELECT Name FROM MyTable WHERE LENGTH(Birthday)=36`在计算条件表达式之前计算生日字段。 管理门户Open Table选项执行一个查询，因此计算计算的和临时的数据值。 计算字段限制: - 不更新的更新:为记录中的字段提供与它们之前的值相同的值的更新实际上并不更新记录。 如果没有对记录执行真正的更新，则不会调用`COMPUTEONCHANGE`。 即使没有对一条记录执行真正的更新，也会在更新操作上调用`ON UPDATE`。 如果希望在更新时总是重新计算已计算字段，而不管记录是否实际更新，请使用更新触发器。 - 用户为计算字段指定的显式值: - `INSERT`:在`INSERT`时，您总是可以向`COMPUTECODE`、`DEFAULT`或`On UPDATE`字段提供显式的值。 InterSystems SQL总是采用显式的值，而不是生成的值。 - 更新`COMPUTEONCHANGE`:更新操作可以为`COMPUTEONCHANGE`字段提供显式的值。 InterSystems SQL总是采用显式的值，而不是计算的值。 - 更新时更新:更新操作不能为`ON UPDATE`字段提供显式值。 InterSystems SQL忽略用户提供的值，并接受`ON UPDATE`生成的值。 但是，InterSystems SQL确实会对显式值执行字段验证，例如，如果提供的值大于最大数据大小，就会生成`SQLCODE -104`错误。 - 计算或暂态:插入或更新操作不能为计算或暂态字段提供显式值，因为计算或暂态字段不存储数据。 但是，InterSystems SQL确实会对显式值执行字段验证，例如，如果提供的值大于最大数据大小，就会生成`SQLCODE -104`错误。 # 删除语句 `DELETE`语句从SQL表中删除一条或多条现有记录: ```sql DELETE FROM MyApp.Person WHERE HairColor = 'Aqua' ``` 可以执行`TRUNCATE TABLE`命令删除表中的所有记录。 还可以使用`delete`删除表中的所有记录。 `DELETE`(默认情况下)提取删除触发器; `TRUNCATE TABLE`不拉出删除触发器。 使用`DELETE`删除所有记录不会重置表计数器; `TRUNCATE TABLE`重置这些计数器。 # 事务处理 事务是一系列插入、更新、删除、插入或更新以及截断表数据修改语句，它们组成单个工作单元。 `SET TRANSACTION`命令用于设置当前进程的事务参数。 还可以使用`START TRANSACTION`命令设置相同的参数。 这些事务参数在多个事务中继续有效，直到显式更改为止。 `START TRANSACTION`命令显式地启动事务。 这个命令通常是可选的; 如果事务`%COMMITMODE`是隐式或显式的，事务从第一个数据库修改操作自动开始。 如果事务`%COMMITMODE`为`NONE`，则必须显式指定`START transaction`来启动事务处理。 如果事务成功，提交其更改可以是隐式(自动)或显式的; `%COMMITMODE`值决定是否需要显式地使用`COMMIT`语句来永久地将数据修改添加到数据库并释放资源。 如果事务失败，可以使用`ROLLBACK`语句撤消其数据修改，这样这些数据就不会进入数据库。 注意:通过管理门户执行SQL查询接口运行SQL时，不支持SQL事务语句。 这个接口旨在作为开发SQL代码的测试环境，而不是用于修改实际数据。 ## 事务和保存点 在InterSystems SQL中，可以执行两种事务处理：完整事务处理和使用保存点的事务处理。通过完整的事务处理，事务将从`START TRANSACTION`语句（显式或隐式）开始，一直持续到`COMMIT`语句（显式或隐式）结束事务并提交所有工作，或者`ROLLBACK`语句反转事务期间完成的所有工作。 通过保存点，InterSystems SQL支持事务中的级别。可以使用`START TRANSACTION`语句（显式或隐式）开始事务。然后，在事务期间，可以使用`SAVEPOINT`在程序中指定一个或多个命名保存点。可以在一个事务中最多指定255个命名保存点。添加一个保存点会增加`$TLEVEL`事务级别计数器。 - `COMMIT`提交事务期间执行的所有工作。保存点将被忽略。 - `ROLLBACK`将回滚事务期间执行的所有工作。保存点将被忽略。 - `ROLLBACK TO SAVEPOINT`点名将回滚自点名指定的`SAVEPOINT`以来执行的所有工作，并以适当数量的保存点级别将内部事务级别计数器递减。例如，如果建立了两个保存点`svpt1`和`svpt2`，然后回滚到`svpt1`，则`ROLLBACK TO SAVEPOINT` `svpt1`会反转自`svpt1`以来所做的工作，在这种情况下，将事务级别计数器减2。 ## 非事务操作 当事务生效时，以下操作不包括在事务中，因此无法回滚： - `IDKey`计数器增量不是事务操作。`IDKey`由`$INCREMENT`(或`$SEQUENCE`)自动生成，它维护独立于SQL事务的计数。例如，如果插入`IDKey`为17、18和19的记录，然后回滚此插入，则下一条要插入的记录的`IDKey`将为20。 - 缓存查询的创建、修改和清除不是事务操作。因此，如果在事务期间清除高速缓存的查询，然后回滚该事务，则在回滚操作之后，高速缓存的查询将保持清除状态(不会恢复)。 - 事务内发生的DDL操作或调谐表操作可以创建和运行临时例程。此临时例程被视为与缓存查询相同。也就是说，临时例程的创建、编译和删除不被视为事务的一部分。临时例程的执行被认为是事务的一部分。 ## 事务锁 **事务使用锁来保护唯一的数据值。例如，如果进程删除了唯一的数据值，则该值在事务持续时间内被锁定。因此，在第一个事务完成之前，另一个进程无法使用相同的唯一数据值插入记录。这可以防止回滚导致具有唯一性约束的字段出现重复值。这些锁由`INSERT`、`UPDATE`、`INSERT`或`UPDATE`和`DELETE`语句自动应用，除非该语句包含`%NOLOCK`限制参数。** ## 事务大小限制 除了日记文件的空间可用性外，可以在事务中指定的操作数量没有限制。锁表的大小通常不会施加限制，因为InterSystems IRIS提供自动锁升级。 每个表有1000个锁的默认锁阈值。对于当前事务，一个表可以有1000个唯一的数据值锁。第100个锁定操作在事务持续时间内将该表的锁定升级为表锁。 此锁定阈值可使用以下任一选项进行配置： - 调用`$SYSTEM.SQL.SetLockThreshold()`方法。此方法更改当前系统范围的值和配置文件设置。要确定当前的锁升级阈值，请使用`$SYSTEM.SQL.GetLockThreshold()`方法。 - 转到管理门户。从系统管理中，依次选择配置、SQL和对象设置、SQL。在此屏幕上，可以查看和编辑锁定阈值的当前设置。 可以终止的子节点(子表)的数量没有限制。所有子节点终止都被记录下来，因此可以回滚。 ## 读取未提交的数据 可以通过为发出查询的进程设置`SET TRANSACTION`或`START TRANSACTION`来指定读取隔离级别。 - 提交未提交的隔离级别：对于其他用户进行查询（只读）访问，可以看到未提交的对数据的插入，更新和删除。如果未指定任何事务，则为默认设置。 - 已验证隔离级别：可供其他用户以查询（只读）访问的方式看到未提交的对数据的插入，更新和删除。提供对查询条件所使用并由查询显示的数据的重新检查。 - 读取已提交的隔离级别：未提交的插入和更新对数据所做的更改未显示在查询结果集中。查询结果集仅包含已提交的插入和更新。但是，未提交的删除对数据所做的更改将显示在查询结果集中。 不管当前的隔离级别如何，以下`SELECT`命令子句始终返回未提交的数据：聚合函数，`DISTINCT`子句，`GROUP BY`子句或带有`％NOLOCK`关键字的`SELECT`。 ## ObjectScript事务命令 ObjectScript和SQL事务命令是完全兼容和可互换的，但以下情况除外： **如果没有当前事务，则`ObjectScript TSTART`和`SQL START TRANSACTION`都将启动一个事务。但是，`START TRANSACTION`不支持嵌套事务。因此，如果需要（或可能需要）嵌套事务，则最好使用`TSTART`启动事务。如果需要与SQL标准兼容，请使用`START TRANSACTION`。** ObjectScript事务处理为嵌套事务提供了有限的支持。 SQL事务处理为事务中的保存点提供支持。

最近一些用户问到监控集成平台业务行为查询的问题，例如如何查询服务的平均耗时、发生错误的服务数量... 业务行为监控对于集成平台来说非常重要，可以帮助我们： 监控系统健康情况 — 查看系统性能表现。例如发现队列积压和长耗时的消息处理，都可能是性能问题的表现。 排查异常 — 通过查看业务行为数据，帮助我们判断特定的业务组件配置是否是造成性能瓶颈的主要原因。 做业务规划 — 通过业务行为数据，了解各个业务量变化情况，并辅助我们做业务规划。 做硬件规划 — 通过长期跟踪消息吞吐量的变化了解性能的变化和业务量的增长，进而辅助我们做硬件计划，避免出现在性能问题。 仅提供这些查询是很容易的，但要更好地监控集成平台的业务行为，需要更深入的了解InterSystems集成架构。 InterSystems集成架构 无论Ensemble、Health Connect还是InterSystems IRIS，它们都具有下面的集成架构： 通过业务服务向外发布服务、通过业务操作连接第三方接口、通过业务流程协同业务操作，它们统称为集成业务组件。可以简单理解为业务行为是由这些业务组件完成的： 业务服务 = 服务，它启动一个业务流程； 业务操作 = 接口，它通过接口操作第三方业务系统； 业务流程 = 流程，它控制一笔业务需要按什么流程调用哪些接口。 要监控业务行为，服务、接口和流程都需要监控。 另一个需要了解的概念是关于耗时的： 完整的业务流程由会话(Session)表达，会话完成的耗时（会话耗时）和服务耗时、接口耗时不是同一件事。例如下图的一笔业务，HL7FileService这个服务在第4步就结束了，但整笔业务还在还在继续，直到第9步才结束。由服务调用者来看，服务耗时是第4步到第1步的时间差；而整个业务流程（会话）耗时是第9步到第1步的时间差。所以要注意区分服务耗时和会话耗时的概念，而通常这2个耗时都需要关注。 监控业务行为的手段 InterSystems提供了多种方式和数据，帮助监控业务行为，包括消息、业务活动量采集、自动化的业务行为报警等多种手段。 1. 消息 InterSystems 集成产品的所有消息都是自动持久化的，也就是都保存在内建的数据库里，并且通过SQL就可以查询分析的。消息分为消息头和消息体：消息头记录消息传递的流程、时间、状态、目标等信息；消息体记录具体传递的消息内容。 消息头表(Ens.MessageHeader)有以下重要字段： 字段 说明 Id 消息头主键。会话的第一个消息的Id和其SessionId相同。 SessionId 消息所属的会话。可以用这个字段将所有相同会话的消息关联起来。 IsError 是否处理错误。 TimeCreated 消息创建时间。 TimeProcessed 消息处理时间。 CorrespondingMessageId 与此消息是请求/响应消息对里的另一个消息Id。可以通过它获取相应的响应消息。 MessageBodyId 对应的消息体对象Id。可以用它找到消息体数据 可以看出，通过分析消息头表，就可以得出几乎所有业务行为的分析结果，借助消息体表，更可以分析所有的业务行为。 但实际分析业务行为时，我们并不总是用消息头表。原因是： 消息头表可能非常大：例如，我们国内最大的医院客户的日消息吞吐量已经超过1亿条，按消息3个月的保存需求计算，就是90亿条以上的记录数。在不使用消息仓库的情况下，对这么大量的消息头进行频繁、复杂的SQL分析显然不会得到多好的性能。 定期的消息清除：考虑到硬件资源的限制，通常都会设置定期清除消息，例如自动删除3个月前的消息。只保留有限时间的消息，无法支持更长时间范围的业务行为分析。 因此，InterSystems提供了业务活动量采集，来弥补消息分析的不足。 2. 业务活动量采集 业务活动量采集是通过一个系统提供的业务操作自动采集、统计业务活动，并保存在特定的SQL表中供查询分析。只要将Ens.Activity.Operation.Local加入集成产品(Production)中，它会自动采集所有业务组件的活动量数据，并保存到活动数据表中。 活动数据表是三张表(Ens_Activity_Data.Days\ Ens_Activity_Data.Hours\ Ens_Activity_Data.Seconds): 这3张表记录按天\小时\秒来统计的业务组件(BS\BP\BO)的调用历史。因为仅是统计数据，数据量远小于消息头表、且不受消息头表定期清除的影响，适合更长时间范围的业务活动分析。而这3张表提供了时间尺度的统计数据，方便由粗到细追踪到问题根源。 这些表有以下重要字段： 字段 说明 timeslot 统计时间。 HostName 业务组件名称。 HostType 业务组件类型：1为BS、2为BP、3为BO。 totalduration 在统计时间段内的总处理时间。 totalcount 在统计时间段内的总消息数量。 如何开启业务活动量采集？只要把Ens.Activity.Operation.Local加入Production的BO中： * 注意，如果业务服务使用 SendRequest 开启业务流程，需要做代码开启，参考：https://docs.intersystems.com/irisforhealth20221/csp/docbook/DocBook.UI.Page.cls?KEY=EMONITOR_activity#EMONITOR_activity_overview 通过分析活动数据表，我们也可以得到业务行为监控的数据。但分析消息表、活动数据表，都是被动的、事后分析的。要想得到即时的性能提醒，InterSystems还提供了一系列的业务行为报警设置，让其自动报警。 3. 业务行为报警 业务组件上有很多业务行为报警设置，例如业务操作和业务流程组件有队列长度计数告警和队列等待处理时间告警设置，在队列长度超过设置值、队列中消息等待时间超过设置值的情况下，自动发出警告。很多用户设置将这些警告发送到管理员的钉钉、微信或短信平台上，以及时提醒。 通过上面提到的这些业务行为监控手段，可以加强对集成产品的监控、了解业务情况。下面我们具体看看常见的监控需求如何实现。 常见业务行为查询需求 1. 服务、接口和流程总览。了解集成产品有哪些组件，以及这些组件的当前运行状态（启用/禁用）。 对集成产品中业务组件及状态查询，InterSystems提供了一个查询:Ens.Config.Production类的EnumerateConfigItems查询。它的头两个入参是Production名称和组件类型。组件类型为：1 - 业务服务；2 - 业务流程；3 - 业务操作。 例如下面代码列出所有的业务服务组件、备注、是否启用、请求消息类型和响应消息类型： ClassMethod GetServiceList() { Set tStatement = ##class(%SQL.Statement).%New(),tRet=0 Set tStatus = tStatement.%PrepareClassQuery("Ens.Config.Production","EnumerateConfigItems") Set tResult = tStatement.%Execute("HCCPKG.FoundationProduction",1) While (tResult.%Next() '= 0) { W tResult.%Get("ConfigName"),"--",tResult.%Get("CommentOrClassName"),"--",tResult.%Get("Enabled"),"--",tResult.%Get("RequestClasses"),"--",tResult.%Get("ResponseClasses"),! } Do tResult.%Close(),tStatement.%Close() Quit tRet } 可以使用表Ens_Config.Item，它提供类似的信息，但没有区分业务组件类型。 2. 服务和接口的调用次数和耗时 通过上面提到的业务活动量采集表Ens_Activity_Data.*，可以容易地获得这类调用信息。 例如下面的SQL是查询业务服务当日被调用的次数和平均耗时，并按平均耗时降序排序： SELECT hostname AS "服务名称", SUM(totalcount) AS "调用次数"， ROUND(SUM(totalduration)/SUM(totalcount),4 )*1000 AS "平均服务耗时(ms)" FROM Ens_Activity_Data.Days WHERE timeslot = (SELECT Date(NOW())) AND HostType=1 AND HostName not LIKE 'ENS.%' GROUP BY hostname ORDER BY "平均服务耗时(ms)" DESC 3. 服务调用失败（错误）的次数 可以使用SQL通过消息头表的消息处理错误列(IsError)，并关联到会话查询其业务服务： SELECT B.sourceconfigname AS "服务名称", Count(*) AS "错误次数" FROM (SELECT distinct sessionid as sessionid FROM Ens.MessageHeader WHERE IsError =1 AND TimeCreated BETWEEN '2022-08-22 00:00:00' AND '2022-08-23 00:00:00') A, Ens.MessageHeader B WHERE A.sessionid=B.id AND NOT B.SourceConfigName %STARTSWITH 'ENS.' GROUP BY B.sourceconfigname 4. 查询具有特定消息体信息的消息历史 例如查询HL7 V2消息处理历史，并返回服务名称、患者编号、开始时间、结束时间、服务耗时、服务状态、请求消息内容，响应消息内容。这类查询涉及到消息体内容（患者编号），以及请求消息和响应消息的关联关系。 对于结构化消息体，可以直接关联到消息体表；但对于半结构化消息体，例如HL7 V2消息或自定义XML字符串的消息，可以通过SearchTable技术，建立对特定消息体内容的索引表，加速查询速度。在上面的查询例子中，要找到HL7 V2消息里的患者编号，可以通过HL7的SearchTable表：EnsLib_HL7.SearchTable 进行查询，而患者编号是其字段PropId = 4的记录中PropValue字段的值。对于请求和响应消息的关联，通过消息头表的CorrespondingMessageId字段即可获得。 因此上面的查询例子，可以用下面的SQL获得： SELECT MI."服务名称", MI."患者编号", MI."服务开始时间", MI."服务结束时间", MI."服务耗时(ms)", MI."服务状态", MB.RawContent As "请求消息", ME.RawContent As "响应消息" FROM (SELECT MHB.Id,MHB.sourceconfigname AS "服务名称", ST.PropValue AS "患者编号", MHB.TimeCreated AS "服务开始时间", MHE.TimeProcessed AS "服务结束时间", DATEDIFF(ms, MHB.TimeCreated, MHE.TimeProcessed) AS "服务耗时(ms)", MHB.Status AS "服务状态", MHB.MessageBodyId As MHBBId, MHE.MessageBodyId As MHEBId FROM Ens.MessageHeader MHB LEFT JOIN EnsLib_HL7.SearchTable ST ON MHB.MessageBodyId = ST.DocId AND ST.PropId = 4 LEFT JOIN Ens.MessageHeader MHE ON MHE.CorrespondingMessageId = MHB.Id WHERE MHB.ID = MHB.SessionId AND MHB.MessageBodyClassName='EnsLib.HL7.Message' AND TimeCreated BETWEEN '2022-08-22 00:00:00' AND '2022-08-23 00:00:00') MI LEFT JOIN EnsLib_HL7.Message MB ON MI.MHBBId=MB.ID LEFT JOIN EnsLib_HL7.Message ME ON MI.MHEBId=ME.ID 可能大家好奇，我是怎么知道的患者编号在EnsLib_HL7.SearchTable的PropId = 4的记录中？ 在管理门户（SMP）中，大家经常通过消息查看器页面查询和检索消息，查询和检索条件选项非常丰富，包括消息头、消息体、虚拟文档字段和Search Table字段都可以作为查询条件。 在消息查看器页面里设置好查询条件，进行搜索后再查看它生成的SQL语句（通过按钮“显示查询”），我们就知道怎么写SQL了： 没看到“显示查询”按钮？在对应的命名空间下执行下面的命令即可： Set ^Ens.Debug("UtilEnsMessages","sql")=1 5. 查询业务组件间的调用关系 例如想获得所有的服务名称、对应生产方和消费方。 这类的需求很典型，但在InterSystems集成产品里，并不是那么直观可以获得的。为什么？因为消费方并非是固定的。 在基于消息路由规则的场景下，消费方是消息最终发送的目标接口，理论上可以通过查询路由规则获得。 在业务流程模型里，调用方（消费方）可以是动态的。 当在发布/订阅模式下，订阅方并不是“编码”实现的，而且可以灵活的参与或取消订阅。 因此要想知道明确的生产方和消费方需要知道很多信息，而这也是业务流程灵活性的体现。我们可以考虑通过对消息流程历史的分析来简单获得： SELECT distinct B.sourceconfigname AS '生产方',A.TargetConfigName AS '消费方' FROM (SELECT sessionid,TargetConfigName FROM Ens.MessageHeader WHERE TargetBusinessType='3') A, (SELECT sessionid,sourceconfigname FROM Ens.MessageHeader WHERE id=sessionid) B WHERE A.sessionid=B.sessionid 因为消息可能被删除，因此需要注意使用它的局限性。（这里的TargetBusinessType='3'中的数字3表示BusinessOperation） 6. 查询会话耗时 前面介绍了服务耗时和会话耗时的差异，会话耗时和服务耗时有时并不一致。要分析每笔会话的完整耗时？可以参考这个会话耗时的SQL查询方法： SELECT SourceConfigName AS "服务名称", max(ti) AS "会话最大耗时", min(ti) AS "会话最小耗时", avg(ti) AS "会话平均耗时" FROM (SELECT a.SourceConfigName, a.SessionId, tp,TimeCreated, {fn TIMESTAMPDIFF(SQL_TSI_SECOND,TimeCreated,tp)} as ti FROM (SELECT SourceConfigName ,SessionId, TimeCreated FROM Ens.MessageHeader WHERE ID= SessionId) a, (SELECT SessionId, max(TimeProcessed) tp FROM Ens.MessageHeader GROUP BY SessionId) b WHERE a.sessionid=b.sessionid) GROUP BY SourceConfigName 如果大家有其它对业务行为分析的需求，欢迎留言。

这里只讨论Caché和IRIS本身产生的错误和警告。用户在维护工作中通常会需要更多的内容， 那些我们在后面的 “系统性能指标”里介绍。另外， 关于集成平台的告警和日志， 也会在后面单独讨论。集成平台，也就是Ensemble Production，是IRIS系统上运行的应用，它的日志，告警，以及指标，测量，是单独的内容。 ### 控制台日志 控制台日志是系统运行状态的日志文件，在IRIS里是messages.log, 在Cache‘里的名字是console.log，默认放在安装目录的mgr子目录。 用户也可以在管理门户的"系统操作>系统日志>控制台日志"里查看。以下是一个实际的例子： ``` *** Recovery started at Fri Jan 03 16:26:05 2020 Current default directory: c:\intersystems\hsap\mgr Log file directory: c:\intersystems\hsap\mgr\ WIJ file spec: c:\intersystems\hsap\mgr\CACHE.WIJ Recovering local (c:\intersystems\hsap\mgr\CACHE.WIJ) image journal file... Starting WIJ recovery for 'c:\intersystems\hsap\mgr\CACHE.WIJ'. 0 blocks pending in this WIJ. Exiting with status 3 (Success) 01/03/20-16:26:43:627 (8108) 2 Failed to allocate 2880MB shared memory using large pages. Switching to small pages. 01/03/20-16:26:43:627 (8108) 0 Allocated 2880MB shared memory: 2048MB global buffers, 512MB routine buffers 01/03/20-16:26:43:627 (8108) 0 Intel Sandy Bridge AES-NI instructions detected. 01/03/20-16:26:43:731 (8108) 0 Jrn info from prior WIJ (imflags: 0): (Skip multiple records…) 01/04/20-00:00:00:804 (6900) 1 Warning: Alternate and primary journal directories are the same 01/04/20-00:00:00:820 (16272) 0 CACHE JOURNALING SYSTEM MESSAGE Journaling switched to: c:\intersystems\hsap\mgr\journal\20200104.001 01/04/20-10:15:41:703 (16096) 0 DELETE: c:\intersystems\hsap\mgr\journal\20191231.001 01/04/20-10:15:41:734 (12224) 0 Purging old application errors 01/05/20-00:00:00:497 (6900) 1 Warning: Alternate and primary journal directories are the same...(repeated 1 times) 01/05/20-00:00:00:528 (12472) 0 CACHE JOURNALING SYSTEM MESSAGE Journaling switched to: c:\intersystems\hsap\mgr\journal\20200105.001 01/05/20-00:00:01:653 (11436) 1 %SYS.Task.FeatureTracker failed to transfer data 01/05/20-18:18:34:726 (2260) 0 DELETE: c:\intersystems\hsap\mgr\journal\20200101.001 01/05/20-18:18:34:789 (14444) 0 Purging old application errors ``` 控制台日志的记录包括系统的启动停止记录，许可证的使用情况，各种底层资源，网络连接，数据库日志等等的所有内容。记录按严重程度四个等级，分别是 - 0: 一般性消息 (Information/Status) - 1: 警告性错误 (Warning) - 2: 严重错误 (Severe) - 3: 致命性错误 (Fatal) **除了等级为0的一般性消息，剩下的1，2，3个等级的记录都被称为错误**。错误的严重程度从1到3逐渐升高，其中2和3两个级别通常被称为严重错误(Serious Alert)。默认的配置下，它们会被写如另一个警告通知的日志Alert.log，以通知管理员。比如上面例子中的第9行 *“01/03/20-16:26:43:627 (8108) 2 Failed to allocate 2880MB shared memory using large pages. Switching to small pages.”*，就是一个Severe错误，应该被管理员马上知晓。 ### 错误是怎么来的 这里只说控制台日志中呈现的错误，也就是等级1-3的记录，它们的来源有： #### 系统底层直接产生的错误 系统底层产生的基本是严重错误 (Severe)和致命性错误 (Fatal)级别，这里给几个常见的例子，文章z > Write to journal file has failed > ECP client daemon/connection is hung > Failure during PIJ processing - Declaring a crash > Error reading block – recovery read error > Error writing block – recovery write error > ... 这里是[完整的列表的链接](https://docs.intersystems.com/iris20231/csp/docbook/DocBook.UI.Page.cls?KEY=GCM_monitor#GCM_monitor_errors) #### 系统监视器产生的错误 系统运行中默认的系统监视器(System Monitor)和健康监视器(Health Monitor)负责系统的监控工作。他们工作在%SYS命名空间，默认会随系统启动而启动，然后以30秒一次的频率读取系统指标，当指标达到并超过预置的门限值时会触发错误信息写入控制台日志， 级别是Warning(警告)或者严重错误 (Severe)。 > 这里只列出默认情况下什么样的指标会触发错误消息，而背后详细的技术细节会在 “Caché和IRIS的监控器”章节介绍。 **系统监视器产生的错误**针对系统的运行状态和资源，**产生告警的规则不可修改**。注意下图中Warning, Alert对应着Console log里的Waring级别和Severe或者fatal级别。 下表可以在最新版本的IRIS文档中的[这个链接](https://docs.intersystems.com/iris20231/csp/docbook/DocBook.UI.Page.cls?KEY=GCM_healthmon#GCM_healthmon_sysmon_alerts)找到。  #### 健康监视器产生的错误 Health Monitor是另一个评估内部产生的指标的监视器，也是工作在%sys命名空间。它和System Monitor的区别是: **用户可以修改评估的规则，设置适合自己的告警门限值。** Health Monitor默认不激活，因此需要人工启动。但是，如果你发现虽然你没有启动HealthMonitor， 但系统正按照它的规则发送通知，那也不用奇怪，那就是这个监视器的一部分规则不需要启动就自动工作。它的监控项目和规则如下图。 ``` Sensor Base Max Max M Warn Warn M ------ ---- --- ----- ---- ------ CPUPct 50 90 0 80 0 CPUusage 50 85 0 75 0 CSPActivity 100 0 2 0 1.6 CSPActualConnections 100 0 2 0 1.6 CSPGatewayLatency 1000 2000 0 1000 0 CSPInUseConnections 100 0 2 0 1.6 CSPPrivateConnections 100 0 2 0 1.6 CSPSessions 100 0 2 0 1.6 DBLatency 1000 3000 0 1000 0 DBReads 1024 0 2 0 1.6 DBWrites 1024 0 2 0 1.6 DiskPercentFull 50 99 0 95 0 ECPAppServerKBPerMinute 1024 0 2 0 1.6 ECPConnections 100 0 2 0 1.6 ECPDataServerKBPerMinute 1024 0 2 0 1.6 ECPLatency 1000 5000 0 3000 0 ECPTransOpenCount 100 0 2 0 1.6 ECPTransOpenSecsMax 60 0 2 0 1.6 GlobalRefsPerMin 1024 0 2 0 1.6 GlobalSetKillPerMin 1024 0 2 0 1.6 JournalEntriesPerMin 1024 0 2 0 1.6 JournalGrowthRate 1024 0 2 0 1.6 LicensePercentUsed 50 0 1.5 0 0 LicenseUsedRate 20 0 1.5 0 0 LockTablePercentFull 50 99 0 85 0 LogicalBlockRequestsPerMin 1024 0 2 0 1.6 MirrorDatabaseLatencyBytes 20000000 0 2 0 1.6 MirrorDatabaseLatencyFiles 3 0 2 0 1.6 MirrorDatabaseLatencyTime 1000 8000 0 4000 0 MirrorJournalLatencyBytes 20000000 0 2 0 1.6 MirrorJournalLatencyFiles 3 0 2 0 1.6 MirrorJournalLatencyTime 1000 5000 0 3000 0 PhysicalBlockReadsPerMin 1024 0 2 0 1.6 PhysicalBlockWritesPerMin 1024 0 2 0 1.6 ProcessCount 100 0 2 0 1.6 RoutineCommandsPerMin 1024 0 2 0 1.6 RoutineLoadsPerMin 1024 0 2 0 1.6 RoutineRefsPerMin 1024 0 2 0 1.6 SMHPercentFull 50 98 0 85 0 ShadowConnectionsLatency 1000 0 2 0 1.6 ShadowLatency 1000 0 2 0 1.6 TransOpenCount 100 0 2 0 1.6 TransOpenSecsMax 60 0 2 0 1.6 WDBuffers 1024 0 2 0 1.6 WDCycleTime 60 0 2 0 1.6 WDWIJTime 60 0 2 0 1.6 WDWriteSize 1024 0 2 0 1.6 ``` 表格很长，共列有47个sensor。大概的意思都可以从名字看出来，如果要阅读具体的定义，请看[原始文档](https://docs.intersystems.com/iris20231/csp/docbook/DocBook.UI.Page.cls?KEY=GCM_healthmon#GCM_healthmon_overview_api_sensors)。后面的几个字段，Base，Max，Max M，Warn，Warn M定义了这个sensor是怎么确定门限值的。 **第1类：固定的门限值** 也就是定义了Base, Max, Warning字段内容的条目，比如这个条目： ``` Sensor Base Max Max M Warn Warn M ------ ---- --- ----- ---- ------ CPUusage 50 85 0 75 0 ``` - 只要System Monitor已经启动，这个rule就工作，不需要Health Monitor处于激活状态。 - 只用max和warning值来决定是否超门限。连续3次读数超过了max值，产生alert, 连续5次读数超过了warning值，产生warning. 对于这些指标，系统允许用户自己设置告警的门限值，比如把上面CSPUsage的Warn, Max修改为80，90，或其他适合用户自己的数值。 **第2类：动态的门限值** 也就是定义了Base, Multiplier, WarningMultiplier字段内容的条目。例如下面的DBReads： ``` Sensor Base Max Max M Warn Warn M ------ ---- --- ----- ---- ------ DBReads 1024 0 2 0 1.6 ``` 统计学上， 均值(Mean)加3个Sigma是最常用的判断一个采样是否偏离太多的方法。因为是要设置门限值，这里添加了两个乘法系数(Multiplier), MAX M和Warn M，得到一个动态的门限值。当sensor的采样值比均值大的太多了，就会产生错误条目，warning或者alert. 具体的公式是： `产生错误的门限= Max((平均值+3*Sigma)*Multiplier，最大值+Sigma)` 因为大多数情况Max()中第一项的数值都是大的，所以公式可以翻译为：比（平均值+3个sigma)*Multiplier，就是告警的门限。 以上面例子中DBReads说明： Base= 1024, Multiplier=2；WarningMultplier=1.6。监视器开始运行时，会不停的计算这个时段内的平均值，最大值和sigma，产生一个Chart。假如某一刻平均值=2145, sigma=141，最大值为2327，那么根据上面的公式： `Warning门限 = Max((2145+3*141) * 1.6，2327+141) = 4108.8` `Alert门限 = Max((2145+3*141) * 2， 2327+141) = 5136` 也就是说，当您DBReads, 也就是数据库读的平均值是2145/s时，突然来了一个超过4109/s的业务，就会有一个错误信息写到控制台日志，严重级别是1, warning。短时间数据库查询再增加，超过alert门限，就会有严重级别为2的控制台日志被写入，同时这个条目也会写到alert.log文件，用来向管理员发通知。 可以看出，这个设置中base不重要，它只在监视器刚启动时有用，而使这个门限值有意义的是multipler的设置。 这要求用户对自己的业务很熟悉，而且经常的调整才能得到合适的设置，否则就可能在业务波动大的时候得到很多的错误信息，或者得不到自己想要记录的大的业务波动。 重要的一点： 拥有动态门限值的sensor默认是不工作的， 您想要激活Health Monitor。 是这么操作的： ``` %SYS>do ^%SYSMONMGR 1) Start/Stop System Monitor 2) Set System Monitor Options 3) Configure System Monitor Classes 4) View System Monitor State 5) Manage Application Monitor 6) Manage Health Monitor 7) View System Data 8) Exit Option? 6 1) Enable/Disable Health Monitor 2) View Alerts Records 3) Configure Health Monitor Classes 4) Set Health Monitor Options 5) Exit Option? 1 ...后面省略... ``` 用户还可以自定义了Chart，或者修改及自定义默认的14个监控时段(Period)，以得到更准确的错误产生的控制。有关这些内容请参见在线文档。 #### 上层应用产生的错误 上层的应用可以调用代码把它认为的错误写到控制台日志，而且可以任意定义级别。实际情况中，真正使用控制台日志来发送应用层面的错误的不多，如果您的系统中发现有， 那么一定能很清楚的把这部分错误条目和上述Caché , IRIS系统本身产生的区分出来。 ### 维护人员对错误的控制 维护人员对错误的控制最基本就是调整健康监视器的门限值。上面讲了两类门限值的理论，下面给出一个例子，显示是怎么修改固定门限值的设置的： ```bash %SYS>do ^%SYSMONMGR 1) Start/Stop System Monitor 2) Set System Monitor Options 3) Configure System Monitor Classes 4) View System Monitor State 5) Manage Application Monitor 6) Manage Health Monitor 7) View System Data 8) Exit Option? 6 1) Enable/Disable Health Monitor 2) View Alerts Records 3) Configure Health Monitor Classes 4) Set Health Monitor Options 5) Exit Option? 3 1) Activate/Deactivate Rules 2) Configure Periods 3) Configure Charts 4) Edit Sensor Objects 5) Reset Defaults 6) Exit Option? 4 1) List Sensor Objects 2) Edit Sensor Object 3) Exit Option? 1 Sensor Base Max Max M Warn Warn M ------ ---- --- ----- ---- ------ CPUPct 50 90 0 80 0 CPUusage 50 85 0 75 0 CSPActivity 100 0 2 0 1.6 CSPActualConnections 100 0 2 0 1.6 CSPGatewayLatency 1000 2000 0 1000 0 CSPInUseConnections 100 0 2 0 1.6 CSPPrivateConnections 100 0 2 0 1.6 CSPSessions 100 0 2 0 1.6 DBLatency 1000 3000 0 1000 0 DBReads 1024 0 2 0 1.6 DBWrites 1024 0 2 0 1.6 DiskPercentFull 50 99 0 95 0 ...(省略多行) WDWriteSize 1024 0 2 0 1.6 1) List Sensor Objects 2) Edit Sensor Object 3) Exit Option? 2 Sensor? 12 DiskPercentFull Base? 50 => Enter either an Alert Value or a Multiplier Alert Value? 99 => 90 Setting Max Multiplier and Warn Multiplier to 0. Enter a Warn Value Warn Value? 95 => 60 Sensor object DiskPercentFull updated. Base 50 MaxMult 0 AlertValue 90 WarnMult 0 WarnValue 60 1) List Sensor Objects 2) Edit Sensor Object 3) Exit ``` 上面的操作中有一个‘神秘数字’ 12. 怎么知道DiskPercentFull是第12个sensor? 我是从列表里数下来的。 注意在修改senosr会出提示要把System Monitor停掉。修改后再启动System Monitor, 这样如果您的硬盘使用超过了60%, 就会收到类似的控制台日志条目： > 12/12/18-15:32:37:349 (13700) 1 [SYSTEM MONITOR] DiskPercentFull(d:\htp\data\) Warning: DiskPercentFull = 74.52 ( Warnvalue is 60). **重复发生的错误会被再次写入控制台日志吗？** 除了最底层的，关乎系统整体运行的少数错误，大部分错误如果在一个小时内重复发生，只有第一次会被写入日志。这就要求用户必须有实时的通知机制， ### 控制台日志的管理 大多数用户不需要操心控制台日志的管理，少数很老的Caché的用户会拥有一个很大尺寸的console.log， 最大的曾见过80MB的文件，这时候从操作门户的页面去查看，已经出现了显示的延迟。 console.log或者messages.log的大小是由系统设置参数‘MaxConsoleLogSize’设定的。 在IRIS和最近些版本的Caché中， 这个设置的值是5MB(您可以在**操作门户的‘系统>设置>其它设置>启动**‘的列表里查看或者修改这个值。 如果一个控制台日志超过了5MB, 会自动切换， 原来的console.log, message.log，会改名为console.log.old.yyyymmdd, 或者message.log.old.yyyymmdd。

数据平台一直在进化：从数据中心到数据中台，离散的数据资产得到进一步梳理和整合、按业务封装数据和操作数据的方法，并逐步提供了企业统一的访问、更新、检索、查询等数据服务。 然而市场上不乏听到数据平台的成功案例，却鲜见这些案例得到大规模推广。原因是什么呢？ 一. 传统数据平台建设的挑战 传统数据平台的数据模型基于各自厂商的理解，缺乏统一行业数据模型和行业语义。可供参考的国内卫生信息数据元、数据集标准并非完整的行业语义，例如没有业务实体模型和数据元关系定义。传统的数据平台建设通常根据业务域，围绕数据应用需求组织数据。经常看到按业务域划分为CDR（临床数据中心）、ODR（运营数据中心）、RDR（科研数据中心）...... 这造成了几个挑战： 1. 按业务域、而非业务实体来划分数据，虽然方便相应的业务域数据分析，但跨业务域重叠的业务实体数据，例如患者，需要跨数据中心同步。这些同步由于数据模型上的差异，往往非全息拷贝。随着同步次数越多，跨数据中心的数据越失真，造成数据资产多源不统一、数据资产一致性问题和时效性问题。 2. 数据平台产品语义表达上参差不齐，业务用户依赖数据工程师对数据理解和操作，无论是统计分析还是机器学习，海量的实施工作无法满足业务敏捷性要求； 3. 数据平台及数据应用建设依赖单一厂商的能力，而建设成果，包括数据工具、分析指标和应用都无法跨数据平台复用。往往项目都在做低水平重复建设。 4. 数据互操作标准化程度低，数据的同步、迁移困难。在缺乏数据层互操作性的情况下，各类数据中心建设的依然是数据孤岛。 5. 由于数据中心往往忽视互操作建设，数据缺乏流动，进入数据平台后，往往成为死水一潭。 二. 如何应对挑战 如何解决这些数据平台建设困境？应该如何建设数据平台？ 数据资产不是仅为分析服务的，更重要的是作为生产要素在生产全过程中发挥价值- 这就涉及到数据生成、采集、交换、决策… 在这个全过程链条上的数据互操作能力尤为重要。 HIMSS将互操作定义为4级：基础级、结构级、语义级和组织级，并认为只有到达语义级，才是标准的、才能实现广泛的互操作能力。要达到语义级的互操作，需要进行五位一体的标准化：词汇/术语标准、内容标准、传输标准、隐私和安全标准、标识符标准。 随着我们越来越依赖于机器处理数据、发掘数据背后的知识，对数据资产的开放性和互操作性的要求达到了更高的水平 - 实现机器可以理解的互操作。2016年发表在Scientific Data针对科学数据管理和监管，提出了数据的可发现（Findable）、可访问（Accessible）、可互操作（Interoperable）、可复用（Reusable）的FAIR指导原则。 这些原则的核心是让机器可以理解数据所需的语义层面的要求，尤其是可互操作和可复用两部分提到的语义级要求 - 广泛使用的语言、词汇表、元数据引用、符合相关领域的社区标准... 大家都不约而同地指向了统一行业语义。传统数据中心面临的上述挑战，正是因为缺乏统一的行业语义、缺乏统一的语义级互操作。 那什么是统一语义？ 三. 统一语义数据平台 圣经记载人类曾经联合起来兴建能通往天堂的高塔 - 巴别塔、也称通天塔。上帝为了阻止人类的计划，让人类说不同的语言。人类相互之间不能沟通，造塔计划因此失败。 统一语言是数据能够互相理解、并利用数据的前提。 语言包含2个层面： 1. 语义：真实世界事物及其关系的表达方法。例如不同电子病历系统对疑似肺癌的记录，可能记录为以下三种之一： A。问题: 癌症 身体部位:肺 确定程度:疑似 B。问题: 肺癌 确定程度:疑似 C。问题: 疑似肺癌 这三种语义表达不统一。没有统一的语义就像图里的电源插座，每个国家规格都不同，是不可能互联互通的。 2. 语法：语言的结构规则，包括词法和句法。而词法和句法都可能有歧义，就像图中示例的那样。 行业数据需要通过统一语义达到互联互通。对数据而言，统一语义不仅在数据模型（语义）、也在数据使用方式（语法）上。不仅数据语义是统一的，操作/互操作数据的方法也是统一的，并且需要能避免词法和句法歧义，才能达到语义级互操作能力！ 是不是一定要统一语义？要看数据用途：对于特定的、简单的数据任务，简化的数据模型和数据处理方法可能已经足够，但对于复杂的、跨领域的数据任务，如广泛的自然语言处理、知识图谱构建、大规模机器学习等，统一语义是非常有价值的。 显然，对于数据平台这类多用途平台，应该统一数据语义。 四. 如何建设行业统一语义数据平台 数据平台建设向统一语义迈进，而统一的行业语义模型，应该针对行业用户友好：直观、完整、语义简单、没有二义性，易于数据探索与使用。 统一语义是指要统一物理数据模型和操作数据的语言吗？是要限定到特定的技术栈吗？ 先看一下数据库的结构化查询语言（SQL）：众多的关系型数据库、甚至很多非关系型数据库都支持ANSI SQL语言。SQL定义了自己的语义 - 表、字段、视图、存储过程... 和自己的语法 - 数据定义语言（DDL）、数据操作语言（DML），但它并没有定义任何数据的物理存储方案！也正因如此，任何数据库厂商、任何数据物理存储方案，都可以通过自己的SQL编译器来支持SQL和SQL客户端，从而屏蔽数据库物理层差异，使用相同的SQL语言共同建设SQL生态。这也是SQL生态壮大的原因之一。 SQL的成功告诉我们，统一行业语义是对行业数据的逻辑表达层的要求，它不应对任何数据库技术底层做要求，也就是不应限定任何技术栈。 前面提到统一的数据操作/互操作能力是统一语义的一部分，是要用单一的数据操作方法吗？数据有多种操作方式，每种操作方式都有自己适用的场景，如下： 对同一份数据提供多模型的操作能力，会极大提升语义层的操作/互操作的便捷性，是非常重要的统一语义特性。重要的是可以针对同一份语义数据进行多种模型的操作/互操作，而不是建立针对每种模型的多套语义，并进行数据复制。 也就是说统一语义，并不是数据只能有一种操作/互操作方式，而应提供对同一份统一语义数据的多种操作/互操作方式。 五. InterSystems统一语义数据平台建设 基于上面的建设思路，InterSystems的医疗信息统一语义平台通过对行业语义的理解和其智能数据编织能力，提供医疗信息数据基座。 5.1 行业语义选择 - FHIR 行业语义应具有开放性、成熟性、准确性、完整性、灵活性、简单性、非二义性、可互操作性、机器可理解，并被广泛接受与认可。纵观医疗信息行业，虽然有不少通用数据模型，但目前最满足上述条件的是HL7 FHIR。它的资源模型覆盖面广，不仅是临床、还包括管理、科研等；不仅包括通用数据模型 - FHIR资源模型，还有对其统一的互操作方法 - FHIR API；按80/20原则设计，允许对资源模型和API进行扩展；资源模型和API简单、并有详细的用例指南；FHIR资源模型、API、扩展都可以被计算机理解；FHIR拥有庞大的用例，并且其触角不断扩展到医疗信息应用的各个层面和各个方向。 另外，更重要的是，FHIR的定位就是行业语义标准 - 逻辑层的标准，任何厂商只需要提供自己的FHIR服务器，就可以利用任何技术栈发布统一的FHIR资源和FHIR API，而屏蔽底层不同类型的数据存储方案、数据模型和数据操作方法。因而它是一个强大的生态标准，所有厂商和用户都可以参与其中。 InterSystems的解决方案选择FHIR作为统一语义，在支持FHIR的6种互操作范式的基础上，提供对FHIR资源的SQL投射 - 无需数据拷贝，就可以使用SQL大规模查询FHIR资源，对统计分析、机器学习提供简单易用的数据操作能力。 5.2 利用数据编织技术，无需推倒重来 如果正在规划数据平台，应考虑按统一语义建设。如果已经建设有各类数据中心，并不需要将已有的建设成果推倒重来。InterSystems的解决方案通过数据编织技术，将数据源编织在一起，并建立逻辑上的统一语义层。原有数据中心和其各类应用继续运行，通过统一语义层来支撑新的数据利用和应用创新。 InterSystems利用数据编织技术，提供针对所有数据源、数据模型、互操作标准的接入能力和适配器。现有的数据中心被视为数据源，只需接入而无需推倒现有建设成果。 InterSystems的多模型能力，将这些离散的数据源统一转换、表达，将多数据源的数据，以FHIR资源这个统一语义模型，发布多种数据模型的数据服务：包括FHIR JSON模型、FHIR对象模型、FHIR SQL模型，满足多种应用场景对统一语义数据的最佳操作方式。 InterSystems数据引擎，为统一语义层提供高性能、横向可扩展的持久化层，满足不同规模的数据用户所需的性能和弹性。 InterSystems提供FHIR与互联互通、HL7 V2、CDA等通用模型的开箱即用的转换能力和对用户自定义模型的自定义转换能力，提供全方位的统一语义互操作能力。

在本文中，我想谈一谈规范优先的 REST API 开发方式。 传统的代码优先 REST API 开发是这样的： * 编写代码 * 使其支持 REST * 形成文档（成为 REST API） 规范优先遵循同样的步骤，不过是反过来的。 我们先制定规范（同时兼做文档），然后根据它生成一个样板 REST 应用，最后编写一些业务逻辑。 这是有好处的，因为： * 对于想要使用你的 REST API 的外部或前端开发者，你总是有相关且有用的文档 * 使用 OAS (Swagger) 创建的规范可以导入各种工具，从而进行编辑、客户端生成、API 管理、单元测试和自动化，或者许多其他任务的简化 * 改进了 API 架构。 在代码优先的方式中，API 是逐个方法开发的，因此开发者很容易失去对整体 API 架构的跟踪，但在规范优先的方式中，开发者被强制从 API 使用者的角度与 API 进行交互，这通常有助于设计出更简洁的 API 架构 * 更快的开发速度 - 由于所有样板代码都是自动生成的，你无需编写代码，只需开发业务逻辑。 * 更快的反馈循环 - 使用者可以立即查看 API，并且只需修改规范即可轻松提供建议 让我们以规范优先的方式开发 API 吧！ ### 计划 1. 使用 swagger 制定规范 * Docker * 本地 * 在线 2. 将规范加载到 IRIS 中 * API 管理 REST API * ^REST * 类 3. 我们的规范会怎样？ 4. 实现 5. 进一步开发 6. 注意事项 * 特殊参数 * CORS 7. 将规范加载到 IAM 中   ### 制定规范   勿庸置疑，第一步是编写规范。 InterSystems IRIS 支持 Open API 规范 (OAS)： > **OpenAPI 规范** （以前称为 Swagger 规范）是 REST API 的 API 描述格式。 OpenAPI 文件允许描述整个 API，包括： > > * 可用端点 (`/users`) 和每个端点上的操作（`GET /users`、`POST /users`） > * 每次操作的操作参数输入和输出 > * 身份验证方法 > * 联系信息、许可证、使用条款和其他信息。 > > API 规范可以使用 YAML 或 JSON 编写。 格式易于学习，并且对人和机器都可读。 完整的 OpenAPI 规范可在 GitHub 上找到：[OpenAPI 3.0 规范](https://github.com/OAI/OpenAPI-Specification/blob/master/versions/3.0.0.md)   - 来自 Swagger 文档。 我们将使用 Swagger 编写 API。 使用 Swagger 有几种方法： * [在线](https://editor.swagger.io/) * Docker：`docker run -d -p 8080:8080 swaggerapi/swagger-editor` * [本地安装](https://swagger.io/docs/open-source-tools/swagger-editor/) 安装/运行 Swagger 后，你应该在 Web 浏览器中看到以下窗口： 在左侧编辑 API 规范，在右侧可以立即看到渲染的 API 文档/测试工具。 我们将第一个 API 规范加载到其中（使用 [YAML](https://en.wikipedia.org/wiki/YAML)）。 这是一个简单的 API，包含一个 GET 请求 - 返回指定范围内的随机数。   Math API 规范 swagger: "2.0" info: description: "Math" version: "1.0.0" title: "Math REST API" host: "localhost:52773" basePath: "/math" schemes: - http paths: /random/{min}/{max}: get: x-ISC_CORS: true summary: "Get random integer" description: "Get random integer between min and max" operationId: "getRandom" produces: - "application/json" parameters: - name: "min" in: "path" description: "Minimal Integer" required: true type: "integer" format: "int32" - name: "max" in: "path" description: "Maximal Integer" required: true type: "integer" format: "int32" responses: 200: description: "OK" 以下是其包含的内容。 有关 API 和使用的 OAS 版本的基本信息。 swagger: "2.0" info: description: "Math" version: "1.0.0" title: "Math REST API" 服务器主机、协议（http、https）和 Web 应用程序名称： host: "localhost:52773" basePath: "/math" schemes: - http 接下来指定路径（完整的 URL 是 `http://localhost:52773/math/random/:min/:max`）和 HTTP 请求方法（get、post、put、delete）： paths: /random/{min}/{max}: get: 之后，指定有关请求的信息： x-ISC_CORS: true summary: "Get random integer" description: "Get random integer between min and max" operationId: "getRandom" produces: - "application/json" parameters: - name: "min" in: "path" description: "Minimal Integer" required: true type: "integer" format: "int32" - name: "max" in: "path" description: "Maximal Integer" required: true type: "integer" format: "int32" responses: 200: description: "OK" 在此部分中，我们定义请求： * 为 CORS 启用此路径（稍后将详细介绍） * 提供 _summary_ 和 _description_ * _operationId_ 允许规范内引用，它也是我们的实现类中生成的方法名 * _produces_ - 响应格式（例如文本、xml、json） * _parameters_ 指定输入参数（在 URL 或正文中），在我们的示例中，我们指定 2 个参数 - 随机数生成器的范围 * _responses_ 列出服务器的可能响应 如你所见，这种格式并不是特别有挑战性，虽然还有很多可用功能。这里是[规范](https://github.com/OAI/OpenAPI-Specification/blob/master/versions/3.0.2.md)。 最后，我们将定义导出为 JSON。 转到“文件 → 转换”并另存为 JSON。 规范应如下所示：   Math API 规范 { "swagger": "2.0", "info": { "description": "Math", "version": "1.0.0", "title": "Math REST API" }, "host": "localhost:52773", "basePath": "/math", "schemes": [ "http" ], "paths": { "/random/{min}/{max}": { "get": { "x-ISC_CORS": true, "summary": "Get random integer", "description": "Get random integer between min and max", "operationId": "getRandom", "produces": [ "application/json" ], "parameters": [ { "name": "min", "in": "path", "description": "Minimal Integer", "required": true, "type": "integer", "format": "int32" }, { "name": "max", "in": "path", "description": "Maximal Integer", "required": true, "type": "integer", "format": "int32" } ], "responses": { "200": { "description": "OK" } } } } } }   ### 将规范加载到 IRIS 中 现在我们有了规范，我们可以在 InterSystems IRIS 中为此 REST API 生成样板代码。 要进入此阶段，我们需要三个东西： * REST 应用程序名称：我们生成的代码的包（假定为 `math） JSON 格式的 OAS 规范：我们刚刚在上一步中创建 Web 应用程序名称：用于访问我们的 REST API 的基本路径（我们的示例中为 /math`） 有三种方法使用我们的规范来生成代码，它们本质上是相同的，只是提供了多种访问相同功能的方式 1. 调用 `^%REST` 例程（在交互式终端会话中 `Do ^%REST`）， [参见文档](https://docs.intersystems.com/irislatest/csp/docbook/DocBook.UI.Page.cls?KEY=GREST_routine)。 2. 调用 `%REST` 类（`Set sc = ##class(%REST.API).CreateApplication(applicationName, spec)`，非交互式），[参见文档](https://docs.intersystems.com/irislatest/csp/docbook/Doc.View.cls?KEY=GREST_objectscriptapi)。 3. 使用 API 管理 REST API，[参见文档](https://docs.intersystems.com/irislatest/csp/docbook/Doc.View.cls?KEY=GREST_apimgmnt)。 我认为文档足以描述所需的步骤，因此选择一个即可。 我再补充两点说明： * 在第 1 种和第 2 种方法中，可以向动态对象传递文件名或 URL * 在第 2 种和第 3 种方法中，**必须** 进行一个额外的调用才能创建 Web 应用程序：`set sc = ##class(%SYS.REST).DeployApplication(restApp, webApp, authenticationType)`，所以在我们的示例中为 `set sc = ##class(%SYS.REST).DeployApplication("math", "/math")`，从 `%sySecurity` 包含文件获取 `authenticationType` 参数的值，相关条目为 `$$$Authe*`，因此对于未经身份验证的访问，传递 `$$$AutheUnauthenticated`。 如果省略，该参数默认为密码身份验证。   ### 我们的规范会怎样？ 如果你已成功创建应用，新的 `math` 包应该包含三个类： * _Spec_ - 按原样存储规范。 * _Disp_ - 在调用 REST 服务时直接调用。 它封装 REST 处理并调用实现方法。 * _Impl_ - 保存 REST 服务的实际内部实现。 你只应该编辑此类。 [文档](https://docs.intersystems.com/irislatest/csp/docbook/Doc.View.cls?KEY=GREST_intro#GREST_intro_classes)包含有关这些类的更多信息。 ### 实现 最初，我们的实现类 `math.impl` 只包含一个方法，对应于我们的 `/random/{min}/{max}` 操作： /// Get random integer between min and max /// The method arguments hold values for: /// min, Minimal Integer /// max, Maximal Integer ClassMethod getRandom(min As %Integer, max As %Integer) As %DynamicObject { //(Place business logic here) //Do ..%SetStatusCode() //Do ..%SetHeader(,) //Quit (Place response here) ; response may be a string, stream or dynamic object } 让我们从简单的实现开始： ClassMethod getRandom(min As %Integer, max As %Integer) As %DynamicObject { quit {"value":($random(max-min)+min)} } 最后，我们可以通过在浏览器中打开此页面来调用我们的 REST API：`http://localhost:52773/math/random/1/100` 输出应该是： { "value": 45 } 此外，在 Swagger 编辑器中按 `Try it out`（试用）按钮并填写请求参数也会发送同样的请求： 恭喜！ 我们使用规范优先的方式创建的第一个 REST API 现在已经生效！   ### 进一步开发 当然，我们的 API 不是静态的，我们需要添加新路径等等。 在规范优先的开发中，首先要修改规范，然后更新 REST 应用程序（调用与创建应用程序相同），最后编写代码。 请注意，规范更新是安全的：你的代码不会受到影响，即使从规范中删除路径，在实现类中也不会删除方法。   ### 注意事项 更多说明！ #### 特殊参数 InterSystems 向 swagger 规范添加了特殊参数，如下所示： 名称 数据类型 默认值 位置 描述 x-ISC_DispatchParent 类名 %CSP.REST 信息 调度类的超类。 x-ISC_CORS 布尔 false 操作 一个标志，指示对此端点/方法组合的 CORS 请求应该获得支持。 x-ISC_RequiredResource 数组   操作 以逗号分隔的已定义资源及其访问模式（资源:模式）的列表，这些资源和模式是访问 REST 服务的此端点所必需的。 示例：["%Development:USE"] x-ISC_ServiceMethod 字符串   操作 后端调用的用于维护此操作的类方法的名称；默认值为 operationId，通常就很合适。   #### CORS 有三种方法启用 CORS 支持。 1. 在逐条路由的基础上，将 `x-ISC_CORS` 指定为 true。 我们的 Math REST API 中就是这样做的。 2. 在每个 API 的基础上，添加 Parameter HandleCorsRequest = 1; 然后重新编译该类。 规范更新后它也会保留。 3. （推荐）在每个 API 的基础上，实现自定义调度器超类（应该扩展 `%CSP.REST`）并编写 CORS 处理逻辑。 要使用此超类，请将 `x-ISC_DispatchParent` 添加到规范中。 ### 将规范加载到 IAM 中   最后，我们将规范添加到 IAM中，以便将其发布给其他开发者。 如果您尚未开始使用 IAM，请参见[此文章](https://community.intersystems.com/post/introducing-intersystems-api-manager)。 它还涵盖了通过 IAM 提供 REST API，所以我在这里不做介绍。 您可能需要修改规范的 `host` 和 `basepath` 参数，使它们指向 IAM，而不是 InterSystems IRIS 实例。 打开 IAM 管理员门户，转到相关工作区的 `Specs`（规范）选项卡。 点击 `Add Spec`（添加规范）按钮并输入新 API 的名称（我们的示例中为 `math`）。 在 IAM 中创建新规范后，点击 `Edit`（编辑）并粘贴规范代码（JSON 或 YAML - IAM 都支持）： 不要忘记点击 `Update File`（更新文件）。 现在我们的 API 已发布给开发者。 打开开发者门户，然后点击右上角的 `Documentation`（文档）。 除了三个默认 API，还应该看到我们的新 `Math REST API`： 打开它： 现在，开发者可以看到我们的新 API 的文档，并在同一个地方试用它！ ###   ### 结论   InterSystems IRIS 简化了 REST API 的开发过程，规范优先的方式使 REST API 生命周期管理更快更简单。 通过这种方式，你可以使用各种工具来完成各种相关任务，例如客户端生成、单元测试、API 管理等等。   ### 链接 * [OpenAPI 3.0 规范](https://github.com/OAI/OpenAPI-Specification/blob/master/versions/3.0.0.md) * [创建 REST 服务](https://docs.intersystems.com/irislatest/csp/docbook/Doc.View.cls?KEY=GREST) * [从 IAM 开始](https://community.intersystems.com/post/introducing-intersystems-api-manager) * [IAM 文档](https://docs.intersystems.com/irislatest/csp/docbook/apimgr/index.html)

这篇文章介绍了使用由支持 langchain 框架的IRIS来实现问答聊天机器人，其重点介绍了检索增强生成（RAG）。 文章探讨了IRIS中的向量搜索如何在langchain-iris中完成数据的存储、检索和语义搜索，从而实现对用户查询的精确、快速的响应。通过无缝集成以及索引和检索/生成等流程，由IRIS驱动的RAG应用程序使InterSystems开发者能够利用GenAI系统的能力。 为了帮助读者巩固这些概念，文章提供了Jupyter notebook和一个完整的问答聊天机器人应用程序，以供参考。 什么是RAG以及它在问答聊天机器人中的角色 RAG，即检索增强生成，是一种通过整合超出初始训练集的补充数据来丰富语言模型（LLM）知识库的技术。尽管LLM在跨不同主题进行推理方面具有能力，但它们仅限于在特定截止日期之前训练的公共数据。为了使AI应用程序能够有效处理私有或更近期的数据，RAG通过按需补充特定信息来增强模型的知识。这是一种替代微调LLM的方法，微调可能会很昂贵。 在问答聊天机器人领域，RAG在处理非结构化数据查询中发挥着关键作用，包括两个主要组成部分：索引和检索/生成。 索引从数据源摄取数据开始，然后将其分割成更小、更易于管理的块以进行高效处理。这些分割的块随后被存储和索引，通常使用嵌入模型和向量数据库，确保在运行时能够快速准确地检索。 在检索和生成过程中，系统在接收到用户查询后，使用与索引阶段相同的嵌入模型生成嵌入向量，然后使用检索器组件从索引中检索相关数据块。这些检索到的段落随后传递给LLM以生成答案。 因此，RAG赋予了问答聊天机器人访问和利用结构化和非结构化数据源的能力，从而通过使用嵌入模型和向量数据库作为LLM微调的替代方案，增强了它们提供精确和最新用户查询响应的能力。 IRIS 向量搜索 InterSystems IRIS的向量搜索是一个新功能，它在数据库内启用了语义搜索和生成式AI能力。它允许用户根据数据的含义而不是原始内容来查询数据，利用了检索增强生成（RAG）架构。这项技术将非结构化数据（如文本）转换为结构化的向量，便于高效处理和响应生成。 该平台支持在关系模式中以压缩和高性能的向量类型（VECTOR）存储向量，允许与现有数据结构无缝集成。向量通过Embeddings表示语言的语义含义，相似的含义在高维几何空间中通过接近度反映出来。 通过使用点积(dot product)操作比较输入向量和存储的向量，用户可以确定两者的语义相似性，这非常适合信息检索等任务。IRIS还通过专用的向量数据类型提供高效的向量存储和操作，增强了对大型数据集操作的性能。 要利用这一能力，文本必须通过一系列步骤转换为嵌入，涉及文本预处理和模型实例化。InterSystems IRIS支持Python代码的无缝集成用于嵌入生成，以及ObjectScript用于数据库交互，使基于向量的应用实现顺畅。 你可以在这里查看更多有关向量搜索的文档和实例。 langchain-iris 简短的说，langchain-iris 是在 langchain 框架中使用 InterSystems IRIS 向量搜索的一种方式。 InterSystems IRIS 向量搜索与 langchain 的向量存储需求非常契合。IRIS 存储和检索embedding的数据，对于相似性搜索至关重要。凭借IRIS的 VECTOR 类型，IRIS 支持存储embeddings，使其可对非结构化数据进行语义搜索，并促进文档无缝处理到向量存储中。 通过利用点积比较等操作，IRIS 促进了语义相似性的比较算法，这对于 langchain 的相似性搜索需求也非常理想。 因此，langchain-iris 允许使用由 InterSystems IRIS 数据平台支持的 langchain 框架开发 RAG 应用程序。 有关 langchain-iris 的更多信息，请查看这里。 将 IRIS 作为 langchain 的向量存储目标 第一步，需要将langchain-iris导入 pip install langchain-iris 之后，可以使用 IRISVector 中的方法 from_documents() : db = IRISVector.from_documents( embedding=embeddings, documents=docs, collection_name=COLLECTION_NAME, connection_string=CONNECTION_STRING, ) 其中： embedding：设置langchain.embeddings的embeddings模型实例，比如OpenAI或hugging faces. documents：是一系列字符串的数组，这些字符串将被应用于embedding模型，并且生成的向量将存储在IRIS中。通常，由于embedding模型的大小限制以及为了更好的管理，文档应该被分割；langchain框架提供了几种分割器。 collection_name：用于文档以及他的embedding 向量存储的表的名称 connection_string：用于连接IRIS的参数，通常使用下面的格式 iris://<username>:<password>@<hostname>:<iris_port>/<namespace> 在这里查看完整的使用 langchian-iris 的 hello world 代码。 进一步查看整个过程 首先，我们查看由langchain提供的原始版本的文档机器人示例。 这个原始示例中，使用了Chroma作为向量数据库： from langchain_chroma import Chroma … vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings()) 所以，我们这里修改使用IRIS 作为向量数据库： vectorstore = IRISVector.from_documents( embedding=OpenAIEmbeddings(), documents=splits, collection_name="chatbot_docs", connection_string=iris://_SYSTEM:SYS@localhost:1972/USER', ) 你可以在这个jupter notebook里查看完整示例代码。 当运行完示例，我们可以在IRIS中查看由 langchain-iris 创建的表，表名由SQLUser包名以及collection_name中设置： 可以看到其中有四个字段组成： id：文档id dcoument：使用的文档或者将文档分割为文字块后传入的文字块 metadata：JSON对象包含了文档的相关信息 embedding:：以embedding vector的方式保存的文档信息，这是IRIS的向量搜索功能中的VECTOR类型数据。 上面实现的是创建索引的过程。也就是langchain对每一个文档进行分割后，应用embedding 模型，并将其向量存储在IRIS中。 下一步，为了实现RAG应用，我们需要根据给定的查询字符串，在 IRIS 中查询最相关的文档，这是通过实现langchain框架中的检索器(retrievers)来实现的。 你可以使用下面的代码创建一个真对IRIS存储文档的检索器 (retriever): retriever = vectorstore.as_retriever() 用这个检索器，您可以针对自然语言查询最相似的文档。langchain框架将使用索引步骤中使用的相同embedding模型从查询中提取向量。这样，就可以检索到与查询具有相似语义内容的文档片段。 为了举例说明，让我们使用langchain的例子，它索引了一个包含有关LLM（大型语言模型）代理信息的网页。这个页面解释了几个概念，比如任务分解。让我们看看，如果给定一个查询，比如“What are the approaches to Task Decomposition（任务分解的方法有哪些）？”，检索器会返回什么： 现在让我们执行一个语义上相同但句法上不同的查询，即使用具有相似含义的不同词语提问，来看看向量搜索引擎返回什么结果： 这里，我们可以看到即使传递不同的查询字符串，结果也几乎是相同的。这意味着嵌入向量在某种程度上抽象了文档和查询字符串中的语义。 为了进一步证明这种语义查询能力，现在让我们继续询问有关任务分解的问题，但这次询问它的潜在缺点： 可以看到，这次最相关的结果与之前的查询不同。此外，最初的结果中并没有直接出现“downside”这个词，但包含了一些相关词汇，如“challenges”（挑战）、“limitations”（限制）和“restricted”（受限）。 这加强了嵌入向量在向量数据库中进行语义搜索的能力。 检索步骤之后，最相关的文档被添加为上下文信息，与用户查询一起发送到LLM（大型语言模型）进行处理： from langchain import hub prompt = hub.pull("rlm/rag-prompt") user_query = "What are the approaches to Task Decomposition?" retrieved_docs = [doc.page_content for doc in retriever.invoke(user_query)] example_messages = prompt.invoke( {"context": "filler context", "question": user_query} ).to_messages() print(example_messages[0].content) 这段代码将会生成提示词如下，可以看到，查询的返回结果作为上下文一起递交给LLM进行处理： """ You are an assistant for question-answering tasks. Use the following pieces of retrieved context to answer the question. If you don't know the answer, just say that you don't know. Use three sentences maximum and keep the answer concise. Question: What are the approaches to Task Decomposition? Context: Tree of Thoughts (Yao et al. 2023) extends CoT by exploring multiple ... (truncated in the sake of brevity) Answer: """ 于是，RAG应用可以在LLM提示词长度限制的情况下增强查询的准确度。 最后几句 总结来说，将IRIS向量搜索与langchain框架的集成为InterSystems开发者社区中的问答聊天机器人和其他依赖于语义搜索和生成式AI的应用程序的开发开辟了新的视野。 通过langchain-iris将IRIS作为向量存储的无缝集成简化了实现过程，为开发者提供了一个强大而高效的解决方案，用于管理和查询大量结构化和非结构化信息的数据集。 通过索引、检索和生成过程，由IRIS向量搜索驱动的RAG应用程序可以有效地利用公共和私有数据源，增强基于LLM的AI系统的能力，为用户提供更全面和最新的响应。 最后，如果您想更深入地了解并查看一个完整的应用程序实现这些概念，以及与其他功能如互操作性和业务主机一起，与OpenAI和Telegram等外部API通信，请查看我们的应用程序iris-medicopilot。 这种集成展示了如何利用先进的技术来构建智能系统，这些系统不仅能够理解和回应用户的查询，还能够与外部服务和API进行交互，提供更加丰富和动态的用户体验。随着技术的不断发展，我们可以期待看到更多创新的应用程序，它们将利用这些工具和框架来解决现实世界的问题。

# 第三章 HL7 架构和可用工具 - 使用 HL7 架构结构页面 ## 使用 HL7 架构结构页面 通过 `HL7` 架构页面，可以导入和查看 `HL7` 版本 `2` 架构规范。要显示此页面，请从主页中选择互操作性 > 互操作 > HL7 v2.x > HL7 v2.x 架构结构。有关使用此页面的一般信息，请参阅在产品中使用虚拟文档中的“使用架构结构页面”。 `HL7` 模式页面提供了一个附加选项卡：消息类型。此选项卡将两个消息结构标识为请求/响应对。 ## 查看文档类型列表 要列出某个类别中的所有文档类型结构，请首先选择该类别，然后单击“`DocType` 结构”选项卡。 ## 查看消息结构 要查看消息结构的内部组织，请从 `HL7` 架构页面上的 `DocType` 结构选项卡单击其名称（选择互操作性 > 互操作 > HL7 v2.x > HL7 v2.x 架构结构）。 `InterSystems` 产品使用以下视觉提示和命名约定在“结构”部分中显示消息的段结构。 - 组成消息结构的段按从上到下的顺序列出。 - 段名称必须全部大写。 - 显示每个消息段的三个字母名称：`MSH`、`NTE`、`PID` 等。该名称指示 `HL7` 消息结构中该位置存在的段类型。包含选项、重复或包含一组其他段的段的名称会在名称中附加特殊字符。 - 绿色虚线包围可选的段、组或字段。 - 可以重复的段在段名称后附加了括号。例如，如果`PID`段可以重复，则出现`PID()`。 - 包含其他段选择的段被视为段的联合。这些联合段的段名称后附加有“`union`”一词。只有联合中包含的段之一可以出现在消息结构内的该位置。 - 包含一组段的段在段名称后附加了字母“`grp`”。要展开或折叠组，请使用组名称旁边的箭头图标。 - 双击段名称可在单独的窗口中打开该段的结构。 ## 查看段结构 要查看消息段的结构，请在与上一节中显示的示例类似的任何页面中单击其名称。 `InterSystems` 产品显示一个表格，其中列出了该段中的所有字段。这是 `HL7` 架构段结构页面。 例如，如果单击 `2.3:ADT_A01` 消息结构中的 `PR1` 段，`InterSystems` 产品将显示以下页面。 各列如下： - `Field` 字段 — 用于访问段内字段的数字。 - `Description` 描述 — 字段的简短描述。 - `Property Name` 属性名称 — 用于访问段内字段的名称。 - `Data Structure` - 对于使用数据结构的更复杂的字段值，需要进一步的语法详细信息才能完成`segment:field` 虚拟属性路径。可以通过单击此列中的名称来获取此信息 - `Symbol` 符号——表示字段的语法规则。此列中的字符指示是否可以预期此字段在消息段中存在、不存在或重复。可能的值 Symbol |Meaning ---|--- `!`| (仅限`1`)该字段为必填字段；它只能出现一次。 `?`| (`0`或`1`)该字段是可选的，但如果发生，则可能只出现一次。 `+`| (`1`个或多个)该字段可以重复一次或多次。 `*`| (`0`或更多)该字段可以重复`0`次或多次。 `&`| 该字段可能存在，并且可能重复，但仅在某些条件下。 `n*`| `0` 到 `n`) 该字段最多重复 `n` 次。 - `Repeat Count` - 该字段可以重复的最大次数（如果重复，并且有最大值）。 - `Minimum Length` - 字段中的最小字符数。该字段的每次重复都必须包含此数量的字符。 - `Maximum Length` - 字段中的最大字符数。该字段的每次重复都可以包含此数量的字符。 - `Required` - 显示 `R` 表示必需，`O` 表示可选。 - `Repeating` - 显示 `1` 表示 `true`，`0` 表示 `false`。 - `Code Table` - 单击条目可查看可在此字段中输入的有效代码。 - `Alternate Description`替代描述 - 该领域的第二个更长的描述。 可以使用此信息（尤其是“属性名称”列）以“段：字段”格式构建虚拟属性路径。以下是涉及 `2.3:ADT_A01` 消息结构中 `PR1` 段的简单字段值的虚拟属性路径示例。 `()` 快捷语法指示重复字段的所有可用实例，而 `(1)` 指示第一个实例： ```java PR1grp().PR1:ProcedureType PR1grp().PR1:ProcedureCode() PR1grp().PR1:ProcedureCode(1) PR1grp().PR1:ProcedureCode(x) PR1grp().PR1:ProcedurePriority ```

**关键字**：PyODBC，unixODBC，IRIS，IntegratedML，Jupyter Notebook，Python 3   ## **目的** 几个月前，我简单谈到了关于“[将 Python JDBC 连接到 IRIS](https://community.intersystems.com/post/python-jdbc-connection-iris-database-quick-note)”的话题。我后来频繁提起它， 因此决定再写一篇 5 分钟的笔记，说明如何“将 Python ODBC 连接到 IRIS”。 在 Windows 客户端中通常很容易设置 ODBC 和 PyODBC，不过我每次在 Linux/Unix 风格的服务器中设置 unixODBC 和 PyODBC 客户端时，都会遇到一些麻烦。 有没有一种简单连贯的方法，可以不安装任何 IRIS，在原版 Linux 客户端中让 PyODBC/unixODBC 针对远程 IRIS 服务器运行？   ## **范围** 最近，我花了点时间研究如何在 Linux Docker 环境的 Jupyter Notebook 中从头开始让一个 PyODBC 演示运行起来， 记录下这篇稍微有些繁琐的笔记，以供日后快速参考。   #### **范围内**：  这篇笔记将涉及以下组件： PyODBC over unixODBC  安装了 TensorFlow 2.2 和 Python 3 的 Jupyter Notebook 服务器 带有 IntegratedML 的 IRIS2020.3 CE 服务器，包括示例测试数据。 在此环境中 安装了 Docker-compose over AWS Ubuntu 16.04 的 Docker Engine  Docker Desktop for MacOS 和 Docker Toolbox for Windows 10 也经过了测试 #### **范围外**： 同样，在此演示环境中不评估非功能性方面。 它们很重要，并且可以针对特定站点，如： 端到端安全和审核 性能和可扩展性 许可和可支持性等   ## **环境** 任何原版 Linux Docker 镜像都可以用于以下配置和测试步骤，但有一个简单的方法可以在 5 分钟内设置这样的环境： 1.  Git **克隆**此[演示模板](https://github.com/tom-dyar/integratedml-demo-template) 2.  在包含 docker-compose.yml 文件的克隆目录中运行“**docker-compose up -d**”。 这将创建一个演示环境，如下面的拓扑所示，其中包含 2 个容器。 一个用于 Jupyter Notebook 服务器作为 PyODBC 客户端，另一个用于 IRIS2020.3 CE 服务器。   在上面的环境中，tf2jupyter 仅包含“Python over JDBC”客户端配置；它尚不包含任何 ODBC 或 PyODBC 客户端配置。 因此，我们将直接在 Jupyter Notebook 内部运行以下设置步骤，以使其易于说明。     ## **步骤** 以下配置和测试由我在 AWS Ubuntu 16.04 服务器中运行， 由我的同事 @Thomas.Dyar 在 MacOS 中运行。 另外在 Docker Toolbox for Windows 中也进行了简单的测试。 不过，如果您遇到任何问题，还是请告诉我们。 以下步骤可以自动化到其 Dockerfile。 我在这里特别记录一下，以防几个月后忘记。 ### **1. 官方文档：** IRIS 的 ODBC 支持 在 Unix 上定义 ODBC 数据源  IRIS 的 PyODBC 支持    ### **2. 连接到 Jupyter 服务器** 我用本地 Putty 的 SSH 隧道连接到远程 AWS Ubuntu 端口 22，然后按照上述拓扑结构映射到端口 8896。 （举个例子，在本地 Docker 环境中，也可以直接直接 http 到 Docker 机器的 IP:8896。）   ### **3. 从 Jupyter Notebook 中运行 ODBC 安装** 直接在 Jupyter 单元格中运行以下代码：  !apt-get update<br>!apt-get install gcc<br>!apt-get install -y tdsodbc unixodbc-dev<br>!apt install unixodbc-bin -y<br>!apt-get clean -y 它将安装 gcc（包括 g++）编译器、FreeTDS、unixODBC 和 unixodbc-dev，以在下一步重新编译 PyODBC 驱动程序。 在原生 Windows 服务器或 PC 上安装 PyODBC 不需要这一步。  ### **4. 从 Jupyter 中运行 PyODBC 安装** !pip install pyodbc Collecting pyodbc Downloading pyodbc-4.0.30.tar.gz (266 kB) |████████████████████████████████| 266 kB 11.3 MB/s eta 0:00:01 Building wheels for collected packages: pyodbc Building wheel for pyodbc (setup.py) ... done Created wheel for pyodbc: filename=pyodbc-4.0.30-cp36-cp36m-linux_x86_64.whl size=273453 sha256=b794c35f41e440441f2e79a95fead36d3aebfa74c0832a92647bb90c934688b3 Stored in directory: /root/.cache/pip/wheels/e3/3f/16/e11367542166d4f8a252c031ac3a4163d3b901b251ec71e905 Successfully built pyodbc Installing collected packages: pyodbc Successfully installed pyodbc-4.0.30 以上是这个 Docker 演示的最简化 pip 安装。 在[官方文档](https://irisdocs.intersystems.com/irislatest/csp/docbook/DocBook.UI.Page.cls?KEY=BNETODBC_support#BNETODBC_support_pyodbc)中，为“MacOS X 安装”提供了更详细的 pip 安装。   ### **5 在 Linux 中重新配置 ODBC INI 文件和链接：** 运行以下命令重新创建 **odbcinst.ini** 和 **odbc.ini** 链接 !rm /etc/odbcinst.ini!rm /etc/odbc.ini !ln -s /tf/odbcinst.ini /etc/odbcinst.ini!ln -s /tf/odbc.ini /etc/odbc.ini 注：这样的原因是，**第 3 步和第 4 步通常会在 \etc\ directory 下创建 2 个空白（因此无效）的 ODBC 文件。**与 Windows 安装不同，这里的空白 ini 文件会导致问题。因此需要先将其删除，然后重新创建一个链接来指向映射的 Docker 卷中提供的真实 ini 文件：/tf/odbcinst.ini 和 /tf/odbc.ini 看一看这两个 ini 文件。在这种情况下，它们是 Linux ODBC 配置的最简形式： !cat /tf/odbcinst.ini [InterSystems ODBC35] UsageCount=1 Driver=/tf/libirisodbcu35.so Setup=/tf/libirisodbcu35.so SQLLevel=1 FileUsage=0 DriverODBCVer=02.10 ConnectFunctions=YYN APILevel=1 DEBUG=1 CPTimeout=<not pooled> !cat /tf/odbc.ini [IRIS PyODBC Demo] Driver=InterSystems ODBC35 Protocol=TCP Host=irisimlsvr Port=51773 Namespace=USER UID=SUPERUSER Password=SYS Description=Sample namespace Query Timeout=0 Static Cursors=0 以上文件都已预先配置，位于映射的驱动器中。 引用的是驱动程序文件 **libirisodbcu35.so**，可以从 IRIS 服务器的容器实例中获取该文件（在其 {iris-installation}/bin 目录下）。 要使上述 ODBC 安装正常运行，**这 3 个文件**必须存在于**具有正确文件权限**的映射驱动器（或任何 Linux 驱动器）中： libirisodbcu35.so odbcinst.ini odbc.ini   **6. 验证 PyODBC 安装 ** !odbcinst -j unixODBC 2.3.4 DRIVERS............: /etc/odbcinst.ini SYSTEM DATA SOURCES: /etc/odbc.ini FILE DATA SOURCES..: /etc/ODBCDataSources USER DATA SOURCES..: /root/.odbc.ini SQLULEN Size.......: 8 SQLLEN Size........: 8 SQLSETPOSIROW Size.: 8 import pyodbcprint(pyodbc.drivers()) ['InterSystems ODBC35'] 以上输出将表明 ODBC 驱动程序目前具有有效链接。 我们应该能够在 Jupyter Notebook 中运行一些 Python ODBC 测试 **7. 运行将 Python ODBC 连接到 IRIS 的示例：**   import pyodbc import time ### 1. Get an ODBC connection #input("Hit any key to start")dsn = 'IRIS PyODBC Demo'server = 'irisimlsvr'   # IRIS server container or the docker machine's IP port = '51773'   # or 8091 if docker machine IP is useddatabase = 'USER' username = 'SUPERUSER' password = 'SYS'  #cnxn = pyodbc.connect('DSN='+dsn+';')   # use the user DSN defined in odbc.ini, or use the connection string belowcnxn = pyodbc.connect('DRIVER={InterSystems ODBC35};SERVER='+server+';PORT='+port+';DATABASE='+database+';UID='+username+';PWD='+ password) ###ensure it reads strings correctly.cnxn.setdecoding(pyodbc.SQL_CHAR, encoding='utf8')cnxn.setdecoding(pyodbc.SQL_WCHAR, encoding='utf8')cnxn.setencoding(encoding='utf8') ### 2. Get a cursor; start the timercursor = cnxn.cursor()start= time.clock() ### 3. specify the training data, and give a model namedataTable = 'DataMining.IrisDataset'dataTablePredict = 'Result12'dataColumn =  'Species'dataColumnPredict = "PredictedSpecies"modelName = "Flower12" #chose a name - must be unique in server end ### 4. Train and predict#cursor.execute("CREATE MODEL %s PREDICTING (%s)  FROM %s" % (modelName, dataColumn, dataTable))#cursor.execute("TRAIN MODEL %s FROM %s" % (modelName, dataTable))#cursor.execute("Create Table %s (%s VARCHAR(100), %s VARCHAR(100))" % (dataTablePredict, dataColumnPredict, dataColumn))#cursor.execute("INSERT INTO %s  SELECT TOP 20 PREDICT(%s) AS %s, %s FROM %s" % (dataTablePredict, modelName, dataColumnPredict, dataColumn, dataTable)) #cnxn.commit() ### 5. show the predict resultcursor.execute("SELECT * from %s ORDER BY ID" % dataTable)   #or use dataTablePredict result by IntegratedML if you run step 4 aboverow = cursor.fetchone() while row:     print(row)     row = cursor.fetchone() ### 6. CLose and clean     cnxn.close()end= time.clock()print ("Total elapsed time: ")print (end-start) (1, 1.4, 0.2, 5.1, 3.5, 'Iris-setosa') (2, 1.4, 0.2, 4.9, 3.0, 'Iris-setosa') (3, 1.3, 0.2, 4.7, 3.2, 'Iris-setosa') (4, 1.5, 0.2, 4.6, 3.1, 'Iris-setosa') (5, 1.4, 0.2, 5.0, 3.6, 'Iris-setosa') ... ... ... ... ... ... (146, 5.2, 2.3, 6.7, 3.0, 'Iris-virginica') (147, 5.0, 1.9, 6.3, 2.5, 'Iris-virginica') (148, 5.2, 2.0, 6.5, 3.0, 'Iris-virginica') (149, 5.4, 2.3, 6.2, 3.4, 'Iris-virginica') (150, 5.1, 1.8, 5.9, 3.0, 'Iris-virginica') Total elapsed time: 0.023873000000000033 这里有一些陷阱： 1. **cnxn = pyodbc.connect() **- 在 Linux 环境下，此调用中传递的连接字符串必须正确无误，不能有任何空格。   2. 正确设置连接编码，例如使用 utf8。  在这里默认值对字符串不起作用。 3. **libirisodbcu35.so** - 理想情况下，此驱动程序文件应与远程 IRIS 服务器的版本保持一致。     ## **未来计划 ** 这样就得到一个带有 Jupyter Notebook 的 Docker 环境，包括 Python3 和 TensorFlow 2.2（无 GPU），通过 PyODBC（以及 JDBC）连接到远程 IRIS 服务器。 所有定制的 SQL 语法应该都可以适用，比如 IRIS Integrated ML 专有的 SQL 语法。那么何不多研究一下 IntegratedML 的功能，用它驱动 ML 生命周期的 SQL 方法以进行一些创新？  另外，我希望接下来能介绍或总结出在 IRIS Native 甚至是 Python 环境中的魔法 SQL 上最简单的 IRIS 服务器挂接方法。 而且，现在有出色的 [Python Gateway](https://github.com/intersystems-community/PythonGateway)，我们甚至可以直接从 IRIS 服务器内部调用外部 Python ML 应用和服务。我希望我们也能在这方面多做些尝试。   **附录** 上面的笔记本文件也将被迁入此 Github 存储库以及 Open Exchange 中。    

# 第十五章 使用管理门户SQL接口（一） 本章介绍如何在InterSystems IRIS®数据平台管理门户上执行SQL操作。 管理门户界面使用动态SQL，这意味着在运行时准备和执行查询。 Management Portal界面旨在帮助针对小型数据集开发和测试SQL代码。 它不打算用作在生产环境中执行SQL的接口。 管理门户还提供了各种配置SQL的选项。 有关使用管理门户的一般信息，请选择左上角的Help按钮。 通过使用左上角的Contact按钮，可以从管理门户向InterSystems Worldwide Response Center (WRC)报告有关InterSystems软件的问题。 # 管理门户SQL工具 InterSystems IRIS允许使用SQL工具从InterSystems IRIS管理门户检查和操作数据。 此操作的起点是Management Portal System Explorer选项。 从这里选择SQL选项。 这将显示SQL接口，它允许: - 执行SQL查询—编写和执行SQL命令。 可以对现有的表和数据执行SQL查询，创建表，或插入、更新或删除表数据。 可以编写SQL代码直接转化为一个文本框(包括选择、插入、更新、删除、创建表和其他SQL语句),检索语句的SQL历史文本框,拖拽一个表到文本框来生成一个查询(`SELECT`语句),或构成一个查询(`SELECT`语句)使用`query Builder`接口。 - 过滤模式内容——在屏幕左侧显示当前名称空间的SQL模式或这些模式的过滤子集，以及每个模式的表、视图、过程和缓存查询。 可以选择单独的表、视图、过程或缓存查询来显示其目录详细信息。 - 向导—执行向导，以执行数据导入、导出或数据迁移。 执行向导以链接到表或视图，或链接到存储过程。 - Actions -定义一个视图; 打印一个表定义的详细信息; 通过运行调优表和/或重建索引提高查询的性能; 或者通过清除不需要的缓存查询和/或删除不需要的表、视图或过程定义来执行清理。 - 打开表格——以显示模式在表格中显示当前数据。 这通常不是表中的完整数据:记录的数量和列中的数据长度都受到限制，以提供可管理的显示。 - 工具——执行以下工具之一:SQL运行时统计、索引分析器、备用显示计划、生成报告、导入报告。 - 文档—允许查看SQL错误代码列表和SQL保留字列表。 如果选择了一个表，则允许显示类文档(该表的类引用页)。 ## 选择命名空间 所有SQL操作都会在特定名称空间中进行。因此，必须首先指定要通过单击SQL接口页面顶部的 **“开关switch”** 选项要使用的命名空间。这将显示可用名称空间列表，可以从中进行选择。 可以设置管理门户默认命名空间。从管理门户选择系统管理，安全性，用户。单击所需用户的名称。这允许编辑用户定义。从“常规”选项卡中，从下拉列表中选择“启动命名”空间。单击“保存”。如果未选择启动命名空间，则会默认为%SYS.。 ## 用户自定义 许多Management Portal SQL操作都是为每个用户自动定制的。 如果在Execute Query选项卡或SQL Statements选项卡中设置了筛选器、最大值、模式或其他选项，则此用户指定的值将保留以供将来使用。 当同一个用户激活管理门户时，将显示该用户先前的设置。 重新启动InterSystems IRIS返回所有选项为默认值。 没有自定义名称空间选择。 它恢复到用户定义启动名称空间。 # 执行SQL查询 从管理门户选择System Explorer，然后选择SQL。 在页面顶部选择带有Switch选项的名称空间; 这将显示可用名称空间的列表。 要执行SQL查询，有三个选项: - Execute Query:写并执行SQL命令。 SQL命令可以是一个`SELECT`查询，也可以是一个InterSystems SQL DDL或DML语句; 语句执行时在InterSystems IRIS服务器上验证。 - Show History:收回以前运行的SQL语句，然后重新运行它，或者修改它，然后运行它。 列出所有已执行的语句，包括未成功执行的语句。 - 查询生成器:调用SQL查询生成器(它专门用于创建SELECT语句)。 在SQL Query Builder中，通过选择表、列、`WHERE`子句谓词和其他查询组件来创建SQL `SELECT`查询。 然后，可以通过单击Execute query来运行查询。 ## 编写SQL语句 Execute Query文本框不仅允许编写`SELECT`和`CALL`查询，还允许编写大多数SQL语句，包括DDL语句(如`CREATE TABLE`)和DML语句(如`INSERT`、`UPDATE`和`DELETE`)。 可以在“执行查询”文本框中指定SQL代码: - 将SQL代码键入(或粘贴)到文本框中。 SQL代码区域不给SQL文本着色，也不提供任何语法或存在验证。 但是，它确实提供了自动拼写验证。 可以使用X图标删除文本框的内容。 - 使用Show History列表选择前面的SQL语句。 选中的语句将复制到文本框中。 执行时，该语句移到Show History列表的顶部。 注意，Show History列出了之前执行的所有语句，包括那些执行失败的语句。 - 使用表拖放在文本框中构造SQL代码。 - 可以使用Query Builder(而不是Execute Query文本框)来指定和执行`SELECT`查询。 使用查询生成器执行的选择查询不会显示在“执行查询”中，也不会列出在“显示历史”中。 Execute Query文本框中的SQL代码可以包括: - ？输入参数。如果指定输入参数，例如 `TOP ? or WHERE Age BETWEEN ? AND ?`，`Execute`按钮显示查询窗口的Enter参数值，其中每个输入参数的条目字段按查询中指定的顺序。 - 空白字符。可以指定多个空格，单个和多行返回。标签键已禁用;将代码复制到SQL代码区域时，现有选项卡将转换为单个空格。线返回和未保留多个空格。 - 注释。 SQL代码区域支持单行和多行注释。在Show历史显示中保留并显示注释。在Show Plan语句文本显示或缓存查询中未显示注释。 - 返回多个结果集的查询。 在文本框中编写SQL代码后，可以单击“显示计划”按钮查看SQL代码而不执行SQL代码。如果代码有效，则显示计划显示查询计划。如果代码无效，则显示计划显示SQLCode错误值和消息。还可以使用“显示计划”按钮显示最近执行的SQL代码的此信息。 要执行SQL代码，请单击“执行”按钮。 ### 表拖放 可以通过从屏幕左侧的表列表（或视图列表）拖动表（或视图）来生成查询，并将其丢弃到执行查询文本框中。这在表中生成了选择的选项列表，以及指定表的表中的所有非隐藏字段。然后，可以进一步修改此查询并使用Execute按钮执行它。 还可以从屏幕左侧的过程列表中拖放过程名称。 ## 执行查询选项 SQL执行界面具有以下选项： - 具有`SELECT`的“选择模式下拉列表”指定查询应用于提供数据值（例如，在WHERE子句中）的格式，并在查询结果集中显示数据值。选项是显示模式（默认值），ODBC模式和逻辑模式。 具有插入或更新的选择模式下拉列表允许指定输入数据是否将从显示格式转换为逻辑存储格式。对于此数据转换，必须使用选择运行时的选择模式编译SQL代码。在执行时间时，必须将“选择模式”下拉列表设置为逻辑模式。 选择模式对于数据类型是有意义的，其逻辑存储格式与所需的显示格式（显示或ODBC）不同，例如Intersystems Iris日期和时间和Objectscript`％List`结构化数据。 - 最大字段允许限制从查询返回的数量数量。它可以设置为任何正整数，包括0.一旦设置MAX，除非显式更改，否则将该值用于会话持续时间的所有查询。默认值为1000.最大值为100,000，如果输入没有值（将MAX设置为NULL），则输入大于100,000或非数值的值，这是默认值。还可以使用顶部子句限制要返回的数据行数。 MAX对其他SQL语句没有影响，例如删除。 如果单击“更多”选项，则SQL执行界面将显示以下其他选项： - 方言:SQL代码的方言。包括“IRIS”、“Sybase”和“MSSQL”。默认为IRIS。 在InterSystems Transact-SQL (TSQL)迁移指南中描述了Sybase和MSSQL。 请注意，下次访问管理门户时，选择的方言将成为用户自定义的默认语言。 - 行号:一个复选框，指定是否在结果集中显示的每一行中包含行计数号。 行号是分配给结果集中每一行的连续整数。它只是对返回的行进行编号，它既不对应rowwid也不对应`%VID`。行号列标题名是#。默认是显示行号。 所有这些选项都是用户自定义的。 ## 显示计划按钮 Show Plan按钮在页面的文本框中显示语句文本和查询计划，包括查询的当前查询计划的相对成本(开销)。可以从Execute查询或Show History接口调用Show Plan。查询计划是在准备(编译)查询时生成的; 当编写查询并选择Show Plan按钮时，就会发生这种情况。不必执行查询来显示其查询计划。Show Plan在为无效查询调用时显示`SQLCODE`和错误消息。 ## SQL语句的结果 在“执行查询”文本框中编写SQL代码之后，可以通过单击“执行”按钮来执行代码。这要么成功执行SQL语句并在代码窗口下面显示结果，要么SQL代码失败。如果SQL代码失败，它会在code窗口下面显示一条错误消息(红色); 按下Show Plan按钮将显示`SQLCODE`错误和错误消息。 执行查询SQL代码执行作为后台进程执行。在执行代码时，Execute按钮被Cancel按钮替换。这允许取消长时间运行的查询的执行。 ### 查询数据显示 如果选中了行号框，结果集将作为表返回，行计数器将显示为第一列(`#`)。 其余的列将按照指定的顺序显示。RowID (ID字段)可以显示或隐藏。每个列都由列名(如果指定了，也可以是列别名)标识。聚合、表达式、子查询、主机变量或文字选择项可以由列别名(如果指定)标识，或者由单词`Aggregate_`、`Expression_`、`Subquery_`、`HostVar_`或`Literal_`后跟选择项序列号(默认情况下)标识。 如果行列不包含数据(`NULL`)，结果集将显示一个空白的表格单元格。 指定一个空字符串文本将显示一个`HostVar_`字段，其中包含一个空白的表格单元格。 指定`NULL`显示一个带有空白单元格的`Literal_`字段。 如果选择的字段是日期、时间、时间戳或%List编码的字段，则显示的值取决于显示模式。 以下显示特性是管理门户SQL接口独有的，执行查询结果显示和打开表数据显示: - 数据类型`％Stream.Globalcharacter`的流字段将实际数据（最多100个字符）作为字符串显示。如果流字段中的数据长于100个字符，则显示数据的前100个字符，后跟省略的省略号（`...`）。 - 数据类型`％Stream.GlobalBinary`作为的流字段。 - 字符串数据字段根据需要，以完整的方式显示实际数据。 - Integer字段在结果表单元格中右对齐。 `ROWID`，`NUMERIC`和所有其他字段都是左对齐的。 当使用动态SQL代码，SQL Shell或嵌入式SQL代码执行相同的查询时，不会发生这些结果显示功能。 如果指定的查询返回多个结果集，则执行查询将这些结果集显示为命名选项卡：`Result #1`, `Result #2`等。 ### 查询执行指标 如果成功，则执行查询显示性能信息和缓存查询例程的名称。如果显示数据以显示，则显示在性能信息下方。执行信息包括行计数，性能，缓存查询，显示缓存的查询名称，最后更新指定查询的最后一次执行的时间戳。 - Row count:对于`CREATE TABLE`这样的DDL语句，如果操作成功，则显示`Row count: 0`。 对于`INSERT`、`UPDATE`或`DELETE`等DML语句，显示受影响的行数。 对于`TRUNCATE TABLE`语句，快速`TRUNCATE`操作不能确定实际删除的行数，而是设置行数:-1。 对于`SELECT`，显示作为结果集返回的行数。注意，返回的行数由Max设置控制，它可能低于可以选择的行数。 对于多个结果集，列出每个结果集的行数，用/字符分隔。 指定一个或多个聚合函数(且没有选择字段)的查询总是显示`Row count: 1`，并返回表达式、子查询和聚合函数的结果，即使`FROM`子句表不包含行。 一个不指定聚合函数和不选择行的查询总是显示`Row count: 0`并且不返回结果，即使该查询只指定不引用`FROM`子句表的表达式和子查询。 带`no FROM`子句的查询总是显示`行数:1`，并返回表达式、子查询和聚合函数的结果。 - 性能:以运行时间(以秒为单位)、全局引用总数、执行的命令总数和磁盘读取延迟(以毫秒为单位)来衡量。 如果该查询存在缓存的查询，那么这些性能指标将用于执行缓存的查询。 因此，查询的第一次执行将比后续执行具有更高的性能指标。 如果指定的查询返回多个结果集，那么这些性能指标就是所有查询的总和。 要更深入地分析这些性能指标，可以运行`MONLBL`(逐行监视实用程序)并使用星号通配符`%sqlcq*`指定例程名称。 请参考使用`^%SYS.MONLBL`检查例程性能。 - 缓存查询:自动生成的缓存查询类名。 例如,`%sqlcq.USER.cls2`表示用户名称空间中的第二个缓存查询。 每个新的查询被分配一个新的缓存的查询名称，该名称具有下一个连续的整数。 通过单击此缓存查询名称，以显示关于缓存查询的信息，以及显示其显示计划或执行缓存查询的进一步链接。 关闭管理门户或停止InterSystems IRIS不会删除缓存的查询或重置缓存的查询编号。 要从当前命名空间中清除缓存的查询，请调用%`SYSTEM.SQL.Purge()`方法。 并不是所有的SQL语句都会导致缓存的查询。与现有缓存查询相同的查询，除了文字替换值(例如`TOP`子句值和谓词文字)之外，不会创建新的缓存查询。有些SQL语句是不缓存的，包括DDL语句和权限分配语句。 非查询SQL语句，如`CREATE TABLE`，也会显示缓存的查询名。 然而，这个缓存的查询名称被创建然后立即删除; 下一个SQL语句(查询或非查询)重用相同的缓存查询名称。 - 最后一次更新:最后一次执行查询(或其他SQL操作)的日期和时间。 这个时间戳在每次执行查询时都被重置，即使在重复执行相同的查询时也是如此。 - 成功执行还提供了一个打印链接显示打印查询窗口,它给你选择打印或导出到一个文件中查询文本和/或查询的结果集。点击查询和结果切换使可以显示或隐藏文本或查询结果集的查询,查询结果集显示包含名称空间的名字,结果集的数据行数,一个时间戳,缓存的查询名称。 (注意，时间戳是调用Print查询窗口的时间，而不是执行查询的时间。) “打印查询”按钮用于打印查询窗口的屏幕截图。 “导出到文件”复选框显示指定导出文件格式(`xml、hdml、pdf、txt、csv`)和导出文件路径名的选项。 Export选项忽略查询和结果切换，并始终只导出结果集数据(默认为`:exportQuery.pdf`)和行数(默认为`:exportQueryMessages.pdf`); 不包括查询文本、名称空间、时间戳和缓存的查询名称。 如果不成功，则Execute Query显示错误消息。 可以单击Show Plan按钮来显示相应的`SQLCODE`错误值和消息。 ## 显示历史 单击“显示历史记录”可列出当前会话期间执行的SQL语句。 Show History列出从该接口调用的所有SQL语句，包括那些成功执行和那些执行失败的语句。 默认情况下，SQL语句按执行时间列出，最近执行的语句出现在列表的顶部。可以单击任何列标题，根据列值按升序或降序排列SQL语句。从Show History列表中执行SQL语句将更新其执行时间(本地日期和时间戳)，并增加其计数(执行次数)。 可以过滤Show History列表，如下所示:在过滤框中指定一个字符串，然后按Tab键。只有包含该字符串的历史项才会包含在刷新后的列表中。 筛选器字符串可以是在SQL语句列中找到的字符串(比如表名)，也可以是在执行时间列中找到的字符串(比如日期)。 过滤字符串不区分大小写。 在显式地更改过滤器字符串之前，它将一直有效。 通过选择语句，可以在“Show History”中修改和执行SQL语句，该语句将显示在“execute Query”文本框中。 在“执行查询”中，可以修改SQL代码，然后单击“执行”。 对从Show History中检索到的SQL语句进行任何更改，都会将其作为新语句存储在Show History中; 这包括不影响执行的更改，如更改字母大小写、空格或注释。 空格不会显示在Show History中，但是当从Show History中检索SQL语句时，会保留空格。 通过单击Show History列表中SQL语句右侧的execute按钮，可以直接从Show History列表中执行(重新运行)未修改的SQL语句。 注意，Show History列表与缓存查询列表不同。 Show History列出当前会话中调用的所有SQL语句，包括那些在执行过程中失败的语句。 ## 其他SQL接口 InterSystems IRIS支持许多其他编写和执行SQL代码的方法，在本手册的其他章节中有描述。 这些包括: - 嵌入式SQL:嵌入ObjectScript代码中的SQL代码。 - 动态SQL:使用%SQL。 语句类方法(或其他结果集类方法)用于从ObjectScript代码中执行SQL语句。 - SQL Shell:在终端使用SQL Shell接口执行动态SQL。

什么是npm-iris？ NPM是“No Project Mess（项目不乱）”的缩写。 NPM是使用Intersystems IRIS和Bootstrp 4建成的项目和任务管理应用程序。 NPM的创建初衷是通过一个简单直观的项目和任务管理软件，帮助开发者和小型商业公司降低日常问题的复杂度。 它能提供不同的任务视图，包括电子表格、看板、日历，甚至甘特图！ 为什么？ 在不同的团队中工作，您会发现不同的人喜欢不同的工具。 所以，有时您会在一个项目中使用甘特图，在另一个项目中使用看板，在其他项目中使用纸上的列表…… NPM专注于任务。无论您和您的团队喜欢以哪种方式查看。只需单击并更改您的视图。 功能 初始安装 项目 用户 任务 - 创建和管理任务 调度程序 - 任务的日历视图 看板 - 用看板风格管理您的任务 甘特图 - 使用甘特图查看截止日期、里程碑和进度 新特性/改进的路线图 OAuth2身份验证 项目/团队/用户的安全性 时间跟踪 自定义日历（假期） 支持附件 利用AppS.REST框架 Vue.js版本 Home面板，可以查看活动的概况 试一下这款应用程序！ http://npm-iris.eastus.cloudapp.azure.com:52773/npm/home.csp 如果您喜欢这个应用程序，并认为我值得您的投票，请投票给npm-iris！ https://openexchange.intersystems.com/contest/current

**RHEL V7.2 上的 Caché 进程故障** InterSystems WRC 处理了几个有关进程错误引发的问题，这些问题可以归因于 Red Hat Linux 最近的一次更新。 RHEL V7.2 (systemd-219-19.el7.x86_64) 中实现的一个新功能可能导致操作系统 IPC（进程间通信）信号量在 非系统用户注销时被解除分配（系统用户，即 UID 编号小于 1000 的用户除外）。 Caché 在内部利用 IPC 信号量来控制 Caché 进程的运行（例如，当尝试唤醒 Caché 进程时）。 这通过“semop”系统服务来实现，如果操作系统意外删除了 Caché 用于进行 IPC 通讯的信号量，则进程可能会出现错误。 如果发生这种情况，在 cconsole.log 中会找到以下证据： “System error while trying to wake-up a process, code = 22”（尝试唤醒进程时系统出错，代码 = 22） 以及在 Caché SYSLOG 中也会记录相应的错误，例如以下典型示例： Err   Process    Date/Time           Mod Line  Routine            Namespace 22    39761      09/29/2016 04:41:27PM 61  359   BF0+1359^Ens.Queue.1 HSBUS 这最终可能导致 Caché 的运行实例处于挂起状态。 以下是 Redhat 提供的一篇文章的链接，文中给出了有关此功能的详细信息以及禁用该功能的方法： [https://access.redhat.com/solutions/2062273](https://access.redhat.com/solutions/2062273 "Follow link")   此问题已在 systemd-219-19.el7_2.4（通过 RHBA-2016-0199 发布 (）中修复。

如图 dll放在 我调用的方式如下 期待能够在ensemble里面能便捷的调用dll，各种语言开发的dll，至少能支持c#生成的dll， 在Ensemble 2016中，使用$ZF(-4)来操作DLL是Caché的Callout网关的底层实现之一。这种方式比较通用。当然，如果这些DLL（ActiveX/COM）注册在Ensemble服务器上（Windows服务器），还有别的调用方式：使用Caché Activate 网关，用Studio来产生这些DLL的代理类，然后您就可以像使用Ensemble/Caché类一样使用这些DLL里的方法了。 使用Caché Activate 网关 这个并不好用。服务器重启后 需要重启网关，还很可能需要重新导入dll来生成代理类。因此这样的方式 我已经弃用，或者说 “可能需要重新导入dll来生成代理类” 这个是我操作不对才导致这样的结果？使用$ZF(-4)来操作DLL，这个dll具有一些特殊要求？比如? 如果dll重新编译过，那么是需要重新生成代理类的；其它情况下并不需要。另外，Ensemble 2016里有.net 网关，通过Studio来建立dll代理类。不过它依然需要在dll代码发生变化时重新生成代理类。 这也是后续版本（尤其是InterSystems IRIS）推出动态对象网关的原因：通过动态网关就不用生成代理类了，从而避免因为.net/java端发生代码变更而需要重新生成代理类。$ZF()对DLL没有特殊要求。

Linux内核机制OOM Killer，也即Out of Memory Killer, 顾名思义，该机制的主要职能就是当内存不足时，选择并杀掉一些进程，以使系统继续运行。 Caché/Ensemble/IRIS的多个客户曾经遇到过与此相关的系统宕机，宕机的直接原因是数据库核心写进程Write Daemon被OOM Killer选中并杀掉了，在我们的日志文件中可以看到如下信息， 06/15/21-10:50:31:035 (13579) 3 Daemon WRTDMN (pid 13588) died. Freezing system 06/15/21-10:52:25:940 (13601) 2 System Process 'WRTDMN' terminated abnormally (pid 13588) 与之对应，在操作系统的日志文件中可以看到如下记录， Jun 15 10:50:34 localhost kernel: Free swap = 0kB Jun 15 10:50:34 localhost kernel: Total swap = 20479996kB Jun 15 10:50:34 localhost kernel: 16777102 pages RAM Jun 15 10:50:34 localhost kernel: 0 pages HighMem/MovableOnly Jun 15 10:50:34 localhost kernel: 324506 pages reserved Jun 15 10:50:30 localhost kernel: cache invoked oom-killer: gfp_mask=0x42d0, order=3, oom_score_adj=0 Jun 15 10:50:35 localhost kernel: Out of memory: Kill process 13588 (cache) score 127 or sacrifice child InterSystems在后续的IRIS版本中（从IRIS2021.1.0开始）已经对此做了优化，以使Write Daemon不那么容易被OOM Killer选中。但是要从根本上解决该问题，还是应当重新审视系统的内存分配，如Huge Page，共享内存等，检查Linux内存相关参数，如vm.swappiness，vm.dirty_background_ratio，vm.dirty_ratio等，以使系统可以在内存使用方面达到最大的效用。

亲爱的开发者们， 很高兴同大家分享一个好消息！我们中文社区版主、InterSystems高级销售工程师Louis（@Louis Lu）于近日顺利通过“HL7 FHIR R4 Proficiency Exam”并取得资格认证证书！ HL7 FHIR（R4）能力证书可以证明在最新和最热门的HL7标准方面达到行业公认的专业水平。考试涵盖了以下内容：FHIR原则；FHIR资源的基本概念；交换机制；一致性和实施指导；如何使用术语；如何建立安全和可靠的FHIR解决方案；FHIR维护过程；以及如何使用和处理FHIR许可和知识产权（IP）。 FHIR®（快速医疗互操作性资源）是HL7的下一代标准框架，它建立并结合了HL7第二版（V2）、第三版（V3）和临床文档架构（CDA®）产品线的最佳功能，同时利用了最新的网络标准并注重于实际实施的能力。FHIR适合在各种情况下使用，如手机应用程序、云通信、基于电子健康记录（EHR）的数据共享、大型医疗机构间服务器通信等等。FHIR还可以支持使用一个标准涵盖尽可能多的应用场景，实现医疗信息化真正意义的互操作性，是智慧医院数字化转型，实现组装式应用创新的重要基础。 一起来恭喜Louis（@Louis Lu）吧✿✿ヽ(°▽°)ノ✿✿✿ヽ(°▽°)ノ✿(*^▽^*) 恭喜🎉🎉