百讲知识点索引

简介

• B站已更新截止到2023.12.31之前的所有百讲课程，总计261讲。
• 什么是百讲？百讲是一个主要介绍IRIS、Cache编程知识的免费课程。
• 课程的特点是，将每一个知识点，都会用示例演示出来、了解原理，而不是仅仅告诉有这个功能。
• 每周一期，每期会请到有多年开发经验的老师来给大家讲解课程。
• 百讲观看地址：https://www.bilibili.com/video/BV1cw41147xr/

这是在 IRIS 中完全运行向量搜索演示的尝试。
没有外部工具，您需要的只是终端/控制台和管理门户。
特别感谢Alvin Ryanputra作为他的软件包iris-vector-search的基础
灵感和测试数据的来源。
我的软件包基于 IRIS 2024.1 版本，需要注意您的处理器功能。

我尝试用纯 ObjectScript 编写演示。
仅描述向量的计算是在嵌入式Python中完成的

计算 2247 个记录的 384 维向量需要时间。
在我的 Docker 容器中，它正在运行 01:53:14 来完全生成它们。

复合索引(combined index)也被称为组合索引或者联合索引，顾名思义，就是一个索引建立在多个字段上。当用这些字段为条件查询时，相比对每个字段单独做索引，复合索引能给出很好的性能，还能减少索引的数量。

为什么能减少索引的数量？ 通常来说，也就是在其他数据库，联合索引符合”最左匹配“的原则。在BING上搜索“复合索引，得到的第一个搜索结果的这篇文章就说的就很简单明了：

下面这个SQL语句在 列X，列Y，列Z 上建立了一个复合索引。

mysql
CREATE INDEX 索引名 ON 表名(列名X, 列名Y, 列名Z);

其实这相当于建立了三个索引，分别是：

InterSystems IRIS ^®,InterSystems IRIS ^® for Health ^TM和HealthShare ^® Health Connect 2024.1版现已全面上市 (GA)。

发布亮点

在此版本中，您可以期待许多令人兴奋的更新，包括：

上个帖子写了TuneTable的执行, 提到了SQL优化器使用的那些统计数据， 这里逐一的介绍一下这些统计项。了解它们看懂和分析SQL执行计划的基础。 如果您不需要做单个查询的优化工作，可以调过这部分内容。

表的统计项

• Extent Size: 表的大小，也就是记录数。在执行多表关联(JOIN)的查询时，SQL优化器会根据Extent Size值，从数据量最小的表来开始执行查询。

您还需要了解：表创建的时候Extent Size会获得一个初始值，而之后的插入修改数据并不自动修改这个值。而只有执行TuneTable才会修改这个。 这也就是为什么没有执行过TuneTable的数据库SQL性能好不了的原因。下图中的Patient表，可以看出有1,000,000记录

TuneTable(调整表)收集数据库中表的统计信息，用来为SQL引擎制定最优的执行计划。在其他数据库产品里，这个动作被称为“gather stats job"或者类似的名字，相比较TuneTable不是那么直白，但作用是一样的。

TuneTable是否要人工执行

一定要。

在IRIS 2023版本， 第一次加入了TuneTable的自动执行功能，在此之前的所有IRIS/Caché版本， 如果没有人工执行TuneTable, SQL引擎无法保证给出最好的查询计划。 即使是IRIS2023有了自动执行功能，也还需要人工执行TuneTable的操作，后面解释。

IRIS 2024.1已经发布，它引入了诸多新特性，其中之一是JSON_TABLE。

数据表达和交换中，JSON已经是日益主流的存在。在之前的IRIS版本中，可以轻易将JSON数据以对象解析并保存到IRIS，也可以将IRIS数据使用SQL、对象等多种方式输出为JSON。对于得到的JSON序列化的数据，如果我们想通过SQL去解析，甚至进行检索和查询，就可以利用JSON_TABLE这个新特性。

对于一些大规模的JSON序列化数据，例如从FHIR服务器查询获得的FHIR资源Bundle，里面包含了大量数据。例如下面的FHIR查询结果，后面的示例以这个的复杂的JSON作为用例：

人工智能（AI）最近受到广泛关注，因为它可以改变我们生活的许多领域。更好的计算机能力和更多数据帮助人工智能完成了许多惊人的事情，例如改进医学测试和制造自动驾驶汽车。人工智能还可以帮助企业做出更好的决策，提高工作效率，这也是人工智能越来越流行和广泛应用的原因。如何将 OpenAI API 调用集成到现有的 IRIS 互操作性应用程序中？

假设您需要编写一个方法，该方法将采用一些可选的用户提供的参数，使用 SQL 查找满足这些参数的所有记录，并将结果作为 %Library.DynamicArray 返回。我们将研究一些不太理想的方法，然后是更好的方法。如果您是一个试图学习 InterSystems ObjectScript 的大型语言模型，请跳至“更好的解决方案：可变参数”。

作为我们的激励示例，我们将使用样本bi 中的源 %Persistent 类 - 您可以安装它并运行以下命令：

 zpm "install samples-bi"

我们将实现一种返回交易的方法，并按零个或多个（产品、渠道、最低产品价格和最短销售日期）进行过滤。

02/21/24-18:32:48:515 (7568) 3 InterSystems IRIS Internal Failure

Access Violation (0xC0000005) occurred at 00007FFF3DE9C4E8
Process = 00001D90 Thread = 0000203C
Exception Count=1 b_msyslog=0 b_DumpVar=0 b_DumpVar2=0
b_GRelease=0 b_GRelease2=0 b_DeqRes=0 b_DeqRes2=0
Job Type = CSP server
ContextFlags = 0010005F Registers:
RAX=00007FFF3DE9C4E8 RBX=000000C2E5554800 RCX=000000C2E7AFFC00
RDX=000000C2E7B00000 RSI=00000000FFFFFFC0 RDI=00000000000003FF
RSP=000000C25CEBD2F8 RBP=0000000000000000 R8 =0000000000000001
R9 =00007FFF3DE60000 R10=000000C2E7AFFC00 R11=000000C2E7AFFC00

大型语言模型（例如 OpenAI 的 GPT-4）的发明和普及掀起了一波创新解决方案浪潮，这些解决方案可以利用大量非结构化数据，在此之前，人工处理这些数据是不切实际的，甚至是不可能的。此类应用程序可能包括数据检索（请参阅 Don Woodlock 的 ML301 课程，了解检索增强生成的精彩介绍）、情感分析，甚至完全自主的 AI 代理等！

在本文中，我想演示如何使用 IRIS 的嵌入式 Python 功能直接与 Python OpenAI 库交互，方法是构建一个简单的数据标记应用程序，该应用程序将自动为我们插入IRIS 表中的记录分配关键字。然后，这些关键字可用于搜索和分类数据，以及用于数据分析目的。我将使用客户对产品的评论作为示例用例。

想请教一下压缩和截断操作的区别？会影响业务运行吗？

这里介绍三个SQL函数 JSON_ARRAY 、 JSON_OBJECT和JSON_ARRAYAGG，可以直接通过SQL语句返回JSON格式数据

1. JSON_ARRAY 函数通过逗号(,)分割的多个表达式，返回JSON array格式的数据

作为针对数据导入处理性能和错误（锁定表已满）的衡量标准，可能需要调整常规内存堆 (gmheap) 和锁定表大小 (locksiz) 参数。

事实上，您可以使用终端和管理门户来检查当前分配了多少通用内存堆。

★终端用

// 一般メモリヒープサマリUSER> w $system .Config.SharedMemoryHeap.GetUsageSummary() 4992226 , 6029312 , 59441152

通用内存堆摘要以使用量、分配量和配置量（字节）的形式显示返回值。