Embeddedpy-bridge：嵌入式 Python 工具包

概述

嵌入式 Python改变了 InterSystems IRIS 的游戏规则，可直接在数据库中访问庞大的 Python 生态系统。但是，在 ObjectScript 和 Python 之间架起桥梁有时会让人感觉像是在两个不同的世界之间转换。

为了实现这种无缝过渡，请使用embeddedpy-bridge。

该软件包是一个以开发人员为中心的实用工具包，旨在为嵌入式 Python 提供高级 ObjectScript 封装、熟悉的语法和强大的错误处理功能。它允许开发人员使用他们已经熟悉的本地 IRIS 模式与 Python 数据结构交互。

挑战

虽然 %SYS.Python 库功能强大，但开发人员经常面临一些障碍：

1. 处理代理：使用原始代理浏览 Python 列表和字典对于 ObjectScript 来说并不 "原生"。
2. 迭代：标准 ObjectScript While 循环无法与 Python 迭代器进行本地 "对话"。
3. 命名空间管理：确保 Python 实用程序在整个系统中可用。

解决方案：embeddedpy-bridge

我的目标是创建一个 "桥梁"，让 Python 感觉像是 ObjectScript 中的一等公民。

主要功能

• py 前缀约定：%ZPython.Utils

Interoperability on Python (IoP) 是一个概念验证项目，旨在展示与 Python 优先方式相结合时 InterSystems IRIS Interoperability Framework 的强大功能。IoP 利用Embedded Python（嵌入式 Python，InterSystems IRIS 的一个功能）使开发者能够用 Python 编写互操作性组件，从而可以与强大的 IRIS 平台无缝集成。本指南专为初学者编写，全面介绍了 IoP、其设置以及创建第一个互操作性组件的操作步骤。 阅读完本文，您将能够清楚地了解如何使用 IoP 构建可扩缩、基于 Python 的互操作性解决方案。

InterSystems 宣布 InterSystems IRIS、InterSystems IRIS for Health 和 HealthShare Health Connect 2025.1 正式发布

2025.1 版的 InterSystems IRIS® 数据平台、InterSystems IRIS^® for Health^TM 和 HealthShare^® Health Connect 现已正式发布 (GA)。 这是扩展维护 (EM) 版本。

版本亮点

在这个激动人心的版本中，用户可以期待一些新功能和增强，包括：

1. 高级向量搜索功能
   • 新的基于磁盘的近似最近邻 (ANN) 索引显著提高了向量搜索查询速度，在数百万个向量上产生亚秒级响应。 请访问以下练习，了解更多信息 - 使用 InterSystems SQL 对文本进行向量化和搜索。
2. 增强的商业智能
   • IRIS BI 多维数据集构建和同步中的自动依赖项分析，确保复杂多维数据集依赖项中的一致性和完整性。
3. 改进的 SQL 和数据管理
   • 引入了标准 SQL 分页语法 (LIMIT... OFFSET..., OFFSET... FETCH...)。
   • 新的 LOAD SQL 命令，可以简化 DDL 语句的批量导入。

互操作性用户界面现在包括可以在所有互操作性产品中使用的 DTL 编辑器和生产配置应用程序的现代化用户体验。您可以在现代化视图与标准视图之间切换。所有其他互操作性屏幕仍采用标准用户界面。请注意，仅对这两个应用程序进行了更改，我们在下面确定了当前可用的功能。

要在升级前试用新屏幕，您可以点击这里，从我们的社区工具包网页中下载 2025.1 版：https://evaluation.intersystems.com/Eval/。请观看“学习服务”中的简短教程构建集成：一种新的用户体验，了解对这些屏幕进行的用户增强！

生产配置 - 配置任务简介

• 生产配置：在以下版本的生产配置中受支持：

  • 创建/编辑/复制/删除主机
  • 停止/启动主机
  • 编辑生产设置
  • 停止/启动生产

• 源代码控制集成：支持上述配置功能的源代码控制集成。

• 分屏视图：用户可以直接从“生产配置”屏幕打开“规则编辑器”和“DTL 编辑器”，在分屏视图中查看和编辑产品中包含的规则和转换。

• 增强的筛选功能：使用顶部的搜索框，您可以搜索和筛选各种业务组件，包括多种类别、DTL 和子转换。 使用左侧边栏可以独立于主面板进行搜索，查看各种主机和类别中的搜索结果。

• 批量编辑主机类别：通过从生产配置中添加主机，您可以为生产添加新类别或编辑现有类别。

• 可展开路由器：可以展开路由器，内联查看所有规则、转换和连接。

Hi 大家好
在本文中,我讲介绍我的应用 iris-AgenticAI .

代理式人工智能的兴起标志着人工智能与世界互动方式的变革性飞跃--从静态响应转变为动态、目标驱动的问题解决方式。参看 OpenAI’s Agentic SDK ,  OpenAI Agents SDK使您能够在一个轻量级、易用且抽象程度极低的软件包中构建代理人工智能应用程序。它是我们之前的代理实验 Swarm 的生产就绪升级版。

该应用展示了下一代自主人工智能系统，这些系统能够进行推理、协作，并以类似人类的适应能力执行复杂任务。

应用功能

• Agent Loop 🔄 一个内置循环，可自主管理工具的执行，将结果发回 LLM，并迭代直至任务完成。
• Python-First 🐍 利用本地 Python 语法（装饰器、生成器等）来协调和连锁代理，而无需外部 DSL。
• Handoffs 🤝 通过在专业代理之间委派任务，无缝协调多代理工作流程。
• Function Tools ⚒️ 用 @tool 修饰任何 Python 函数，可立即将其集成到代理的工具包中。
• Vector Search (RAG) 🧠 原生集成向量存储（IRIS），用于 RAG 检索。
• Tracing 🔍 内置跟踪功能，可实时可视化、调试和监控代理工作流（想想 LangSmith 的替代方案）。
• MCP Servers 🌐 通过 stdio 和 HTTP 支持模型上下文协议（MCP），实现跨进程代理通信。
• Chainlit UI 🖥️ 集成 Chainlit 框架，可使用最少的代码构建交互式聊天界面。
• Stateful Memory 🧠 跨会话保存聊天历史、上下文和代理状态，以实现连续性和长期任务。

社区朋友们好，

传统的基于关键词的搜索方式在处理具有细微差别的领域特定查询时往往力不从心。而向量搜索则通过语义理解能力，使AI智能体能够根据上下文（而非仅凭关键词）来检索信息并生成响应。

本文将通过逐步指导，带您创建一个具备代理能力的AI RAG（检索增强生成）应用程序。

实现步骤:

1. 添加文档摄取功能：
   • 自动获取并建立文档索引（例如《InterSystems IRIS 2025.1版本说明》）
   • 实现向量搜索功能
2. 构建向量搜索智能体
3. 移交至主智能体（分流处理）
4. 运行智能体

1. Create Agent Tools 添加文档摄取功能

Implement Document Ingestion: Automated ingestion and indexing of documents 

1.1 - 以下是实现文档摄取工具的代码：

    def ingestDoc(self):
        #Check if document is defined, by selecting from table
        #If not defined then INGEST document, Otherwise back
        embeddings = OpenAIEmbeddings()	
        #Load the document based on the fle type
        loader = TextLoader("/irisdev/app/docs/IRIS2025-1-Release-Notes.txt", encoding='utf-8')      
        
        documents = loader.load()        
        text_splitter = RecursiveCharacterTextSplitter(chunk_size=400, chunk_overlap=0)
        
        texts = text_splitter.split_documents(documents)
                       
        #COLLECTION_NAME = "rag_document"
        db = IRISVector.from_documents(
            embedding=embeddings,
            documents=texts,
            collection_name = self.COLLECTION_NAME,
            connection_string=self.CONNECTION_STRING,
        )

        db = IRISVector.from_documents(embedding=embeddings,documents=texts, collection_name = self.COLLECTION_NAME, connection_string=self.CONNECTION_STRING,)

向量搜索智能体（Vector Search Agent）能够自动完成文档的摄取（ingest）与索引构建（index）， 该新功能在InterSystems IRIS 2025.1的数据资源文件夹里） 至 IRIS 向量存储， 只有当数据尚未存在时，才执行该操作。

运行以下查询以从向量存储中获取所需数据：

SELECT
id, embedding, document, metadata
FROM SQLUser.AgenticAIRAG

1.2 - 实现向量搜索功能

以下代码为智能体提供了搜索能力：

 def ragSearch(self,prompt):
        #Check if collections are defined or ingested done.
        # if not then call ingest method
        embeddings = OpenAIEmbeddings()	
        db2 = IRISVector (
            embedding_function=embeddings,    
            collection_name=self.COLLECTION_NAME,
            connection_string=self.CONNECTION_STRING,
        )
        docs_with_score = db2.similarity_search_with_score(prompt)
        relevant_docs = ["".join(str(doc.page_content)) + " " for doc, _ in docs_with_score]
        
        #Generate Template
        template = f"""
        Prompt: {prompt}
        Relevant Docuemnts: {relevant_docs}
        """
        return template

分流代理处理传入的用户查询，并将其委托给矢量搜索代理，后者执行语义搜索操作，以检索最相关的信息。

HI 各位开发者们，

📅2024年9月23日🕑14:00-15:30🕞，InterSystems将举办线上研讨会，点击🔔此处🔔报名参会。

此次研讨会以“面向未来的数据平台——InterSystems IRIS五大亮点提速数据潜力挖掘与AI应用”为主题，帮助您了解InterSystems IRIS数据平台的五大亮点：

• 使用InterSystems IRIS for Health进行FHIR开发
• 使用Python进行互操作Production开发
• InterSystems IRIS列存储
• InterSystems IRIS外部表(Foreign Table)
• InterSystems IRIS向量和基于向量检索的患者相似度匹配

随着 IRIS 中向量数据类型和向量搜索功能的引入，应用程序的开发正在开启一个充满各种可能性的全新世界，其中一个应用程序示例是我最近在巴伦西亚卫生局的一次公开竞赛中看到的应用程序，他们要求提供一种工具，能够使用 AI 模型协助进行 ICD-10 编码。

我们如何实现与所要求的应用程序类似的应用程序？ 我们来看看需要什么：

1. ICD-10 代码列表，我们将使用它作为 RAG 应用程序的上下文，在纯文本中搜索诊断结果。
2. 经过训练的模型，它会将文本向量化，我们将在其中查找 ICD-10 代码中的对应项。
3. Python 库，用于对 ICD-10 代码和文本进行摄取和向量化。
4. 一个支持文本的友好前端，我们会在其中查找可能的诊断结果。
5. 从前端接收的请求的编排。

IRIS 为我们提供哪些功能来满足上述需求？

1. CSV 导入，可以使用 RecordMapper 功能，也可以直接使用嵌入式 Python。
2. 嵌入式 Python 使我们能够实现使用所选模型生成向量所需的 Python 代码。
3. 发布将从前端应用程序调用的 REST API。
4. 互操作性生产，以允许在 IRIS 中跟踪信息。

我们只需要看看开发的示例：

d[IA]gnosis

在本文中，您可以访问开发的应用程序，在后续文章中，我们将详细了解如何实现每个功能，包括模型的使用、向量的存储和向量搜索的使用。

嗨，开发者，

我们很高兴邀请大家参加新的以 Python 为主题的 InterSystems 在线编程竞赛！

🏆 InterSystems 2024 Python 编程大赛 🏆

时间: 2024年7月15日-8月4日（美国东部时间）

奖金池: 14,000美元

这是在 IRIS 中完全运行向量搜索演示的尝试。
没有外部工具，您需要的只是终端/控制台和管理门户。
特别感谢Alvin Ryanputra作为他的软件包iris-vector-search的基础
灵感和测试数据的来源。
我的软件包基于 IRIS 2024.1 版本，需要注意您的处理器功能。

我尝试用纯 ObjectScript 编写演示。
仅描述向量的计算是在嵌入式Python中完成的
计算 2247 个记录的 384 维向量需要时间。
在我的 Docker 容器中，它正在运行 01:53:14 来完全生成它们。

然后被警告了！
所以我将这一步调整为可重入，以允许暂停向量计算。
每 50 条记录，您就会收到一次停止的提议。
该演示如下所示：

用户>做^A.DemoV

 测试向量搜索
=============================
1 - 初始化表
2 - 生成数据
3 - VECTOR_余弦
4 - VECTOR_DOT_产品
5 - 制作苏格兰威士忌
6 - 加载 Scotch.csv
7 - 生成向量
8 - 向量搜索
选择功能或 * 退出：8

 默认搜索：
让我们来看看前三名价格低于 100 美元的苏格兰威士忌，具有泥土和奶油的香气，
更改价格限制[100]：50
更改短语[泥土和奶油味]：泥土味 

计算搜索向量
  
总计低于 50 美元：222 

ID 价格 名称
1990 年 40 瓶 Wemyss 复古麦芽威士忌“泥炭烟囱”，8 年陈酿，40%
1785 39 著名的禧年，40%
1868 40 托马汀，15 岁，43%
2038 45 格伦·格兰特，10 岁，43%
1733 29 斯凯岛，8 岁，43% 5 行受影响

大型语言模型（例如 OpenAI 的 GPT-4）的发明和普及掀起了一波创新解决方案浪潮，这些解决方案可以利用大量非结构化数据，在此之前，人工处理这些数据是不切实际的，甚至是不可能的。此类应用程序可能包括数据检索（请参阅 Don Woodlock 的 ML301 课程，了解检索增强生成的精彩介绍）、情感分析，甚至完全自主的 AI 代理等！

在本文中，我想演示如何使用 IRIS 的嵌入式 Python 功能直接与 Python OpenAI 库交互，方法是构建一个简单的数据标记应用程序，该应用程序将自动为我们插入IRIS 表中的记录分配关键字。然后，这些关键字可用于搜索和分类数据，以及用于数据分析目的。我将使用客户对产品的评论作为示例用例。

先决条件

• 运行的IRIS实例
• OpenAI API 密钥（您可以在此处创建）
• 配置好的开发环境（本文将使用VS Code ）

Review类

让我们首先创建一个 ObjectScript 类，该类将定义客户评论的数据模型。为了简单起见，我们将只定义 4 个 %String 字段：客户姓名、产品名称、评论正文以及我们将生成的关键字。该类应该扩展%Persistent，以便我们可以将其对象保存到磁盘。

 ClassExtends%Persistent

如今，关于大语言模型、人工智能等的消息不绝于耳。向量数据库是其中的一部分，并且已经有非IRIS的技术实现了向量数据库。

为什么是向量？

• 相似性搜索：向量可以进行高效的相似性搜索，例如在数据集中查找最相似的项目或文档。传统的关系数据库是为精确匹配搜索而设计的，不适合图像或文本相似性搜索等任务。
• 灵活性：向量表示形式用途广泛，可以从各种数据类型派生，例如文本（通过 Word2Vec、BERT 等嵌入）、图像（通过深度学习模型）等。
• 跨模态搜索：向量可以跨不同数据模态进行搜索。例如，给定图像的向量表示，人们可以在多模式数据库中搜索相似的图像或相关文本。

还有许多其他原因。

因此，对于这次 pyhon 竞赛，我决定尝试实现这种支持。不幸的是我没能及时完成它，下面我将解释原因。

嗨，开发者，

我们很高兴邀请大家参加新的以 Python 为主题的 InterSystems 在线编程竞赛！

🏆 InterSystems Python 编程大赛🏆

时间： 2023年9月4日至24日（美国东部时间）

奖金池： 14,000 美元

#Embedded Python #HL7 #InterSystems IRIS for Health

写在回复社区帖子《Python能否动态创建HL7消息》中。

前提条件和设置

使用一个启用了集成的命名空间。
注意：USER命名空间默认不启用互操作性。
如果以下建议创建一个新的互操作性命名空间来探索功能。

# 切换到
ZN "[互操作性名称空间名称]"

# 启动交互式Python shell：
Do $SYSTEM.Python.Shell()

启动脚本

#Load dependencies

import datetime as dt
import uuid

# Cache current time in CCYYMMDDHHMMss format
hl7_datetime_now=dt.datetime.now().strftime('%Y%m%d%H%M%S')

# Create HL7 Message
hl7=iris.cls("EnsLib.HL7.Message")._New()

# Set the doc type
# 2.5.1:ORU_R01 - Unsolicited transmission of an observation message
hl7.PokeDocType("2.5.1:ORU_R01")

你好社区
在本文中，我将介绍我的应用程序irisChatGPT ，它是基于LangChain Framework构建的。
首先，让我们对框架进行一个简单的概述。

全世界都在谈论ChatGPT以及大型语言模型 (LLM) 如何变得如此强大，并且表现超出预期，提供类似人类的对话。这只是将其应用于每个企业和每个领域的开始！

大家好！

InterSystems Grand Prix 2023 结合了 InterSystems IRIS 数据平台的所有主要功能！

因此，我们邀请您使用以下功能并收集额外的技术奖励，以帮助您赢得奖品！

如下：

• LLM AI 或 LangChain 用法：Chat GPT、Bard 等 - 6
• InterSystems FHIR SQL Builder- 5
• InterSystems FHIR-3
• IntegratedML - 4
• Native API - 3
• 嵌入式 Python - 4
• 互操作性 - 3
• 生产扩展（PEX）- 2
• 自适应分析 (AtScale) Cube的使用 - 3
• Tableau、PowerBI、Logi 的使用 - 3
• InterSystems IRIS BI - 3
• 列索引使用 - 1
• Docker 容器使用 - 2
• ZPM 包部署 - 2
• 在线演示 - 2
• 单元测试 - 2
• 实施 InterSystems Community Idea中的创意 - 4
• 在开发者社区发布的第一篇文章 - 2
• 在开发者社区发布的第二篇文章 - 1
• 代码质量通过 - 1
• 第一次贡献 - 3
• YouTube 上的视频 - 3