清除过滤器
文章
姚 鑫 · 八月 14, 2021
# 第101章 属性关键字 - InitialExpression
指定此属性的初始值。
# 用法
要指定此属性的初始值,请使用以下语法:
```java
Property name As classname [ InitialExpression = initialexpression ];
```
其中,`initialexpression`是用大括号括起来的常量或ObjectScript表达式。
# 详解
此关键字指定属性的初始值。该值是在创建新实例时由类的`%New()`方法分配的。(如果属性是瞬态的的,则其初始值由创建实例时`%New()`调用的代码或实例从磁盘加载到内存时`%OpenId()`调用的代码确定。)
初始表达式的值必须适合给定的属性类型。
表达式可以是任意复杂的,有以下限制:
- 初始表达式不能引用其他属性。也就是说,诸如{`..therPropertyname`}这样的表达式无效。
- 初始表达式不能实例化对象,也不能包括对象引用。
- 初始表达式不能调用实例方法(只能调用类方法)。
- 必须在ObjectScript中指定初始表达式。
- 表达式执行的代码不应报告错误。InterSystems IRIS不提供处理表达式返回的错误的方法。
- 如果表达式执行的代码导致发生其他处理,则InterSystems IRIS不提供处理该处理结果的方法。
子类继承`InitialExpression`关键字的值并可以重写它。
# 默认
`InitialExpression`关键字的默认值为`NULL`。
# 示例
下面显示了几个使用ObjectScript表达式的示例:
```java
Property DateTime As %Date [ InitialExpression = {$zdateh("1966-10-28",3)} ];
Property MyString As %String [ InitialExpression = {$char(0)} ];
/// 此参数使用参数值进行初始化
Property MyProp As %String [ InitialExpression = {..#MYPARM} ];
/// 这是由一个类方法初始化的
Property MyProp2 As %Numeric [ InitialExpression = {..Initialize()} ];
```
# 第102章 属性关键字 - Internal
指定此属性定义是否为内部定义(不显示在类文档中)。
# 用法
要指定此属性为内部属性,请使用以下语法:
```java
Property propertyname As classname [ Internal ];
```
否则,请省略此关键字或将该词放在该关键字之前。
# 详解
类文档中不显示内部类成员。如果希望用户看到某个类,但不能看到其所有成员,则此关键字非常有用。
# 默认
如果省略此关键字,则此属性将显示在类文档中。
# 第103章 属性关键字 - Inverse
指定此关系的反面。关系属性需要。不用于其他属性。
# 用法
要在相关类中指定与该关系属性相反的关系属性,请使用以下语法:
```java
Relationship Chapters As Chapter [ Cardinality = cardinality; Inverse = inverse ];
```
其中,`Inverse`是相关类中属性的名称。
# 详解
此关键字指定关系的反向方的名称,即相关类中对应关系属性的名称。反向属性必须存在于相关类中,并且具有正确的基数值。
关系属性需要`Inverse`关键字。非关系属性会忽略它。
# 默认
没有默认值。定义关系时,必须指定逆序关键字。
# 示例
```java
Relationship Chapters As Chapter [ Cardinality = many; inverse = Book ];
```
# 第104章 属性关键字 - MultiDimensional
指定此属性具有多维数组的特征。
# 用法
要指定此属性具有多维数组的特征,请使用以下语法:
```java
Property Data [ Multidimensional ];
```
否则,省略此关键字或将单词Not放在关键字的前面。
# 详解
多维属性不同于其他属性,如下所示:
- IRIS不为其提供属性方法。
- 当对象被验证或保存时,它被忽略。
- 它不会保存到磁盘,除非应用程序包含专门保存它的代码。也就是说,属性也是自动瞬态的。
- 它不能暴露给Java或其他客户端。
- 它不能存储在或通过SQL表公开。
多维属性很少见,但它提供了一种有用的方法来临时包含关于对象状态的信息。
# 默认
如果省略此关键字,则属性不是多维的。
文章
Michael Lei · 二月 9, 2023
嗨,大家好
在本文中,我列出了 5 个有用的 SQL 函数,并附有解释和查询示例👇🏻这5个功能是
COALESCE合并
RANK排序
DENSE_RANK密集排序
ROW_NUMBER行号
SUM()获取运行总计的函数
那么让我们从 COALESCE 函数开始
#合并
COALESCE 函数按从左到右的顺序计算表达式列表,并返回第一个非 NULL 表达式的值。如果所有表达式的计算结果为 NULL,则返回 NULL。
以下语句将首先返回非空值,即“intersystems”
SELECT COALESCE ( NULL , NULL , NULL , 'intersystems' , NULL , 'sql' )
让我们创建下表以获取更多示例
CREATE TABLE EXPENSES( TDATE DATE NOT NULL , EXPENSE1 NUMBER NULL , EXPENSE2 NUMBER NULL , EXPENSE3 NUMBER NULL , TTYPE CHAR ( 30 ) NULL )
现在让我们插入一些虚拟数据来测试我们的功能
INSERT INTO sqluser.expenses (tdate, expense1,expense2,expense3,ttype ) SELECT {d '2023-01-01' }, 500 , 400 , NULL , 'Present' UNION ALL SELECT {d '2023-01-01' }, NULL , 50 , 30 , 'SuperMarket' UNION ALL SELECT {d '2023-01-01' }, NULL , NULL , 30 , 'Clothes' UNION ALL SELECT {d '2023-01-02' }, NULL , 50 , 30 , 'Present' UNION ALL SELECT {d '2023-01-02' }, 300 , 500 , NULL , 'SuperMarket' UNION ALL SELECT {d '2023-01-02' }, NULL , 400 , NULL , 'Clothes' UNION ALL SELECT {d '2023-01-03' }, NULL , NULL , 350 , 'Present' UNION ALL SELECT {d '2023-01-03' }, 500 , NULL , NULL , 'SuperMarket' UNION ALL SELECT {d '2023-01-04' }, 200 , 100 , NULL , 'Clothes' UNION ALL SELECT {d '2023-01-06' }, NULL , NULL , 100 , 'SuperMarket' UNION ALL SELECT {d '2023-01-06' }, NULL , 100 , NULL , 'Clothes'
选择数据
现在通过使用 COALESCE 函数,我们将首先从 expense1、expense2 和 expense 3 列中检索非 NULL 值
SELECT TDATE, COALESCE (EXPENSE1,EXPENSE2,EXPENSE3), TTYPE FROM sqluser.expenses ORDER BY 2
#RANK vs DENSE_RANK vs ROW_NUMBER 函数
RANK() — 为同一窗口框架内的每一行分配一个排序整数,从 1 开始。如果多行包含相同的窗口函数字段值,则排序整数可以包含重复值。
ROW_NUMBER() — 为同一窗口框架内的每一行分配一个唯一的顺序整数,从 1 开始。如果多行包含相同的窗口函数字段值,则每一行都分配一个唯一的顺序整数。
DENSE_RANK() 离开 重复排名后没有间隙。
在 SQL 中,您可以通过多种方式为行分配排名,我们将通过示例深入探讨。再次考虑与之前相同的示例,但现在我们想知道最高费用是多少。
我们想知道我在哪里花的钱最多。有不同的方法可以做到这一点。我们可以使用所有 ROW_NUMBER() , RANK() 和 DENSE_RANK() 三个函数 。我们将使用所有三个函数对上一个表进行排序,并使用以下查询查看它们之间的主要区别是什么:
下面是我们的查询:
这三个功能之间的主要区别在于它们处理相同值的方式。我们将进一步深入探讨它们的差异:
RANK()----从 1 开始为每一行返回一个唯一的数字。当数值相等时,如果没有定义第二个条件,它会任意分配一个数字。
ROW_NUMBER() -----从1开始为每一行返回一个唯一的数字,除非数值相同,否则它将分配相同的数字。同样,重复的排名后会有空格。
DENSE_RANK()----- 重复排名后不留空格。
#计算运行总计
运行总计可能是最有用的窗口函数之一,尤其是当您想要可视化增长时。使用SUM()的窗口函数,我们可以计算累积聚合。
为此,我们只需要使用聚合器SUM()对变量求和,但使用 TDATE 列对该函数进行排序。
您可以观察到相应的查询如下:
正如您在上表中看到的那样,现在我们有了随着日期过去所花金额的累计汇总。
结论
SQL 很棒。上面使用的函数在处理数据分析、数据科学和任何其他与数据相关的领域时可能很有用。
这就是为什么我们应该注意不断提高 SQL 技能的原因。
谢谢
文章
Lilian Huang · 四月 10
社区朋友们好,
传统的基于关键词的搜索方式在处理具有细微差别的领域特定查询时往往力不从心。而向量搜索则通过语义理解能力,使AI智能体能够根据上下文(而非仅凭关键词)来检索信息并生成响应。
本文将通过逐步指导,带您创建一个具备代理能力的AI RAG(检索增强生成)应用程序。
实现步骤:
添加文档摄取功能:
自动获取并建立文档索引(例如《InterSystems IRIS 2025.1版本说明》)
实现向量搜索功能
构建向量搜索智能体
移交至主智能体(分流处理)
运行智能体
1. Create Agent Tools 添加文档摄取功能
Implement Document Ingestion: Automated ingestion and indexing of documents
1.1 - 以下是实现文档摄取工具的代码:
def ingestDoc(self):
#Check if document is defined, by selecting from table
#If not defined then INGEST document, Otherwise back
embeddings = OpenAIEmbeddings()
#Load the document based on the fle type
loader = TextLoader("/irisdev/app/docs/IRIS2025-1-Release-Notes.txt", encoding='utf-8')
documents = loader.load()
text_splitter = RecursiveCharacterTextSplitter(chunk_size=400, chunk_overlap=0)
texts = text_splitter.split_documents(documents)
#COLLECTION_NAME = "rag_document"
db = IRISVector.from_documents(
embedding=embeddings,
documents=texts,
collection_name = self.COLLECTION_NAME,
connection_string=self.CONNECTION_STRING,
)
db = IRISVector.from_documents(embedding=embeddings,documents=texts, collection_name = self.COLLECTION_NAME, connection_string=self.CONNECTION_STRING,)
向量搜索智能体(Vector Search Agent)能够自动完成文档的摄取(ingest)与索引构建(index), 该新功能在InterSystems IRIS 2025.1的数据资源文件夹里) 至 IRIS 向量存储, 只有当数据尚未存在时,才执行该操作。
运行以下查询以从向量存储中获取所需数据:
SELECT
id, embedding, document, metadata
FROM SQLUser.AgenticAIRAG
1.2 - 实现向量搜索功能
以下代码为智能体提供了搜索能力:
def ragSearch(self,prompt):
#Check if collections are defined or ingested done.
# if not then call ingest method
embeddings = OpenAIEmbeddings()
db2 = IRISVector (
embedding_function=embeddings,
collection_name=self.COLLECTION_NAME,
connection_string=self.CONNECTION_STRING,
)
docs_with_score = db2.similarity_search_with_score(prompt)
relevant_docs = ["".join(str(doc.page_content)) + " " for doc, _ in docs_with_score]
#Generate Template
template = f"""
Prompt: {prompt}
Relevant Docuemnts: {relevant_docs}
"""
return template
分流代理处理传入的用户查询,并将其委托给矢量搜索代理,后者执行语义搜索操作,以检索最相关的信息。
2 - 创建矢量存储代理
以下代码实现了 矢量存储代理vector_search_agent :
为智能体协同自定义交接描述规范 handoff_descriptions
明确的操作说明instructions
IRIS向量检索工具iris_RAG_search (使用irisRAG.py 用于文件输入和矢量搜索操作
@function_tool
@cl.step(name = "Vector Search Agent (RAG)", type="tool", show_input = False)
async def iris_RAG_search():
"""Provide IRIS Release Notes details,IRIS 2025.1 Release Notes, IRIS Latest Release Notes, Release Notes"""
if not ragOprRef.check_VS_Table():
#Ingest the document first
msg = cl.user_session.get("ragclmsg")
msg.content = "Ingesting Vector Data..."
await msg.update()
ragOprRef.ingestDoc()
if ragOprRef.check_VS_Table():
msg = cl.user_session.get("ragclmsg")
msg.content = "Searching Vector Data..."
await msg.update()
return ragOprRef.ragSearch(cl.user_session.get("ragmsg"))
else:
return "Error while getting RAG data"
vector_search_agent = Agent(
name="RAGAgent",
handoff_description="Specialist agent for Release Notes",
instructions="You provide assistance with Release Notes. Explain important events and context clearly.",
tools=[iris_RAG_search]
)
3 - 移交分流 (主要代理)
以下代码实现了将处理过的查询路由到分流代理(主协调器)的切换协议:
triage_agent = Agent(
name="Triage agent",
instructions=(
"Handoff to appropriate agent based on user query."
"if they ask about Release Notes, handoff to the vector_search_agent."
"If they ask about production, handoff to the production agent."
"If they ask about dashboard, handoff to the dashboard agent."
"If they ask about process, handoff to the processes agent."
"use the WebSearchAgent tool to find information related to the user's query and do not use this agent is query is about Release Notes."
"If they ask about order, handoff to the order_agent."
),
handoffs=[vector_search_agent,production_agent,dashboard_agent,processes_agent,order_agent,web_search_agent]
)
4 - 运行代理
以下代码:
接受用户输入
唤醒试运行代理triage_agent
将查询路由到矢量搜索处理Vector_Search_Agent 进行处理
@cl.on_message
async def main(message: cl.Message):
"""Process incoming messages and generate responses."""
# Send a thinking message
msg = cl.Message(content="Thinking...")
await msg.send()
agent: Agent = cast(Agent, cl.user_session.get("agent"))
config: RunConfig = cast(RunConfig, cl.user_session.get("config"))
# Retrieve the chat history from the session.
history = cl.user_session.get("chat_history") or []
# Append the user's message to the history.
history.append({"role": "user", "content": message.content})
# Used by RAG agent
cl.user_session.set("ragmsg", message.content)
cl.user_session.set("ragclmsg", msg)
try:
print("\n[CALLING_AGENT_WITH_CONTEXT]\n", history, "\n")
result = Runner.run_sync(agent, history, run_config=config)
response_content = result.final_output
# Update the thinking message with the actual response
msg.content = response_content
await msg.update()
# Append the assistant's response to the history.
history.append({"role": "developer", "content": response_content})
# NOTE: Here we are appending the response to the history as a developer message.
# This is a BUG in the agents library.
# The expected behavior is to append the response to the history as an assistant message.
# Update the session with the new history.
cl.user_session.set("chat_history", history)
# Optional: Log the interaction
print(f"User: {message.content}")
print(f"Assistant: {response_content}")
except Exception as e:
msg.content = f"Error: {str(e)}"
await msg.update()
print(f"Error: {str(e)}")
在行动中观看:
更多细节,请访问 iris-AgenticAI open exchange 页面。谢谢
文章
姚 鑫 · 六月 6, 2021
# Caché 网络实用工具
# [第一章 发送HTTP请求☆☆☆☆☆](https://yaoxin.blog.csdn.net/article/details/117108190)
# [第二章 设置和获取HTTP标头☆☆☆☆☆](https://yaoxin.blog.csdn.net/article/details/117148255)
# [第三章 发送HTTP请求☆☆☆☆☆](https://yaoxin.blog.csdn.net/article/details/117195938)
# [第四章 收发电子邮件☆](https://yaoxin.blog.csdn.net/article/details/117214514)
# [第五章 向邮件添加附件☆](https://yaoxin.blog.csdn.net/article/details/117248548)
# [第六章 从POP3服务器提取电子邮件☆](https://yaoxin.blog.csdn.net/article/details/117278414)
# [第七章 从POP3服务器提取电子邮件☆](https://yaoxin.blog.csdn.net/article/details/117320147)
# [第八章 处理收到的电子邮件☆](https://yaoxin.blog.csdn.net/article/details/117350781)
# [第九章 创建、编写和阅读MIME邮件☆](https://yaoxin.blog.csdn.net/article/details/117378600)
# [第十章 使用FTP☆☆☆☆☆](https://yaoxin.blog.csdn.net/article/details/117394438)
# [第十一章 发送和接收IBM WebSphere MQ消息☆](https://yaoxin.blog.csdn.net/article/details/117409322)
# [第十二章 IBM WebSphere MQ检索邮件☆](https://yaoxin.blog.csdn.net/article/details/117435132)
# [第十三章 使用SSH☆](https://yaoxin.blog.csdn.net/article/details/117459391)
# [第十四章 其他InterSystems %Net工具☆☆☆](https://yaoxin.blog.csdn.net/article/details/117508484)
# [第十五章 Caché WebSocket☆☆☆](https://yaoxin.blog.csdn.net/article/details/117548341)
# 前言
手册帮助程序员使用%Net包中的一些关键类,这些类为许多有用的Internet协议提供了易于使用的接口。因为这个包的类文档相当广泛,所以本手册提供了一个快速、有条理的概述,而不是深入研究每个参数、属性和方法。熟悉本手册中提到的协议和第三方工具。
# 预告
下一期系列将用一个月的时间连载,**《Caché XML》**,敬请期待。
# 交流群
- QQ群号:410039091
- 笔者QQ:454115408
- 公众号:技术理科直男
- [intersys版主:姚鑫](https://cn.community.intersystems.com/user/236891/posts)
![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-f9VqwzNP-1608850948003)(3E1D939266954ED48BDAEA9B8086B11E)\]](https://img-blog.csdnimg.cn/20201225070433434.png)
# 大型免费课程,进群410039091获取课程目录
- 适合所有阶段程序员,总有一款你遗漏的知识点!

公告
jieliang liu · 三月 3, 2022
欢迎来到2月22日的社区新闻发布!
我们很高兴为InterSystems的开发者介绍我们全新的社区活动日历:
🎯 https://community.intersystems.com/events
在这个日历中,你将看到特区活动的历史。了解现在或即将发生的活动,查看过去的活动,并观看社区的网络研讨会和聚会的录音。
让我们仔细看看如何使用它。
要进入DC日历,请点击 "活动 "顶部菜单,进入 "活动日历 “部分:
在这个日历中,你会发现现有的和过去的活动,这些活动可以被分为不同的类别:
所有活动
网络研讨会
开发者聚会
比赛
通过点击 "预览模式 "中的事件,你将看到它的公告:
随意使用 "列表模式",它显示事件预告,并有一个选项可以将任何可用的事件添加到你的日历中:
你也可以在右边的小日历中选择任何日期,了解当天有什么活动安排或发生:
此外,你可以通过点击 "新事件 "按钮创建你自己的事件。你将被自动转到事件创建页面。
❗️ 将 "Event"标签添加到帖子中,将打开用于创建活动的特殊字段。
当你在字段中填写了活动名称、注册链接和时间后,你的活动将自动在主页面的 "活动 "块中突出显示。
此外,在你的活动公告中,你会看到:– 带有注册链接的特殊块– 用于快速添加事件到你的日历的按钮
欢迎添加更多关于你的活动的细节,添加简短的描述/直接链接加入/位置。
希望你喜欢我们的更新!
您可以将改进要求和错误报告提交到 DC GitHub. 或者在本帖的评论中发表你的建议。
请继续关注我们的新消息!
文章
Vivi Zhu · 五月 29, 2022
北京协和医院现公开招聘信息类技术岗位。有关事项公告如下:岗位1:运维工程师任职要求:1.年龄30岁以下,本科及以上学历,计算机相关专业;2.熟悉计算机软硬件技术,熟练排除各种软硬件的故障;有基本的网络知识,了解DNS、DHCP原理,熟练使用Ping、tracert等简单命令;3.有2年以上桌面运维工作经验者优先。
岗位2:数据库管理员任职要求:1. 本科及以上学历,计算机相关专业;2. 精通InterSystems Caché数据库,精通MySQL,SQL Server,熟悉Oracle,精通SQL脚本编写;有丰富数据库管理、运维调优经验;3. 5年以上数据库运维管理经验;4. 有医疗行业经验优先。
岗位3:开发工程师任职要求:1. 本科及以上学历,计算机及相关专业,有2年及以上JAVA WEB软件实际开发工作经验,有JVM调优经验者优先;2. 熟悉SSM和SSH框架;有SpringBoot或者SpringCloud实际开发经验;3. 熟悉html5,css,js 等前端开发技术;对jquery、vue等相关技术熟悉;熟悉websocket等相关技术;4. 熟练使用MySQL,SQL Server,熟悉Oracle,有一定的SQL优化经验;5. 熟练使用各种集成开发环境,Eclipse,Idea,SVN,GIT等,熟悉Linux操作系统。
招聘程序(一)个人应聘2022年6月27日24点前登录北京协和医院官网(学术版)招聘栏注册申请。(二)组织面试在资格审查的基础上按1:3的比例确定面试人选,根据综合成绩确定拟录人选。(三)体检考察对拟录人选进行体检和考察。(四)签订协议体检及考察合格人员签订协议。
官方招聘链接为 https://jobs.pumch.cn/JobManage/WebShowJobDetail.aspx?JobId=bf9dcde8-a3de-4fab-805e-f2582255056d
文章
Claire Zheng · 二月 1, 2021
Hi, 大家好!
我们在开发者社区上发布问题的目的是获得答案。
以下是一个非常简单的准则文档,介绍如何提出问题会获得回答。
当您发布问题时,您需要填写 3 个字段:标题、正文和组。 以及标签。
1. 标题
一个好的标题应该包含问题的简短描述,长度不应超过 80-90 个符号。
但是简短并不表示只有一个词。 以下这些就不是很好的问题标题:Cache、Ensemble、Peace、World。
好问题示例:
使用 SQL 查询列表属性
使用 Record Mapper 时如何忽略 CSV 文件上的Headers
在 Cache´SQL 中使用 $CASE 或 $SELECT 功能
标题中的字母应该大写吗? 按照 英语 的规则——是的!这肯定会提高问题的感知度。
2. 正文
正文应该包含英语或/和 Caché Objecsript、SQL、JS 或其他语言的问题描述。 使用 代码块 突出显示 Caché ObjectScript。
提供产品版本总是有帮助的(在终端中输入 $zversion)。
正文中应该只有一个问题。 如果有两个问题,请发布两个不同的问题。
3. 组
组是必选标签,有助于将您的问题归类到一个 InterSystems 产品(Caché、Ensemble、HealthShare)、技术(DeepSee、iKnow)或服务(在线学习、WRC)。
4. 标签
使用标签可邀请(订阅了不同标签的)专家关注您的问题。 在这里,您可以选择关于开发、测试、变更管理、部署和环境的不同标签。
好问题通常很快就会得到回答。 您可以通过“回答”计数器上的绿色前景注意到已回答的问题。
一定要 将回答标记为已接受(将问题标记为已解决) ,当然前提是回答适合您。
当然,这不是如何提出好问题的完整建议列表。 请在本帖中发表您的意见和想法。
文章
姚 鑫 · 一月 25, 2023
# 第五十六章 历史监视器
`History Monitor` 维护性能和系统使用指标的历史数据库。其主要目的是:
- 提供性能基准并帮助分析性能问题。
- 帮助分析一段时间内的系统使用情况以进行容量规划。
该数据库在 `SYS.History` 类包中定义并保存在 `%SYS` 命名空间中。数据库结构的所有细节都在那里发布,并且可以通过 `SQL` 或正常的持久对象访问访问数据。 `SYS.History` 中的类文档还包含对所有可用的单个属性、方法和查询的描述。
数据通常分为性能(请参阅 `SYS.History.Performance`)和系统使用情况(请参阅 `SYS.History.SystemUsage`)数据。性能指标旨在以较短的时间间隔(默认情况下为 `30` 秒)进行采样,系统使用数据以较长的时间间隔(默认情况下为 `5` 分钟)进行采样。在每天开始时,将各个时间间隔样本作为平均值、最大值、最小值、标准偏差、中值和总计汇总到每小时和每天的表格中。可以选择为每个度量类保留哪些汇总函数(如果有)。间隔和每小时数据可能会在定义的天数(默认分别为七 (`7`) 天和 `60` 天)后自动清除;每日摘要用于长期分析,可以手动清除。
# 基本指标
所有收集的指标都在 `SYS.History` 的四个 `%SerialObject` 类中定义。这些相同的类用作 `Interval`、`Hourly` 和 `Daily` 数据库的基础,因此所有属性都定义为 `%Numeric` 类型以允许在摘要中使用小数值。
与性能相关的指标定义在:
- `SYS.History.Performance` — 此类中的属性是通用性能指标,如全局引用和例程调用。
注意:这些属性都是“计数器”类型,间隔数据以增量形式收集,代表上一个间隔内计数器的变化。当此数据汇总为每小时和每天的值时,数据将标准化为每秒速率
- `SYS.History.WriteDaemon` — 此类中的属性描述写入守护进程周期的性能。系统自动跟踪最近 `20` 个写守护程序周期,历史监视器存储每个间隔内发生的周期的数据。通常,每个间隔内有多个周期。
系统使用指标定义在:
- `SYS.History.SystemUsage` — 此类中的属性跟踪系统的繁忙程度,但不会像性能数据那样快速或剧烈地变化,例如 `IRIS®` 数据平台和许可证中的进程数信息。
- `SYS.History.Database` — 此类跟踪每个本地数据库的数据库增长、文件大小和可用空间。
# 收集数据
要开始收集数据,必须执行以下操作:
- 使用 `%SYS` 命名空间中的系统监视器 `^%SYSMONMGR` 实用程序在应用程序监视器(它是系统监视器)。默认情况下,这些类在 `%SYS` 命名空间中注册。
- 在 `%SYS` 命名空间中重新启动系统监视器。
数据的详细区间集合定义在两个持久化类中:
- `SYS.History.PerfData` — 包括性能和写入守护程序类作为嵌入式对象。
- `SYS.History.SysData` — 包括系统使用情况和数据库类。
必须在 `Application Monitor` 中激活相应的 `%Monitor` 类才能收集数据并构建历史数据:
- `%Monitor.System.HistoryPerf` — 收集 `SYS.History.PerfData`实例。
- `%Monitor.System.HistorySys` — 收集 `SYS.History.SysData` 实例。
当 `IRIS` 实例启动时,系统监视器(包括应用程序监视器)默认在 `%SYS` 命名空间中启动。但是,可以配置其他启动名称空间。 `%Monitor` 类默认仅在 `%SYS` 中提供,但可以使用 `^%SYSMONMGR` 添加到其他已配置的启动命名空间。
文章
姚 鑫 · 三月 21, 2021
# 第十二章 使用嵌入式SQL(五)
# 嵌入式SQL变量
以下局部变量在嵌入式SQL中具有特殊用途。这些局部变量名称区分大小写。在过程启动时,这些变量是不确定的。它们由嵌入式SQL操作设置。也可以使用SET命令直接设置它们,或使用`NEW`命令将其重置为未定义。像任何局部变量一样,值将在过程持续期间或直到设置为另一个值或使用`NEW`进行定义之前一直存在。例如,某些成功的嵌入式SQL操作未设置`%ROWID`。执行这些操作后,`%ROWID`是未定义的或保持设置为其先前值。
- `%msg`
- `%ROWCOUNT`
- `%ROWID`
- `SQLCODE`
这些局部变量不是由Dynamic SQL设置的。 (请注意,SQL Shell和Management Portal SQL接口执行Dynamic SQL。)相反,Dynamic SQL设置相应的对象属性。
在嵌入式SQL中使用以下ObjectScript特殊变量。这些特殊的变量名称不区分大小写。在过程启动时,这些变量将初始化为一个值。它们由嵌入式SQL操作设置。不能使用SET或NEW命令直接设置它们。
- `$TLEVEL`
- `$USERNAME`
作为已定义的InterSystems IRIS嵌入式SQL接口的一部分,InterSystems IRIS可以在嵌入式SQL处理期间设置任何这些变量。
如果嵌入式SQL在类方法中(`procedureBlock = ON`),则系统会自动将所有这些变量放在`PublicList`中,并自动将`SQLCODE`,`%ROWID`,`%ROWCOUNT`,`%msg`以及SQL语句。可以通过引用方法来传递这些变量;通过引用传递的变量将不会在类方法过程块中自动更新。
如果嵌入式SQL在例程中,则程序员有责任在调用嵌入式SQL之前新建`%msg`,`%ROWCOUNT`,`%ROWID`和`SQLCODE`变量。更新这些变量可防止干扰这些变量的先前设置。为避免``错误,不应在迭代周期内执行此`NEW`操作。
## %msg
包含系统提供的错误消息字符串的变量。如果InterSystems SQL将`SQLCODE`设置为负整数(表示错误),则仅设置`%msg`。如果`SQLCODE`设置为`0`或`100`,则`%msg`变量与其先前值保持不变。
此行为不同于相应的Dynamic SQL `%Message`属性,当没有当前错误时,该属性将设置为空字符串。
在某些情况下,特定的`SQLCODE`错误代码可能与一个以上的`%msg`字符串相关联,描述了生成`SQLCODE`的不同条件。 `%msg`还可以接受用户定义的消息字符串。当触发器代码显式设置`%ok = 0`来中止触发器时,这最常用于从触发器发出用户定义的消息。
当执行SQL代码时,将使用有效的NLS语言生成错误消息字符串。可以在不同的NLS语言环境中编译SQL代码。该消息将根据运行时NLS环境生成。请参见`$ SYS.NLS.Locale.Language`。
## %ROWCOUNT
一个整数计数器,指示受特定语句影响的行数。
- `INSERT`,`UPDATE`,`INSERT OR UPDATE`和`DELETE`将`%ROWCOUNT`设置为受影响的行数。带有显式值的INSERT命令只能影响一行,因此将`%ROWCOUNT`设置为`0`或`1`。`INSERT`查询结果,`UPDATE`或`DELETE`可以影响多行,因此可以将`%ROWCOUNT`设置为0或正数。整数。
- 无论删除多少行还是删除任何行,`TRUNCATE TABLE`始终将`%ROWCOUNT`设置为`–1`。因此,要确定实际删除的行数,请在`TRUNCATE TABLE`之前对表执行`COUNT(*)`,或者使用`DELETE`而不是`TRUNCATE TABLE`删除表中的所有行。
- 没有声明游标的`SELECT`只能作用于一行,因此执行简单的`SELECT`总是会将`%ROWCOUNT`设置为`1`(与检索到的选择标准匹配的单行)或`0`(没有与选择标准匹配的行)。
- `DECLARE`游标名`CURSOR FOR SELECT`不会初始化`%ROWCOUNT`; `SELECT`之后,`%ROWCOUNT`不变,而`OPEN`游标名之后,`%ROWCOUNT`不变。第一个成功的`FETCH`设置`%ROWCOUNT`。如果没有行符合查询选择条件,则`FETCH`设置`%ROWCOUNT = 0`;否则,设置`%ROWCOUNT = 0`。如果`FETCH`检索与查询选择条件匹配的行,则它将设置`%ROWCOUNT = 1`。随后的每个获取行的`FETCH`都将递增`%ROWCOUNT`。 `CLOSE`时或`FETCH`发出`SQLCODE 100`(无数据或无更多数据)时,`%ROWCOUNT`包含已检索的总行数。
此`SELECT`行为与相应的Dynamic SQL`%ROWCOUNT`属性不同,该属性在查询执行完成时设置为0,并且仅在程序迭代查询返回的结果集时才递增。
如果`SELECT`查询仅返回聚合函数,则每个`FETCH`都将设置`%ROWCOUNT = 1`。即使表中没有数据,第一个`FETCH`始终以`SQLCODE = 0`来完成;任何后续的`FETCH`均以`SQLCODE = 100`完成,并设置`%ROWCOUNT = 1`。
以下嵌入式SQL示例声明一个游标,并使用`FETCH`来获取表中的每一行。到达数据结尾(`SQLCODE = 100`)时,`%ROWCOUNT`包含已检索的行数:
```java
/// d ##class(PHA.TEST.SQL).ROWCOUNT()
ClassMethod ROWCOUNT()
{
SET name="LastName,FirstName",state="##"
&sql(DECLARE EmpCursor CURSOR FOR
SELECT Name, Home_State
INTO :name,:state FROM Sample.Person
WHERE Home_State %STARTSWITH 'M')
WRITE !,"BEFORE: Name=",name," State=",state
&sql(OPEN EmpCursor)
QUIT:(SQLCODE'=0)
FOR {
&sql(FETCH EmpCursor)
QUIT:SQLCODE
WRITE !,"Row fetch count: ",%ROWCOUNT
WRITE " Name=",name," State=",state
}
WRITE !,"最终提取SQLCODE: ",SQLCODE
&sql(CLOSE EmpCursor)
WRITE !,"AFTER: Name=",name," State=",state
WRITE !,"提取的总行数: ",%ROWCOUNT
}
```
```java
DHC-APP>d ##class(PHA.TEST.SQL).ROWCOUNT()
BEFORE: Name=LastName,FirstName State=##
Row fetch count: 1 Name=O'Rielly,Chris H. State=MS
Row fetch count: 2 Name=Orwell,John V. State=MT
Row fetch count: 3 Name=Zevon,Heloisa O. State=MI
...
Row fetch count: 37 Name=Joyce,Elmo R. State=MO
Row fetch count: 38 Name=Jafari,Christine Z. State=MI
最终提取SQLCODE: 100
AFTER: Name=Jafari,Christine Z. State=OH
提取的总行数: 38
```
以下嵌入式SQL示例执行`UPDATE`并设置受更改影响的行数:
```java
/// d ##class(PHA.TEST.SQL).ROWCOUNT1()
ClassMethod ROWCOUNT1()
{
&sql(UPDATE Sample.Employee
SET Salary = (Salary * 1.1)
WHERE Salary < 50000)
IF SQLCODEd ##class(PHA.TEST.SQL).ROWCOUNT1()
Employees: 48
```
**请记住,所有嵌入式SQL语句(在给定进程内)都会修改`%ROWCOUNT`变量。如需要`%ROWCOUNT`提供的值,请确保在执行其他Embedded SQL语句之前获取其值。根据嵌入式SQL的调用方式,可能必须在输入嵌入式SQL之前新建`%ROWCOUNT`变量。**
**另请注意,显式回滚事务不会影响`%ROWCOUNT`的值。例如,以下内容将报告已进行了更改,即使它们已经滚动了。**
```java
/// d ##class(PHA.TEST.SQL).ROWCOUNT2()
ClassMethod ROWCOUNT2()
{
TSTART // 开始事务
NEW SQLCODE,%ROWCOUNT,%ROWID
&sql(UPDATE Sample.Employee
SET Salary = (Salary * 1.1)
WHERE Salary < 50000)
IF SQLCODEd ##class(PHA.TEST.SQL).ROWCOUNT2()
Employees: 37
```
隐式事务(例如,如果UPDATE未通过约束检查)由`%ROWCOUNT`反映。
## %ROWID
初始化进程时,未定义`%ROWID`。当发出`NEW %ROWID`命令时,`%ROWID`将重置为未定义。 `%ROWID`由下面描述的嵌入式SQL操作设置。如果该操作不成功或成功完成,但未获取或修改任何行,则`%ROWID`值与其先前值保持不变:未定义,或由先前的嵌入式SQL操作设置为某个值。因此,在每个嵌入式SQL操作之前,请务必新建`%ROWID`。
`%ROWID`设置为受以下操作影响的最后一行的`RowID`:
- `INSERT`,`UPDATE`,`INSERT OR UPDATE`或`DELETE`:单行操作后,`%ROWID`变量包含系统分配的`RowID`(对象ID)值,该值分配给插入,更新或删除的记录。经过多行操作之后,`%ROWID`变量包含系统分配的最后一条插入,更新或删除的记录的`RowID`(对象ID)的值。如果未插入,更新或删除任何记录,则`%ROWID`变量值将保持不变。 `TRUNCATE TABLE`没有设置`%ROWID`。
- 基于游标的`SELECT:DECLARE`游标名称`CURSOR`和`OPEN`游标名称语句未初始化`%ROWID`; `%ROWID`值与其先前值保持不变。第一个成功的`FETCH`设置`%ROWID`。随后的每个获取行的`FETCH`都会将`%ROWID`重置为当前`RowID`值。如果`FETCH`检索一行可更新游标,则会设置`%ROWID`。可更新游标是其中顶部`FROM`子句仅包含一个元素(单个表名或可更新视图名)的游标。如果游标不可更新,则`%ROWID`保持不变。如果没有行符合查询选择条件,则`FETCH`不会更改先前的`%ROWID`值(如果有)。 `CLOSE`时或`FETCH`发出`SQLCODE 100`(无数据或无更多数据)时,`%ROWID`包含检索到的最后一行的`RowID`。
具有`DISTINCT`关键字或`GROUP BY`子句的基于游标的`SELECT`不会设置`%ROWID`。 `%ROWID`值与其先前的值(如果有)保持不变。
如果基于游标的`SELECT`仅返回聚合函数值,则不会设置`%ROWID`。如果它同时返回字段值和聚合函数值,则将每个`FETCH`的`%ROWID`值设置为查询返回的最后一行的`RowID`。
- 没有声明游标的`SELECT`不会设置`%ROWID`。完成简单的`SELECT`语句后,`%ROWID`值将保持不变。
在Dynamic SQL中,相应的`%ROWID`属性返回插入,更新或删除的最后一条记录的`RowID`值。执行`SELECT`查询时,Dynamic SQL不会返回`%ROWID`属性值。
可以使用以下方法调用从ObjectScript中检索当前的`%ROWID`:
```
DHC-APP> WRITE $SYSTEM.SQL.GetROWID()
213
```
在执行`INSERT`,`UPDATE`,`DELETE`,`TRUNCATE TABLE`或基于游标的`SELECT`操作之后,`LAST_IDENTITY` SQL函数将为最近修改的记录返回`IDENTITY`字段的值。如果表没有`IDENTITY`字段,则此函数返回最近修改记录的`RowID`。
## SQLCODE
运行嵌入式SQL查询后,必须在处理输出主机变量之前检查`SQLCODE`。
如果`SQLCODE = 0`,则查询成功完成并返回数据。输出主机变量包含字段值。
如果`SQLCODE = 100`,则查询成功完成,但是输出主机变量值可能不同。任何一个:
- 查询返回一个或多个数据行(`SQLCODE = 0`),然后到达数据的末尾(`SQLCODE = 100`),在这种情况下,输出主机变量设置为返回的最后一行的字段值。 `%ROWCOUNT> 0`。
- 查询未返回任何数据,在这种情况下,输出主机变量未定义。 `%ROWCOUNT = 0`。
如果查询仅返回聚合函数,则即使表中没有数据,第一个`FETCH`也会始终以`SQLCODE = 0`和`%ROWCOUNT = 1`来完成。第二个`FETCH`以`SQLCODE = 100`和`%ROWCOUNT = 1`结束。如果表中没有数据或没有数据与查询条件匹配,查询将根据需要将输出主机变量设置为0或空字符串。
如果`SQLCODE`为负数,则查询失败,并显示错误条件。
根据嵌入式SQL的调用方式,可能必须在输入嵌入式SQL之前新建`SQLCODE`变量。在触发代码中,将`SQLCODE`设置为非零值会自动将`%ok = 0`设置为中止并回滚触发操作。
在动态SQL中,相应的`%SQLCODE`属性返回SQL错误代码值。
## $TLEVEL
事务级计数器。
InterSystems SQL将`$TLEVEL`初始化为0。
如果没有当前事务,`$TLEVEL`为0。
- 初始`START TRANSACTION`将`$LEVEL`设置为1。其他`START TRANSACTION`语句对`$TLEVEL`无效。
- 每个`SAVEPOINT`语句将`$TLEVEL`加1。
- `ROLLBACK TO SAVEPOINT`点名语句减少`$TLEVEL`。递减量取决于指定的保存点。
- `COMMIT`将`$LEVEL`重置为0。
- `ROLLBACK`将`$LEVEL`重置为0。
还可以使用`%INTRANSACTION`语句来确定事务是否在进行中。
`$TLEVEL`也由ObjectScript事务命令设置。
## $USERNAME
SQL用户名与InterSystems IRIS用户名相同,存储在ObjectScript `$USERNAME`特殊变量中。用户名可以用作系统范围的默认架构,也可以用作架构搜索路径中的元素。
文章
Michael Lei · 十二月 9, 2022
在数量众多、形形色色的 SQL 数据库市场中,InterSystems IRIS 作为一个超越 SQL 的平台脱颖而出,它提供无缝的多模型体验,支持丰富的开发范式。 特别是,先进的对象-关系引擎已经帮助组织为其数据密集型工作负载的每个方面使用了最适合的开发方式,例如在通过对象获取数据并同时通过 SQL 查询数据。 持久类与 SQL 表相对应,其属性与表中的各列相对应,可以使用用户定义的函数或存储过程轻松访问业务逻辑。 在这篇文章中,我们将深入了解表面之下的一点底层技术,讨论它可能如何影响您的开发和部署方式。 这是我们计划发展和改进的产品领域,因此请不要犹豫,在下面的评论区分享您的观点和体验。
保存存储定义 {Saving the Storage Definition}
编写全新的业务逻辑很容易,而且假如您有定义明确的 API 和规范,那么调整或扩展通常也很容易。 但是,当它不仅仅是业务逻辑,还涉及持久化数据时,从初始版本更改的任何内容都将需要能够妥善处理通过早期版本获取的数据。
在 InterSystems IRIS 上,数据和代码在一个高性能引擎中共存,没有您在其他 3GL 或 4GL 编程框架中可能看到的六个抽象层。 这意味着,在使用默认存储时,只有一个非常薄且透明的映射将您的类属性映射到每行数据Global节点的 $list 位置。 如果想添加或移除属性,您不希望已移除的属性中的数据显示在新属性下。 类属性的这个映射是由存储定义进行处理的,这是一个您可能已经在类定义的底部注意到的神秘XML 块。 首次编译类时,将根据该类的属性和参数生成新的存储定义。 当您对类定义进行更改后,在重新编译时,这些更改将与现有存储定义进行协同和修正,以便与现有数据保持兼容。 因此,当您试着重构类时,存储定义会仔细考虑您之前做的事情,并确保新旧数据都可以访问。 我们称之为**Schema 演进**。
在其他大多数 SQL 数据库中,表的物理存储是不透明的,如果可见的话,并且只能通过类似 `ALTER TABLE` 语句进行修改。 这些都是标准 DDL(数据定义语言)命令,但表达能力比直接在 IRIS 上修改类定义和过程代码要差很多。
InterSystems 致力于让 IRIS 开发者能够干净利落地分离代码和数据,因为这对于确保应用程序的顺利打包和部署至关重要。 存储定义在这方面发挥着独特的作用,因为它可以捕获两者之间的映射方式。 这就是值得在传统开发和 CI/CD pipeline不同实践的背景下对其进行深入研究的原因。
导出为通用描述语言 Universal Definition Language
如今,源代码管理是以文件为基础的,所以我们先来看看 IRIS 的主要文件导出格式。 顾名思义,通用描述语言UDL意味着您在 InterSystems IRIS 上编写的所有代码的文件格式是通用的。 这是使用 VS Code ObjectScript 插件时的默认导出格式,并产生易于读取的文件,该文件与您在 IDE 中看到的内容几乎完全相同,并且您的应用程序中的每个类(表)都有一个单独的 .cls 文件。 您可以使用$SYSTEM.OBJ.Export 或者是用 VS Code 插件来创建 UDL 文件。
在Studio的时代,您可能还记得一种 XML 格式,它会捕获与 UDL 相同的信息,并允许将多个类分组到一个导出中。 虽然这种格式在某些场景中很方便,但在读取和跟踪不同版本之间的差异时却不太实用,因此我们暂时将其忽略。
由于 UDL 旨在捕获 IRIS 可以表达的关于类的所有内容,它会包含类定义的所有元素,包括完整的存储定义。 在导入已包含存储定义的类定义时,IRIS 会验证该存储定义是否涵盖该类的所有属性和索引,如果是,只需按原样接受并覆盖该类先前的存储定义即可。 这使得 UDL 成为一种管理类及其存储定义版本的实用格式,因为无论您将它部署到何处,它都会保留通过先前版本的类获取的数据的向后兼容性。
如果您是一位硬核开发者,您可能想知道这些存储定义是否会不断增长,是否需要无限期地携带这些“包袱”。 存储定义的目的是保持与预先存在的数据的兼容性,因此如果您知道没有这些数据,并且希望摆脱冗长的兼容和继承关系,则可以通过从类定义中移除存储定义并让类编译器重新生成来“重置”存储定义。 例如,您可以使用它来利用新的最佳实践,比如扩展集的使用,它们会实现经过哈希处理的Global名称,并将每个索引分离到自己的全局名称中,从而提高效率。 为了在应用程序内实现向后兼容性,我们不能在 %Persistent 超类中统一更改此类默认值(但我们在使用 `CREATE TABLE` DDL 命令从头开始创建表时会应用它们),因此定期检查类及其存储是很有价值的。 用户也可以直接编辑存储定义 XML文件,但应格外小心,因为这可能会导致现有数据无法访问。
存储定义会提供类之间的智能映射,并随着Schema的演进而自动调整。 还有什么?
静态还是动态?
您可能知道,InterSystems IRIS SQL 引擎充分利用表统计信息来确定用户执行的任何给定语句的最佳查询计划。 表统计信息包括表大小、值在列中的分布方式等指标。 此信息可以帮助 IRIS SQL 优化器确定哪个索引最有用,按何种顺序连接表等,因此直观地说,统计信息越新,优化查询计划的机会就越大。 遗憾的是,直到我们在 IRIS 2021.2 中引入快速块采样之前,收集准确的表统计信息一直是一项计算成本高昂的操作。 因此,当客户将同一应用程序部署到数据模式基本相同的许多环境中时,有必要考虑应用程序代码中的表统计信息部分并将其包含在表定义中。
这就是如今在 IRIS 上您会发现存储定义内嵌入了表统计信息的原因。 通过手动调用 `TUNE TABLE` 收集表统计信息或通过查询(见下文)隐式收集表统计信息时,新统计信息会写入存储定义,此表的现有查询计划将失效,因此它们可以在下次执行时利用新统计信息。 由于它们是存储定义的一部分,这些统计信息将是 UDL 类导出的一部分,因此会出现在源代码存储库中。 如果是经过仔细审查的已打包应用程序的统计信息,这是可取的,因为您会希望这些特定的统计信息能够推动生成所有应用程序部署的查询计划。
从 2021.2 开始,当查询一个根本没有任何统计资料且符合快速块采样条件的表时,IRIS会在查询计划开始时自动收集表的统计数据。在我们的测试中,使用最新的统计数据对比完全没有统计数据而言的好处,明显大于即时收集统计数据的成本。然而,对于一些客户来说,这会有一些副作用,即在开发人员的实例上自动收集的统计数据最终出现在源控制系统的存储定义中,并最终出现在打包的应用程序中。很明显,该开发者环境中的数据以及其上的统计数据可能无法代表真正的客户部署,并导致次优的查询计划。
这种情况可以轻松避免。 可以在调用$SYSTEM.OBJ.Export()时使用 `/exportselectivity=0` 限定符,在类定义导出中排除表统计信息。 可以使用$SYSTEM.OBJ.SetQualifiers("/exportselectivity=0")配置此标志的系统默认值。 然后,可以由最终部署中的自动收集来决定如何获取代表性的统计信息,将明确的统计信息收集作为部署过程的一部分,这会覆盖应用程序可能打包的任何内容,或者通过它们自己的导入/导出函数单独管理表统计信息:$SYSTEM.SQL.Stats.Table.Export()和 Import()。
从长远来看,我们打算将表统计信息移到数据中,而不是作为代码的一部分,并且更清晰地区分开发者明确定义的统计信息与从实际数据中收集的统计信息。 此外,我们正在计划实现更大程度的自动化,以根据表数据随时间的变化情况定期更新这些统计信息。
总结
在这篇文章中,我们概述了存储定义在 IRIS 对象-关系引擎中的作用,它如何支持Schema的演进,以及将其包含在源代码管理系统中的意义。 我们还介绍了目前将表统计信息存储在该存储定义中的原因,以及为了确保您的应用程序部署最终具有代表实际客户数据的统计信息而建议的开发做法。 如上所述,我们计划进一步增强这些功能,因此我们期待您对当前功能和计划功能提供反馈意见并适当优化我们的设计。
文章
Hao Ma · 二月 16, 2023
A "big" or a "little" ask for ChatGPT?
几周前我尝试了 OpenAI GPT 的编码模型,看看它是否可以在医疗保健系统之间进行一些消息转换。它肯定可以,在相当大的程度上。已经将近 3 周了,对于 ChatGPT 来说是很长很长的时间,所以我想知道它现在成长得有多快,以及它是否可以为我们做一些集成工程师的工作,例如它是否可以创建一个 InterSystems COS DTL将 HL7 转换为 FHIR 信息?
在不到一两分钟的时间内,我立即得到了一些答案。
测试
首先我想测试一下我是在和它背后的正确“人”说话
问题一:如何将HL7 V2.4报文转为FHIR STU3?
ChatGPT:
将 HL7 V2.4 消息转换为 FHIR STU3 涉及多个步骤,因为这两个标准具有不同的数据模型和结构。以下是该过程的高级概述:
识别 HL7 消息中需要映射到 FHIR 资源的相关数据元素。这将取决于具体用例和交换的数据。
为每个数据元素定义映射规则。这涉及识别对应于 HL7 数据元素的等效 FHIR 资源和元素,以及任何必要的转换或翻译。
编写一个程序或脚本,可以从 HL7 消息中提取数据,应用映射规则,并创建相应的 FHIR 资源。这可能涉及使用正则表达式、解析库和 FHIR 资源创建库的组合。
根据 STU3 规范验证 FHIR 资源,以确保它们符合标准并包含所有必需的元素。
以下是此过程如何将 HL7 V2.4 观察消息转换为 FHIR STU3 观察资源的示例:
识别 HL7 消息中的相关数据元素,例如观察代码、值和单位。
定义每个数据元素的映射规则,例如将 HL7 观察代码映射到 FHIR CodeableConcept,将值和单位映射到 FHIR 数量。
编写可以从 HL7 消息中提取数据、应用映射规则并创建具有适当元素的 FHIR 观察资源的程序或脚本。
根据 STU3 规范验证 FHIR 观察资源,以确保它包含所有必需的元素并且有效。
具体的实现细节将取决于所使用的编程语言和库,以及映射的特定 HL7 消息和 FHIR 资源。建议查阅 HL7 和 FHIR 规范,并在需要时寻求专家建议。
好吧,这不仅听起来是对的——实际上它的回答比大多数人会做的更全面。它现在引起了我的注意,所以让我们开始吧。
问题 2:您能否在 Python 中创建示例转换以将 HL7 转换为 FHIR
ChatGPT :
当然!下面是一个示例 Python 代码片段,演示了如何将 HL7 消息转换为 FHIR STU3 观察资源:
from hl7apy import core
from fhir.resources.observation import Observation
# Parse the HL7 message
hl7_message = 'MSH|^~\&|SENDING_APP|SENDING_FACILITY|RECEIVING_APP|RECEIVING_FACILITY|20220527120512||ORU^R01|MSGID12345|P|2.4\r' \
'OBX|1|NM|GLU^Glucose||100|mg/dL||N|||F|||20220527120512\r'
hl7_parsed = core.parse_message(hl7_message)
# Map HL7 elements to FHIR elements
observation = Observation()
observation.code = {
"coding": [{
"system": "http://loinc.org",
"code": hl7_parsed.obx[0].observation_id.value,
"display": hl7_parsed.obx[0].observation_id.value
}]
}
observation.valueQuantity = {
"value": hl7_parsed.obx[0].value.value,
"unit": hl7_parsed.obx[0].units.value,
"system": "http://unitsofmeasure.org",
"code": hl7_parsed.obx[0].units.value
}
# Serialize the FHIR resource as JSON
observation_json = observation.json()
# Print the serialized FHIR resource
print(observation_json)
此代码使用hl7apy库解析HL7 消息并提取相关数据元素,并从fhir.resources中使用fhir.resources.observation类----- 创建 FHIR 观察资源的模块。
在此示例中,代码将 HL7 观察 ID 映射到 FHIR 代码元素,并将 HL7 值和单位映射到 FHIR valueQuantity 元素。然后使用json()方法将 FHIR 资源序列化为 JSON。
请注意,这是一个简单示例,您可能需要根据具体用例映射更多数据元素。此外,您还需要安装 hl7apy 和 fhir.resources库才能运行此代码。
这是个好答案 - 给出了一个不错的样板代码。现在让我们给它一个具体的挑战:
问题 3:您能否提供在 Intersystems COS DTL 中从 HL7 V2 到 FHIR Stu3 的示例转换
ChatGPT :
当然!以下是如何在 InterSystems COS DTL(数据转换语言)中将 HL7 V2 消息转换为 FHIR STU3 观察资源的示例:
Class DTL.HL7toFHIR Extends %RegisteredObject
{
ClassMethod TransformHL7ToObservation(hl7Message As %String) As %String [ CodeMode = expression, DDLAllowed = 0 ]
{
set src = ##class(EnsLib.HL7.Message).%New()
set src.DocType = "2.4"
set src.Parse(hl7Message)
set obs = ##class(FHIR.Resource.Observation).%New()
set obs.subject = { "reference": "Patient/"_src.MSH.GetSendingApplication() }
set obs.status = "final"
set loincCode = src.GetSegment("OBX", 1).GetField(3).GetField(1)
set obs.code = {
"coding": [
{
"system": "http://loinc.org",
"code": loincCode,
"display": loincCode
}
]
}
set value = src.GetSegment("OBX", 1).GetField(5).GetField(1)
set units = src.GetSegment("OBX", 1).GetField(6).GetField(1)
set obs.valueQuantity = {
"value": value,
"unit": units,
"system": "http://unitsofmeasure.org",
"code": units
}
quit obs.%ToJSON()
}
}
此代码定义了一个名为 TransformHL7ToObservationI()的类方法,它将 HL7 V2 消息作为输入并返回 FHIR STU3 观察资源作为 JSON 字符串。
该方法首先创建一个新的 EnsLib.HL7.Message 对象并使用它来解析输入的 HL7 消息。然后创建一个新的 FHIR.Resource.Observation 对象并设置 subject和 status 元素。
接下来,代码从 HL7 消息中提取 LOINC 代码、值和单位,并将它们映射到 FHIR 资源中的相应元素。
最后,该方法将 FHIR 资源序列化为 JSON 并将其返回。
要使用此类方法,您可以从另一个 COS 方法或使用 InterSystems 的 REST API 从外部系统调用它。下面是如何从另一个 COS 方法调用该方法的示例:
set hl7Message = "MSH|^~\&|SENDING_APP|SENDING_FACILITY|RECEIVING_APP|RECEIVING_FACILITY|20220527120512||ORU^R01|MSGID12345|P|2.4\rOBX|1|NM|GLU^Glucose||100|mg/dL||N|||F|||20220527120512\r"
set fhirObservation = ##class (DTL.HL7toFHIR).TransformHL7ToObservation(hl7Message)
write fhirObservation
请注意,您需要在 InterSystems 环境中定义 -----107----- 和 -----108----- 类,并具有运行 COS 代码的适当权限。
好吧,这可能是迄今为止我们所能预料到的最有效、最全面、最切题的答案,只需大约 25 秒。是不是?
既然我们在这里,我们需要公平对待我也喜欢的其他广泛使用的选项。于是我又怀着信心继续问了几个问题:
问题4:能否给出Orion Rhapsody中从HL7 V2到FHIR Stu3的转换示例
ChatGPT :
当然!以下是如何在 Orion Rhapsody 中将 HL7 V2 消息转换为 FHIR STU3 观察资源的示例:
首先,创建一个新的 Rhapsody 通道并添加一个 HL7 Connector 组件来接收输入的 HL7 V2 消息。
将新的数据转换组件添加到通道并将其配置为使用自定义脚本。
在数据转换组件中,添加以下脚本以将 HL7 V2 消息转换为 FHIR STU3 观察资源:
function transform(msg) {
var hl7 = Packages.ca.uhn.hl7v2.model.v24.message.ORU_R01(msg.getRawData());
var observation = new Packages.org.hl7.fhir.dstu3.model.Observation();
observation.setStatus(Packages.org.hl7.fhir.dstu3.model.Observation.ObservationStatus.FINAL);
var codeableConcept = new Packages.org.hl7.fhir.dstu3.model.CodeableConcept();
var coding = new Packages.org.hl7.fhir.dstu3.model.Coding();
coding.setSystem("http://loinc.org");
coding.setCode(hl7.getRESPONSE().getORDER_OBSERVATION()[0].getOBR().getUniversalServiceIdentifier().getIdentifier().getValue());
coding.setDisplay(hl7.getRESPONSE().getORDER_OBSERVATION()[0].getOBR().getUniversalServiceIdentifier().getText().getValue());
codeableConcept.addCoding(coding);
observation.setCode(codeableConcept);
var quantity = new Packages.org.hl7.fhir.dstu3.model.Quantity();
quantity.setValue(hl7.getRESPONSE().getORDER_OBSERVATION()[0].getOBSERVATION()[0].getOBX().getObservationValue()[0].getValue().getValue());
quantity.setUnit(hl7.getRESPONSE().getORDER_OBSERVATION()[0].getOBSERVATION()[0].getOBX().getUnits().getText().getValue());
observation.setValue(quantity);
var reference = new Packages.org.hl7.fhir.dstu3.model.Reference();
reference.setReference("Patient/" + hl7.getPATIENT_RESULT().getPATIENT().getPid3_PatientIdentifierList()[0].getID().getValue());
observation.setSubject(reference);
return JSON.stringify(observation);
}
保存脚本并通过向通道发送 HL7 V2 消息来测试转换。转换后的 FHIR STU3 观察资源应由数据转换组件以 JSON 格式输出。
此脚本使用 HAPI FHIR 和 HAPI HL7 v2 库,它们包含在 Orion Rhapsody 中。它首先使用 HAPI HL7 库解析输入的 HL7 V2 消息。
接下来,脚本创建一个新的 FHIR STU3 观测资源并设置它的 status, code, value, 和 subject 元素基于 HL7 消息中的相应值。
最后,脚本将 FHIR 资源序列化为 JSON 并将其返回。
请注意,这只是一个简单示例,可能不适用于所有 HL7 V2 消息类型或 FHIR 资源。您可能需要修改脚本以处理不同的消息类型或将其他字段映射到 FHIR 资源。
问题 5你能在 Mirth 集成引擎中创建一个示例转换,将 HL7 v2.4 转换为 FHIR R4
ChatGPT :
当然!以下是如何在 Mirth 中将 HL7 V2.4 消息转换为 FHIR R4 观察资源的示例:
首先,创建一个新的 Mirth 频道并添加一个 HL7v2 Listener 源连接器以接收输入的 HL7 V2 消息。
将新的 JavaScript Writer 目标连接器添加到通道并将其配置为使用自定义脚本。
在 JavaScript Writer 连接器中,添加以下脚本以将 HL7 V2 消息转换为 FHIR R4 观察资源:
var hl7msg = msg['HL7v2 Message'].toString(); // get the HL7 V2 message
var hl7data = Packages.ca.uhn.hl7v2.parser.Parser.parse(hl7msg); // parse the message with the HAPI HL7 parser
// extract values from the HL7 message and create the FHIR resource
var obs = new Packages.org.hl7.fhir.r4.model.Observation();
obs.setStatus(Packages.org.hl7.fhir.r4.model.Observation.ObservationStatus.FINAL);
var code = new Packages.org.hl7.fhir.r4.model.CodeableConcept();
code.addCoding()
.setSystem("http://loinc.org")
.setCode(hl7data.get("OBR-4-1").getValue())
.setDisplay(hl7data.get("OBR-4-2").getValue());
obs.setCode(code);
var value = new Packages.org.hl7.fhir.r4.model.Quantity();
value.setValue(hl7data.get("OBX-5-1").getValue());
value.setUnit(hl7data.get("OBX-6").getValue());
obs.setValue(value);
var subject = new Packages.org.hl7.fhir.r4.model.Reference();
subject.setReference("Patient/" + hl7data.get("PID-3-1").getValue());
obs.setSubject(subject);
// output the FHIR resource as JSON
var json = org.hl7.fhir.r4.formats.JsonParser().setPrettyPrint(true).encodeResourceToString(obs);
return json;
保存脚本并通过向通道发送 HL7 V2 消息来测试转换。转换后的 FHIR R4 观察资源应由 JavaScript Writer 连接器以 JSON 格式输出。
此脚本使用 HAPI FHIR 和 HAPI HL7 v2 库,它们包含在 Mirth 中。它首先从 Mirth 消息对象中提取 HL7 V2 消息,并使用 HAPI HL7 解析器对其进行解析。
接下来,该脚本创建一个新的 FHIR R4 观察资源并设置其 status, code, value, 和 subject 元素基于 HL7 消息中的相应值。
最后,脚本将 FHIR 资源序列化为 JSON 并将其返回。
请注意,这只是一个简单示例,可能不适用于所有 HL7 V2 消息类型或 FHIR 资源。您可能需要修改脚本以处理不同的消息类型或将其他字段映射到 FHIR 资源。
结论?
我不再有任何结论或下一步,因为即使是我的想象力也无法赶上它的飞跃。看起来我现在的选择似乎很有限:要么我可以花时间挑出它不完美的编码风格,要么我可以再过几周重新考虑我盘子里剩下的东西?我需要比以往任何时候都更仔细地思考这件事的潜力。 :)开个玩笑,虽然我很喜欢在这个论坛上发帖(感谢主持人),但我想到的另一个想法是,这“可能”实际上是一些竞争激烈的利基市场参与者迈向大众市场的重要推动力,对吧?由于各种原因,过去需要数年时间才能真正适应某些编码语言和脚本,但现在情况正在发生变化,使用 ChatGPT,它不仅提供精心编写的文档、说明和示例,而且还可以在未来几个月或几年内自动制造您选择的工程工具,对吗?它似乎能够提升“编程语言”的水平,最终使得编程语言中非功能性的特点,比如性能和服务质量等,将变得更重要。 太强了,就很离谱,这比官方文档还好使吗 还是有些错误的,详情可以到英文原文评论中看到
文章
Hao Ma · 三月 26, 2021
**关键字**:IRIS,IntegratedML,Flask,FastAPI,TensorFlow Serving,HAProxy,Docker,Covid-19
## 目的:
过去几个月里,我们提到了一些深度学习和机器学习的快速演示,包括一个简单的 Covid-19 X 射线图像分类器和一个用于可能的 ICU 入院的 Covid-19 实验室结果分类器。 我们还介绍了 ICU 分类器的 IntegratedML 演示实现。 虽然“数据科学”远足仍在继续,但从“数据工程”的角度来看,或许也是尝试一些 AI 服务部署的好时机 - 我们能否将目前所接触到的一切都封装成一套服务 API? 我们可以利用哪些常用的工具、组件和基础架构,以最简单的方式实现这样的服务堆栈?
## 范围
### **范围内:**
作为快速入门,我们可以使用 docker-compose 将以下 docker 化组件部署到 AWS Ubuntu 服务器中
* **HAProxy ** - 负载均衡器
* **Gunicorn** vs. **Univorn ** - Web 网关****服务器
* **Flask** vs. **FastAPI** - Web 应用 UI 的应用服务器、服务 API 定义和热图生成等
* **TensorFlow Model Serving** vs. **TensorFlow-GPU Model Serving** - 图像等分类的应用后端服务器
* IRIS **IntegratedML** - 带有 SQL 界面的统一 App+DB AutoML
* **Jupyter Notebook** 中模拟客户端进行**基准测试**的 Python3
* Docker 和 **docker-compose**
* 配备 Tesla T4 GPU 的 **AWS Ubuntu** 16.04
注:配备 GPU 的 TensorFlow Serving 仅用于演示目的 - 您只需关闭 GPU 相关镜像(在 dockerfile 中)和配置(在 docker-compose.yml 中)。
### **范围外**或者在下一个愿望清单上:
* **Nginx** 或 **Apache** 等 Web 服务器在演示中暂时省略。
* **RabbitMQ** 和 Redis - 用于可靠消息传递的队列代理,可由 IRIS 或 Ensemble 替代。
* **IAM** ([Intersystems API Manger](https://docs.intersystems.com/irislatest/csp/docbook/DocBook.UI.Page.cls?KEY=AIAM)) 或 **Kong** 在愿望清单上
* **SAM **(Intersystems [System Alert & Monitoring](https://docs.intersystems.com/sam/csp/docbook/DocBook.UI.Page.cls?KEY=ASAM))
* **ICM** ([Intersystems Cloud Manager](https://docs.intersystems.com/irislatest/csp/docbook/Doc.View.cls?KEY=PAGE_DEPLOYMENT_ICM)) 与 **Kubernetes** Operator - 诞生以来一直是我的最爱
* **FHIR**(基于 Intesystems IRIS 的 FHIR R4 服务器和 FHIR Sandbox,用于 FHIR 应用上的 SMART)
* **CI/CD** devop 工具或 **Github Actions**
“机器学习工程师”必然会动手遍历这些组件,在服务生命周期内提供一些生产环境。 随着时间的推移,我们可以扩大范围。
## GitHub 仓库
完整源代码位于
[integratedML-demo-template 仓库](https://github.com/intersystems-community/integratedml-demo-template)也与新仓库一同重用。
## 部署模式
以下为此“Docker 中的 AI 演示”测试框架的逻辑部署模式。
出于演示目的,我特意创建了 2 个独立的堆栈,用于深度学习分类以及 Web 渲染,然后使用 HAProxy 作为软负载均衡器,以无状态方式在这 2 个堆栈之间分配传入的 API 请求。
* Guniorn + Flask + TensorFlow Serving
* Univcorn + FaskAPI + TensorFlow Serving GPU
IRIS 与 IntegratedML 用于机器学习演示示例,即 ICU 预测的前一篇文章中。
在目前的演示中,我省略了一些生产服务需要或考虑的常用组件:
* Web 服务器:Nginx 或 Apache 等 HAProxy 和 Gunicorn/Uvicorn 之间需要它们,以进行正确的 HTTP 会话处理,即避免 DoS 攻击等。
* 队列管理器和数据库:RabbitMQ 和/或 Redis 等,在 Flask/FastAPI 和后端服务之间,用于可靠的异步服务和数据/配置持久性等。
* API 网关:IAM 或 Kong 集群,在 HAProxy 负载均衡器和 Web 服务器之间进行 API 管理,不创建单点故障。
* 监视和警报:SAM 很不错。
* 为 CI/CD DevOps 进行配置:云中立的部署和管理以及带有其他常见 devops 工具的 CI/CD 将需要带 K8s 的 ICM。
其实,IRIS 本身当然可以作为企业级队列管理器以及用于可靠消息传递的高性能数据库。 在模式分析中,很明显 IRIS 可以代替 RabbitMQ/Redis/MongoDB 等队列代理和数据库,得到更好的整合,大幅减少延迟,并提高整体性能。 还有,IRIS Web Gateway(先前为 CSP Gateway)当然可以代替 Gunicorn 或 Unicorn 等,对吧?
## 环境拓扑
在全 Docker 组件中实现上述逻辑模式有几种常见选项。 首先:
* docker-compose
* docker swarm 等
* Kubernetes 等
* 带 K8s 操作的 ICM
这个演示从功能性 PoC 和一些基准测试的“docker-compose”开始。 当然,我们很想使用 K8s,也有可能随着时间的推移使用 ICM。
如 [docker-compose.yml](https://github.com/zhongli1990/covid-ai-demo-deployment/blob/master/docker-compose.yml) 文件中所述,它的环境拓扑在 AWS Ubuntu 服务器上的物理实现最终将是:
上图显示了如何将所有 Docker 实例的**服务端口**映射并直接暴露于 Ubuntu 服务器以进行演示。 在生产中应该全部经过安全加固。 纯粹出于演示目的,所有容器都连接到同一个 Docker 网络中;而在生产中,它将被分为外部可路由和内部不可路由。
## Docker 化组件
下面显示了主机中的那些**存储卷**如何按照这个 [docker-compose.yml](https://github.com/zhongli1990/covid-ai-demo-deployment/blob/master/docker-compose.yml) 文件的指示挂载到各个容器实例:
ubuntu@ip-172-31-35-104:/zhong/flask-xray$ tree ./ -L 2
./
├── covid19 (Flask+Gunicorn container and Tensorflow Serving container will mount here)
│ ├── app.py (Flask main app: Both web application and API service interfaces are defined and implemented here)
│ ├── covid19_models (Tensorflow models are published and versioned here for image classification Tensorflow Serving container with CPU)
│ ├── Dockerfile (Flask server with Gunicorn: CMD ["gunicorn", "app:app", "--bind", "0.0.0.0:5000", "--workers", "4", "--threads", "2"])
│ ├── models (Models in .h5 format for Flask app and API demo of heatmap generation by grad-cam on X-Rays)
│ ├── __pycache__
│ ├── README.md
│ ├── requirements.txt (Python packages needed for the full Flask+Gunicorn apps)
│ ├── scripts
│ ├── static (Web static files)
│ ├── templates (Web rendering templates)
│ ├── tensorflow_serving (Config file for tensorflow serving service)
│ └── test_images
├── covid-fastapi (FastAPI+Uvicorn container and Tensorflow Serving with GPU container will mount here)
│ ├── covid19_models (Tensorflow serving GPU models are published and versioned here for image classification)
│ ├── Dockerfile (Uvicorn+FastAPI server are started here: CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8000", "--workers", "4" ])
│ ├── main.py (FastAPI app: both web application and API service interfaces are defined and implemented here)
│ ├── models (Models in .h5 format for FastAPI app and API demo of heatmap generation by grad-cam on X-Rays)
│ ├── __pycache__
│ ├── README.md
│ ├── requirements.txt
│ ├── scripts
│ ├── static
│ ├── templates
│ ├── tensorflow_serving
│ └── test_images
├── docker-compose.yml (Full stack Docker definition file. Version 2.3 is used to accommodate Docker GPU "nvidia runtime", otherwise can be version 3.x)
├── haproxy (HAProxy docker service is defined here. Note: sticky session can be defined for backend LB. )
│ ├── Dockerfile
│ └── haproxy.cfg
└── notebooks (Jupyter Notebook container service with Tensorflow 2.2 and Tensorboard etc)
├── Dockerfile
├── notebooks (Sample notebook files to emulate external API Client apps for functional tests and API benchmark tests in Python on the load balancer etc)
└── requirements.txt
注:以上 [docker-compose.yml](https://github.com/zhongli1990/covid-ai-demo-deployment/blob/master/docker-compose.yml) 用于Covid-19 X 射线的深度学习演示。 它与另一个 [integratedML-demo-template](https://github.com/intersystems-community/integratedml-demo-template) 的 [docker-compose.yml](https://github.com/intersystems-community/integratedml-demo-template/blob/master/docker-compose.yml) 一起使用,形成环境拓扑中显示的完整服务堆栈。
## 服务启动
简单的 **docker-compose up -d** 即可启动所有容器服务:
ubuntu@ip-172-31-35-104:~$ docker psCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES31b682b6961d iris-aa-server:2020.3AA "/iris-main" 7 weeks ago Up 2 days (healthy) 2188/tcp, 53773/tcp, 54773/tcp, 0.0.0.0:8091->51773/tcp, 0.0.0.0:8092->52773/tcp iml-template-master_irisimlsvr_16a0f22ad3ffc haproxy:0.0.1 "/docker-entrypoint.…" 8 weeks ago Up 2 days 0.0.0.0:8088->8088/tcp flask-xray_lb_171b5163d8960 ai-service-fastapi:0.2.0 "uvicorn main:app --…" 8 weeks ago Up 2 days 0.0.0.0:8056->8000/tcp flask-xray_fastapi_1400e1d6c0f69 tensorflow/serving:latest-gpu "/usr/bin/tf_serving…" 8 weeks ago Up 2 days 0.0.0.0:8520->8500/tcp, 0.0.0.0:8521->8501/tcp flask-xray_tf2svg2_1eaac88e9b1a7 ai-service-flask:0.1.0 "gunicorn app:app --…" 8 weeks ago Up 2 days 0.0.0.0:8051->5000/tcp flask-xray_flask_1e07ccd30a32b tensorflow/serving "/usr/bin/tf_serving…" 8 weeks ago Up 2 days 0.0.0.0:8510->8500/tcp, 0.0.0.0:8511->8501/tcp flask-xray_tf2svg1_1390dc13023f2 tf2-jupyter:0.1.0 "/bin/sh -c '/bin/ba…" 8 weeks ago Up 2 days 0.0.0.0:8506->6006/tcp, 0.0.0.0:8586->8888/tcp flask-xray_tf2jpt_188e8709404ac tf2-jupyter-jdbc:1.0.0-iml-template "/bin/sh -c '/bin/ba…" 2 months ago Up 2 days 0.0.0.0:6026->6006/tcp, 0.0.0.0:8896->8888/tcp iml-template-master_tf2jupyter_1
以 **docker-compose up --scale fastapi=2 --scale flask=2 -d** 为例,将水平扩展到 2 个 Gunicorn+Flask 容器和 2 个 Univcorn+FastAPI 容器:
ubuntu@ip-172-31-35-104:/zhong/flask-xray$ docker psCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMESdbee3c20ea95 ai-service-fastapi:0.2.0 "uvicorn main:app --…" 4 minutes ago Up 4 minutes 0.0.0.0:8057->8000/tcp flask-xray_fastapi_295bcd8535aa6 ai-service-flask:0.1.0 "gunicorn app:app --…" 4 minutes ago Up 4 minutes 0.0.0.0:8052->5000/tcp flask-xray_flask_2
... ...
在“integrtedML-demo-template”的工作目录下再运行一个“docker-compose up -d”,就出现了上面列表中的 irisimlsvr 和 tf2jupyter 容器。
## 测试
### **1. 带有简单 UI 的 AI 演示 Web 应用**
启动上述 docker 服务后,我们可以访问 AWS EC2 实例中托管的 [Covid-19 肺部 X 射线检测](https://community.intersystems.com/post/run-some-covid-19-lung-x-ray-classification-and-ct-detection-demos)演示 Web 应用,临时地址为
http://ec2-18-134-16-118.eu-west-2.compute.amazonaws.com:8056/
以下是从我的手机截取的屏幕。 它有一个非常简单的演示 UI:基本上只需要点击“Choose File”,然后点击“Submit”按钮,上传 [X 射线图像](https://github.com/zhongli1990/Covid19-X-Rays/tree/master/all/test),然后应用就会显示分类报告。 如果图像被分类为 Covid-19 X 射线图像,则会[显示热图](https://community.intersystems.com/post/explainability-and-visibility-covid-19-x-ray-classifiers-deep-learning),通过 DL 模拟“检测到的”病变区域;如果未被分类为 Covid-19 X 射线图像,分类报告将仅显示上传的 X 射线图像。
该 Web 应用是一个 Python 服务器页面,其逻辑主要在 [FastAPI 的 main.py](https://github.com/zhongli1990/covid-ai-demo-deployment/blob/master/covid-fastapi/main.py) 文件以及 [Flask 的 app.py](https://github.com/zhongli1990/covid-ai-demo-deployment/blob/master/covid19/app.py) 文件中进行编码。
如果有更多的空闲时间,我可能会详细说明 Flask 和 FastAPI 之间的编码和惯例差异。 其实我希望可以为 AI 演示托管对比 Flask、FastAPI 与 IRIS。
### **2. 测试演示 API**
FastAPI(在端口 8056 处公开)内置 Swagger API 文档,如下所示。 这非常好用。 我需要做的就是在其 URL 中使用“/docs”,例如:
.png)
我内置了一些占位符(如 /hello 和 /items)和一些真正的演示 API 接口(如 /healthcheck、/predict 和 predict/heatmap)。
**来对这些 API 进行一个快速测试**,在我为这个 AI 演示服务准备的一个 [Jupyter Notebook 示例文件](https://github.com/zhongli1990/covid-ai-demo-deployment/tree/master/notebooks/notebooks)中运行一些 Python 行(作为 API 客户端应用模拟器)。
下面我以运行这个文件为例:
首先测试后端 TF-Serving(端口 8511)和 TF-Serving-GPU(端口 8521)是否正常运行:
!curl http://172.17.0.1:8511/v1/models/covid19 # tensorflow serving
!curl http://172.17.0.1:8521/v1/models/covid19 # tensorflow-gpu serving
{
"model_version_status": [
{
"version": "2",
"state": "AVAILABLE",
"status": {
"error_code": "OK",
"error_message": ""
}
}
]
}
{
"model_version_status": [
{
"version": "2",
"state": "AVAILABLE",
"status": {
"error_code": "OK",
"error_message": ""
}
}
]
}
然后测试以下服务 API 是否正常运行:
Gunicorn+Flask+TF-Serving
Unicorn+FastAPI+TF-Serving-GPU
以上麻烦服务之前的负载均衡器 HAProxy
r = requests.get('http://172.17.0.1:8051/covid19/api/v1/healthcheck') # tf srving docker with cpu
print(r.status_code, r.text)
r = requests.get('http://172.17.0.1:8056/covid19/api/v1/healthcheck') # tf-serving docker with gpu
print(r.status_code, r.text)
r = requests.get('http://172.17.0.1:8088/covid19/api/v1/healthcheck') # tf-serving docker with HAproxy
print(r.status_code, r.text)
结果应为:
200 Covid19 detector API is live!
200 "Covid19 detector API is live!\n\n"
200 "Covid19 detector API is live!\n\n"
测试一些功能性 API 接口(例如 **/predict/heatmap**)来返回输入 X 射线图像的分类和热图结果。 根据 API 定义,在通过 HTTP POST 发送之前,入站图像为 based64 编码:
%%time
# importing the requests library
import argparse
import base64
import requests
# defining the api-endpoint
API_ENDPOINT = "http://172.17.0.1:8051/covid19/api/v1/predict/heatmap"
image_path = './Covid_M/all/test/covid/nejmoa2001191_f3-PA.jpeg'
#image_path = './Covid_M/all/test/normal/NORMAL2-IM-1400-0001.jpeg'
#image_path = './Covid_M/all/test/pneumonia_bac/person1940_bacteria_4859.jpeg'
b64_image = ""
# Encoding the JPG,PNG,etc. image to base64 format
with open(image_path, "rb") as imageFile:
b64_image = base64.b64encode(imageFile.read())
# data to be sent to api
data = {'b64': b64_image}
# sending post request and saving response as response object
r = requests.post(url=API_ENDPOINT, data=data)
print(r.status_code, r.text)
# extracting the response
print("{}".format(r.text))
所有此类[测试图像也已上传到 GitHub](https://github.com/zhongli1990/Covid19-X-Rays/tree/master/all/test)。 以上代码的结果将为:
200 {"Input_Image":"http://localhost:8051/static/source/0198f0ae-85a0-470b-bc31-dc1918c15b9620200906-170443.png","Output_Heatmap":"http://localhost:8051/static/result/Covid19_98_0198f0ae-85a0-470b-bc31-dc1918c15b9620200906-170443.png.png","X-Ray_Classfication_Raw_Result":[[0.805902302,0.15601939,0.038078323]],"X-Ray_Classification_Covid19_Probability":0.98,"X-Ray_Classification_Result":"Covid-19 POSITIVE","model_name":"Customised Incpetion V3"}
{"Input_Image":"http://localhost:8051/static/source/0198f0ae-85a0-470b-bc31-dc1918c15b9620200906-170443.png","Output_Heatmap":"http://localhost:8051/static/result/Covid19_98_0198f0ae-85a0-470b-bc31-dc1918c15b9620200906-170443.png.png","X-Ray_Classfication_Raw_Result":[[0.805902302,0.15601939,0.038078323]],"X-Ray_Classification_Covid19_Probability":0.98,"X-Ray_Classification_Result":"Covid-19 POSITIVE","model_name":"Customised Incpetion V3"}
CPU times: user 16 ms, sys: 0 ns, total: 16 ms
Wall time: 946 ms
### **3. 基准测试演示服务 API**
我们设置了一个 HAProxy 负载均衡器实例。 我们还启动了一个有 4 个工作进程的 Flask 服务,以及一个也有 4 个工作进程的 FastAPI 服务。
为什么不直接在 Notebook 文件中创建 8 个 Pyhon 进程,模拟 8 个并发 API 客户端向演示服务 API 发送请求,看看会发生什么
#from concurrent.futures import ThreadPoolExecutor as PoolExecutor
from concurrent.futures import ProcessPoolExecutor as PoolExecutor
import http.client
import socket
import time
start = time.time()
#laodbalancer:
API_ENDPOINT_LB = "http://172.17.0.1:8088/covid19/api/v1/predict/heatmap"
API_ENDPOINT_FLASK = "http://172.17.0.1:8052/covid19/api/v1/predict/heatmap"
API_ENDPOINT_FastAPI = "http://172.17.0.1:8057/covid19/api/v1/predict/heatmap"
def get_it(url):
try:
# loop over the images
for imagePathTest in imagePathsTest:
b64_image = ""
with open(imagePathTest, "rb") as imageFile:
b64_image = base64.b64encode(imageFile.read())
data = {'b64': b64_image}
r = requests.post(url, data=data)
#print(imagePathTest, r.status_code, r.text)
return r
except socket.timeout:
# in a real world scenario you would probably do stuff if the
# socket goes into timeout
pass
urls = [API_ENDPOINT_LB, API_ENDPOINT_LB,
API_ENDPOINT_LB, API_ENDPOINT_LB,
API_ENDPOINT_LB, API_ENDPOINT_LB,
API_ENDPOINT_LB, API_ENDPOINT_LB]
with PoolExecutor(max_workers=16) as executor:
for _ in executor.map(get_it, urls):
pass
print("--- %s seconds ---" % (time.time() - start))
因此,处理 8x27 = 216 张测试图像花了 74s。 这个负载均衡的演示堆栈每秒能够处理 3 张图像(通过将分类和热图结果返回客户端):
--- 74.37691688537598 seconds ---
从 Putty 会话的 Top 命令中,我们可以看到在上述基准脚本开始运行后,8 个服务器进程(4 个 gunicorn + 4 个 unicorn/python)开始加速
## 未来计划
这篇帖子只是将“All-in-Docker AI 演示”部署堆栈组合为测试框架的起点。 接下来,我希望根据 FHIR R4 等添加更多的 API 演示接口(例如 Covid-19 ICU 预测接口等),并添加一些支持 DICOM 输入格式。 这也可以成为一个测试台,用于探索与 IRIS 托管的 ML 功能更紧密的集成。 未来它也可以用作测试框架(也是一个非常简单的框架),随着我们在医疗影像、人群健康或个性化预测以及 NLP 等各个 AI 领域的发展,截取越来越多的 ML 或 DL 专业模型。 我还在[上一篇帖子的末尾(在“未来计划”部分)](https://community.intersystems.com/post/run-some-covid-19-icu-predictions-ml-vs-integratedml-part-ii)列出了一个愿望清单。
文章
Hao Ma · 四月 29, 2021
经常被问到有关IRIS如何支持SSL,HTTPS的问题,有必要写个东西介绍一下。
##HTTPS的原理
简单的说,https实现两个目的:一是访问网站加密,2是确认被访问的网站是真的。
首先,被访问的网站要申请一个证书,这个证书必须是权威机构发放的,比如google, VeriSign等等,所有的浏览器里有预装了这些组织的公钥(Public Key),因此能确认你提供的证书真是这些组织给出的,而这个证书可以证明你的网站的身份。注意证书证明的是提供服务的组织和服务的真实性,和用什么设备没关系,也就是说,IRIS不管证书的事儿。
接下去,被访问的服务器可以生成公钥和私钥,和客户端交换key,生成整个世界只有两者知道的security code,用来两者之间数据的交换。详细的过程和消息交互可以在网上找到很多很好的文章和视频,比如这个: [How does HTTPS work? What's a CA? What's a self-signed Certificate?](https://www.youtube.com/watch?v=T4Df5_cojAs)。
如果是测试环境或者使用者可以控制的内部网络,self-signed证书非常常用。self-signed证书就是不去花钱找人认证,而是告诉客户端,我这个证书是自己认证的,你知道我这台机器试内网的一个机器,不用权威机构证明我服务器的身份,咱们交换一下钥匙把通信加密了吧。操作系统,各种Web服务器都提供这样的假证书,可以用于测试。浏览器访问这样的网站时会提醒用户这个网站不安全,客户需要确认继续访问。
## IRIS的https访问
如果要访问的是IRIS上的http服务或者页面,需要做的是在连接IRIS的Web服务器配置SSL/TLS。有关IRIS和IRIS WebGateway的介绍,请查看[这个系列前面的文章](https://cn.community.intersystems.com/post/webgateway%E7%B3%BB%E5%88%971-web-gateway%E4%BB%8B%E7%BB%8D)。
*不需要在IRIS或者IRIS Gateway做任何配置。在IRIS文档里有各种有关SSL/TLS的内容,除非你要开发一个TCP层的使用SSL/TLS的应用或者IRIS作为客户端访问其他HTTPS的服务,你根本不用阅读。*
下面简单介绍配置Apache Web服务器简单实现IRIS管理页面的HTTPS访问的步骤。
**1.apache Web服务器安装SSL.**
如果你的Apache没有安装过SSL组件,运行下面命令安装
```
yum -y install mod_ssl
```
命令执行结束安装完成后,在/etc/httpd/modules目录会添加了mod_ssl.so,并且在/etc/httpd/conf.d 目录下会出现一个ssl.conf文件。
如果是Windows, 您需要下载使用Windows的Apache服务器,比如从这个页面:[Apach2.4.46](https://www.apachehaus.com/cgi-bin/download.plx)。 按照说明,您需要将软件解压缩到一个目录,比如c:/Apache24,然后执行 "httpd -k install"安装。
并且, 你要确保httpd.conf文件中下面两行没有被注释
LoadModule ssl_module modules/mod_ssl.so
Include conf/extra/httpd-ssl.conf
访问https://WebServerIP,你会被浏览器提醒这不是个可信任的网站,是不是还要继续访问,确认后会看到Apache的测试页,访问是成功的。
**2.到IRIS的WebGateway的连接。**
我一般放在一个单独的配置文件里,在linux下是在./conf.d/isc.conf, 在Windows系统是在./extra/httpd-isc.conf。这个配置文件是要被include在httpd.conf里面。配置https并不需要修改这个配置文件。下面是在Windows下的httpd-isc.conf的配置示意。
LoadModule csp_module_sa C:/InterSystems/WebGateway/CSPa24.dll
SetHandler csp-handler-sa
SetHandler csp-handler-sa
CSPFileTypes *
Alias /csp/ c:/InterSystems/WebGateway/csp/
AllowOverride None
Options MultiViews FollowSymLinks ExecCGI
Require all granted
Require all denied
这时您应该可以测试到IRIS管理页面的HTTPS访问了。
**3. 获得证书并添加到Web服务器。**
这步是可选的。面向公众服务的Web服务通常会购物证书, 而内部服务个个客户的网络中会有相关的CA的处理方式,相应的如何修改Apache服务器的配置请自行查看文档。
五一节快乐
文章
Michael Lei · 一月 26, 2022
@Robert.Cemper1003 我们全球(几乎是)最资深最活跃粉丝最多的社区成员 (最畅销!). Robert 老师从1970年代就开始从事软件行业,从1978年就开始从事MUMPS, DSM, ... Caché, ...IRIS等等直到今天还在活越地写代码。所以跟着Robert老师超过100篇的社区文章中学习 InterSystems 技术是最好不过的选择了。我们按照主题精选了一些文章,后面会陆续翻译,大家希望优先翻译哪一篇,欢迎在评论区留言。
关于SQL
DB Migration using SQLgateway IRIS 使用 SQLgateway 迁移到IRIS.
Dataset Lightweight M:N 和 M:N Relationship 高级SQL 关系
Using ClassQueries() as Tables 把ClassQueries 当成表来使用 (就像使用objectscript的视图 )
Effective use of Collection Indexing and Querying Collections through SQL SQL 查询采集索引
Show Global by SQL SELECT 看 globals的SQL 语句
SQL for ^ERROR Global get ^ERROR global 的SQL 语句
SPOOL as SQL Table get the SPOOL report 的SQL 语句
Materialized Views 如何用IRIS实现 "物化视图"
Semi-Persistent Classes and Tables 仅仅持久化你需要的类的内容
Static WHERE Conditions 使用sql 类方法来筛选where里面的数据
Repairing your Index 重构索引------------------------------------------------------------------
关于Python 和原生 API
AoC2021-rcc 使用嵌入式Python的25个样本代码
Using ZPM for Node.js 从Node.js 使用 zpm 模块
WebSocket Client with embedded Python 嵌入式Python的WebSocket 客户端
Trying Embedded Python IRIS内的python 例子
Native API for ObjectScript Demo 和 IRIS Native API for ObjectScript 简单的原生API demo
IRIS-NativeAPI-Nodejs-compact 和 WebSocket Client JS with IRIS Native API as Docker Micro Server Node.js 和原生 NativeAPI的轻量级docker实例
Client for WebSockets based on Node.js 基于 Node.js的web sockets ------------------------------------------------------------------
关于 Globals, ObjectScript, ZPM 和 COS
Traditional Debugging in ObjectScript Debug 你的 ObjectScript 代码
The future position of ObjectScript ObjectScript开发的未来
Helper for ObjectScript Language Extensions 扩展ObjectScript的帮助app
FOREACH for ObjectScript 从Macro到foreach 的 ObjectScript
ObjectScript over ODBC ObjectScript使用 ODBC
Global Scanning & Slicing 输出任何级别的globals细节
ZPMshow - a helper for tired fingers 如何使用ZPM
Un-Typical persistence 关于持久化的高级技巧 persistence
snapshot to JSON 从快照 到 JSON
A function to check if string is JSON object 检查字符串是否为JSON对象的功能
fast JSON formatting for Caché / Ensemble 和 fast JSON formatting for IRIS 漂亮地格式化你的 JSON 字符串
Organize %ZLANG** 关于ZLANG的技巧
Wrap JSON to multi lines / Test ISJSON JSON 多行处理
Parameter passing to Language Extentions 为语言扩展给参数传值(SystemFunctions, SystemVariables, SystemCommands)
Terminal Multi-Line Command Editor 和 Terminal Multi-Line Option 多行终端
Backport %JSON.* to Caché 把%JSON backport到 Caché
Moving Code from IRIS to Caché 把代码从 IRIS 移动到 Caché
Multidimensional Property Persistence - Part 1 (Classic) 持久化多维属性
SUDOKU demo ObjectScript SUDOKU Demo
Synchronize Data with DSTIME DSTime 例子
Adopted Bitmaps example now on Open Exchange 和The adopted Bitmap 使用 BITMAPS的应用例子
Client for WebSockets based on CSP 基于CSP的web socket客户端
Execute Server Commands from Caché / Ensemble / IRIS 从caché/ensemble/IRIS执行服务器命令.
Sharding evaluation #1 和 Manual Setup of Sharding IRIS分片技术
Global Time Management datetime属性里的UTC time properties
Summary on Local Variable Scoping Variable scopings
The 'unlimited' UNIQUE index UNIQUE 索引技术
@Indirection and eXECUTE - why ? 动态调用
Light weight EXCEL download 轻量数据集/excel
Date before Dec.1840 ? Negative $H(orolog) ? 关于日期 dates------------------------------------------------------------------
关于互操作性 Interoperability
Generating OFX [V1] 为MS OFX format自定义 production
------------------------------------------------------------------
关于IRIS 基础架构和docker
Storage Considerations on large data sets 处理大型数据的存储考虑 datasets
Docker Desktop Windows - disk space consumption 关于 docker 磁盘空间管理
SSH for IRIS container IRIS容器的 SSH 访问.
How to execute IRIS restart from inside 正确滴重启 IRIS
Splitting an IRIS db to multiple drives 把IRISDB分解到多个HD drives
How to shrink IRISTEMP db in runtime? 节省 IRISTEMP 磁盘分配
IRIS easy ECP workbench 使用IRIS ECP
Making development in Docker environment easier 让 docker 环境下的开发更容易
Using ECP across IRIS and Caché 跨 IRIS 和 Cache 使用ECP
ECP between IRIS and Caché / Ensemble 在 IRIS, Cache 和 Ensemble同时存在的情况下使用ECP
moving code between IRIS and CACHÉ 在 IRIS 和 Cache之间移动代码
Break in case of Emergency 紧急情况下的远程访问
IRIS-Docker-micro-Durability 再次运行 docker 实例时保留参数
Docker vs. Durability 较少可用资源下的Docker instances
WebSocket Client IRIS internal %Net.WebSocket.客户端
WebSocket Echo Server in IRIS Web socker demo
A more useFull Object Dump 一个更有用的Object dump
Using Interjob communication (IJC) 使用 IJC
Background Jobs over ECP 分布式任务--ECP 下的后台任务
Simple Remote Server Control 简单的远程服务器监控
SPOOL - the forgotten device SPOOL 管理被遗忘的设备------------------------------------------------------------------
其他
Successful Troubleshooting 成功的Troubleshooting
感谢🙏 Robert Cemper先生, 我们感谢您!
From The Roots to InterSystems Robert先生的经历简介
文章
Claire Zheng · 八月 17, 2021
什么是互联互通?我们所说的互联互通其实就是国际上的互操作性,HIMSS对于互操作性定义的是:不同的信息系统、设备、应用系统之间、程序之间,在机构区域和国家边界之内,以及跨机构、区域和国家边界,以协调的方式来访问交换集成和协作使用数据的能力。
它对于使用效果提出了一些目标,比如希望能够提供及时和无缝的信息的可移植性,和优化个人和人群的健康。这是它定义的对于互操作性的4个不同的级别:
基础级别就比较简单,仅仅打通了系统之间进行数据通讯的通道;
结构级别,在基础级别之上定义了数据交换的格式和语法;
再上面有语义级别,语义级别是建立在行业通用的数据模型和数据编码之上的,使用标准化的行业语义来定义数据元素,使用标准的值集,因此语义级别的互操作性才是全行业可以理解的,并且有确定的行业意义的这种互操作,也就是说语义级别的互操作才是基于标准的互操作;
在语义级别之上,还有组织级别的互操作。通常这些都是由国家、国际的行业协会、行业标准开发组织开发的,加入了很多的其他方面的一些考虑,比如说政策的、社会的、法律的,分析了通用的业务流程和工作流,在这个基础之上设定了参与互操作的各方的角色、权限、服务、知情同意策略等等。
我国目前的互联互通标准化成熟度测试,其实就是组织级别的互操作。
注:本文根据InterSystems中国技术总监乔鹏演讲整理而成。