搜索​​​​

清除过滤器
文章
姚 鑫 · 八月 7, 2021

方法关键字Requires,ReturnResultsets,ServerOnly,SoapAction

# 第七十三章 方法关键字 - Requires 指定用户或进程调用此方法必须拥有的权限列表。 # 用法 要指定此方法应限于具有指定权限的用户或进程,请使用以下语法: ```java Method name(formal_spec) As returnclass [ Requires = privilegelist ] { //implementation } ``` 其中,`privilegelist` 要么是单个特权,要么是用引号括起来的以逗号分隔的特权列表。 每个权限都采用`resource:permission`的形式,其中`permission`是`Use`、`Read`或`Write`(或单字母缩写`U`、`R`或`W`)。 若要为一个资源`resource`指定多个权限,请使用单字母缩写。 # 详情 用户或进程必须拥有权限列表中的所有权限才能调用该方法。 调用没有指定权限的方法会导致``错误。 如果方法从超类继承了`Requires`关键字,则可以通过设置关键字的新值将其添加到所需特权的列表中。 不能以这种方式删除所需的特权。 # 默认 如果忽略此关键字,则调用此方法不需要特殊权限。 # 示例 下面的方法需要对`Sales`数据库的读权限和对`Marketing`数据库的写权限。 (注意,如果一个数据库有写权限,它会自动有读权限。) ```java ClassMethod UpdateTotalSales() [ Requires = "%DB_SALES: Read, %DB_MARKETING: Write" ] { set newSales = ^["SALES"]Orders set totalSales = ^["MARKETING"]Orders set totalSales = totalSales + newSales set ^["MARKETING"]Orders = totalSales } ``` 若要为一个资源指定多个权限,请使用单字母缩写。 以下两种方法在功能上是等价的: ```java ClassMethod TestMethod() [ Requires = "MyResource: RW" ] { write "You have permission to run this method" } ClassMethod TestMethodTwo() [ Requires = "MyResource: Read, MyResource: Write" ] { write "You have permission to run this method" } ``` # 第七十四章 方法关键字 - ReturnResultsets 指定此方法是否返回结果集(以便`ODBC`和`JDBC`客户机能够检索它们)。 # 用法 要指定该方法返回至少一个结果集,请使用以下语法: ```java ClassMethod name(formal_spec) As returnclass [ ReturnResultsets, SqlName = CustomSets, SqlProc ] { //implementation } ``` 否则,忽略此关键字或将单词`Not`紧接在关键字之前。 # 详解 此关键字指定该方法至少返回一个结果集。如果方法可能返回一个或多个结果集,则将此关键字设置为`true`。如果没有,`xDBC`客户端将无法检索结果集。 # 默认 如果省略此关键字,`xDBC`客户端将无法检索结果集。 # 第七十五章 方法关键字 - ServerOnly 指定此方法是否将被投影到Java客户端。 # 用法 将方法投影到`Java`客户端,请使用以下语法: ```java Method name(formal_spec) As returnclass [ ServerOnly=n ] { //implementation } ``` 其中`n`为下列其中之一: - `0`表示该方法可以映射。 - `1`表示该方法不会被映射。 # 详解 该关键字指定方法不会被投影到`Java`客户机。 # 提示 要查看类的哪些方法是`server-only`的,请在终端中使用以下实用程序: ```java do dumpMethods^%occLGUtil("Sample.Person") ``` 参数是完全限定类名。 该实用程序生成一个报告,该报告指出关于每个方法的基本信息:该方法是否为存根,该方法是否仅为服务器,以及(如果该方法是从某个属性派生的)派生该方法的属性。 # 默认 如果忽略这个关键字,这个方法如果是存根方法就不会被投影(但是如果不是存根方法就会被投影)。 ```java DHC-APP>do dumpMethods^%occLGUtil("Sample.Person") Method=%%OIDGet UseStub=0 serveronly=1 Method=%%OIDIsValid UseStub=1 serveronly=0 PropName=%%OID MethodName=IsValid Method=%%OIDSet UseStub=1 serveronly=1 PropName=%%OID MethodName=Set Method=%1Check UseStub=0 serveronly=1 Method=%AcquireLock UseStub=0 serveronly=1 Method=%AddJrnObjToSyncSet UseStub=0 serveronly=1 Method=%AddToSaveSet UseStub=0 serveronly=1 ``` # 第七十六章 方法关键字 - SoapAction 指定当通过HTTP将此方法作为`web方法`调用时,要在`HTTP`头中使用的`SOAP`操作。仅适用于定义为`web服务`或`web客户端`的类。 # 用法 要指定将此方法用作`web方法`时在HTTP头中使用的`SOAP`操作,请使用以下语法: ```java Method name(formal_spec) As returnclass [ WebMethod, SoapAction = soapaction ] { //implementation } ``` 其中`soapaction`是下列之一: - `“[default]”—SOAP`操作的默认值,即`NAMESPACE/Package.Class.Method` - `"customValue"` -使用`customValue`作为`SOAP`操作。 该值应该是标识`SOAP`请求意图的`URI`。 如果指定了一个自定义的值,它必须在`web服务`的每个`web方法`中是唯一的,或者你必须为每个`web方法`指定`SoapRequestMessage`关键字(并且为该关键字使用唯一的值)。 - "" -使用空值作为`SOAP`操作。这种情况很少见。 # 详情 `web方法`的`SOAP`动作通常用于路由请求`SOAP消息`。 例如,防火墙可以使用它来适当地过滤`SOAP请求消息`。 InterSystems IRIS `web服务`使用`SOAP操作`(与消息本身结合)来确定如何处理请求消息。 该关键字允许指定在作为`web方法`调用此方法时使用的HTTP `SOAP`动作。 对于`SOAP 1.1`, `SOAP`动作包含在`SOAPAction HTTP`报头中。 对于`SOAP 1.2`,它包含在`Content-Type` HTTP报头中。 # 默认 如果忽略`SoapAction`关键字,`SOAP`动作的形式如下: ```java NAMESPACE/Package.Class.Method ``` 其中`NAMESPACE`是`web服务`的`NAMESPACE`参数的值,`Package.Class`是`web服务`类的名称,`Method`是`web方法`的名称。 # WSDL的关系 `SoapAction`关键字影响`web服务`的`WSDL`中`的`部分。 例如,以下web方法: ```java Method Add(a as %Numeric,b as %Numeric) As %Numeric [ SoapAction = MySoapAction,WebMethod ] { Quit a + b } ``` 对于这个`web服务`,`WSDL`的``部分如下所示: ```xml ``` 默认情况下,如果方法没有指定`SoapAction`关键字,``元素可能会像下面这样: ```xml ``` 如果使用`SOAP`向导从`WSDL`生成 `web服务`服务或客户端,将此关键字设置为适合于该`WSDL`的关键字。 # 对消息的影响 对于前面显示的`web方法`,`web服务`期望收到以下形式的请求消息(对于SOAP 1.1): ```xml POST /csp/gsop/ROBJDemo.BasicWS.cls HTTP/1.1 User-Agent: Mozilla/4.0 (compatible; InterSystems IRIS;) Host: localhost:8080 Connection: Close Accept-Encoding: gzip SOAPAction: MySoapAction Content-Length: 379 Content-Type: text/xml; charset=UTF-8 ... ``` 默认情况下,如果方法没有指定`SoapAction`关键字,`SoapAction`行可能会像下面这样: ```xml SOAPAction: http://www.mynamespace.org/ROBJDemo.BasicWS.Add ``` 注意,对于`SOAP 1.2`,细节略有不同。 在这种情况下,`web服务`期望收到如下形式的请求消息: ```xml POST /csp/gsop/ROBJDemo.BasicWS.cls HTTP/1.1 User-Agent: Mozilla/4.0 (compatible; InterSystems IRIS;) Host: localhost:8080 Connection: Close Accept-Encoding: gzip Content-Length: 377 Content-Type: application/soap+xml; charset=UTF-8; action="MySoapAction" ... ```
文章
Michael Lei · 二月 9, 2023

5 个有用的 SQL 函数,让你的 SQL 技能更上一层楼

嗨,大家好 在本文中,我列出了 5 个有用的 SQL 函数,并附有解释和查询示例👇🏻这5个功能是 COALESCE合并 RANK排序 DENSE_RANK密集排序 ROW_NUMBER行号 SUM()获取运行总计的函数 那么让我们从 COALESCE 函数开始 #合并 COALESCE 函数按从左到右的顺序计算表达式列表,并返回第一个非 NULL 表达式的值。如果所有表达式的计算结果为 NULL,则返回 NULL。 以下语句将首先返回非空值,即“intersystems” SELECT COALESCE ( NULL , NULL , NULL , 'intersystems' , NULL , 'sql' ) 让我们创建下表以获取更多示例 CREATE TABLE EXPENSES( TDATE DATE NOT NULL , EXPENSE1 NUMBER NULL , EXPENSE2 NUMBER NULL , EXPENSE3 NUMBER NULL , TTYPE CHAR ( 30 ) NULL ) 现在让我们插入一些虚拟数据来测试我们的功能 INSERT INTO sqluser.expenses (tdate, expense1,expense2,expense3,ttype ) SELECT {d '2023-01-01' }, 500 , 400 , NULL , 'Present' UNION ALL SELECT {d '2023-01-01' }, NULL , 50 , 30 , 'SuperMarket' UNION ALL SELECT {d '2023-01-01' }, NULL , NULL , 30 , 'Clothes' UNION ALL SELECT {d '2023-01-02' }, NULL , 50 , 30 , 'Present' UNION ALL SELECT {d '2023-01-02' }, 300 , 500 , NULL , 'SuperMarket' UNION ALL SELECT {d '2023-01-02' }, NULL , 400 , NULL , 'Clothes' UNION ALL SELECT {d '2023-01-03' }, NULL , NULL , 350 , 'Present' UNION ALL SELECT {d '2023-01-03' }, 500 , NULL , NULL , 'SuperMarket' UNION ALL SELECT {d '2023-01-04' }, 200 , 100 , NULL , 'Clothes' UNION ALL SELECT {d '2023-01-06' }, NULL , NULL , 100 , 'SuperMarket' UNION ALL SELECT {d '2023-01-06' }, NULL , 100 , NULL , 'Clothes' 选择数据 现在通过使用 COALESCE 函数,我们将首先从 expense1、expense2 和 expense 3 列中检索非 NULL 值 SELECT TDATE, COALESCE (EXPENSE1,EXPENSE2,EXPENSE3), TTYPE FROM sqluser.expenses ORDER BY 2 #RANK vs DENSE_RANK vs ROW_NUMBER 函数 RANK() — 为同一窗口框架内的每一行分配一个排序整数,从 1 开始。如果多行包含相同的窗口函数字段值,则排序整数可以包含重复值。 ROW_NUMBER() — 为同一窗口框架内的每一行分配一个唯一的顺序整数,从 1 开始。如果多行包含相同的窗口函数字段值,则每一行都分配一个唯一的顺序整数。 DENSE_RANK() 离开 重复排名后没有间隙。 在 SQL 中,您可以通过多种方式为行分配排名,我们将通过示例深入探讨。再次考虑与之前相同的示例,但现在我们想知道最高费用是多少。 我们想知道我在哪里花的钱最多。有不同的方法可以做到这一点。我们可以使用所有 ROW_NUMBER() , RANK() 和 DENSE_RANK() 三个函数 。我们将使用所有三个函数对上一个表进行排序,并使用以下查询查看它们之间的主要区别是什么: 下面是我们的查询: 这三个功能之间的主要区别在于它们处理相同值的方式。我们将进一步深入探讨它们的差异: RANK()----从 1 开始为每一行返回一个唯一的数字。当数值相等时,如果没有定义第二个条件,它会任意分配一个数字。 ROW_NUMBER() -----从1开始为每一行返回一个唯一的数字,除非数值相同,否则它将分配相同的数字。同样,重复的排名后会有空格。 DENSE_RANK()----- 重复排名后不留空格。 #计算运行总计 运行总计可能是最有用的窗口函数之一,尤其是当您想要可视化增长时。使用SUM()的窗口函数,我们可以计算累积聚合。 为此,我们只需要使用聚合器SUM()对变量求和,但使用 TDATE 列对该函数进行排序。 您可以观察到相应的查询如下: 正如您在上表中看到的那样,现在我们有了随着日期过去所花金额的累计汇总。 结论 SQL 很棒。上面使用的函数在处理数据分析、数据科学和任何其他与数据相关的领域时可能很有用。 这就是为什么我们应该注意不断提高 SQL 技能的原因。 谢谢
文章
姚 鑫 · 八月 14, 2021

属性关键字InitialExpression,Internal,Inverse,MultiDimensional

# 第101章 属性关键字 - InitialExpression 指定此属性的初始值。 # 用法 要指定此属性的初始值,请使用以下语法: ```java Property name As classname [ InitialExpression = initialexpression ]; ``` 其中,`initialexpression`是用大括号括起来的常量或ObjectScript表达式。 # 详解 此关键字指定属性的初始值。该值是在创建新实例时由类的`%New()`方法分配的。(如果属性是瞬态的的,则其初始值由创建实例时`%New()`调用的代码或实例从磁盘加载到内存时`%OpenId()`调用的代码确定。) 初始表达式的值必须适合给定的属性类型。 表达式可以是任意复杂的,有以下限制: - 初始表达式不能引用其他属性。也就是说,诸如{`..therPropertyname`}这样的表达式无效。 - 初始表达式不能实例化对象,也不能包括对象引用。 - 初始表达式不能调用实例方法(只能调用类方法)。 - 必须在ObjectScript中指定初始表达式。 - 表达式执行的代码不应报告错误。InterSystems IRIS不提供处理表达式返回的错误的方法。 - 如果表达式执行的代码导致发生其他处理,则InterSystems IRIS不提供处理该处理结果的方法。 子类继承`InitialExpression`关键字的值并可以重写它。 # 默认 `InitialExpression`关键字的默认值为`NULL`。 # 示例 下面显示了几个使用ObjectScript表达式的示例: ```java Property DateTime As %Date [ InitialExpression = {$zdateh("1966-10-28",3)} ]; Property MyString As %String [ InitialExpression = {$char(0)} ]; /// 此参数使用参数值进行初始化 Property MyProp As %String [ InitialExpression = {..#MYPARM} ]; /// 这是由一个类方法初始化的 Property MyProp2 As %Numeric [ InitialExpression = {..Initialize()} ]; ``` # 第102章 属性关键字 - Internal 指定此属性定义是否为内部定义(不显示在类文档中)。 # 用法 要指定此属性为内部属性,请使用以下语法: ```java Property propertyname As classname [ Internal ]; ``` 否则,请省略此关键字或将该词放在该关键字之前。 # 详解 类文档中不显示内部类成员。如果希望用户看到某个类,但不能看到其所有成员,则此关键字非常有用。 # 默认 如果省略此关键字,则此属性将显示在类文档中。 # 第103章 属性关键字 - Inverse 指定此关系的反面。关系属性需要。不用于其他属性。 # 用法 要在相关类中指定与该关系属性相反的关系属性,请使用以下语法: ```java Relationship Chapters As Chapter [ Cardinality = cardinality; Inverse = inverse ]; ``` 其中,`Inverse`是相关类中属性的名称。 # 详解 此关键字指定关系的反向方的名称,即相关类中对应关系属性的名称。反向属性必须存在于相关类中,并且具有正确的基数值。 关系属性需要`Inverse`关键字。非关系属性会忽略它。 # 默认 没有默认值。定义关系时,必须指定逆序关键字。 # 示例 ```java Relationship Chapters As Chapter [ Cardinality = many; inverse = Book ]; ``` # 第104章 属性关键字 - MultiDimensional 指定此属性具有多维数组的特征。 # 用法 要指定此属性具有多维数组的特征,请使用以下语法: ```java Property Data [ Multidimensional ]; ``` 否则,省略此关键字或将单词Not放在关键字的前面。 # 详解 多维属性不同于其他属性,如下所示: - IRIS不为其提供属性方法。 - 当对象被验证或保存时,它被忽略。 - 它不会保存到磁盘,除非应用程序包含专门保存它的代码。也就是说,属性也是自动瞬态的。 - 它不能暴露给Java或其他客户端。 - 它不能存储在或通过SQL表公开。 多维属性很少见,但它提供了一种有用的方法来临时包含关于对象状态的信息。 # 默认 如果省略此关键字,则属性不是多维的。
文章
Lilian Huang · 四月 10

如何构建代理人工智能 RAG 应用程序: 分步指南

社区朋友们好, 传统的基于关键词的搜索方式在处理具有细微差别的领域特定查询时往往力不从心。而向量搜索则通过语义理解能力,使AI智能体能够根据上下文(而非仅凭关键词)来检索信息并生成响应。 本文将通过逐步指导,带您创建一个具备代理能力的AI RAG(检索增强生成)应用程序。 实现步骤: 添加文档摄取功能: 自动获取并建立文档索引(例如《InterSystems IRIS 2025.1版本说明》) 实现向量搜索功能 构建向量搜索智能体 移交至主智能体(分流处理) 运行智能体 1. Create Agent Tools 添加文档摄取功能 Implement Document Ingestion: Automated ingestion and indexing of documents 1.1 - 以下是实现文档摄取工具的代码: def ingestDoc(self): #Check if document is defined, by selecting from table #If not defined then INGEST document, Otherwise back embeddings = OpenAIEmbeddings() #Load the document based on the fle type loader = TextLoader("/irisdev/app/docs/IRIS2025-1-Release-Notes.txt", encoding='utf-8') documents = loader.load() text_splitter = RecursiveCharacterTextSplitter(chunk_size=400, chunk_overlap=0) texts = text_splitter.split_documents(documents) #COLLECTION_NAME = "rag_document" db = IRISVector.from_documents( embedding=embeddings, documents=texts, collection_name = self.COLLECTION_NAME, connection_string=self.CONNECTION_STRING, ) db = IRISVector.from_documents(embedding=embeddings,documents=texts, collection_name = self.COLLECTION_NAME, connection_string=self.CONNECTION_STRING,) 向量搜索智能体(Vector Search Agent)能够自动完成文档的摄取(ingest)与索引构建(index), 该新功能在InterSystems IRIS 2025.1的数据资源文件夹里) 至 IRIS 向量存储, 只有当数据尚未存在时,才执行该操作。 运行以下查询以从向量存储中获取所需数据: SELECT id, embedding, document, metadata FROM SQLUser.AgenticAIRAG 1.2 - 实现向量搜索功能 以下代码为智能体提供了搜索能力: def ragSearch(self,prompt): #Check if collections are defined or ingested done. # if not then call ingest method embeddings = OpenAIEmbeddings() db2 = IRISVector ( embedding_function=embeddings, collection_name=self.COLLECTION_NAME, connection_string=self.CONNECTION_STRING, ) docs_with_score = db2.similarity_search_with_score(prompt) relevant_docs = ["".join(str(doc.page_content)) + " " for doc, _ in docs_with_score] #Generate Template template = f""" Prompt: {prompt} Relevant Docuemnts: {relevant_docs} """ return template 分流代理处理传入的用户查询,并将其委托给矢量搜索代理,后者执行语义搜索操作,以检索最相关的信息。 2 - 创建矢量存储代理 以下代码实现了 矢量存储代理vector_search_agent : 为智能体协同自定义交接描述规范 handoff_descriptions 明确的操作说明instructions IRIS向量检索工具iris_RAG_search (使用irisRAG.py 用于文件输入和矢量搜索操作 @function_tool @cl.step(name = "Vector Search Agent (RAG)", type="tool", show_input = False) async def iris_RAG_search(): """Provide IRIS Release Notes details,IRIS 2025.1 Release Notes, IRIS Latest Release Notes, Release Notes""" if not ragOprRef.check_VS_Table(): #Ingest the document first msg = cl.user_session.get("ragclmsg") msg.content = "Ingesting Vector Data..." await msg.update() ragOprRef.ingestDoc() if ragOprRef.check_VS_Table(): msg = cl.user_session.get("ragclmsg") msg.content = "Searching Vector Data..." await msg.update() return ragOprRef.ragSearch(cl.user_session.get("ragmsg")) else: return "Error while getting RAG data" vector_search_agent = Agent( name="RAGAgent", handoff_description="Specialist agent for Release Notes", instructions="You provide assistance with Release Notes. Explain important events and context clearly.", tools=[iris_RAG_search] ) 3 - 移交分流 (主要代理) 以下代码实现了将处理过的查询路由到分流代理(主协调器)的切换协议: triage_agent = Agent( name="Triage agent", instructions=( "Handoff to appropriate agent based on user query." "if they ask about Release Notes, handoff to the vector_search_agent." "If they ask about production, handoff to the production agent." "If they ask about dashboard, handoff to the dashboard agent." "If they ask about process, handoff to the processes agent." "use the WebSearchAgent tool to find information related to the user's query and do not use this agent is query is about Release Notes." "If they ask about order, handoff to the order_agent." ), handoffs=[vector_search_agent,production_agent,dashboard_agent,processes_agent,order_agent,web_search_agent] ) 4 - 运行代理 以下代码: 接受用户输入 唤醒试运行代理triage_agent 将查询路由到矢量搜索处理Vector_Search_Agent 进行处理 @cl.on_message async def main(message: cl.Message): """Process incoming messages and generate responses.""" # Send a thinking message msg = cl.Message(content="Thinking...") await msg.send() agent: Agent = cast(Agent, cl.user_session.get("agent")) config: RunConfig = cast(RunConfig, cl.user_session.get("config")) # Retrieve the chat history from the session. history = cl.user_session.get("chat_history") or [] # Append the user's message to the history. history.append({"role": "user", "content": message.content}) # Used by RAG agent cl.user_session.set("ragmsg", message.content) cl.user_session.set("ragclmsg", msg) try: print("\n[CALLING_AGENT_WITH_CONTEXT]\n", history, "\n") result = Runner.run_sync(agent, history, run_config=config) response_content = result.final_output # Update the thinking message with the actual response msg.content = response_content await msg.update() # Append the assistant's response to the history. history.append({"role": "developer", "content": response_content}) # NOTE: Here we are appending the response to the history as a developer message. # This is a BUG in the agents library. # The expected behavior is to append the response to the history as an assistant message. # Update the session with the new history. cl.user_session.set("chat_history", history) # Optional: Log the interaction print(f"User: {message.content}") print(f"Assistant: {response_content}") except Exception as e: msg.content = f"Error: {str(e)}" await msg.update() print(f"Error: {str(e)}") 在行动中观看: 更多细节,请访问 iris-AgenticAI open exchange 页面。谢谢
文章
Claire Zheng · 二月 1, 2021

如何在开发者社区上发布同类最佳的问题?

Hi, 大家好! 我们在开发者社区上发布问题的目的是获得答案。 以下是一个非常简单的准则文档,介绍如何提出问题会获得回答。 当您发布问题时,您需要填写 3 个字段:标题、正文和组。 以及标签。 1. 标题 一个好的标题应该包含问题的简短描述,长度不应超过 80-90 个符号。 但是简短并不表示只有一个词。 以下这些就不是很好的问题标题:Cache、Ensemble、Peace、World。 好问题示例: 使用 SQL 查询列表属性 使用 Record Mapper 时如何忽略 CSV 文件上的Headers 在 Cache´SQL 中使用 $CASE 或 $SELECT 功能 标题中的字母应该大写吗? 按照 英语 的规则——是的!这肯定会提高问题的感知度。 2. 正文 正文应该包含英语或/和 Caché Objecsript、SQL、JS 或其他语言的问题描述。 使用 代码块 突出显示 Caché ObjectScript。 提供产品版本总是有帮助的(在终端中输入 $zversion)。 正文中应该只有一个问题。 如果有两个问题,请发布两个不同的问题。 3. 组 组是必选标签,有助于将您的问题归类到一个 InterSystems 产品(Caché、Ensemble、HealthShare)、技术(DeepSee、iKnow)或服务(在线学习、WRC)。 4. 标签 使用标签可邀请(订阅了不同标签的)专家关注您的问题。 在这里,您可以选择关于开发、测试、变更管理、部署和环境的不同标签。 好问题通常很快就会得到回答。 您可以通过“回答”计数器上的绿色前景注意到已回答的问题。 一定要 将回答标记为已接受(将问题标记为已解决) ,当然前提是回答适合您。 当然,这不是如何提出好问题的完整建议列表。 请在本帖中发表您的意见和想法。
文章
Vivi Zhu · 五月 29, 2022

招聘:北京协和医院信息中心招聘运维工程师、Caché数据库管理员和开发工程师

北京协和医院现公开招聘信息类技术岗位。有关事项公告如下:岗位1:运维工程师任职要求:1.年龄30岁以下,本科及以上学历,计算机相关专业;2.熟悉计算机软硬件技术,熟练排除各种软硬件的故障;有基本的网络知识,了解DNS、DHCP原理,熟练使用Ping、tracert等简单命令;3.有2年以上桌面运维工作经验者优先。 岗位2:数据库管理员任职要求:1. 本科及以上学历,计算机相关专业;2. 精通InterSystems Caché数据库,精通MySQL,SQL Server,熟悉Oracle,精通SQL脚本编写;有丰富数据库管理、运维调优经验;3. 5年以上数据库运维管理经验;4. 有医疗行业经验优先。 岗位3:开发工程师任职要求:1. 本科及以上学历,计算机及相关专业,有2年及以上JAVA WEB软件实际开发工作经验,有JVM调优经验者优先;2. 熟悉SSM和SSH框架;有SpringBoot或者SpringCloud实际开发经验;3. 熟悉html5,css,js 等前端开发技术;对jquery、vue等相关技术熟悉;熟悉websocket等相关技术;4. 熟练使用MySQL,SQL Server,熟悉Oracle,有一定的SQL优化经验;5. 熟练使用各种集成开发环境,Eclipse,Idea,SVN,GIT等,熟悉Linux操作系统。 招聘程序(一)个人应聘2022年6月27日24点前登录北京协和医院官网(学术版)招聘栏注册申请。(二)组织面试在资格审查的基础上按1:3的比例确定面试人选,根据综合成绩确定拟录人选。(三)体检考察对拟录人选进行体检和考察。(四)签订协议体检及考察合格人员签订协议。 官方招聘链接为 https://jobs.pumch.cn/JobManage/WebShowJobDetail.aspx?JobId=bf9dcde8-a3de-4fab-805e-f2582255056d
公告
jieliang liu · 三月 3, 2022

2022年2月,开发者社区新闻!

欢迎来到2月22日的社区新闻发布! 我们很高兴为InterSystems的开发者介绍我们全新的社区活动日历: 🎯 https://community.intersystems.com/events 在这个日历中,你将看到特区活动的历史。了解现在或即将发生的活动,查看过去的活动,并观看社区的网络研讨会和聚会的录音。 让我们仔细看看如何使用它。 要进入DC日历,请点击 "活动 "顶部菜单,进入 "活动日历 “部分: 在这个日历中,你会发现现有的和过去的活动,这些活动可以被分为不同的类别: 所有活动 网络研讨会 开发者聚会 比赛 通过点击 "预览模式 "中的事件,你将看到它的公告: 随意使用 "列表模式",它显示事件预告,并有一个选项可以将任何可用的事件添加到你的日历中: 你也可以在右边的小日历中选择任何日期,了解当天有什么活动安排或发生: 此外,你可以通过点击 "新事件 "按钮创建你自己的事件。你将被自动转到事件创建页面。 ❗️ 将 "Event"标签添加到帖子中,将打开用于创建活动的特殊字段。 当你在字段中填写了活动名称、注册链接和时间后,你的活动将自动在主页面的 "活动 "块中突出显示。 此外,在你的活动公告中,你会看到:–‎ 带有注册链接的特殊块– 用于快速添加事件到你的日历的按钮 欢迎添加更多关于你的活动的细节,添加简短的描述/直接链接加入/位置。 希望你喜欢我们的更新! 您可以将改进要求和错误报告提交到 DC GitHub. 或者在本帖的评论中发表你的建议。 请继续关注我们的新消息!
文章
姚 鑫 · 六月 6, 2021

Caché 网络实用工具

# Caché 网络实用工具 # [第一章 发送HTTP请求☆☆☆☆☆](https://yaoxin.blog.csdn.net/article/details/117108190) # [第二章 设置和获取HTTP标头☆☆☆☆☆](https://yaoxin.blog.csdn.net/article/details/117148255) # [第三章 发送HTTP请求☆☆☆☆☆](https://yaoxin.blog.csdn.net/article/details/117195938) # [第四章 收发电子邮件☆](https://yaoxin.blog.csdn.net/article/details/117214514) # [第五章 向邮件添加附件☆](https://yaoxin.blog.csdn.net/article/details/117248548) # [第六章 从POP3服务器提取电子邮件☆](https://yaoxin.blog.csdn.net/article/details/117278414) # [第七章 从POP3服务器提取电子邮件☆](https://yaoxin.blog.csdn.net/article/details/117320147) # [第八章 处理收到的电子邮件☆](https://yaoxin.blog.csdn.net/article/details/117350781) # [第九章 创建、编写和阅读MIME邮件☆](https://yaoxin.blog.csdn.net/article/details/117378600) # [第十章 使用FTP☆☆☆☆☆](https://yaoxin.blog.csdn.net/article/details/117394438) # [第十一章 发送和接收IBM WebSphere MQ消息☆](https://yaoxin.blog.csdn.net/article/details/117409322) # [第十二章 IBM WebSphere MQ检索邮件☆](https://yaoxin.blog.csdn.net/article/details/117435132) # [第十三章 使用SSH☆](https://yaoxin.blog.csdn.net/article/details/117459391) # [第十四章 其他InterSystems %Net工具☆☆☆](https://yaoxin.blog.csdn.net/article/details/117508484) # [第十五章 Caché WebSocket☆☆☆](https://yaoxin.blog.csdn.net/article/details/117548341) # 前言 手册帮助程序员使用%Net包中的一些关键类,这些类为许多有用的Internet协议提供了易于使用的接口。因为这个包的类文档相当广泛,所以本手册提供了一个快速、有条理的概述,而不是深入研究每个参数、属性和方法。熟悉本手册中提到的协议和第三方工具。 # 预告 下一期系列将用一个月的时间连载,**《Caché XML》**,敬请期待。 # 交流群 - QQ群号:410039091 - 笔者QQ:454115408 - 公众号:技术理科直男 - [intersys版主:姚鑫](https://cn.community.intersystems.com/user/236891/posts) ![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-f9VqwzNP-1608850948003)(3E1D939266954ED48BDAEA9B8086B11E)\]](https://img-blog.csdnimg.cn/20201225070433434.png) # 大型免费课程,进群410039091获取课程目录 - 适合所有阶段程序员,总有一款你遗漏的知识点! ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210606224558577.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhb3hpbjUyMTEyMw==,size_16,color_FFFFFF,t_70#pic_center)
文章
Michael Lei · 六月 14, 2023

使用LangChain 修复 SQL

本文是 SqlDatabaseChain 的简单快速入门(我所做的)。 希望大家会感兴趣。 非常感谢: sqlalchemy-iris 作者@Dmitry Maslennikov 您的项目使我的试验变得可能。 文章脚本使用 openai API,因此请注意不要在外部共享您不打算共享的表信息和记录。 如果需要,可以插入本地模型。 创建一个新的虚拟环境 mkdir chainsql cd chainsql python -m venv . scripts\activate pip install langchain pip install wget # Need to connect to IRIS so installing a fresh python driver python -c "import wget;url='https://raw.githubusercontent.com/intersystems-community/iris-driver-distribution/main/DB-API/intersystems_irispython-3.2.0-py3-none-any.whl';wget.download(url)" # And for more magic pip install sqlalchemy-iris pip install openai set OPENAI_API_KEY=[ Your OpenAI Key ] python 初始测试 from langchain import OpenAI, SQLDatabase, SQLDatabaseChain db = SQLDatabase.from_uri("iris://superuser:******@localhost:51775/USER") llm = OpenAI(temperature=0, verbose=True) db_chain = SQLDatabaseChain.from_llm(llm, db, verbose=True) db_chain.run("How many Tables are there") 错误结果 sqlalchemy.exc.DatabaseError: (intersystems_iris.dbapi._DBAPI.DatabaseError) [SQLCODE: <-25>:<Input encountered after end of query>] [Location: <Prepare>] [%msg: < Input (;) encountered after end of query^SELECT COUNT ( * ) FROM information_schema . tables WHERE table_schema = :%qpar(1) ;>] [SQL: SELECT COUNT(*) FROM information_schema.tables WHERE table_schema = 'public';] (Background on this error at: https://sqlalche.me/e/20/4xp6) ←[32;1m←[1;3mSELECT COUNT(*) FROM information_schema.tables WHERE table_schema = 'public';←[0m>>> 开发者之间的对话 IRIS 不喜欢以分号结尾的 SQL 查询。 现在做什么? ? 想法:我告诉 LangChain 帮我修理SQL如何 太酷了,我们开工吧 !! 测试二 from langchain import OpenAI, SQLDatabase, SQLDatabaseChain from langchain.prompts.prompt import PromptTemplate _DEFAULT_TEMPLATE = """Given an input question, first create a syntactically correct {dialect} query to run, then look at the results of the query and return the answer. Use the following format: Question: "Question here" SQLQuery: "SQL Query to run" SQLResult: "Result of the SQLQuery" Answer: "Final answer here" The SQL query should NOT end with semi-colon Question: {input}""" PROMPT = PromptTemplate( input_variables=["input", "dialect"], template=_DEFAULT_TEMPLATE ) db = SQLDatabase.from_uri("iris://superuser:******@localhost:51775/USER") llm = OpenAI(temperature=0, verbose=True) llm = OpenAI(temperature=0, verbose=True) db_chain = SQLDatabaseChain(llm=llm, database=db, prompt=PROMPT, verbose=True) db_chain.run("How many Tables are there") 结果二 SQLQuery:←[32;1m←[1;3mSELECT COUNT(*) FROM information_schema.tables←[0m SQLResult: ←[33;1m←[1;3m[(499,)]←[0m Answer:←[32;1m←[1;3mThere are 499 tables.←[0m ←[1m> Finished chain.←[0m 'There are 499 tables.' 我就说很快吧 参考资料: https://walkingtree.tech/natural-language-to-query-your-sql-database-using-langchain-powered-by-llms/ https://python.langchain.com/en/latest/modules/chains/examples/sqlite.html#sqldatabasesequentialchain https://python.langchain.com/en/latest/modules/agents/plan_and_execute.html
文章
Louis Lu · 四月 15, 2021

精华文章--访问IRIS数据平台的四种方式

IRIS 中支持的四种方式: SQL、Objects、REST 和 GraphQL 卡济米尔·马列维奇,《运动员》(1932) > > “你当然无法理解! 习惯了坐马车旅行的人怎么可能理解乘坐火车或者飞机旅行的人的感受和印象?”> > > > 卡济米尔·马列维奇 (1916)> ## 引言 我们已经讨论过为什么在主题领域建模使用对象类型优于使用 SQL。 当时得出的结论和总结的事实如今依然适用。 那么,我们为什么要退后到对象和类型之前的时代,讨论将对象的操作拖回到使用global的技术? 我们又为什么要鼓励面条式代码?难道是为了用它难以跟踪的错误考验开发者的技能熟练度? 目前有几种观点支持通过基于 SQL/REST/GraphQL 的 API 传输数据,而不是将其表示为类型/对象: 这些技术经过深入研究,相当易于部署。 知名度非常高,已在便捷的开源软件中广泛实现。 您通常别无选择,只能使用这些技术,尤其是在网络和数据库中。 最重要的是,API 仍然使用对象,因为它们提供了在代码中实现 API 的最适途径。 在讨论实现 API 之前,我们先来看一下底层的抽象层。 下图显示了数据在永久存储位置与处理并向应用程序用户呈现的位置之间的移动方式。 如今,数据存储在旋转硬盘驱动器 (HDD) 上,或者使用更现代的技术存储在 SSD 的闪存芯片中。 再使用由 HDD/SSD 上独立存储块组成的流完成数据的读取和写入。 分块并不是随机的, 而是由数据存储介质的物理学、力学和电子学特性决定。 在 HDD 中,这是旋转磁盘上的磁道/扇区。 在 SSD 中,这是可写硅芯片中的内存段。 它们本质上都是信息块,只有找到这些信息块并将其组合才能检索出需要的数据。 数据必须装配成将我们的数据模型/类型与查询时间对应值相匹配的结构。 数据的装配和检索过程由与操作系统中的文件子系统捆绑的 DBMS 负责。 我们可以直接寻址文件系统甚至 HDD/SSD,绕过 DBMS。 但这样一来就失去了两个极其重要的数据桥梁:存储块和文件流之间的桥梁,以及文件和数据库模型中的有序结构之间的桥梁。 换句话说,我们要负责开发所有处理块、文件和模型的代码,包括所有的优化、精细调试和长期可靠性测试。DBMS 使用可理解的模型和表示形式,给我们提供了以高级语言处理数据的绝好机会。 这也是这些系统的一大优势。 DBMS 和数据平台(如 InterSystems IRIS)提供了更多功能:能够以多种方式同时访问有序数据。 而在您的项目中,使用哪一种则取决于您自己。 利用 IRIS 提供的各种工具, 我们可以让代码更美观、更简洁。 我们将直接通过 ObjectScript 面向对象的语言来利用和开发 API。 也就是说,例如,我们会直接从 ObjectScript 软件内部调用 SQL 代码。 对于其他 API,我们将使用现成的库和内置的 ObjectScript 工具。 我们将以 SQLZoo Internet 项目为例,该项目提供了 SQL 的学习资源。 我们将在其他 API 示例中使用相同的数据。 如果您想了解 API 设计的各种方法并利用现成的解决方案,这里有一个有趣又实用的公共 API 集合,汇集到 GitHub 上的一个项目中。 SQL 最自然的方法莫过于从 SQL 开始。 这里没人对它不熟悉吧? SQL 的教程和书籍浩如烟海。 我们选择的是 SQLZoo。 这是一门很好的 SQL 入门课程,其中有示例,有操作步骤详解,也有语言引用。 我们将一些任务从 SQLZoo 带到 IRIS 平台,并使用各种方法解决。 您可以用多快的速度在您的电脑上访问 InterSystems IRIS? 最快的选择之一是在 Docker 中从现成的 InterSystems IRIS Community Edition 镜像部署容器。 InterSystems IRIS Community Edition 是 InterSystems IRIS Data Platform 的免费开发者版本。 其他方式:在学习门户中访问 InterSystems IRIS Community Edition 将数据从 SQLZoo 转移到我们自己的 IRIS 实例存储中。 需要执行以下操作: 打开管理门户(以我的为例,http://localhost:52773/csp/sys/UtilHome.csp)。 切换到 USER 命名空间 - 在 Namespace %SYS 中,点击“Switch”链接,选择 USER 转到 System > SQL - 依次打开 System Explorer、SQL,然后点击“Go”按钮。 右侧将打开“Execute query”标签页,带有“Execute”按钮,这就是我们需要的。 要详细了解如何通过管理门户网站使用 SQL,请参阅此文档。 在 Data 部分的描述中查看用于部署数据库和 SQLZoo 测试数据集的现成脚本。 这里有 world 表的几个直接链接: 用于创建 world 数据库的脚本 进入该表的数据 创建数据库的脚本可以在 IRIS 管理门户的 Query Executor 表单中执行。 CREATE TABLE world( name VARCHAR(50) NOT NULL ,continent VARCHAR(60) ,area DECIMAL(10) ,population DECIMAL(11) ,gdp DECIMAL(14) ,capital VARCHAR(60) ,tld VARCHAR(5) ,flag VARCHAR(255) ,PRIMARY KEY (name) ) 要加载 Query Executor 表单的测试集,首先转到 Wizards > Data Import 菜单。 请注意,在创建容器时,必须预先添加带有测试数据文件的目录,或者通过浏览器从计算机中加载。 该选项在数据导入向导的控制面板中可用。 在 Query Executor 表单中运行以下脚本,检查带有数据的表是否存在: SELECT * FROM world 接下来可以从 SQLZoo 网站访问示例和任务。 以下所有示例均要求您在第一次赋值中实现 SQL 查询: SELECT population FROM world WHERE name = 'France' 这样就可以将任务从 SQLZoo 转移到 IRIS 平台,保持与 API 的无缝协作。 请注意:我发现,SQLZoo 网站界面的数据与导出的数据不同。 至少在第一个示例中,法国和德国的人口值是不同的。 不必过度纠结。 使用[欧洲统计局数据](https://ec.europa.eu/eurostat/tgm/table.do?tab=table&language=en&pcode=tps00001&tableSelection=1&footnotes=yes&labeling=labels&plugin=1)作为参考。 另一种在 IRIS 中获得数据库 SQL 访问的便捷途径是 Visual Studio 代码编辑器与 SQLTools 插件和 SQLTools Driver for InterSystems IRIS。 这种解决方案很受开发者的欢迎,不妨一试。 为了顺利进行下一步并获得对我们数据库的对象访问权,让我们绕一个小弯,从“纯粹”的 SQL 查询转到[在 ObjectScript 中嵌入应用程序代码](https://docs.intersystems.com/iris20203/csp/docbook/Doc.View.cls?KEY=GSQL_esql)的 SQL 查询,ObjectScript 是 IRIS 内置的一种面向对象的语言。 如何在 VSCode 中设置 IRIS 访问并使用 ObjectScript 进行开发。 Class User.worldquery { ClassMethod WhereName(name As %String) { &sql( SELECT population INTO :population FROM world WHERE name = :name ) IF SQLCODE<0 {WRITE "SQLCODE error ",SQLCODE," ",%msg QUIT} ELSEIF SQLCODE=100 {WRITE "Query returns no results" QUIT} WRITE name, " ", population } } 在终端中查看结果: do ##class(User.worldquery).WhereName("France") 您应该会收到国家/地区名称和居民人数的响应。 对象 类型 接下来是 REST/GraphQL 的部分。 我们正在为 Web 协议实现一个 API。 大多数情况下,服务器端的后台源代码是以良好支持类型的语言开发的,甚至是完全面向对象的范式编写的。 包括:Java/Kotlin 中的 Spring、Python 中的 Django、Ruby on Rails、C# 中的 ASP.NET或者 TypeScript 中的 Angular。 当然,还有 IRIS 平台原生的 ObjectScript 中的对象。 为什么这很重要? 因为在发送时,代码中的类型和对象将简化为数据结构。 您需要考虑如何在程序中简化模型,这类似于考虑关系模型中的损失。 您还需要确保在 API 的另一侧,模型得到了充分的还原,可以不失真地投入使用。 这就带来了额外的负担:您作为程序员需要承担额外的责任。 在代码之外,除去转换器、编译器和其他自动工具的帮助,您还需要不断确保模型得到正确转移。 如果从另一个角度看待上述问题,我们还没有发现任何技术和工具可以用来轻松地将类型/对象从一种语言的程序转移到另一种语言的程序。 还剩下什么? 有 SQL/REST/GraphQL 的简化实现,以及大量用人类友好语言描述 API 的文档。 面向开发者的非正式(从计算机的角度)文档具体描述了应使用所有可用方法将哪些内容转换为正式代码,以便计算机处理。 程序员一直在开发不同的方法来解决上述问题。 其中一个成功的方法是 IRIS 平台对象 DBMS 中的跨语言范式。 下表应该可以帮助您理解 IRIS 中 OPP 与 SQL 模型之间的关系: 面向对象编程 (OOP) 结构化查询语言 (SQL) 包 Schema 类 表 属性 列 方法 存储过程 两个类之间的关系 外键约束,内置联接 对象(在内存中或磁盘上) 行(在磁盘上) 您可以从 [IRIS 文档]中详细了解如何显示对象和关系模型。 执行我们的 SQL 查询根据示例创建 world 表时,IRIS 将在名为 User.world 的类中自动生成对应对象的描述。 Class User.world Extends %Persistent [ ClassType = persistent, DdlAllowed, Final, Owner = {_SYSTEM}, ProcedureBlock, SqlRowIdPrivate, SqlTableName = world ] { Property name As %Library.String(MAXLEN = 50) [ Required, SqlColumnNumber = 2 ]; Property continent As %Library.String(MAXLEN = 60) [ SqlColumnNumber = 3 ]; Property area As %Library.Numeric(MAXVAL = 9999999999, MINVAL = -9999999999, SCALE = 0) [ SqlColumnNumber = 4 ]; Property population As %Library.Numeric(MAXVAL = 99999999999, MINVAL = -99999999999, SCALE = 0) [ SqlColumnNumber = 5 ]; Property gdp As %Library.Numeric(MAXVAL = 99999999999999, MINVAL = -99999999999999, SCALE = 0) [ SqlColumnNumber = 6 ]; Property capital As %Library.String(MAXLEN = 60) [ SqlColumnNumber = 7 ]; Property tld As %Library.String(MAXLEN = 5) [ SqlColumnNumber = 8 ]; Property flag As %Library.String(MAXLEN = 255) [ SqlColumnNumber = 9 ]; Parameter USEEXTENTSET = 1; /// Bitmap Extent Index auto-generated by DDL CREATE TABLE statement. 不要编辑此索引的 SqlName 。 Index DDLBEIndex [ Extent, SqlName = "%%DDLBEIndex", Type = bitmap ]; /// DDL Primary Key Specification Index WORLDPKey2 On name [ PrimaryKey, Type = index, Unique ]; } 您可以用这个模板来开发面向对象风格的应用程序。 您需要做的就是向 ObjectScript 中的类添加方法,ObjectScript 天生与数据库捆绑。 事实上,这个类的方法按 SQL 术语来说就是“存储过程”。 让我们用 SQL 实现之前完成的同一个示例。 将 WhereName 方法添加到 User.world 类中,充当输入的国家/地区名称的“Country information”对象设计器: ClassMethod WhereName(name As %String) As User.world { Set id = 1 While ( ..%ExistsId(id) ) { Set countryInfo = ..%OpenId(id) if ( countryInfo.name = name ) { Return countryInfo } Set id = id + 1 } Return countryInfo = "" } 在终端中查看: set countryInfo = ##class(User.world).WhereName("France") write countryInfo.name write countryInfo.population 从此示例可以看出,与 SQL 查询不同,为了通过国家/地区名称查找所需对象,我们需要手动对数据库记录进行逐一排序。 在最坏情况下,如果我们的对象位于列表末尾(或根本不在列表中),我们就不得不从头到尾将所有记录都整理一遍。 关于如何在 IRIS 中通过索引对象字段和自动生成类方法来加快搜索过程有一个单独的讨论。 有关更多详情,请参阅[文档]和[开发者社区门户]中的帖子。 例如,对于我们的类,了解 IRIS 从 WORLDPKey2 国家/地区名称生成的索引名称后,您可以使用单个快速查询从数据库中直接加载一个对象: set countryInfo = ##class(User.world).WORLDPKey2Open("France") 同时检查: write countryInfo.name write countryInfo.population 此文档中包含一些指导原则,可以帮助您决定使用对象还是 SQL 访问存储的内容。 当然,您也要始终牢记,您只能将其中之一完全用于您的任务。 此外,由于 IRIS 中提供了现成的二进制捆绑包,支持常见的 OOP 语言,例如 Java、Python、C、C#(.Net)、JavaScript,甚至是正在迅速普及的 Julia(参见 GitHub 和 OpenExchange),您总能找到最方便的语言开发工具。 接下来,让我们深入讨论 Web API 中的数据。 REST 或 RESTful Web API 跳出服务器和常见终端,转向一些更主流的接口:浏览器和类似应用程序。 这些应用程序依靠 HTTP 系列的超文本协议管理系统之间的交互。 IRIS 自带许多适合这个目的的工具,包括一个实实在在的数据库服务器和 Apache HTTP 服务器。 表述性状态转移 (REST) 是一种架构样式,用于设计分布式应用程序,尤其是 Web 应用程序。 REST 虽然流行,但它只是一套架构原则,而 SOAP 则是由 World Wide Web Consortium (W3C) 维护的标准协议,因此基于 SOAP 的技术具有标准支持。 REST 中的全局 ID 是 URL,当与数据库或后端应用程序交换时,由它定义每个连续的信息单元。 请参阅在 IRIS 中开发 REST 服务的文档。 在我们的示例中,基础标识符类似于 IRIS 服务器地址的基础 (http://localhost:52773),以及指向我们数据的 /world/ 子目录路径。 特别是我们的 /world/France 国家/地区目录。 在 Docker 容器中类似于: http://localhost:52773/world/France 如果要开发完整应用程序,务必查看 IRIS 文档推荐。 其中之一基于遵循 OpenAPI 2.0 规范的 REST API 描述。 让我们用简单的方法,手动实现 API。 在示例中,我们将创建最简单的 REST 解决方案,这个解决方案在 IRIS 中只需要两个步骤: 在 URL 内创建一个类路径监视器,它将继承 %CSP.REST 系统类 配置 IRIS web application时,添加对我们的监视器类的调用 第 1 步:创建类监视器 您应该清楚如何实现一个类。 按照文档中的说明手动创建REST。 Class User.worldrest Extends %CSP.REST { Parameter UseSession As Integer = 1; Parameter CHARSET = "utf-8"; XData UrlMap [ XMLNamespace = "http://www.intersystems.com/urlmap" ] { <Routes> <Route Url="/:name" Method="GET" Call="countryInfo" /> </Routes> } } 确保包括处理程序方法。 它执行的功能应该与先前示例中终端的调用完全相同: ClassMethod countryInfo(name As %String) As %Status { set countryInfo = ##class(User.world).WhereName(name) write "Country: ", countryInfo.name write "<br>" write "Population: ", countryInfo.population return $$$OK } 如您所见,以冒号开头的参数 :name 表示从传入的 REST 查询将监视器中被调用的处理程序方法的名称传递给参数。 第 2 步:配置 IRIS web application 在 System Administration > Security > Applications > Web Applications 下, 添加一个新的 web application,其 URL 入口地址为 /world,并添加以下处理程序:our worldrest monitor class。 配置完成后,转到 http://localhost:52773/world/France 时,web application应立即响应。 请记住,数据库区分大小写,因此在向方法参数传输请求数据时必须使用正确的字母大小写。 小诀窍: 根据需要使用调试工具。 您可以在这篇由两部分组成的文章中找到很好的描述(评论也值得一看)。 > 如果出现错误“401 Unauthorized”,并且您确定监视器类在服务器上,链接中也没有错误,请尝试在 Web 应用程序设置的 Application Roles 标签页添加 %All 角色。 这不是一种完全安全的方法,您需要了解允许访问所有角色可能带来的影响,但是这对于本地安装是可以接受的。 GraphQL 这是一个全新的领域,因为您在当前的 IRIS 文档中找不到关于使用 GraphQL 的 API 的任何内容。 然而,我们不能就这样停止使用这个出色的工具。 距 GraphQL 公开推出不过五年。 GraphQL 由 Linux Foundation 开发,是 API 的查询语言。 可以肯定地说,这是 REST 架构和各种 Web API 改进所带来的最好的技术。 这是是一篇简短介绍,供初学者参考。 并且,在 InterSystems 爱好者和工程师的努力下,IRIS 从 2018 年开始提供 GraphQL 支持。 > 这是一篇相关文章《为 InterSystems 平台实现 GraphQL》。 这里是 GraphQL 理解、解释和实现。 GraphQL 应用程序由两个模块组成:IRIS 侧的应用程序后端和在浏览器中运行的前端部分。 换句话说,您需要根据 GraphQL 和 GraphiQL Web 应用程序的说明进行配置。 例如,这是我的应用程序配置在 Docker 容器内的 IRIS 中的样子。 这些是 GraphQL Web 应用程序(充当 REST 监视器和数据库架构处理程序)的设置: 第二个 GraphQL 应用程序是浏览器的用户界面,使用 HTML 和 JavaScript 编写: 可前往 http://localhost:52773/graphiql/index.html 运行。 如果没有额外限制性设置,应用程序将立即拾取在安装区域中能找到的所有数据库schema。 这意味着我们的示例将立即开始工作。 另外,前端还提供了来自可用对象的一系列良好清晰的提示。 这是我们数据库的示例 GraphQL 查询: { User_world ( name: France ) { name population } } 这是匹配的响应: { "data": { "User_world": [ { "name": "France", "population": 65906000 } ] } } 在浏览器中是这样: 总结 技术名称 技术历史 查询示例 SQL 50 年 Edgar F. Codd SELECT population FROM world WHERE name = 'France' OOP 40 年 Alan Kay 和 Dan Ingalls set countryInfo = ##class(User.world).WhereName("France") REST 20 年 Roy Thomas Fielding http://localhost:52773/world/France GraphQL 5 年 Lee Byron { User_world ( name: France ) { name p opulation } } SQL、REST,可能还有 GraphQL 等技术均已获得大量投入。 它们的背后也都有着丰富的历史。 在 IRIS 平台内,这些技术都可以良好配合,创建数据处理程序。 虽然本文未提及,但 IRIS 也支持其他已充分实现的基于 XML (SOAP) 和 JSON 的 API。 除非您会特别注意,比如整理对象,否则,请记住通过 API 交换的数据仍然代表不完整的、精简的对象传输版本。 作为开发者,您(而不是代码)有责任确保正确地传输对象的数据类型信息。 尊敬的读者,请您提供反馈 本文的目的不仅仅是与现代 API 进行比较,更不是要回顾 IRIS 的基本功能。 它是为了帮助您了解,访问数据库时在 API 之间切换是多么容易。向 IRIS 迈出第一步,马上就能从任务中快速获得结果。 因此,我很想知道您的想法: 这种方式能否帮助您上手使用软件? 哪些流程步骤使您难以掌握用于在 IRIS 中使用 API 的工具? 您能说出一个您先前无法预见的障碍吗? 如果您认识仍在学习如何使用 IRIS 的用户,请让这些用户在下方发表评论。 这可以引起让所有参与者都能受益的讨论。
文章
姚 鑫 · 三月 21, 2021

第十二章 使用嵌入式SQL(五)

# 第十二章 使用嵌入式SQL(五) # 嵌入式SQL变量 以下局部变量在嵌入式SQL中具有特殊用途。这些局部变量名称区分大小写。在过程启动时,这些变量是不确定的。它们由嵌入式SQL操作设置。也可以使用SET命令直接设置它们,或使用`NEW`命令将其重置为未定义。像任何局部变量一样,值将在过程持续期间或直到设置为另一个值或使用`NEW`进行定义之前一直存在。例如,某些成功的嵌入式SQL操作未设置`%ROWID`。执行这些操作后,`%ROWID`是未定义的或保持设置为其先前值。 - `%msg` - `%ROWCOUNT` - `%ROWID` - `SQLCODE` 这些局部变量不是由Dynamic SQL设置的。 (请注意,SQL Shell和Management Portal SQL接口执行Dynamic SQL。)相反,Dynamic SQL设置相应的对象属性。 在嵌入式SQL中使用以下ObjectScript特殊变量。这些特殊的变量名称不区分大小写。在过程启动时,这些变量将初始化为一个值。它们由嵌入式SQL操作设置。不能使用SET或NEW命令直接设置它们。 - `$TLEVEL` - `$USERNAME` 作为已定义的InterSystems IRIS嵌入式SQL接口的一部分,InterSystems IRIS可以在嵌入式SQL处理期间设置任何这些变量。 如果嵌入式SQL在类方法中(`procedureBlock = ON`),则系统会自动将所有这些变量放在`PublicList`中,并自动将`SQLCODE`,`%ROWID`,`%ROWCOUNT`,`%msg`以及SQL语句。可以通过引用方法来传递这些变量;通过引用传递的变量将不会在类方法过程块中自动更新。 如果嵌入式SQL在例程中,则程序员有责任在调用嵌入式SQL之前新建`%msg`,`%ROWCOUNT`,`%ROWID`和`SQLCODE`变量。更新这些变量可防止干扰这些变量的先前设置。为避免``错误,不应在迭代周期内执行此`NEW`操作。 ## %msg 包含系统提供的错误消息字符串的变量。如果InterSystems SQL将`SQLCODE`设置为负整数(表示错误),则仅设置`%msg`。如果`SQLCODE`设置为`0`或`100`,则`%msg`变量与其先前值保持不变。 此行为不同于相应的Dynamic SQL `%Message`属性,当没有当前错误时,该属性将设置为空字符串。 在某些情况下,特定的`SQLCODE`错误代码可能与一个以上的`%msg`字符串相关联,描述了生成`SQLCODE`的不同条件。 `%msg`还可以接受用户定义的消息字符串。当触发器代码显式设置`%ok = 0`来中止触发器时,这最常用于从触发器发出用户定义的消息。 当执行SQL代码时,将使用有效的NLS语言生成错误消息字符串。可以在不同的NLS语言环境中编译SQL代码。该消息将根据运行时NLS环境生成。请参见`$ SYS.NLS.Locale.Language`。 ## %ROWCOUNT 一个整数计数器,指示受特定语句影响的行数。 - `INSERT`,`UPDATE`,`INSERT OR UPDATE`和`DELETE`将`%ROWCOUNT`设置为受影响的行数。带有显式值的INSERT命令只能影响一行,因此将`%ROWCOUNT`设置为`0`或`1`。`INSERT`查询结果,`UPDATE`或`DELETE`可以影响多行,因此可以将`%ROWCOUNT`设置为0或正数。整数。 - 无论删除多少行还是删除任何行,`TRUNCATE TABLE`始终将`%ROWCOUNT`设置为`–1`。因此,要确定实际删除的行数,请在`TRUNCATE TABLE`之前对表执行`COUNT(*)`,或者使用`DELETE`而不是`TRUNCATE TABLE`删除表中的所有行。 - 没有声明游标的`SELECT`只能作用于一行,因此执行简单的`SELECT`总是会将`%ROWCOUNT`设置为`1`(与检索到的选择标准匹配的单行)或`0`(没有与选择标准匹配的行)。 - `DECLARE`游标名`CURSOR FOR SELECT`不会初始化`%ROWCOUNT`; `SELECT`之后,`%ROWCOUNT`不变,而`OPEN`游标名之后,`%ROWCOUNT`不变。第一个成功的`FETCH`设置`%ROWCOUNT`。如果没有行符合查询选择条件,则`FETCH`设置`%ROWCOUNT = 0`;否则,设置`%ROWCOUNT = 0`。如果`FETCH`检索与查询选择条件匹配的行,则它将设置`%ROWCOUNT = 1`。随后的每个获取行的`FETCH`都将递增`%ROWCOUNT`。 `CLOSE`时或`FETCH`发出`SQLCODE 100`(无数据或无更多数据)时,`%ROWCOUNT`包含已检索的总行数。 此`SELECT`行为与相应的Dynamic SQL`%ROWCOUNT`属性不同,该属性在查询执行完成时设置为0,并且仅在程序迭代查询返回的结果集时才递增。 如果`SELECT`查询仅返回聚合函数,则每个`FETCH`都将设置`%ROWCOUNT = 1`。即使表中没有数据,第一个`FETCH`始终以`SQLCODE = 0`来完成;任何后续的`FETCH`均以`SQLCODE = 100`完成,并设置`%ROWCOUNT = 1`。 以下嵌入式SQL示例声明一个游标,并使用`FETCH`来获取表中的每一行。到达数据结尾(`SQLCODE = 100`)时,`%ROWCOUNT`包含已检索的行数: ```java /// d ##class(PHA.TEST.SQL).ROWCOUNT() ClassMethod ROWCOUNT() { SET name="LastName,FirstName",state="##" &sql(DECLARE EmpCursor CURSOR FOR SELECT Name, Home_State INTO :name,:state FROM Sample.Person WHERE Home_State %STARTSWITH 'M') WRITE !,"BEFORE: Name=",name," State=",state &sql(OPEN EmpCursor) QUIT:(SQLCODE'=0) FOR { &sql(FETCH EmpCursor) QUIT:SQLCODE WRITE !,"Row fetch count: ",%ROWCOUNT WRITE " Name=",name," State=",state } WRITE !,"最终提取SQLCODE: ",SQLCODE &sql(CLOSE EmpCursor) WRITE !,"AFTER: Name=",name," State=",state WRITE !,"提取的总行数: ",%ROWCOUNT } ``` ```java DHC-APP>d ##class(PHA.TEST.SQL).ROWCOUNT() BEFORE: Name=LastName,FirstName State=## Row fetch count: 1 Name=O'Rielly,Chris H. State=MS Row fetch count: 2 Name=Orwell,John V. State=MT Row fetch count: 3 Name=Zevon,Heloisa O. State=MI ... Row fetch count: 37 Name=Joyce,Elmo R. State=MO Row fetch count: 38 Name=Jafari,Christine Z. State=MI 最终提取SQLCODE: 100 AFTER: Name=Jafari,Christine Z. State=OH 提取的总行数: 38 ``` 以下嵌入式SQL示例执行`UPDATE`并设置受更改影响的行数: ```java /// d ##class(PHA.TEST.SQL).ROWCOUNT1() ClassMethod ROWCOUNT1() { &sql(UPDATE Sample.Employee SET Salary = (Salary * 1.1) WHERE Salary < 50000) IF SQLCODEd ##class(PHA.TEST.SQL).ROWCOUNT1() Employees: 48 ``` **请记住,所有嵌入式SQL语句(在给定进程内)都会修改`%ROWCOUNT`变量。如需要`%ROWCOUNT`提供的值,请确保在执行其他Embedded SQL语句之前获取其值。根据嵌入式SQL的调用方式,可能必须在输入嵌入式SQL之前新建`%ROWCOUNT`变量。** **另请注意,显式回滚事务不会影响`%ROWCOUNT`的值。例如,以下内容将报告已进行了更改,即使它们已经滚动了。** ```java /// d ##class(PHA.TEST.SQL).ROWCOUNT2() ClassMethod ROWCOUNT2() { TSTART // 开始事务 NEW SQLCODE,%ROWCOUNT,%ROWID &sql(UPDATE Sample.Employee SET Salary = (Salary * 1.1) WHERE Salary < 50000) IF SQLCODEd ##class(PHA.TEST.SQL).ROWCOUNT2() Employees: 37 ``` 隐式事务(例如,如果UPDATE未通过约束检查)由`%ROWCOUNT`反映。 ## %ROWID 初始化进程时,未定义`%ROWID`。当发出`NEW %ROWID`命令时,`%ROWID`将重置为未定义。 `%ROWID`由下面描述的嵌入式SQL操作设置。如果该操作不成功或成功完成,但未获取或修改任何行,则`%ROWID`值与其先前值保持不变:未定义,或由先前的嵌入式SQL操作设置为某个值。因此,在每个嵌入式SQL操作之前,请务必新建`%ROWID`。 `%ROWID`设置为受以下操作影响的最后一行的`RowID`: - `INSERT`,`UPDATE`,`INSERT OR UPDATE`或`DELETE`:单行操作后,`%ROWID`变量包含系统分配的`RowID`(对象ID)值,该值分配给插入,更新或删除的记录。经过多行操作之后,`%ROWID`变量包含系统分配的最后一条插入,更新或删除的记录的`RowID`(对象ID)的值。如果未插入,更新或删除任何记录,则`%ROWID`变量值将保持不变。 `TRUNCATE TABLE`没有设置`%ROWID`。 - 基于游标的`SELECT:DECLARE`游标名称`CURSOR`和`OPEN`游标名称语句未初始化`%ROWID`; `%ROWID`值与其先前值保持不变。第一个成功的`FETCH`设置`%ROWID`。随后的每个获取行的`FETCH`都会将`%ROWID`重置为当前`RowID`值。如果`FETCH`检索一行可更新游标,则会设置`%ROWID`。可更新游标是其中顶部`FROM`子句仅包含一个元素(单个表名或可更新视图名)的游标。如果游标不可更新,则`%ROWID`保持不变。如果没有行符合查询选择条件,则`FETCH`不会更改先前的`%ROWID`值(如果有)。 `CLOSE`时或`FETCH`发出`SQLCODE 100`(无数据或无更多数据)时,`%ROWID`包含检索到的最后一行的`RowID`。 具有`DISTINCT`关键字或`GROUP BY`子句的基于游标的`SELECT`不会设置`%ROWID`。 `%ROWID`值与其先前的值(如果有)保持不变。 如果基于游标的`SELECT`仅返回聚合函数值,则不会设置`%ROWID`。如果它同时返回字段值和聚合函数值,则将每个`FETCH`的`%ROWID`值设置为查询返回的最后一行的`RowID`。 - 没有声明游标的`SELECT`不会设置`%ROWID`。完成简单的`SELECT`语句后,`%ROWID`值将保持不变。 在Dynamic SQL中,相应的`%ROWID`属性返回插入,更新或删除的最后一条记录的`RowID`值。执行`SELECT`查询时,Dynamic SQL不会返回`%ROWID`属性值。 可以使用以下方法调用从ObjectScript中检索当前的`%ROWID`: ``` DHC-APP> WRITE $SYSTEM.SQL.GetROWID() 213 ``` 在执行`INSERT`,`UPDATE`,`DELETE`,`TRUNCATE TABLE`或基于游标的`SELECT`操作之后,`LAST_IDENTITY` SQL函数将为最近修改的记录返回`IDENTITY`字段的值。如果表没有`IDENTITY`字段,则此函数返回最近修改记录的`RowID`。 ## SQLCODE 运行嵌入式SQL查询后,必须在处理输出主机变量之前检查`SQLCODE`。 如果`SQLCODE = 0`,则查询成功完成并返回数据。输出主机变量包含字段值。 如果`SQLCODE = 100`,则查询成功完成,但是输出主机变量值可能不同。任何一个: - 查询返回一个或多个数据行(`SQLCODE = 0`),然后到达数据的末尾(`SQLCODE = 100`),在这种情况下,输出主机变量设置为返回的最后一行的字段值。 `%ROWCOUNT> 0`。 - 查询未返回任何数据,在这种情况下,输出主机变量未定义。 `%ROWCOUNT = 0`。 如果查询仅返回聚合函数,则即使表中没有数据,第一个`FETCH`也会始终以`SQLCODE = 0`和`%ROWCOUNT = 1`来完成。第二个`FETCH`以`SQLCODE = 100`和`%ROWCOUNT = 1`结束。如果表中没有数据或没有数据与查询条件匹配,查询将根据需要将输出主机变量设置为0或空字符串。 如果`SQLCODE`为负数,则查询失败,并显示错误条件。 根据嵌入式SQL的调用方式,可能必须在输入嵌入式SQL之前新建`SQLCODE`变量。在触发代码中,将`SQLCODE`设置为非零值会自动将`%ok = 0`设置为中止并回滚触发操作。 在动态SQL中,相应的`%SQLCODE`属性返回SQL错误代码值。 ## $TLEVEL 事务级计数器。 InterSystems SQL将`$TLEVEL`初始化为0。 如果没有当前事务,`$TLEVEL`为0。 - 初始`START TRANSACTION`将`$LEVEL`设置为1。其他`START TRANSACTION`语句对`$TLEVEL`无效。 - 每个`SAVEPOINT`语句将`$TLEVEL`加1。 - `ROLLBACK TO SAVEPOINT`点名语句减少`$TLEVEL`。递减量取决于指定的保存点。 - `COMMIT`将`$LEVEL`重置为0。 - `ROLLBACK`将`$LEVEL`重置为0。 还可以使用`%INTRANSACTION`语句来确定事务是否在进行中。 `$TLEVEL`也由ObjectScript事务命令设置。 ## $USERNAME SQL用户名与InterSystems IRIS用户名相同,存储在ObjectScript `$USERNAME`特殊变量中。用户名可以用作系统范围的默认架构,也可以用作架构搜索路径中的元素。
文章
Michael Lei · 十二月 9, 2022

基于 IRIS SQL高级功能实现 CI/CD的技术原理和指导

在数量众多、形形色色的 SQL 数据库市场中,InterSystems IRIS 作为一个超越 SQL 的平台脱颖而出,它提供无缝的多模型体验,支持丰富的开发范式。 特别是,先进的对象-关系引擎已经帮助组织为其数据密集型工作负载的每个方面使用了最适合的开发方式,例如在通过对象获取数据并同时通过 SQL 查询数据。 持久类与 SQL 表相对应,其属性与表中的各列相对应,可以使用用户定义的函数或存储过程轻松访问业务逻辑。 在这篇文章中,我们将深入了解表面之下的一点底层技术,讨论它可能如何影响您的开发和部署方式。 这是我们计划发展和改进的产品领域,因此请不要犹豫,在下面的评论区分享您的观点和体验。 保存存储定义 {Saving the Storage Definition} 编写全新的业务逻辑很容易,而且假如您有定义明确的 API 和规范,那么调整或扩展通常也很容易。 但是,当它不仅仅是业务逻辑,还涉及持久化数据时,从初始版本更改的任何内容都将需要能够妥善处理通过早期版本获取的数据。 在 InterSystems IRIS 上,数据和代码在一个高性能引擎中共存,没有您在其他 3GL 或 4GL 编程框架中可能看到的六个抽象层。 这意味着,在使用默认存储时,只有一个非常薄且透明的映射将您的类属性映射到每行数据Global节点的 $list 位置。 如果想添加或移除属性,您不希望已移除的属性中的数据显示在新属性下。 类属性的这个映射是由存储定义进行处理的,这是一个您可能已经在类定义的底部注意到的神秘XML 块。 首次编译类时,将根据该类的属性和参数生成新的存储定义。 当您对类定义进行更改后,在重新编译时,这些更改将与现有存储定义进行协同和修正,以便与现有数据保持兼容。 因此,当您试着重构类时,存储定义会仔细考虑您之前做的事情,并确保新旧数据都可以访问。 我们称之为**Schema 演进**。 在其他大多数 SQL 数据库中,表的物理存储是不透明的,如果可见的话,并且只能通过类似 `ALTER TABLE` 语句进行修改。 这些都是标准 DDL(数据定义语言)命令,但表达能力比直接在 IRIS 上修改类定义和过程代码要差很多。 InterSystems 致力于让 IRIS 开发者能够干净利落地分离代码和数据,因为这对于确保应用程序的顺利打包和部署至关重要。 存储定义在这方面发挥着独特的作用,因为它可以捕获两者之间的映射方式。 这就是值得在传统开发和 CI/CD pipeline不同实践的背景下对其进行深入研究的原因。 导出为通用描述语言 Universal Definition Language 如今,源代码管理是以文件为基础的,所以我们先来看看 IRIS 的主要文件导出格式。 顾名思义,通用描述语言UDL意味着您在 InterSystems IRIS 上编写的所有代码的文件格式是通用的。 这是使用 VS Code ObjectScript 插件时的默认导出格式,并产生易于读取的文件,该文件与您在 IDE 中看到的内容几乎完全相同,并且您的应用程序中的每个类(表)都有一个单独的 .cls 文件。 您可以使用$SYSTEM.OBJ.Export 或者是用 VS Code 插件来创建 UDL 文件。 在Studio的时代,您可能还记得一种 XML 格式,它会捕获与 UDL 相同的信息,并允许将多个类分组到一个导出中。 虽然这种格式在某些场景中很方便,但在读取和跟踪不同版本之间的差异时却不太实用,因此我们暂时将其忽略。 由于 UDL 旨在捕获 IRIS 可以表达的关于类的所有内容,它会包含类定义的所有元素,包括完整的存储定义。 在导入已包含存储定义的类定义时,IRIS 会验证该存储定义是否涵盖该类的所有属性和索引,如果是,只需按原样接受并覆盖该类先前的存储定义即可。 这使得 UDL 成为一种管理类及其存储定义版本的实用格式,因为无论您将它部署到何处,它都会保留通过先前版本的类获取的数据的向后兼容性。 如果您是一位硬核开发者,您可能想知道这些存储定义是否会不断增长,是否需要无限期地携带这些“包袱”。 存储定义的目的是保持与预先存在的数据的兼容性,因此如果您知道没有这些数据,并且希望摆脱冗长的兼容和继承关系,则可以通过从类定义中移除存储定义并让类编译器重新生成来“重置”存储定义。 例如,您可以使用它来利用新的最佳实践,比如扩展集的使用,它们会实现经过哈希处理的Global名称,并将每个索引分离到自己的全局名称中,从而提高效率。 为了在应用程序内实现向后兼容性,我们不能在 %Persistent 超类中统一更改此类默认值(但我们在使用 `CREATE TABLE` DDL 命令从头开始创建表时会应用它们),因此定期检查类及其存储是很有价值的。 用户也可以直接编辑存储定义 XML文件,但应格外小心,因为这可能会导致现有数据无法访问。 存储定义会提供类之间的智能映射,并随着Schema的演进而自动调整。 还有什么? 静态还是动态? 您可能知道,InterSystems IRIS SQL 引擎充分利用表统计信息来确定用户执行的任何给定语句的最佳查询计划。 表统计信息包括表大小、值在列中的分布方式等指标。 此信息可以帮助 IRIS SQL 优化器确定哪个索引最有用,按何种顺序连接表等,因此直观地说,统计信息越新,优化查询计划的机会就越大。 遗憾的是,直到我们在 IRIS 2021.2 中引入快速块采样之前,收集准确的表统计信息一直是一项计算成本高昂的操作。 因此,当客户将同一应用程序部署到数据模式基本相同的许多环境中时,有必要考虑应用程序代码中的表统计信息部分并将其包含在表定义中。 这就是如今在 IRIS 上您会发现存储定义内嵌入了表统计信息的原因。 通过手动调用 `TUNE TABLE` 收集表统计信息或通过查询(见下文)隐式收集表统计信息时,新统计信息会写入存储定义,此表的现有查询计划将失效,因此它们可以在下次执行时利用新统计信息。 由于它们是存储定义的一部分,这些统计信息将是 UDL 类导出的一部分,因此会出现在源代码存储库中。 如果是经过仔细审查的已打包应用程序的统计信息,这是可取的,因为您会希望这些特定的统计信息能够推动生成所有应用程序部署的查询计划。 从 2021.2 开始,当查询一个根本没有任何统计资料且符合快速块采样条件的表时,IRIS会在查询计划开始时自动收集表的统计数据。在我们的测试中,使用最新的统计数据对比完全没有统计数据而言的好处,明显大于即时收集统计数据的成本。然而,对于一些客户来说,这会有一些副作用,即在开发人员的实例上自动收集的统计数据最终出现在源控制系统的存储定义中,并最终出现在打包的应用程序中。很明显,该开发者环境中的数据以及其上的统计数据可能无法代表真正的客户部署,并导致次优的查询计划。 这种情况可以轻松避免。 可以在调用$SYSTEM.OBJ.Export()时使用 `/exportselectivity=0` 限定符,在类定义导出中排除表统计信息。 可以使用$SYSTEM.OBJ.SetQualifiers("/exportselectivity=0")配置此标志的系统默认值。 然后,可以由最终部署中的自动收集来决定如何获取代表性的统计信息,将明确的统计信息收集作为部署过程的一部分,这会覆盖应用程序可能打包的任何内容,或者通过它们自己的导入/导出函数单独管理表统计信息:$SYSTEM.SQL.Stats.Table.Export()和 Import()。 从长远来看,我们打算将表统计信息移到数据中,而不是作为代码的一部分,并且更清晰地区分开发者明确定义的统计信息与从实际数据中收集的统计信息。 此外,我们正在计划实现更大程度的自动化,以根据表数据随时间的变化情况定期更新这些统计信息。 总结 在这篇文章中,我们概述了存储定义在 IRIS 对象-关系引擎中的作用,它如何支持Schema的演进,以及将其包含在源代码管理系统中的意义。 我们还介绍了目前将表统计信息存储在该存储定义中的原因,以及为了确保您的应用程序部署最终具有代表实际客户数据的统计信息而建议的开发做法。 如上所述,我们计划进一步增强这些功能,因此我们期待您对当前功能和计划功能提供反馈意见并适当优化我们的设计。
文章
Hao Ma · 二月 16, 2023

ChatGPT 为您创建消息转换?

A "big" or a "little" ask for ChatGPT? 几周前我尝试了 OpenAI GPT 的编码模型,看看它是否可以在医疗保健系统之间进行一些消息转换。它肯定可以,在相当大的程度上。已经将近 3 周了,对于 ChatGPT 来说是很长很长的时间,所以我想知道它现在成长得有多快,以及它是否可以为我们做一些集成工程师的工作,例如它是否可以创建一个 InterSystems COS DTL将 HL7 转换为 FHIR 信息? 在不到一两分钟的时间内,我立即得到了一些答案。 测试 首先我想测试一下我是在和它背后的正确“人”说话 问题一:如何将HL7 V2.4报文转为FHIR STU3? ChatGPT: 将 HL7 V2.4 消息转换为 FHIR STU3 涉及多个步骤,因为这两个标准具有不同的数据模型和结构。以下是该过程的高级概述: 识别 HL7 消息中需要映射到 FHIR 资源的相关数据元素。这将取决于具体用例和交换的数据。 为每个数据元素定义映射规则。这涉及识别对应于 HL7 数据元素的等效 FHIR 资源和元素,以及任何必要的转换或翻译。 编写一个程序或脚本,可以从 HL7 消息中提取数据,应用映射规则,并创建相应的 FHIR 资源。这可能涉及使用正则表达式、解析库和 FHIR 资源创建库的组合。 根据 STU3 规范验证 FHIR 资源,以确保它们符合标准并包含所有必需的元素。 以下是此过程如何将 HL7 V2.4 观察消息转换为 FHIR STU3 观察资源的示例: 识别 HL7 消息中的相关数据元素,例如观察代码、值和单位。 定义每个数据元素的映射规则,例如将 HL7 观察代码映射到 FHIR CodeableConcept,将值和单位映射到 FHIR 数量。 编写可以从 HL7 消息中提取数据、应用映射规则并创建具有适当元素的 FHIR 观察资源的程序或脚本。 根据 STU3 规范验证 FHIR 观察资源,以确保它包含所有必需的元素并且有效。 具体的实现细节将取决于所使用的编程语言和库,以及映射的特定 HL7 消息和 FHIR 资源。建议查阅 HL7 和 FHIR 规范,并在需要时寻求专家建议。 好吧,这不仅听起来是对的——实际上它的回答比大多数人会做的更全面。它现在引起了我的注意,所以让我们开始吧。 问题 2:您能否在 Python 中创建示例转换以将 HL7 转换为 FHIR ChatGPT : 当然!下面是一个示例 Python 代码片段,演示了如何将 HL7 消息转换为 FHIR STU3 观察资源: from hl7apy import core from fhir.resources.observation import Observation # Parse the HL7 message hl7_message = 'MSH|^~\&|SENDING_APP|SENDING_FACILITY|RECEIVING_APP|RECEIVING_FACILITY|20220527120512||ORU^R01|MSGID12345|P|2.4\r' \ 'OBX|1|NM|GLU^Glucose||100|mg/dL||N|||F|||20220527120512\r' hl7_parsed = core.parse_message(hl7_message) # Map HL7 elements to FHIR elements observation = Observation() observation.code = { "coding": [{ "system": "http://loinc.org", "code": hl7_parsed.obx[0].observation_id.value, "display": hl7_parsed.obx[0].observation_id.value }] } observation.valueQuantity = { "value": hl7_parsed.obx[0].value.value, "unit": hl7_parsed.obx[0].units.value, "system": "http://unitsofmeasure.org", "code": hl7_parsed.obx[0].units.value } # Serialize the FHIR resource as JSON observation_json = observation.json() # Print the serialized FHIR resource print(observation_json) 此代码使用hl7apy库解析HL7 消息并提取相关数据元素,并从fhir.resources中使用fhir.resources.observation类----- 创建 FHIR 观察资源的模块。 在此示例中,代码将 HL7 观察 ID 映射到 FHIR 代码元素,并将 HL7 值和单位映射到 FHIR valueQuantity 元素。然后使用json()方法将 FHIR 资源序列化为 JSON。 请注意,这是一个简单示例,您可能需要根据具体用例映射更多数据元素。此外,您还需要安装 hl7apy 和 fhir.resources库才能运行此代码。 这是个好答案 - 给出了一个不错的样板代码。现在让我们给它一个具体的挑战: 问题 3:您能否提供在 Intersystems COS DTL 中从 HL7 V2 到 FHIR Stu3 的示例转换 ChatGPT : 当然!以下是如何在 InterSystems COS DTL(数据转换语言)中将 HL7 V2 消息转换为 FHIR STU3 观察资源的示例: Class DTL.HL7toFHIR Extends %RegisteredObject { ClassMethod TransformHL7ToObservation(hl7Message As %String) As %String [ CodeMode = expression, DDLAllowed = 0 ] { set src = ##class(EnsLib.HL7.Message).%New() set src.DocType = "2.4" set src.Parse(hl7Message) set obs = ##class(FHIR.Resource.Observation).%New() set obs.subject = { "reference": "Patient/"_src.MSH.GetSendingApplication() } set obs.status = "final" set loincCode = src.GetSegment("OBX", 1).GetField(3).GetField(1) set obs.code = { "coding": [ { "system": "http://loinc.org", "code": loincCode, "display": loincCode } ] } set value = src.GetSegment("OBX", 1).GetField(5).GetField(1) set units = src.GetSegment("OBX", 1).GetField(6).GetField(1) set obs.valueQuantity = { "value": value, "unit": units, "system": "http://unitsofmeasure.org", "code": units } quit obs.%ToJSON() } } 此代码定义了一个名为 TransformHL7ToObservationI()的类方法,它将 HL7 V2 消息作为输入并返回 FHIR STU3 观察资源作为 JSON 字符串。 该方法首先创建一个新的 EnsLib.HL7.Message 对象并使用它来解析输入的 HL7 消息。然后创建一个新的 FHIR.Resource.Observation 对象并设置 subject和 status 元素。 接下来,代码从 HL7 消息中提取 LOINC 代码、值和单位,并将它们映射到 FHIR 资源中的相应元素。 最后,该方法将 FHIR 资源序列化为 JSON 并将其返回。 要使用此类方法,您可以从另一个 COS 方法或使用 InterSystems 的 REST API 从外部系统调用它。下面是如何从另一个 COS 方法调用该方法的示例: set hl7Message = "MSH|^~\&|SENDING_APP|SENDING_FACILITY|RECEIVING_APP|RECEIVING_FACILITY|20220527120512||ORU^R01|MSGID12345|P|2.4\rOBX|1|NM|GLU^Glucose||100|mg/dL||N|||F|||20220527120512\r" set fhirObservation = ##class (DTL.HL7toFHIR).TransformHL7ToObservation(hl7Message) write fhirObservation 请注意,您需要在 InterSystems 环境中定义 -----107----- 和 -----108----- 类,并具有运行 COS 代码的适当权限。 好吧,这可能是迄今为止我们所能预料到的最有效、最全面、最切题的答案,只需大约 25 秒。是不是? 既然我们在这里,我们需要公平对待我也喜欢的其他广泛使用的选项。于是我又怀着信心继续问了几个问题: 问题4:能否给出Orion Rhapsody中从HL7 V2到FHIR Stu3的转换示例 ChatGPT : 当然!以下是如何在 Orion Rhapsody 中将 HL7 V2 消息转换为 FHIR STU3 观察资源的示例: 首先,创建一个新的 Rhapsody 通道并添加一个 HL7 Connector 组件来接收输入的 HL7 V2 消息。 将新的数据转换组件添加到通道并将其配置为使用自定义脚本。 在数据转换组件中,添加以下脚本以将 HL7 V2 消息转换为 FHIR STU3 观察资源: function transform(msg) { var hl7 = Packages.ca.uhn.hl7v2.model.v24.message.ORU_R01(msg.getRawData()); var observation = new Packages.org.hl7.fhir.dstu3.model.Observation(); observation.setStatus(Packages.org.hl7.fhir.dstu3.model.Observation.ObservationStatus.FINAL); var codeableConcept = new Packages.org.hl7.fhir.dstu3.model.CodeableConcept(); var coding = new Packages.org.hl7.fhir.dstu3.model.Coding(); coding.setSystem("http://loinc.org"); coding.setCode(hl7.getRESPONSE().getORDER_OBSERVATION()[0].getOBR().getUniversalServiceIdentifier().getIdentifier().getValue()); coding.setDisplay(hl7.getRESPONSE().getORDER_OBSERVATION()[0].getOBR().getUniversalServiceIdentifier().getText().getValue()); codeableConcept.addCoding(coding); observation.setCode(codeableConcept); var quantity = new Packages.org.hl7.fhir.dstu3.model.Quantity(); quantity.setValue(hl7.getRESPONSE().getORDER_OBSERVATION()[0].getOBSERVATION()[0].getOBX().getObservationValue()[0].getValue().getValue()); quantity.setUnit(hl7.getRESPONSE().getORDER_OBSERVATION()[0].getOBSERVATION()[0].getOBX().getUnits().getText().getValue()); observation.setValue(quantity); var reference = new Packages.org.hl7.fhir.dstu3.model.Reference(); reference.setReference("Patient/" + hl7.getPATIENT_RESULT().getPATIENT().getPid3_PatientIdentifierList()[0].getID().getValue()); observation.setSubject(reference); return JSON.stringify(observation); } 保存脚本并通过向通道发送 HL7 V2 消息来测试转换。转换后的 FHIR STU3 观察资源应由数据转换组件以 JSON 格式输出。 此脚本使用 HAPI FHIR 和 HAPI HL7 v2 库,它们包含在 Orion Rhapsody 中。它首先使用 HAPI HL7 库解析输入的 HL7 V2 消息。 接下来,脚本创建一个新的 FHIR STU3 观测资源并设置它的 status, code, value, 和 subject 元素基于 HL7 消息中的相应值。 最后,脚本将 FHIR 资源序列化为 JSON 并将其返回。 请注意,这只是一个简单示例,可能不适用于所有 HL7 V2 消息类型或 FHIR 资源。您可能需要修改脚本以处理不同的消息类型或将其他字段映射到 FHIR 资源。 问题 5你能在 Mirth 集成引擎中创建一个示例转换,将 HL7 v2.4 转换为 FHIR R4 ChatGPT : 当然!以下是如何在 Mirth 中将 HL7 V2.4 消息转换为 FHIR R4 观察资源的示例: 首先,创建一个新的 Mirth 频道并添加一个 HL7v2 Listener 源连接器以接收输入的 HL7 V2 消息。 将新的 JavaScript Writer 目标连接器添加到通道并将其配置为使用自定义脚本。 在 JavaScript Writer 连接器中,添加以下脚本以将 HL7 V2 消息转换为 FHIR R4 观察资源: var hl7msg = msg['HL7v2 Message'].toString(); // get the HL7 V2 message var hl7data = Packages.ca.uhn.hl7v2.parser.Parser.parse(hl7msg); // parse the message with the HAPI HL7 parser // extract values from the HL7 message and create the FHIR resource var obs = new Packages.org.hl7.fhir.r4.model.Observation(); obs.setStatus(Packages.org.hl7.fhir.r4.model.Observation.ObservationStatus.FINAL); var code = new Packages.org.hl7.fhir.r4.model.CodeableConcept(); code.addCoding() .setSystem("http://loinc.org") .setCode(hl7data.get("OBR-4-1").getValue()) .setDisplay(hl7data.get("OBR-4-2").getValue()); obs.setCode(code); var value = new Packages.org.hl7.fhir.r4.model.Quantity(); value.setValue(hl7data.get("OBX-5-1").getValue()); value.setUnit(hl7data.get("OBX-6").getValue()); obs.setValue(value); var subject = new Packages.org.hl7.fhir.r4.model.Reference(); subject.setReference("Patient/" + hl7data.get("PID-3-1").getValue()); obs.setSubject(subject); // output the FHIR resource as JSON var json = org.hl7.fhir.r4.formats.JsonParser().setPrettyPrint(true).encodeResourceToString(obs); return json; 保存脚本并通过向通道发送 HL7 V2 消息来测试转换。转换后的 FHIR R4 观察资源应由 JavaScript Writer 连接器以 JSON 格式输出。 此脚本使用 HAPI FHIR 和 HAPI HL7 v2 库,它们包含在 Mirth 中。它首先从 Mirth 消息对象中提取 HL7 V2 消息,并使用 HAPI HL7 解析器对其进行解析。 接下来,该脚本创建一个新的 FHIR R4 观察资源并设置其 status, code, value, 和 subject 元素基于 HL7 消息中的相应值。 最后,脚本将 FHIR 资源序列化为 JSON 并将其返回。 请注意,这只是一个简单示例,可能不适用于所有 HL7 V2 消息类型或 FHIR 资源。您可能需要修改脚本以处理不同的消息类型或将其他字段映射到 FHIR 资源。 结论? 我不再有任何结论或下一步,因为即使是我的想象力也无法赶上它的飞跃。看起来我现在的选择似乎很有限:要么我可以花时间挑出它不完美的编码风格,要么我可以再过几周重新考虑我盘子里剩下的东西?我需要比以往任何时候都更仔细地思考这件事的潜力。 :)开个玩笑,虽然我很喜欢在这个论坛上发帖(感谢主持人),但我想到的另一个想法是,这“可能”实际上是一些竞争激烈的利基市场参与者迈向大众市场的重要推动力,对吧?由于各种原因,过去需要数年时间才能真正适应某些编码语言和脚本,但现在情况正在发生变化,使用 ChatGPT,它不仅提供精心编写的文档、说明和示例,而且还可以在未来几个月或几年内自动制造您选择的工程工具,对吗?它似乎能够提升“编程语言”的水平,最终使得编程语言中非功能性的特点,比如性能和服务质量等,将变得更重要。 太强了,就很离谱,这比官方文档还好使吗 还是有些错误的,详情可以到英文原文评论中看到
文章
Hao Ma · 三月 26, 2021

精华文章---基于Docker的一体化集成AI环境中部署机器学习/深度学习模型

**关键字**:IRIS,IntegratedML,Flask,FastAPI,TensorFlow Serving,HAProxy,Docker,Covid-19 ## 目的: 过去几个月里,我们提到了一些深度学习和机器学习的快速演示,包括一个简单的 Covid-19 X 射线图像分类器和一个用于可能的 ICU 入院的 Covid-19 实验室结果分类器。  我们还介绍了 ICU 分类器的 IntegratedML 演示实现。  虽然“数据科学”远足仍在继续,但从“数据工程”的角度来看,或许也是尝试一些 AI 服务部署的好时机 - 我们能否将目前所接触到的一切都封装成一套服务 API?  我们可以利用哪些常用的工具、组件和基础架构,以最简单的方式实现这样的服务堆栈?   ## 范围 ### **范围内:** 作为快速入门,我们可以使用 docker-compose 将以下 docker 化组件部署到 AWS Ubuntu 服务器中 * **HAProxy ** - 负载均衡器 * **Gunicorn** vs. **Univorn ** - Web 网关****服务器 * **Flask** vs. **FastAPI** - Web 应用 UI 的应用服务器、服务 API 定义和热图生成等 * **TensorFlow Model Serving** vs. **TensorFlow-GPU Model Serving** - 图像等分类的应用后端服务器 * IRIS **IntegratedML** - 带有 SQL 界面的统一 App+DB AutoML * **Jupyter Notebook** 中模拟客户端进行**基准测试**的 Python3 *  Docker 和 **docker-compose** * 配备 Tesla T4 GPU 的 **AWS Ubuntu** 16.04  注:配备 GPU 的 TensorFlow Serving 仅用于演示目的 - 您只需关闭 GPU 相关镜像(在 dockerfile 中)和配置(在 docker-compose.yml 中)。 ### **范围外**或者在下一个愿望清单上: * **Nginx** 或 **Apache** 等 Web 服务器在演示中暂时省略。 * **RabbitMQ** 和 Redis - 用于可靠消息传递的队列代理,可由 IRIS 或 Ensemble 替代。    * **IAM** ([Intersystems API Manger](https://docs.intersystems.com/irislatest/csp/docbook/DocBook.UI.Page.cls?KEY=AIAM)) 或 **Kong** 在愿望清单上 * **SAM **(Intersystems [System Alert & Monitoring](https://docs.intersystems.com/sam/csp/docbook/DocBook.UI.Page.cls?KEY=ASAM))  * **ICM** ([Intersystems Cloud Manager](https://docs.intersystems.com/irislatest/csp/docbook/Doc.View.cls?KEY=PAGE_DEPLOYMENT_ICM)) 与 **Kubernetes** Operator - 诞生以来一直是我的最爱 * **FHIR**(基于 Intesystems IRIS 的 FHIR R4 服务器和 FHIR Sandbox,用于 FHIR 应用上的 SMART) * **CI/CD** devop 工具或 **Github Actions** “机器学习工程师”必然会动手遍历这些组件,在服务生命周期内提供一些生产环境。 随着时间的推移,我们可以扩大范围。   ## GitHub 仓库 完整源代码位于 [integratedML-demo-template 仓库](https://github.com/intersystems-community/integratedml-demo-template)也与新仓库一同重用。   ## 部署模式 以下为此“Docker 中的 AI 演示”测试框架的逻辑部署模式。 出于演示目的,我特意创建了 2 个独立的堆栈,用于深度学习分类以及 Web 渲染,然后使用 HAProxy 作为软负载均衡器,以无状态方式在这 2 个堆栈之间分配传入的 API 请求。 * Guniorn + Flask + TensorFlow Serving * Univcorn + FaskAPI + TensorFlow Serving GPU IRIS 与 IntegratedML 用于机器学习演示示例,即 ICU 预测的前一篇文章中。 在目前的演示中,我省略了一些生产服务需要或考虑的常用组件: * Web 服务器:Nginx 或 Apache 等 HAProxy 和 Gunicorn/Uvicorn 之间需要它们,以进行正确的 HTTP 会话处理,即避免 DoS 攻击等。 * 队列管理器和数据库:RabbitMQ 和/或 Redis 等,在 Flask/FastAPI 和后端服务之间,用于可靠的异步服务和数据/配置持久性等。   * API 网关:IAM 或 Kong 集群,在 HAProxy 负载均衡器和 Web 服务器之间进行 API 管理,不创建单点故障。 * 监视和警报:SAM 很不错。 * 为 CI/CD DevOps 进行配置:云中立的部署和管理以及带有其他常见 devops 工具的 CI/CD 将需要带 K8s 的 ICM。 其实,IRIS 本身当然可以作为企业级队列管理器以及用于可靠消息传递的高性能数据库。 在模式分析中,很明显 IRIS 可以代替 RabbitMQ/Redis/MongoDB 等队列代理和数据库,得到更好的整合,大幅减少延迟,并提高整体性能。  还有,IRIS Web Gateway(先前为 CSP Gateway)当然可以代替 Gunicorn 或 Unicorn 等,对吧?     ## 环境拓扑 在全 Docker 组件中实现上述逻辑模式有几种常见选项。 首先:   * docker-compose * docker swarm 等 * Kubernetes 等  * 带 K8s 操作的 ICM 这个演示从功能性 PoC 和一些基准测试的“docker-compose”开始。 当然,我们很想使用 K8s,也有可能随着时间的推移使用 ICM。  如 [docker-compose.yml](https://github.com/zhongli1990/covid-ai-demo-deployment/blob/master/docker-compose.yml) 文件中所述,它的环境拓扑在 AWS Ubuntu 服务器上的物理实现最终将是:   上图显示了如何将所有 Docker 实例的**服务端口**映射并直接暴露于 Ubuntu 服务器以进行演示。 在生产中应该全部经过安全加固。 纯粹出于演示目的,所有容器都连接到同一个 Docker 网络中;而在生产中,它将被分为外部可路由和内部不可路由。   ## Docker 化组件  下面显示了主机中的那些**存储卷**如何按照这个 [docker-compose.yml](https://github.com/zhongli1990/covid-ai-demo-deployment/blob/master/docker-compose.yml) 文件的指示挂载到各个容器实例:  ubuntu@ip-172-31-35-104:/zhong/flask-xray$ tree ./ -L 2 ./ ├── covid19 (Flask+Gunicorn container and Tensorflow Serving container will mount here) │ ├── app.py (Flask main app: Both web application and API service interfaces are defined and implemented here) │ ├── covid19_models (Tensorflow models are published and versioned here for image classification Tensorflow Serving container with CPU) │ ├── Dockerfile (Flask server with Gunicorn: CMD ["gunicorn", "app:app", "--bind", "0.0.0.0:5000", "--workers", "4", "--threads", "2"]) │ ├── models (Models in .h5 format for Flask app and API demo of heatmap generation by grad-cam on X-Rays) │ ├── __pycache__ │ ├── README.md │ ├── requirements.txt (Python packages needed for the full Flask+Gunicorn apps) │ ├── scripts │ ├── static (Web static files) │ ├── templates (Web rendering templates) │ ├── tensorflow_serving (Config file for tensorflow serving service) │ └── test_images ├── covid-fastapi (FastAPI+Uvicorn container and Tensorflow Serving with GPU container will mount here) │ ├── covid19_models (Tensorflow serving GPU models are published and versioned here for image classification) │ ├── Dockerfile (Uvicorn+FastAPI server are started here: CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8000", "--workers", "4" ]) │ ├── main.py (FastAPI app: both web application and API service interfaces are defined and implemented here) │ ├── models (Models in .h5 format for FastAPI app and API demo of heatmap generation by grad-cam on X-Rays) │ ├── __pycache__ │ ├── README.md │ ├── requirements.txt │ ├── scripts │ ├── static │ ├── templates │ ├── tensorflow_serving │ └── test_images ├── docker-compose.yml (Full stack Docker definition file. Version 2.3 is used to accommodate Docker GPU "nvidia runtime", otherwise can be version 3.x) ├── haproxy (HAProxy docker service is defined here. Note: sticky session can be defined for backend LB. ) │ ├── Dockerfile │ └── haproxy.cfg └── notebooks (Jupyter Notebook container service with Tensorflow 2.2 and Tensorboard etc) ├── Dockerfile ├── notebooks (Sample notebook files to emulate external API Client apps for functional tests and API benchmark tests in Python on the load balancer etc) └── requirements.txt 注:以上 [docker-compose.yml](https://github.com/zhongli1990/covid-ai-demo-deployment/blob/master/docker-compose.yml) 用于Covid-19 X 射线的深度学习演示。  它与另一个 [integratedML-demo-template](https://github.com/intersystems-community/integratedml-demo-template) 的 [docker-compose.yml](https://github.com/intersystems-community/integratedml-demo-template/blob/master/docker-compose.yml) 一起使用,形成环境拓扑中显示的完整服务堆栈。     ## 服务启动  简单的 **docker-compose up -d** 即可启动所有容器服务: ubuntu@ip-172-31-35-104:~$ docker psCONTAINER ID        IMAGE                                 COMMAND                  CREATED             STATUS                PORTS                                                                              NAMES31b682b6961d        iris-aa-server:2020.3AA               "/iris-main"             7 weeks ago         Up 2 days (healthy)   2188/tcp, 53773/tcp, 54773/tcp, 0.0.0.0:8091->51773/tcp, 0.0.0.0:8092->52773/tcp   iml-template-master_irisimlsvr_16a0f22ad3ffc        haproxy:0.0.1                         "/docker-entrypoint.…"   8 weeks ago         Up 2 days             0.0.0.0:8088->8088/tcp                                                             flask-xray_lb_171b5163d8960        ai-service-fastapi:0.2.0              "uvicorn main:app --…"   8 weeks ago         Up 2 days             0.0.0.0:8056->8000/tcp                                                             flask-xray_fastapi_1400e1d6c0f69        tensorflow/serving:latest-gpu         "/usr/bin/tf_serving…"   8 weeks ago         Up 2 days             0.0.0.0:8520->8500/tcp, 0.0.0.0:8521->8501/tcp                                     flask-xray_tf2svg2_1eaac88e9b1a7        ai-service-flask:0.1.0                "gunicorn app:app --…"   8 weeks ago         Up 2 days             0.0.0.0:8051->5000/tcp                                                             flask-xray_flask_1e07ccd30a32b        tensorflow/serving                    "/usr/bin/tf_serving…"   8 weeks ago         Up 2 days             0.0.0.0:8510->8500/tcp, 0.0.0.0:8511->8501/tcp                                     flask-xray_tf2svg1_1390dc13023f2        tf2-jupyter:0.1.0                     "/bin/sh -c '/bin/ba…"   8 weeks ago         Up 2 days             0.0.0.0:8506->6006/tcp, 0.0.0.0:8586->8888/tcp                                     flask-xray_tf2jpt_188e8709404ac        tf2-jupyter-jdbc:1.0.0-iml-template   "/bin/sh -c '/bin/ba…"   2 months ago        Up 2 days             0.0.0.0:6026->6006/tcp, 0.0.0.0:8896->8888/tcp                                     iml-template-master_tf2jupyter_1 以 **docker-compose up --scale fastapi=2 --scale flask=2 -d** 为例,将水平扩展到 2 个 Gunicorn+Flask 容器和 2 个 Univcorn+FastAPI 容器: ubuntu@ip-172-31-35-104:/zhong/flask-xray$ docker psCONTAINER ID        IMAGE                                 COMMAND                  CREATED             STATUS                PORTS                                                                              NAMESdbee3c20ea95        ai-service-fastapi:0.2.0              "uvicorn main:app --…"   4 minutes ago       Up 4 minutes          0.0.0.0:8057->8000/tcp                                                             flask-xray_fastapi_295bcd8535aa6        ai-service-flask:0.1.0                "gunicorn app:app --…"   4 minutes ago       Up 4 minutes          0.0.0.0:8052->5000/tcp                                                             flask-xray_flask_2 ... ... 在“integrtedML-demo-template”的工作目录下再运行一个“docker-compose up -d”,就出现了上面列表中的 irisimlsvr 和 tf2jupyter 容器。   ## 测试 ### **1. 带有简单 UI 的 AI 演示 Web 应用** 启动上述 docker 服务后,我们可以访问 AWS EC2 实例中托管的 [Covid-19 肺部 X 射线检测](https://community.intersystems.com/post/run-some-covid-19-lung-x-ray-classification-and-ct-detection-demos)演示 Web 应用,临时地址为 http://ec2-18-134-16-118.eu-west-2.compute.amazonaws.com:8056/ 以下是从我的手机截取的屏幕。  它有一个非常简单的演示 UI:基本上只需要点击“Choose File”,然后点击“Submit”按钮,上传 [X 射线图像](https://github.com/zhongli1990/Covid19-X-Rays/tree/master/all/test),然后应用就会显示分类报告。 如果图像被分类为 Covid-19 X 射线图像,则会[显示热图](https://community.intersystems.com/post/explainability-and-visibility-covid-19-x-ray-classifiers-deep-learning),通过 DL 模拟“检测到的”病变区域;如果未被分类为 Covid-19 X 射线图像,分类报告将仅显示上传的 X 射线图像。          该 Web 应用是一个 Python 服务器页面,其逻辑主要在 [FastAPI 的 main.py](https://github.com/zhongli1990/covid-ai-demo-deployment/blob/master/covid-fastapi/main.py) 文件以及 [Flask 的 app.py](https://github.com/zhongli1990/covid-ai-demo-deployment/blob/master/covid19/app.py) 文件中进行编码。 如果有更多的空闲时间,我可能会详细说明 Flask 和 FastAPI 之间的编码和惯例差异。  其实我希望可以为 AI 演示托管对比 Flask、FastAPI 与 IRIS。    ### **2. 测试演示 API**       FastAPI(在端口 8056 处公开)内置 Swagger API 文档,如下所示。 这非常好用。 我需要做的就是在其 URL 中使用“/docs”,例如:  ![](/sites/default/files/inline/images/images/image(875).png) 我内置了一些占位符(如 /hello 和 /items)和一些真正的演示 API 接口(如 /healthcheck、/predict 和 predict/heatmap)。   **来对这些 API 进行一个快速测试**,在我为这个 AI 演示服务准备的一个 [Jupyter Notebook 示例文件](https://github.com/zhongli1990/covid-ai-demo-deployment/tree/master/notebooks/notebooks)中运行一些 Python 行(作为 API 客户端应用模拟器)。   下面我以运行这个文件为例: 首先测试后端 TF-Serving(端口 8511)和 TF-Serving-GPU(端口 8521)是否正常运行:  !curl http://172.17.0.1:8511/v1/models/covid19 # tensorflow serving !curl http://172.17.0.1:8521/v1/models/covid19 # tensorflow-gpu serving { "model_version_status": [ { "version": "2", "state": "AVAILABLE", "status": { "error_code": "OK", "error_message": "" } } ] } { "model_version_status": [ { "version": "2", "state": "AVAILABLE", "status": { "error_code": "OK", "error_message": "" } } ] }   然后测试以下服务 API 是否正常运行: Gunicorn+Flask+TF-Serving Unicorn+FastAPI+TF-Serving-GPU 以上麻烦服务之前的负载均衡器 HAProxy r = requests.get('http://172.17.0.1:8051/covid19/api/v1/healthcheck') # tf srving docker with cpu print(r.status_code, r.text) r = requests.get('http://172.17.0.1:8056/covid19/api/v1/healthcheck') # tf-serving docker with gpu print(r.status_code, r.text) r = requests.get('http://172.17.0.1:8088/covid19/api/v1/healthcheck') # tf-serving docker with HAproxy print(r.status_code, r.text) 结果应为: 200 Covid19 detector API is live! 200 "Covid19 detector API is live!\n\n" 200 "Covid19 detector API is live!\n\n"   测试一些功能性 API 接口(例如 **/predict/heatmap**)来返回输入 X 射线图像的分类和热图结果。  根据 API 定义,在通过 HTTP POST 发送之前,入站图像为 based64 编码: %%time # importing the requests library import argparse import base64 import requests # defining the api-endpoint API_ENDPOINT = "http://172.17.0.1:8051/covid19/api/v1/predict/heatmap" image_path = './Covid_M/all/test/covid/nejmoa2001191_f3-PA.jpeg' #image_path = './Covid_M/all/test/normal/NORMAL2-IM-1400-0001.jpeg' #image_path = './Covid_M/all/test/pneumonia_bac/person1940_bacteria_4859.jpeg' b64_image = "" # Encoding the JPG,PNG,etc. image to base64 format with open(image_path, "rb") as imageFile: b64_image = base64.b64encode(imageFile.read()) # data to be sent to api data = {'b64': b64_image} # sending post request and saving response as response object r = requests.post(url=API_ENDPOINT, data=data) print(r.status_code, r.text) # extracting the response print("{}".format(r.text)) 所有此类[测试图像也已上传到 GitHub](https://github.com/zhongli1990/Covid19-X-Rays/tree/master/all/test)。  以上代码的结果将为: 200 {"Input_Image":"http://localhost:8051/static/source/0198f0ae-85a0-470b-bc31-dc1918c15b9620200906-170443.png","Output_Heatmap":"http://localhost:8051/static/result/Covid19_98_0198f0ae-85a0-470b-bc31-dc1918c15b9620200906-170443.png.png","X-Ray_Classfication_Raw_Result":[[0.805902302,0.15601939,0.038078323]],"X-Ray_Classification_Covid19_Probability":0.98,"X-Ray_Classification_Result":"Covid-19 POSITIVE","model_name":"Customised Incpetion V3"} {"Input_Image":"http://localhost:8051/static/source/0198f0ae-85a0-470b-bc31-dc1918c15b9620200906-170443.png","Output_Heatmap":"http://localhost:8051/static/result/Covid19_98_0198f0ae-85a0-470b-bc31-dc1918c15b9620200906-170443.png.png","X-Ray_Classfication_Raw_Result":[[0.805902302,0.15601939,0.038078323]],"X-Ray_Classification_Covid19_Probability":0.98,"X-Ray_Classification_Result":"Covid-19 POSITIVE","model_name":"Customised Incpetion V3"} CPU times: user 16 ms, sys: 0 ns, total: 16 ms Wall time: 946 ms   ### **3. 基准测试演示服务 API** 我们设置了一个 HAProxy 负载均衡器实例。 我们还启动了一个有 4 个工作进程的 Flask 服务,以及一个也有 4 个工作进程的 FastAPI 服务。 为什么不直接在 Notebook 文件中创建 8 个 Pyhon 进程,模拟 8 个并发 API 客户端向演示服务 API 发送请求,看看会发生什么  #from concurrent.futures import ThreadPoolExecutor as PoolExecutor from concurrent.futures import ProcessPoolExecutor as PoolExecutor import http.client import socket import time start = time.time() #laodbalancer: API_ENDPOINT_LB = "http://172.17.0.1:8088/covid19/api/v1/predict/heatmap" API_ENDPOINT_FLASK = "http://172.17.0.1:8052/covid19/api/v1/predict/heatmap" API_ENDPOINT_FastAPI = "http://172.17.0.1:8057/covid19/api/v1/predict/heatmap" def get_it(url): try: # loop over the images for imagePathTest in imagePathsTest: b64_image = "" with open(imagePathTest, "rb") as imageFile: b64_image = base64.b64encode(imageFile.read()) data = {'b64': b64_image} r = requests.post(url, data=data) #print(imagePathTest, r.status_code, r.text) return r except socket.timeout: # in a real world scenario you would probably do stuff if the # socket goes into timeout pass urls = [API_ENDPOINT_LB, API_ENDPOINT_LB, API_ENDPOINT_LB, API_ENDPOINT_LB, API_ENDPOINT_LB, API_ENDPOINT_LB, API_ENDPOINT_LB, API_ENDPOINT_LB] with PoolExecutor(max_workers=16) as executor: for _ in executor.map(get_it, urls): pass print("--- %s seconds ---" % (time.time() - start)) 因此,处理 8x27 = 216 张测试图像花了 74s。 这个负载均衡的演示堆栈每秒能够处理 3 张图像(通过将分类和热图结果返回客户端): --- 74.37691688537598 seconds --- 从 Putty 会话的 Top 命令中,我们可以看到在上述基准脚本开始运行后,8 个服务器进程(4 个 gunicorn + 4 个 unicorn/python)开始加速   ## 未来计划 这篇帖子只是将“All-in-Docker AI 演示”部署堆栈组合为测试框架的起点。 接下来,我希望根据 FHIR R4 等添加更多的 API 演示接口(例如 Covid-19 ICU 预测接口等),并添加一些支持 DICOM 输入格式。 这也可以成为一个测试台,用于探索与 IRIS 托管的 ML 功能更紧密的集成。 未来它也可以用作测试框架(也是一个非常简单的框架),随着我们在医疗影像、人群健康或个性化预测以及 NLP 等各个 AI 领域的发展,截取越来越多的 ML 或 DL 专业模型。 我还在[上一篇帖子的末尾(在“未来计划”部分)](https://community.intersystems.com/post/run-some-covid-19-icu-predictions-ml-vs-integratedml-part-ii)列出了一个愿望清单。   
文章
Hao Ma · 四月 29, 2021

WebGateway系列(4): 配置HTTPS访问IRIS的Web服务

经常被问到有关IRIS如何支持SSL,HTTPS的问题,有必要写个东西介绍一下。 ##HTTPS的原理 简单的说,https实现两个目的:一是访问网站加密,2是确认被访问的网站是真的。 首先,被访问的网站要申请一个证书,这个证书必须是权威机构发放的,比如google, VeriSign等等,所有的浏览器里有预装了这些组织的公钥(Public Key),因此能确认你提供的证书真是这些组织给出的,而这个证书可以证明你的网站的身份。注意证书证明的是提供服务的组织和服务的真实性,和用什么设备没关系,也就是说,IRIS不管证书的事儿。 接下去,被访问的服务器可以生成公钥和私钥,和客户端交换key,生成整个世界只有两者知道的security code,用来两者之间数据的交换。详细的过程和消息交互可以在网上找到很多很好的文章和视频,比如这个: [How does HTTPS work? What's a CA? What's a self-signed Certificate?](https://www.youtube.com/watch?v=T4Df5_cojAs)。 如果是测试环境或者使用者可以控制的内部网络,self-signed证书非常常用。self-signed证书就是不去花钱找人认证,而是告诉客户端,我这个证书是自己认证的,你知道我这台机器试内网的一个机器,不用权威机构证明我服务器的身份,咱们交换一下钥匙把通信加密了吧。操作系统,各种Web服务器都提供这样的假证书,可以用于测试。浏览器访问这样的网站时会提醒用户这个网站不安全,客户需要确认继续访问。 ## IRIS的https访问 如果要访问的是IRIS上的http服务或者页面,需要做的是在连接IRIS的Web服务器配置SSL/TLS。有关IRIS和IRIS WebGateway的介绍,请查看[这个系列前面的文章](https://cn.community.intersystems.com/post/webgateway%E7%B3%BB%E5%88%971-web-gateway%E4%BB%8B%E7%BB%8D)。 *不需要在IRIS或者IRIS Gateway做任何配置。在IRIS文档里有各种有关SSL/TLS的内容,除非你要开发一个TCP层的使用SSL/TLS的应用或者IRIS作为客户端访问其他HTTPS的服务,你根本不用阅读。* 下面简单介绍配置Apache Web服务器简单实现IRIS管理页面的HTTPS访问的步骤。 **1.apache Web服务器安装SSL.** 如果你的Apache没有安装过SSL组件,运行下面命令安装 ``` yum -y install mod_ssl ``` 命令执行结束安装完成后,在/etc/httpd/modules目录会添加了mod_ssl.so,并且在/etc/httpd/conf.d 目录下会出现一个ssl.conf文件。 如果是Windows, 您需要下载使用Windows的Apache服务器,比如从这个页面:[Apach2.4.46](https://www.apachehaus.com/cgi-bin/download.plx)。 按照说明,您需要将软件解压缩到一个目录,比如c:/Apache24,然后执行 "httpd -k install"安装。 并且, 你要确保httpd.conf文件中下面两行没有被注释 LoadModule ssl_module modules/mod_ssl.so Include conf/extra/httpd-ssl.conf 访问https://WebServerIP,你会被浏览器提醒这不是个可信任的网站,是不是还要继续访问,确认后会看到Apache的测试页,访问是成功的。 **2.到IRIS的WebGateway的连接。** 我一般放在一个单独的配置文件里,在linux下是在./conf.d/isc.conf, 在Windows系统是在./extra/httpd-isc.conf。这个配置文件是要被include在httpd.conf里面。配置https并不需要修改这个配置文件。下面是在Windows下的httpd-isc.conf的配置示意。 LoadModule csp_module_sa C:/InterSystems/WebGateway/CSPa24.dll SetHandler csp-handler-sa SetHandler csp-handler-sa CSPFileTypes * Alias /csp/ c:/InterSystems/WebGateway/csp/ AllowOverride None Options MultiViews FollowSymLinks ExecCGI Require all granted Require all denied 这时您应该可以测试到IRIS管理页面的HTTPS访问了。 **3. 获得证书并添加到Web服务器。** 这步是可选的。面向公众服务的Web服务通常会购物证书, 而内部服务个个客户的网络中会有相关的CA的处理方式,相应的如何修改Apache服务器的配置请自行查看文档。 五一节快乐