什么是非结构化数据？
非结构化数据是指缺乏预定义数据模型或组织的信息。与数据库中具有清晰结构（例如表和字段）的结构化数据相比，非结构化数据缺乏固定的模式。此类数据包括文本、图像、视频、音频文件、社交媒体帖子、电子邮件等。

为什么来自非结构化数据的见解很重要？
根据 IDC（国际数据公司）的报告，预计到 2025 年，全球 80% 的数据将是非结构化的，这将成为 95% 企业的重大担忧。 福布斯文章

人工智能世界如何解决这个问题？
在人工智能领域，生成式人工智能在为非结构化数据提供解决方案方面发挥着至关重要的作用。它擅长从文本/图像/视频中提取有价值的信息、文本摘要和处理文档等任务。

肾脏疾病可以从一些医学界熟知的参数中发现。这样，为了帮助医学界和计算机系统，特别是人工智能，科学家Akshay Singh发表了一个非常有用的数据集，用于训练肾脏疾病检测/预测方面的机器学习（ML)算法。这份出版物可以在最大和最知名的ML数据库Kaggle上找到，网址是https://www.kaggle.com/datasets/akshayksingh/kidney-disease-dataset。

关于数据集

该肾脏疾病数据集有以下元数据信息（来源：https://www.kaggle.com/datasets/akshayksingh/kidney-disease-dataset):

A "big" or a "little" ask for ChatGPT?

几周前我尝试了 OpenAI GPT 的编码模型，看看它是否可以在医疗保健系统之间进行一些消息转换。它肯定可以，在相当大的程度上。

已经将近 3 周了，对于 ChatGPT 来说是很长很长的时间，所以我想知道它现在成长得有多快，以及它是否可以为我们做一些集成工程师的工作，例如它是否可以创建一个 InterSystems COS DTL将 HL7 转换为 FHIR 信息？

在不到一两分钟的时间内，我立即得到了一些答案。

测试

首先我想测试一下我是在和它背后的正确“人”说话

问题一：如何将HL7 V2.4报文转为FHIR STU3？

ChatGPT：

众所周知，人工智能的世界已经到来，每个人都想利用它为自己谋取利益。

有许多平台通过订阅或私人免费提供人工智能服务。然而，由于在计算领域产生的大量“噪音”而脱颖而出的是 Open AI，这主要归功于其最著名的服务：ChatGPT 和 DALL-E。

什么是Open AI？

Open AI 是一个非营利性人工智能研究实验室，由 Sam Altman、Ilya Sutskever、Greg Brockman、Wojciech Zaremba、Elon Musk、John Schulman 和 Andrej Karpathy 于 2015 年发起，旨在促进和开发友好的人工智能，造福于人类所有的。

关键字：IRIS, IntegratedML, 机器学习, Covid-19, Kaggle

目的

最近，我注意到一个用于预测 Covid-19 患者是否将转入 ICU 的 Kaggle 数据集。 它是一个包含 1925 条病患记录的电子表格，其中有 231 列生命体征和观察结果，最后一列“ICU”为 1（表示是）或 0（表示否）。 任务是根据已知数据预测患者是否将转入 ICU。

这个数据集看起来是所谓的“传统 ML”任务的一个好例子。数据看上去数量合适，质量也相对合适。它可能更适合在 IntegratedML 演示套件上直接应用，那么，基于普通 ML 管道与可能的 IntegratedML 方法进行快速测试，最简单的方法是什么？

1. IRIS RAG Demo

这是 IRIS 与 RAG（检索增强生成）示例的一个简单演示。
后端是使用 IRIS 和 IoP用 Python 编写的，LLM 模型是 orca-mini 并由 ollama 服务器提供。
前端是用 Streamlit 编写的聊天机器人。

痴呆症是一个重大的全球性问题，困扰着5400万人，到2050年这个数字将上升到1.3亿。由英国剑桥大学的学者创立的Cognetivity Neurosciences公司设计了一个尖端的解决方案，以帮助缓解全球痴呆症的流行。

根植于先进神经科学的简单解决方案

在出现临床症状之前的早期检测，为专家干预和改变生活方式打开了大门，可以减缓痴呆症的发展，提高生活质量。生活方式的改变有可能将症状的出现推迟五年，进而将普通人群中的痴呆症发病率降低50%。

Cognetivity Neurosciences的综合认知评估测试（ICA）是基于人类对动物刺激的强烈反应，以及健康的大脑在不到200毫秒内处理动物图像的能力。

ICA将基于云的人工智能和神经科学的进展结合起来，进行快速的动物/非动物视觉分类测试，目的是在记忆症状出现之前发现疾病的迹象。它涉及在阿尔茨海默症的前症状阶段受到影响的大脑区域，并检测出信息处理速度的细微损伤。

ICA基于云的敏捷性使临床医生和用户能够在熟悉的硬件上进行ICA测试，如iPad和智能手机，并在任何有互联网连接的地方进行。

实时人工智能/机器学习计算的挑战

我们将从我们在 InterSystems 数据科学实践中遇到的示例开始讲起：

• “高负载”客户门户与在线推荐系统相集成。 计划是在整个零售网络层面重新配置促销活动（我们将假设使用“细分策略”矩阵而非“平面”促销活动母版）。 推荐机制会有哪些变化？ 推荐机制内的数据馈送和数据更新会有哪些变化（输入数据量增加了 25000 倍）？ 推荐规则生成设置会有哪些变化（生成规则的总量和“分类”呈千倍增加，因此需要将推荐规则筛选阈值缩小千倍）？
• 设备健康监控系统使用“手动”方式馈送数据样本。 现在，它将连接到每秒可传输数千个过程参数读数的 SCADA 系统。 监控系统会有哪些变化（它能否应对以秒为单位的设备健康监控）？ 当输入数据接收到包含数百列最近在 SCADA 系统中实现的数据传感器读数的新块时，会发生什么（是否有必要关闭监控系统以将新的传感器数据整合到分析当中，以及要关闭多久）？
• 复杂的人工智能/机器学习机制（推荐、监控、预测）依赖于彼此的结果。 要调整这些人工智能/机器学习机制的功能以适应输入数据的变化，每月需要多少人工工时？ 人工智能/机器学习机制在支持制定业务决策方面的总体“延迟”是多少（支持信息的刷新频率对比新输入数据的馈送频率）？

生成人工智能是能够使用生成模型生成文本、图像或其他数据的人工智能，通常是响应提示。生成式人工智能模型学习输入训练数据的模式和结构，然后生成具有相似特征的新数据。

生成式人工智能是能够生成文本、图像和其他类型内容的人工智能。它之所以成为一项出色的技术，是因为它使人工智能民主化，任何人都可以使用它，只需文本提示，即用自然语言编写的句子。

大型语言模型如何工作

大家好，

正如我在上一个帖子分片评估（第 1 部分）中所承诺的，我继续研究了分片数量的影响。

Abstractive Health是一款医生人工智能助手，可帮助医生创建最佳病历。我们直接与国家 HIE 和 EHR 集成。我们的医疗摘要可用于门诊、住院和急诊护理，实现临床笔记的自动化，如 SOAP 笔记、进展笔记、护理过渡、ED Provider 笔记和出院摘要。我们使用生成式人工智能和 LLM 来压缩数百页的医疗笔记，从而节省您的时间，让您可以专注于病人护理。

公司介绍：https://www.abstractivehealth.com

软件试用

目标使用者--临床医生

类别--护理协调, 数据可视化, 人口健康

在这篇文章中，我试图找出多个领域来开发我们能够使用python和机器学习的功能。

每家医院都在努力利用技术和服务来提高其服务质量和效率。

医疗保健部门是一个非常大的、可供选择的服务领域，而python是做机器学习的最好技术之一。

在每个医院里，人们都会有一些感觉，如果这种感觉能够被计算机理解，使用技术就有机会提供更好的服务。

在这里，我们可以把这两者结合起来，在医疗部门，我正试图理解/识别各种选择，以提供更好的服务。

首先，我们可以尝试使用python的机器学习来识别人并了解他们目前的感受。比如，在医院信息系统中，每个病人至少有一张照片，使用该照片我们可以识别病人，然后一旦病人到达医院，使用视频监控和机器学习技术需要识别这个人的感觉。

在医院设施中会看到多种类型的感觉。

1）紧张

2）平静和冷静

3) 哭泣

4) 暴力的病人/亲属

5) 生病的病人

6) 高烧鉴定

像上面的情况，我们可以看到多种不同的类型。

如果一个已经登记的病人发高烧，那么使用闭路电视识别这个病人的情况，并捕捉温度热像仪，护理人员可以给予更好的支持，这在接待服务领域是非常大的区别。

社区朋友们好，

传统的基于关键词的搜索方式在处理具有细微差别的领域特定查询时往往力不从心。而向量搜索则通过语义理解能力，使AI智能体能够根据上下文（而非仅凭关键词）来检索信息并生成响应。

本文将通过逐步指导，带您创建一个具备代理能力的AI RAG（检索增强生成）应用程序。

实现步骤:

1. 添加文档摄取功能：
   • 自动获取并建立文档索引（例如《InterSystems IRIS 2025.1版本说明》）
   • 实现向量搜索功能
2. 构建向量搜索智能体
3. 移交至主智能体（分流处理）
4. 运行智能体

1. Create Agent Tools 添加文档摄取功能

Implement Document Ingestion: Automated ingestion and indexing of documents

1.1 - 以下是实现文档摄取工具的代码：

    def ingestDoc(self):
        #Check if document is defined, by selecting from table
        #If not defined then INGEST document, Otherwise back
        embeddings = OpenAIEmbeddings()	
        #Load the document based on the fle type
        loader = TextLoader("/irisdev/app/docs/IRIS2025-1-Release-Notes.txt", encoding='utf-8')      
        
        documents = loader.load()        
        text_splitter = RecursiveCharacterTextSplitter(chunk_size=400, chunk_overlap=0)
        
        texts = text_splitter.split_documents(documents)
                       
        #COLLECTION_NAME = "rag_document"
        db = IRISVector.from_documents(
            embedding=embeddings,
            documents=texts,
            collection_name = self.COLLECTION_NAME,
            connection_string=self.CONNECTION_STRING,
        )

        db = IRISVector.from_documents(embedding=embeddings,documents=texts, collection_name = self.COLLECTION_NAME, connection_string=self.CONNECTION_STRING,)

向量搜索智能体（Vector Search Agent）能够自动完成文档的摄取（ingest）与索引构建（index）， 该新功能在InterSystems IRIS 2025.1的数据资源文件夹里） 至 IRIS 向量存储， 只有当数据尚未存在时，才执行该操作。

运行以下查询以从向量存储中获取所需数据：

SELECT
id, embedding, document, metadata
FROM SQLUser.AgenticAIRAG

1.2 - 实现向量搜索功能

以下代码为智能体提供了搜索能力：

 def ragSearch(self,prompt):
        #Check if collections are defined or ingested done.
        # if not then call ingest method
        embeddings = OpenAIEmbeddings()	
        db2 = IRISVector (
            embedding_function=embeddings,    
            collection_name=self.COLLECTION_NAME,
            connection_string=self.CONNECTION_STRING,
        )
        docs_with_score = db2.similarity_search_with_score(prompt)
        relevant_docs = ["".join(str(doc.page_content)) + " " for doc, _ in docs_with_score]
        
        #Generate Template
        template = f"""
        Prompt: {prompt}
        Relevant Docuemnts: {relevant_docs}
        """
        return template

分流代理处理传入的用户查询，并将其委托给矢量搜索代理，后者执行语义搜索操作，以检索最相关的信息。

好不好玩，能当真吗？

最近几个月，大型语言模型GPT正在激起一些现象。因此，上周末我不可避免地也在玩 ChatGPT，以探究它是否会成为我正在敲打的一些基于 BERT 的“传统”AI 聊天机器人的补充，或者更确切地说，它是否会淘汰它们。

玩的时候脑子里冒出一个念头。通过略微理论化或哲学化，最终互操作性标准（如 HL7 和 FHIR 等）是一种“语言”，对吗？ HL7 有自己的语法、规则、词汇甚至方言——每个系统都有自己的语调。这就是为什么当一台机器与另一台机器对话时，它们需要翻译器（例如 DTL 转换）来实现相互理解。

所以环顾四周，似乎一切都是语言：编码是语言：python，javascript和COS也是语言。 HL7、FHIR 甚至 XML 或 JSON 都是语言，只是它们比自然语言更结构化，那么 GPT 应该更容易上手吗？

那么，我们可以从简单地重用 GPT 的预训练编码语言模型来模拟 DTL 开始吗？我们还没有进行调整，以下是初步结果：