发布新帖

#Vector Search

0

向量搜索是一种用于信息检索和机器学习的方法，它根据作为向量的数学表示来查找相似的条目。 在这种方法中，每个条目被表示为一个高维向量，每个维度对应于该条目的一个特征或特性。 然后，向量搜索算法比较这些向量，以找到相似条目，例如具有相似特征或在向量空间中靠得很近的条目。 点击这里阅读更多内容。

2024.3 版 InterSystems IRIS® 数据平台、InterSystems IRIS® for Health 和 HealthShare® Health Connect 现已正式发布 (GA)。

版本亮点

在此版本中，您可以期待一系列激动人心的更新，包括：

0 0
0 21

我们最近在向量搜索抢险体验计划中提供了新版的 InterSystems IRIS，新版本采用了新的基于分层可导航小世界 (HNSW) 索引算法的近似最近邻索引。 这一新增功能可对大型向量数据集进行高效的近似最近邻搜索，从而显著提高查询性能和可扩缩性。

HNSW 算法旨在通过构建基于图形的结构来优化高维数据的向量搜索，从而更快地在大型向量集合中找到近似邻。 无论您使用的是推荐系统、自然语言处理，还是其他机器学习应用，HNSW 都能显著缩短搜索时间，同时允许您调整准确度水平，但准确度提高的代价是查询时间变慢。

HNSW 的主要优点包括：

0 0
0 27

HI 各位开发者们，

📅2024年9月23日🕑14:00-15:30🕞，InterSystems将举办线上研讨会，点击🔔此处🔔报名参会。

此次研讨会以“面向未来的数据平台——InterSystems IRIS五大亮点提速数据潜力挖掘与AI应用”为主题，帮助您了解InterSystems IRIS数据平台的五大亮点：

  • 使用InterSystems IRIS for Health进行FHIR开发
  • 使用Python进行互操作Production开发
  • InterSystems IRIS列存储
  • InterSystems IRIS外部表(Foreign Table)
  • InterSystems IRIS向量和基于向量检索的患者相似度匹配

0 2
0 53
文章
· 八月 1, 2024 阅读大约需 4 分钟
d[IA]gnosis：借助 IRIS for Health 开发 RAG 应用程序

随着 IRIS 中向量数据类型和向量搜索功能的引入，应用程序的开发正在开启一个充满各种可能性的全新世界，其中一个应用程序示例是我最近在巴伦西亚卫生局的一次公开竞赛中看到的应用程序，他们要求提供一种工具，能够使用 AI 模型协助进行 ICD-10 编码。

我们如何实现与所要求的应用程序类似的应用程序？ 我们来看看需要什么：

  1. ICD-10 代码列表，我们将使用它作为 RAG 应用程序的上下文，在纯文本中搜索诊断结果。
  2. 经过训练的模型，它会将文本向量化，我们将在其中查找 ICD-10 代码中的对应项。
  3. Python 库，用于对 ICD-10 代码和文本进行摄取和向量化。
  4. 一个支持文本的友好前端，我们会在其中查找可能的诊断结果。
  5. 从前端接收的请求的编排。

IRIS 为我们提供哪些功能来满足上述需求？

Open Exchange app
0 0
0 29
文章
· 七月 1, 2024 阅读大约需 2 分钟
新数据类型 VECTOR 的限制

在 OEX 最近一次编程竞赛之后，我有一些令人惊讶的发现。
几乎所有的应用程序都是基于人工智能与预制 Python 模块的结合。
但深入研究后发现，所有示例都使用了 IRIS 的相同技术组件。

从 IRIS 的角度来看，无论是搜索文本还是搜索图像或其他模式都是一样的。 其底层基本都是一样的。

这让我想起了我家里的情况。我的妻子和女儿对家里的大量裙子、衬衫和其他衣服的信息进行了整理。
但无论如何进行整理、分类、归档，我依然通过和我的妻子和女儿说话，来确定我的穿着。
无论怎样包装，其结果都是如此。

回到这次竞赛比赛：
同样的 IRIS 技术内容，却有很多花哨的包装。
每个人都在同一条高速公路上奔跑。没有人提到它有什么限制。

于是我试着深入挖掘，找出新数据类型 VECTOR 的使用限制。
所有向量都有两个基本参数
- 静态 DATATYPE："整型integer"（或 "int"）、"double"、"十进制decimal"、"字符串 "和 "时间戳"。
- 半动态 LEN(gth)： > 0 通常也称为 POSITION；纯整数。

0 0
0 49
文章
· 七月 1, 2024 阅读大约需 4 分钟
在InterSystems ObjectScript中使用 VECTORs

迄今为止，我看到的大多数使用向量vector的示例，将它只作为 SQL 中的一种功能，尤其是围绕 VECTOR_Search 的 3 个函数。
* TO_VECTOR()
* vector_dot_product ()
* vector_cosine ()

在 iris-vector-search 演示包中隐藏着一个非常有用的摘要。
从那里，你可以通过多个链接找到所需的一切。

我还缺少更多的 VECTOR 方法，于是在 Idea Portal 上提出了相关请求。

接着，我想起每个 SQL 方法或存储过程都有一堆 ObjectScript 代码。
于是我开始搜索，下面就是我的研究的一些总结：

0 0
0 31
文章
· 六月 11, 2024 阅读大约需 8 分钟
使用 IRIS 以及 langchain 构建 问答聊天机器人

这篇文章介绍了使用由支持 langchain 框架的IRIS来实现问答聊天机器人，其重点介绍了检索增强生成（RAG）。

文章探讨了IRIS中的向量搜索如何在langchain-iris中完成数据的存储、检索和语义搜索，从而实现对用户查询的精确、快速的响应。通过无缝集成以及索引和检索/生成等流程，由IRIS驱动的RAG应用程序使InterSystems开发者能够利用GenAI系统的能力。

为了帮助读者巩固这些概念，文章提供了Jupyter notebook和一个完整的问答聊天机器人应用程序，以供参考。

什么是RAG以及它在问答聊天机器人中的角色

1 0
0 172

2024年3月26日，InterSystems数据平台全球主管Scott Gnau发文，宣布InterSystems IRIS数据平台新增了向量搜索（vector search）功能。

本文作者为Scott Gnau，InterSystems数据平台全球主管。

1 0
0 138
文章
· 三月 21, 2024 阅读大约需 2 分钟
IRIS 向量搜索

这是在 IRIS 中完全运行向量搜索演示的尝试。
没有外部工具，您需要的只是终端/控制台和管理门户。
特别感谢Alvin Ryanputra作为他的软件包iris-vector-search的基础
灵感和测试数据的来源。
我的软件包基于 IRIS 2024.1 版本，需要注意您的处理器功能。

我尝试用纯 ObjectScript 编写演示。
仅描述向量的计算是在嵌入式Python中完成的

计算 2247 个记录的 384 维向量需要时间。
在我的 Docker 容器中，它正在运行 01:53:14 来完全生成它们。

Open Exchange app
1 1
0 71
文章
· 二月 18, 2024 阅读大约需 11 分钟
向量搜索和 RAG（检索增强生成）模型

1. IRIS RAG Demo

IRIS RAG Demo

这是 IRIS 与 RAG（检索增强生成）示例的一个简单演示。
后端是使用 IRIS 和 IoP用 Python 编写的，LLM 模型是 orca-mini 并由 ollama 服务器提供。
前端是用 Streamlit 编写的聊天机器人。

Open Exchange app
0 1
0 411
文章
· 九月 18, 2023 阅读大约需 6 分钟
开发者作品展示--几乎实现的向量支持

如今，关于大语言模型、人工智能等的消息不绝于耳。向量数据库是其中的一部分，并且已经有非IRIS的技术实现了向量数据库。

为什么是向量？

  • 相似性搜索：向量可以进行高效的相似性搜索，例如在数据集中查找最相似的项目或文档。传统的关系数据库是为精确匹配搜索而设计的，不适合图像或文本相似性搜索等任务。
  • 灵活性：向量表示形式用途广泛，可以从各种数据类型派生，例如文本（通过 Word2Vec、BERT 等嵌入）、图像（通过深度学习模型）等。
  • 跨模态搜索：向量可以跨不同数据模态进行搜索。例如，给定图像的向量表示，人们可以在多模式数据库中搜索相似的图像或相关文本。

还有许多其他原因。

因此，对于这次 pyhon 竞赛，我决定尝试实现这种支持。不幸的是我没能及时完成它，下面我将解释原因。

Open Exchange app
0 0
0 94