使用 SQLAlchemy 将表传输到 IRIS 或从 IRIS 获取表

案例描述

假设您是一名 Python 开发人员或拥有一支训练有素的 Python 专业团队，但您分析 IRIS 中某些数据的期限很紧迫。当然，InterSystems 提供了许多用于各种分析和处理的工具。然而，在给定的场景中，最好使用旧的 Pandas 来完成工作，然后将 IRIS 留到下次使用。
对于上述情况和许多其他情况，您可能需要从 IRIS 获取表来管理 InterSystems 产品之外的数据。但是，当您有任何格式（即 CSV、TXT 或 Pickle）的外部表时，您可能还需要以相反的方式执行操作，您需要在其上导入并使用 IRIS 工具。
无论您是否必须处理上述问题，Innovatium让我明白，了解更多解决编码问题的方法总是能派上用场。好消息是，从 IRIS 引入表时，您不需要经历创建新表、传输所有行以及调整每种类型的繁琐过程。
本文将向您展示如何通过几行代码快速将 IRIS 表转换为 Pandas 数据框架并向后转换。您可以在我的GitHub上查看代码，您可以在其中找到包含本教程每个步骤的 Jupiter Notebook。

从 IRIS 引入一张Table

当然，您应该首先导入该项目所需的库。

 import pandas as pd import sqlalchemy as db

下一步将是在 Python 文件和 IRIS 实例之间创建连接。为此，我们将使用 SQLAlchemy 的函数 create_engine()，并以字符串作为参数。该字符串应包含有关操作方法、用户名和密码、实例的主机和端口以及目标命名空间的信息。有关使用 sqlalchemy-iris 的基本概念的更多信息，请查看我之前的一篇文章SQLAlchemy - 在 IRIS 数据库中使用 Python 和 SQL 的最简单方法。

 engine = db.create_engine( "iris://_system:SYS@localhost:1972/SAMPLE" ) connection = engine.connect()

然后，我们可以声明将保存数据帧的变量，并在此连接上调用 Pandas 的 read_sql_table() 函数，将表名指定为带有Schema的字符串。您还可以在另一个参数中声明Schema，事实上，这是更好的选择，因为名称字符串上有一个点在某些情况下可能会导致错误。

 df = pd.read_sql_table( "NameAge" , connection, schema= "PD" )

最好仔细检查我们正在使用的表是否存在于我们想要使用的Schema中，当然，首先还要检查是否存在我们需要的Schema。在本文的最后一部分中，您将了解如何执行此操作以及更多提示。从现在开始，如果您有办法使用 Pandas，您可以执行任何您想要的更改和分析，因为您知道该怎么做。探索以下示例以了解其工作原理。

向 IRIS 发送表

在开始之前，让我们更改数据框中的某些内容作为示例。我们可以调整列的值以满足我们的需求（例如，添加行和列等）。经过一番尝试后，我将名称改为小写，并根据现有数据添加了一个新人和一列。您可以查看下图来查看结果。

现在我们可以用一行代码将其发送回 IRIS。我们需要的只是指定引擎和表名。

 df.to_sql( "NameAge" , con=engine, schema= "PD" , if_exists= "replace" )

再次，我们需要将Schema与表名分开放在参数中，以避免一些错误和不良行为。除此之外，if_exists 参数指定如果给定Schema中已经存在同名表时要执行的操作。可能的值为：replace、fail（默认）和append。当然，replace 选项会删除表并使用 SQL 命令创建一个新表，而append 会将数据添加到现有表中。请记住，此方法不会检查重复值，因此使用此属性时要小心。最后，失败值会引发以下错误：

请记住，如果您指定的表名不存在，该函数将创建它。

现在，您可以查询 IRIS 以查看新增内容，或者转至管理门户查看专用于 SQL 的部分。请记住，如果您使用替换值，您应该考虑该类的源代码，因为该方法完全重写了它。这意味着如果您实现了任何方法，则应该将它们保留在超类中。

有关 sqlalchemy-iris 的更多提示

如果您有任何问题无法通过其他社区或论坛中共享的与您的应用程序代码相关的信息来解决，您可能会在本节中找到所需的帮助。在这里您将找到有关如何查找有关engine和dialect的详细信息的提示列表。

方言特有的特征

SQL Alchemy 使用根据您的engine自动选择的dialect。当您使用函数 create_engine() 连接到 IRIS 数据库时，选择的dialect是Dmitry Maslennikov 的 sqlalchemy-iris 。
您可以使用engine的dialect属性访问和编辑其功能。

 engine = db.create_engine( "iris://_system:SYS@localhost:1972/SAMPLE" )
engine.dialect

通过 VSCode 的 IntelliCode 扩展，您可以从此属性中搜索每个选项，或者在CaretDev 的 GitHub上检查源代码。

检查engine中的可用Schema

该dialect中值得强调的一个特殊函数是 get_schema_names() 函数。注意！如果您想避免代码和迭代中出现错误，以下信息可能对您至关重要。

 connection = engine.connect() 
engine.dialect.get_schema_names(connection)

检查Schema中的可用表

我们来看看类似的情况。您可能还需要了解Schema中的可用表。在这种情况下，您可以使用检查。在引擎上运行函数inspect()并将其保存在变量中。您将使用相同的变量来访问另一个函数 get_table_names()。它将返回一个列表，其中包含指定Schema中的表名称或默认的“SQLUser”。

 inspection = db.inspect(engine) 
inspection.get_table_names(schema= "Sample" )

此外，如果您想在数据上使用更多 SQL Alchemy 功能，您可以声明一个基础并使其元数据反映引擎中的Schema。

 b = db.orm.declarative_base() 
b.metadata.reflect(engine, schema= "Sample" )

如果您需要更多信息来解决此问题，请查看SQL Alchemy 文档和sqlalchemy-iris GitHub 存储库。或者，您也可以给我留言或发表评论，我们将一起尝试揭开这个秘密。

最后的考虑因素

本文中的实现方法强调使用 IRIS 实例作为云提供商，并使得可以在不同的基础上进行分析。它可以轻松地同时监控所有这些设备的任何质量问题并比较它们的性能和使用情况。如果您将这些知识与另一篇关于用 Django 制作的门户的文章中描述的开发结合起来，您可以根据需要快速构建一个强大的管理器，用于任意数量的特性和实例。
此实现也是将数据从 IRIS 外部移动到构建良好的类的有效方法。由于您可能熟悉 Pandas 中用于处理多种不同语言的其他一些函数，即 CSV、JSON、HTML、Excel 和 Pickle，因此您可以轻松地将 read_sql_table 更改为 read_csv、read_json 或任何其他选项。是的，我应该警告您，某些类型与 InterSystems 的集成不是内置功能，因此可能不是很容易。然而，SQL Alchemy 和 Pandas 的结合在从 IRIS 导出数据时总是会派上用场。
因此，在本文中，我们了解到 IRIS 拥有您所需的所有工具，可帮助您进行开发并轻松与系统的现有设备或您的专业知识小工具集成。