IRIS 2021 技术文档 First Look 22 -- 技术概要：部署 InterSystems 分片集群

您感受到大数据（Big Data）的热度了吗？

无论是否准备好了，我们都在管理比以往任何时候都多的数据，并被要求用这些数据做更多的事情——所需的响应时间也越来越短。无论您是照顾一千万名患者、每天处理数十亿的金融订单，追踪一个星系的恒星，还是监控一千个工厂的引擎，数据平台不仅要支持您目前的数据工作量，而且还必须在保持性能的同时进行扩展（Scale），以满足不断增长的需求，避免业务中断。每个特定业务的工作量对其运行的数据平台提出了不同的挑战 — 而随着工作量的增加，这些挑战将变得更加严峻。

InterSystems IRIS 包含一套全面的功能来扩展（Scale）您的应用程序，这些功能可以单独或组合应用，这取决于您的工作量的性质和它所面临的特定性能挑战。其中之一是分片（sharding），它在多个服务器上对数据及其相关缓存进行分区，为查询和数据摄取提供灵活、价优的性能扩展，同时通过高效的资源利用使基础设施价值最大化。InterSystems IRIS 分片集群（sharded cluster） 可以为各种应用程序提供显著的性能优势，特别是对于那些工作量包括以下一项或多项的应用程序：

• 高容量或高速数据摄入，或组合。
• 相对较大的数据集，返回大量数据的查询，或两者兼有。
• 执行大量数据处理的复杂查询，例如扫描磁盘上的大量数据或涉及大量计算工作的查询。

这些因素各自都会影响分片（sharding）的潜在收益，但如果将它们结合起来，收益可能会得到增强。例如，所有这三个因素的组合——快速摄入的大量数据、大型数据集以及检索和处理大量数据的复杂查询——使得如今的许多分析工作量非常适合进行分片（sharding）。

请注意，这些特征都与数据有关；InterSystems IRIS 分片（sharding）的主要功能是扩展数据量（sharded cluster）。但是，当涉及部分或所有这些数据相关因素的工作量也经历了来自大量用户的非常高的查询量时，分片集群也可以包括扩展用户量（scale for user volume）功能。分片（sharding）也可以与垂直扩展相结合。通过 InterSystems IRIS，您可以为工作量的性能挑战创建恰到好处的整体扩展解决方案。

在这次探索中，您将

• 使用 InterSystems 云管理器（InterSystems Cloud Manager，ICM）在公共云中部署基本的分片集群。

使用 ICM 部署集群    

您可以在 First Look：InterSystems Cloud Manager（《技术概要：InterSystems 云管理器》）中找到使用 ICM 在亚马逊网络服务（Amazon Web Services）公共云平台上部署分片集群的程序；特别是在 Try It!Deploy InterSystems IRIS in the Cloud with ICM（试一试！使用 ICM 在云中部署 InterSystems IRIS）部分。您可以使用此处显示的整个程序。当您进入自定义定义.json（Customize definitions.json）时，验证每个 LicenseKey 字段的值是否是 defaults.json 文件中 LicenseDir 字段指定的暂存位置中的 InterSystems IRIS 分片（sharding）许可证的文件名。当您完成了部署阶段（部署 InterSystems IRIS[Deploy InterSystems IRIS]）后，留在 ICM 容器中。

注意：   正如 Scalability Guide(《可扩展性指南》)中的 Deploying the Sharded Cluster(部署分片集群) 所描述的那样，您也可以在现有的物理、虚拟或云机器上安装 InterSystems IRIS 实例，并使用分片 API（Sharding API） 或管理门户（Management Portal）部署分片集群，或使用多种方法之一自动化部署分片集群。

使用不同的分片键以不同的方式分布行，然后查询分片表

为了了解分片集群如何根据您使用的分片键（shard key）在数据节点上的分片上对分片表（sharded table）进行分区，您将连接到集群并执行以下步骤：

• 创建并填充一个小型的非分片表。
• 使用三个不同的分片键，创建三个与非分片表具有相同字段的分片表 。
• 从非分片表中填充分片表。

• 从分片表中选择行，以查看在每种情况下，行在分片（数据节点）上的分布情况。

当一个表被分片时，RowID 值被从每个分片的不同范围分配，从相隔甚远的范围开始；相同范围的行在同一个分片上。当处理一个小表时，就像本例一样，分片的 RowID 很容易区分，清楚地告诉您哪些行在一个分片上，哪些在另一个分片上（尽管您无法分辨哪个分片是哪个）。在 RowID 上分片的表的行的分布方式与行中的数据没有关系，如果您清空并重新加载一个表，可能会有所不同。另一方面，用户定义的分片键，根据键中一个或多个字段的值来分配行，因此当您清空并重新加载表（假设值和分片数没有改变）时将是相同的。

• 查询所有三个表以获得其中一个字段的最大长度，来显示跨分片（across shards）的行的分布对查询是透明的。

对于这部分探索，请使用以下程序：

1. 为任意一个数据节点实例打开终端（Terminal）窗口。
   • 在 ICM 命令行上， 发出命令 icm session 命令，使用 -machine 选项指定一个数据节点的名称，使用           - namespace 选项指定集群命名空间 IRISCLUSTER (或者使用默认文件中的 Namespace 字段指定的命名空间，如果不同的话)。 如果您不确定节点的名称，可以使用 icm inventory 命令来显示节点名称：

$ icm inventory

Machine            IP Address     DNS Name                                         Region Zone

Acme-DATA-TEST-0001 00.53.183.209 ec2-00-53-183-209.us-west-1.compute.amazonaws.com  us-west-1 c

Acme-DATA-TEST-0002 00.53.183.185 ec2-00-53-183-185.us-west-1.compute.amazonaws.com  us-west-1 c

选择一个节点（哪个节点并不重要）并发出命令：

icm session -machine Acme-DATA-TEST-0002 -namespace IRISCLUSTER

icm session 命令为指定节点上的 InterSystems IRIS 实例打开一个终端（Terminal）窗口。

• • 如果您使用 %SYSTEM.Cluster.Sharding API 手动部署您的集群，使用 InterSystems IRIS Basics：Connecting an IDE（《技术概要：连接一个 IDE》）中的procedure described for your instance（为您的实例描述的程序），在任一实例上打开一个终端（Terminal）窗口，然后切换到 IRISCLUSTER 命名空间 (或者初始化集群时指定的命名空间，如果不同的话)。

Node: Acme-DATA-TEST-0002, Instance: IRIS USER>set $namespace="IRISCLUSTER" IRISCLUSTER>

2. 打开终端（Terminal）SQL shell：IRISCLUSTER>do $SYSTEM.SQL.Shell() [SQL]IRISCLUSTER>>
3. 使用以下 SQL 语句，创建并填充非分片表 test.nonsharded。

CREATE TABLE test.nonsharded (field1 CHAR(5), field2 CHAR(5)) INSERT INTO test.nonsharded (field1,field2) VALUES ('one','one') INSERT INTO test.nonsharded (field1,field2) VALUES ('one','two') INSERT INTO test.nonsharded (field1,field2) VALUES ('one','three') INSERT INTO test.nonsharded (field1,field2) VALUES ('two','one') INSERT INTO test.nonsharded (field1,field2) VALUES ('two','two') INSERT INTO test.nonsharded (field1,field2) VALUES ('two','three') INSERT INTO test.nonsharded (field1,field2) VALUES ('three','one') INSERT INTO test.nonsharded (field1,field2) VALUES ('three','two')

INSERT INTO test.nonsharded (field1,field2) VALUES ('three','three')

使用 SELECT 来查看表的内容：

SELECT * FROM test.nonsharded field1    field2

one     one

one     two

one     three

two     one

two     two

two     three

three   one

three   two

three   three

4. 使用 test.nonsharded 中的相同字段创建三个分片表，在第一个表中使用默认的分片键（RowID），在第二个表中使用 field1 字段，在第三个表中使用 field2 字段，并使用从 test.nonsharded 中选择的 INSERT INTO 语句填充每一个：

CREATE TABLE test.rowid (field1 CHAR(5), field2 CHAR(5), SHARD)

INSERT INTO test.rowid (field1,field2) SELECT field1,field2 FROM test.nonsharded

CREATE TABLE test.field1 (field1 CHAR(5), field2 CHAR(5), SHARD KEY (field1)) INSERT INTO test.field1 (field1,field2) SELECT field1,field2 FROM test.nonsharded

CREATE TABLE test.field2 (field1 CHAR(5), field2 CHAR(5), SHARD KEY (field2)) INSERT INTO test.field2 (field1,field2) SELECT field1,field2 FROM test.nonsharded

5. 使用 SELECT *,%ID 来显示每个分片表的内容和它在分片上的 RowID。

SELECT *,%ID FROM test.rowid ORDER BY %ID

field1      field2      ID one   one            1

one     two     2

two     one     3

two     two     4

three   three   5

one     three   256000

two     three   256001

three   one     256002

three   two     256003

这个分布并不反映 field1 或 field2 的值（具有各自全部三个值的行位于两个分片上）。如果您删除、重新创建并重新加载 test.rowid，分布可能会有所不同。

SELECT *,%ID FROM test.field1 ORDER BY %ID

在 field1 字段上分片（sharding）会分布行，使那些具有相同 field1 值的行被放在同一个分片上。在这种情况下，值为 1 的行在一个分片上，值为 2 和 3 的行在另一个分片上，但是哪个数值最终在哪个分片上取决于有多少个分片和多少个数值。