使用 InterSystems IRIS 实现 Data Fabric 架构
什么是 Data Fabric？
“这是一套用于在公司中实施、管控、管理和执行数据操作的硬件基础架构、软件、工具和资源，功能包括跨所有数据存储平台的数据采集、转换、存储、分发、整合、复制、可用性、安全性、保护、灾难恢复、演示、分析、保存、保留、备份、恢复、归档、召回、删除、监视和容量规划，并可使应用程序的使用满足公司的数据需求”。 (Alan McSweeney)
Data Fabric 是一种可利用包括多模型数据库、Analytics、AI、ESB/SOA、微服务和 API 管理在内的所有可用资源和技术创新来获取商业价值的新型数据操作方法。
Data Fabric 原则
Alan McSweeney 列出了以下 Data Fabric 使用原则：
| 管控、管理和控制 - 无论数据位于何处，均可掌控数据并能够有效管理和管控数据 | 稳定性、可靠性和一致性 - 使用通用工具和实用工具在所有数据层之间提供稳定可靠的 Data Fabric | |||
| 安全性 - 符合 Data Fabric、治理自动化、合规性和风险管理方面的各项安全标准 | 开放、灵活和自由选择 - 能够选择和更改数据存储、访问权限和位置 | |||
| 自动化 - 自动化管理和维护活动、DevOps 和 DevSecOps | 性能、恢复、访问和使用 - 应用程序和用户可以在需要时、根据需求以及以适用格式访问数据 | |||
| 一体化 - 所有组件在所有数据层上均可互操作 |
Data Fabric 架构
McSweeney 设计了一幅在组织内部采用 Data Fabric 的详细概念图，如下所示：
.png)
您可以看到，需要采用某些技术才能将数据输入、处理和输出操作融合到一个流程中，进而“编织”数据并为数据使用者提供业务价值。 这些元素可以概括为下图：
数据操作位于数据接收网关 (Data Intake Gateway) 中，使用 ESB 和 API 网关技术捕获、编排、转换、丰富数据，并将数据资产整合到企业数据资产中。
借助 Analytics 和 AI 处理数据操作结果，从而为数据使用者提供数据分析。
由于数据量庞大且种类繁多，以及人们对于“黄金数据”这一“获得真理的唯一渠道”的需求，因此多模型存储库同样是一个重要角色。
InterSystems IRIS 与 Data Fabric
InterSystems IRIS 是一款支持在组织内部采用 Data Fabric 架构的 Data Fabric 平台，如下文所示：
| Data Fabric 组件 | InterSystems IRIS 组件 | |
| 多功能存储库 | IRIS 数据库 | |
|
Java、Python、.NET 和对象脚本中受支持的 SQL Relational 对象 NoSQL 到 JSON – DocDB 可以使用 MDX 多维数据集进行分析 分片支持以支持大数据（与 MongoDB 相同） 企业缓存 – ECP 通过集成总线实现的 MDM RBAC、密码学和标签 Transanalytic 和数据湖 使用 ORM 进行对象脚本的 JDBC、ODBC 或本机 SQL 访问 |
||
| 通过集成总线/服务总线和 API 网关实现数据接收/网关 | IRIS 互操作性 | |
|
REST API 和 API 管理 数据总线 - SOA、EAI、ESB 集成和 EDI 适配器 流程自动化 - BPL 和 DTL、规则 原生集成 Java、.NET 和 C Python 和 JavaScript MFT - 托管文件传输 消息、事件和 JMS 采用 MQTT/API 的物联网 |
||
| 数据抽取/引入、转换和加载 | ||
| 分析和报告实用工具 | IRIS Analytics | |
|
BI/分析和 ETL (BPL/DTL) 分级面板、分析和数据透视 SQL、MDX 和 Power BI 连接器访问 报告和嵌入式报告 UIMA - 非结构化内容分析 语义和情感分析 实时或计划分析 AutoML – IntegratedML 采用 R 或 Pyhton 的 AI/机器学习 NLP - 自然语言处理 R 、Python 和对象脚本中的统计信息 数据总线和认知流 文本分析 PMML 自适应运营分析 (AtScale) 用户门户 |
||
| AI 实用工具 | ||
结语
InterSystems IRIS 并非简单的数据库或互操作平台，而是帮助您实现 Data Fabric 的核心角色。 如果您使用其他公司的其他解决方案，则需要购买 4 至 7 套解决方案，但使用 InterSystems，您只需要由多模型数据库、ESB/APIM、Analytics 和 AI 组成的一套解决方案即可创建 Data Fabric。 它为您提供了价格低廉、易于使用的优势。
了解详情：https://pt.slideshare.net/alanmcsweeney/designing-an-enterprise-data-fabric