#大数据

现代数据架构利用实时数据捕获、转换、移动和加载解决方案来构建数据湖、分析仓库和大数据存储库。它能够分析来自不同来源的数据，而不会影响使用这些数据的操作。要实现这一目标，必须建立连续、可扩展、弹性和稳健的数据流。最常用的方法是 CDC（变更数据捕获）技术。CDC 监控小型数据集的生产，自动捕获这些数据，并将其传送到一个或多个接收方，包括分析数据存储库。这样做的主要好处是消除了分析中的 D+1 延迟，因为数据一产生就会在源端被检测到，随后被复制到目的地。

本文将展示 CDC 场景中最常见的两种数据源，既可以是源数据源，也可以是目的地数据源。对于数据源（origin），我们将探讨 SQL 数据库和 CSV 文件中的 CDC。对于数据目的地，我们将使用列式数据库（典型的高性能分析数据库场景）和 Kafka 主题（将数据流传输到云和/或多个实时数据消费者的标准方法）。

概述

本文将为以下互操作场景提供一个示例：