Redis Data Integration 发行说明 1.0(2024 年 6 月)
处理模式的更改。安装简单。静默安装。管道编排。伐木。监测。高可用性机制。
这是 Redis 数据集成 (RDI) 的第一个正式发布版本。
RDI 的使命是帮助 Redis 客户将 Redis Enterprise 与来自其慢速磁盘数据库的实时数据同步,以:
- 满足所需的读取查询速度和规模,并提供出色且可预测的用户体验。
- 在构建管道和编码数据转换时节省资源和时间。
- 通过节省昂贵的数据库只读副本费用来降低总拥有成本。
RDI 使用变更数据捕获 (CDC) 机制使 Redis 缓存与主数据库中的更改保持同步。 它还允许您将关系表中的数据转换为方便的 以及符合您应用程序要求的快速数据结构。您可以指定 转换,因此不需要编码。
标题
- 处理模式变更:RDI 预览版使用分片 CPU 处理 Redis Enterprise 数据库内的数据。GA 版本将数据的处理移到集群之外。RDI 现在部署在 VM 或 Kubernetes (K8s) 上。
- 安装简单:RDI 附带其所有依赖项。简单的交互式安装程序提供了一个简化的过程,只需几分钟。
- 静默安装:可以使用脚本和输入文件通过软件安装 RDI。
- 管道编排:RDI 的预览版要求您手动安装和配置 Debezium 服务器。在此版本中,我们将对源数据库配置的支持添加到所有管道组件(包括 Debezium 服务器 (RDI Collector))的管道配置和编排中。
- 日志记录:所有 RDI 组件日志现在都发送到一个中央文件夹,并通过 RDI 的日志记录机制进行轮换。
- 监控:RDI 带有两个 Prometheus 导出器,一个用于 Debezium 服务器,一个用于 RDI 的管道数据处理。
- 高可用性机制:RDI 的预览版使用外部集群依赖项来提供 Debezium 服务器的主动-被动部署。GA 版本在主动 VM 和被动 VM 之间具有基于 Redis 的内置故障转移机制。Kubernetes 部署依赖于 RDI 组件中包含的 K8s 探针。
局限性
- RDI 可以将数据写入 Redis 主动-主动数据库。但是,它不支持将数据写入两个或多个主动-主动副本。将数据从 RDI 写入多个主动-主动副本很容易损害数据完整性,因为 RDI 与源数据库提交不同步。
- RDI 后写(目前为预览版)不应用于 RDI 引入写入 Redis 的同一数据集。这可能会导致无限循环或损害数据完整性,因为引入和后写都是异步的、最终一致的过程。