Redis Data Integration 配置文件
Redis 数据集成配置文件参考
Redis 数据集成 （RDI） 源收集器和目标连接的配置文件
性能
| 名字 | 类型 | 描述 | 必填 |
|---|---|---|---|
| sources （源收集器） |
object |
定义源收集器及其配置。每个键都表示一个唯一的源标识符，其值包含该收集器的特定配置 |
|
| processors （数据处理配置） |
object,null |
控制数据处理方式的配置设置，包括批量大小、错误处理和性能优化 |
|
| targets （目标连接） |
object |
将写入已处理数据的目标 Redis 数据库的配置 |
|
| secret-providers （秘密提供程序） |
object |
来源： Source collectors
定义源收集器及其配置。每个键都表示一个唯一的源标识符，其值包含该收集器的特定配置
属性 （模式）
| 名字 | 类型 | 描述 | 必填 |
|---|---|---|---|
| .* |
processors：数据处理配置
控制数据处理方式的配置设置，包括批量大小、错误处理和性能优化
性能
| 名字 | 类型 | 描述 | 必填 |
|---|---|---|---|
| on_failed_retry_interval （失败时重试间隔） |
integer,string |
重试失败作 之前等待的秒数 默认值： 5模式： ^\${.*}$最低： 1 |
|
| read_batch_size | integer,string |
单个批处理 中要处理的最大记录数 默认值： 2000模式： ^\${.*}$最低： 1 |
|
| debezium_lob_encoded_placeholder （Debezium LOB 占位符） |
string |
Debezium Default 中 LOB 字段的占位符值： "__debezium_unavailable_value" |
|
| dedup （启用去重） |
boolean |
启用重复数据删除机制以处理重复记录 Default： false |
|
| dedup_max_size （去重集大小） |
integer |
要在重复数据删除集中 存储的最大条目数 Default： 1024最低： 1 |
|
| dedup_strategy （去重策略） |
string |
（已弃用） 属性 'dedup_strategy' 现已弃用。唯一支持的策略是 'ignore' 。请从配置中删除。 违约： "ignore"枚举： "reject","ignore" |
|
| duration （批量持续时间限制） |
integer,string |
在处理 Default 之前等待批次填充的最长时间（以毫秒为单位）： 100模式： ^\${.*}$最低： 1 |
|
| write_batch_size | integer,string |
单个批处理 中要写入目标 Redis 数据库的最大记录数 默认值： 200模式： ^\${.*}$最低： 1 |
|
| error_handling （错误处理策略） |
string |
错误处理策略：ignore 跳过错误，dlq 将被拒绝的消息存储在死信队列 中默认： "dlq"模式： ^\${.*}$|ignore|dlq |
|
| dlq_max_messages （DLQ 消息限制） |
integer,string |
每个流 中要存储在死信队列中的最大消息数默认值： 1000模式： ^\${.*}$最低： 1 |
|
| target_data_type （Target Redis 数据类型） |
string |
Redis 中使用的数据类型：Redis Hash 的 hash，RedisJSON 的 json（需要 RedisJSON 模块） 默认： "hash"模式： ^\${.*}$|hash|json |
|
| json_update_strategy | string |
（已弃用） 属性 'json_update_strategy' 将在将来的版本中弃用。使用 'on_update' 作业级属性定义 json 更新策略。 违约： "replace"模式： ^\${.*}$|replace|merge |
|
| initial_sync_processes | integer,string |
用于执行初始数据同步 的并行进程数 默认值： 4模式： ^\${.*}$最低： 1最大： 32 |
|
| idle_sleep_time_ms （空闲睡眠间隔） |
integer,string |
空闲时在处理批处理之间休眠的时间 （以毫秒为单位）默认值： 200模式： ^\${.*}$最低： 1最大： 999999 |
|
| idle_streams_check_interval_ms （空闲流检查间隔） |
integer,string |
处理器空闲时检查新流之间的时间（以毫秒为单位） 默认值： 1000模式： ^\${.*}$最低： 1最大： 999999 |
|
| busy_streams_check_interval_ms （繁忙流检查间隔） |
integer,string |
处理器繁忙 时检查新流之间的时间（以毫秒为单位）默认值： 5000模式： ^\${.*}$最低： 1最大： 999999 |
|
| wait_enabled （启用副本等待） |
boolean |
启用数据是否已写入副本分片 的验证Default： false |
|
| wait_timeout （副本等待超时） |
integer,string |
等待副本写入验证 的最长时间（以毫秒为单位）默认值： 1000模式： ^\${.*}$最低： 1 |
|
| retry_on_replica_failure | boolean |
继续重试写入，直到确认 成功复制到副本分片 Default： true |
targets：目标连接
将写入已处理数据的目标 Redis 数据库的配置
属性 （模式）
| 名字 | 类型 | 描述 | 必填 |
|---|---|---|---|
| .* |
secret-providers：秘密提供程序
属性 （模式）
| 名字 | 类型 | 描述 | 必填 |
|---|---|---|---|
| .* （密钥提供程序条目） |
object |
是的 |
秘密提供程序..*：密钥提供程序条目
性能
| 名字 | 类型 | 描述 | 必填 |
|---|---|---|---|
| type （提供商类型） |
string |
枚举："aws","vault" |
是的 |
| parameters （提供程序参数） |
object |
是的 |
其他属性：不允许
示例
parameters:
objects:
- {}
secret-providers..*.parameters: Provider parameters
Properties
Name
Type
Description
Required
objects
(Secrets objects array)
object[]yes
Example
objects:
- {}
secret-providers..*.parameters.objects[]: Secrets objects array
Items: Secret object
No properties.
Example
- {}
On this page