Skip to content

规则引擎概述

连接器是什么

连接器(Connector)是 RobustMQ 的数据出入口适配层,负责把消息从 Broker 写到目标系统(如 Kafka、MySQL、Redis、Webhook 等),或者从外部系统拉取后再写回消息链路。

可以把连接器理解成:

  • 负责连接哪里(目标系统)
  • 负责怎么传输(协议与写入逻辑)
  • 不负责复杂业务加工

规则引擎是什么

规则引擎(Rule Engine)是连接器中的数据处理层,负责在消息真正写入目标系统前,对数据做轻量、可配置、可验证的处理。

当前模型是:

  • decode:把原始数据解码成统一结构
  • ops[]:按顺序执行算子链(如 Extract
  • encode:把处理结果编码成输出格式

连接器和规则引擎的关系

两者是协作关系,不是替代关系:

  • 连接器解决“数据要写到哪里去”
  • 规则引擎解决“数据在写入前怎么处理”

组合后的完整链路是:

消息输入 -> decode -> ops[] -> encode -> connector sink

也就是说,规则引擎为连接器提供可编排的数据加工能力,连接器负责最终投递。

用来做什么

这套设计主要解决三个问题:

  • 降低接入成本:常见字段提取、改名、过滤,不需要再写定制代码
  • 统一处理模型:不同来源、不同目标系统,复用同一套规则描述
  • 提升可运维性:规则可以显式配置和测试,行为可追踪、可复现

边界说明

规则引擎当前聚焦轻量无状态处理,不做 Flink 这类有状态流计算(如窗口聚合、跨消息 Join)。

这个边界让它能稳定运行在 Broker/Connector 链路中,覆盖高频的 80% 数据清洗场景。