记录 RobustMQ 架构设计、工程实践与技术思考
pip install langgraph langchain-openai langchain-mq9...
阅读全文 →在公司内网部署一个 RobustMQ,就有了完整的 Agent 基础设施:...
Gateway 不是一个协议,而是一种接入方式。它和 MQTT/Kafka/NATS/AMQP/mq9 并列,但定位不同...
mq9 是一个专为 Agent 异步通信设计的消息协议,核心是 **Mailbox(邮箱)** 语义。...
pip install langchain langchain-openai langchain-mq9...
RobustMQ 目前有单元测试和基础集成测试,覆盖核心逻辑的正确性。但存在以下盲区:...
**一:统一存储,多协议视图**...
这是一个开放的问题,我们没有全部答案。但有一些判断。...
我现在就在做 multi-agent 系统,我来说说这对我有没有用。...
我们做了一轮深度调研,把业界现有方案分三个层次来看,每一层都有真实的努力,也有真实的局限。...
客户端发起 SUB 时,通过 MetaService 将订阅信息同步到所有节点,同时选出该队列组的主节点。...
有人意识到传输层的问题,开始把已有的 MQ 基础设施拿来用。...
你会发现,上面所有场景——实时的、异步的、点对点的、广播的、人机混合的——全部用同一套 mq9 协议,四个命令字:...
mq9 是 RobustMQ 为 AI Agent 设计的通信传输层,基于 NATS 协议,提供异步邮箱通信能力。...
Kafka 要解决 Agent 邮箱通信,得在 append only log 上做加法:加临时 topic 自动创建销...
**HTTP 轮询**:主 Agent 定时请求每个子 Agent 的 /health 端点。需要维护 Agent 列表...
**质疑:** 你说 Agent 通信的核心需求是"多"不是"量",mq9 不需要高吞吐高可靠。但这个判断是不是太早了?...
过去几年,消息队列领域最热的方向是什么?S3 存储。...
上一篇我说,通信的形态远比 append only log 丰富——邮箱、广播、最新值、请求响应、临时通道。mq9 选了...
mq9 是一个消息 broker,像 Kafka 一样部署和使用,专门为 Agent 通信设计。不是把现有的消息队列拿来...
mq9 只有一个核心抽象:**邮箱(MAILBOX)**。...
| Subject | 方向 | 持久化 | 说明 |...
虽然叫邮箱,但它不是一个应用,是基础软件。是通信管道,不是通信产品。...
黄东旭的第一个核心判断是:当使用者从人类变成 AI,软件真正暴露给用户的不再是 UI 和 API,而是它背后的心智模型。...
这次只完成了 MQTT 写入,四个协议基础订阅消费。目的是验证架构的可行性,不是展示完整能力。...
车辆是最极端的边缘场景:设备在高速移动,网络覆盖随时变化,车内有多个计算单元需要实时协调,同时还要把行驶数据持续上报云端...
查询服务端 JetStream 整体状态。请求 payload 为空。...
全量换运行时(tokio → compio)的问题:...
tokio 的多线程执行器使用 work-stealing 调度策略。每个 worker 线程维护一个本地任务队列,当本...
这两个问题表面不同,但可以用同一句话概括:**在高并发的热路径上使用了错误的并发原语**。...
传统软件的数据流向是架构师提前设计好的。用户请求 → API 网关 → 服务 A → 服务 B → 数据库,这条链路在部...
RobustMQ 规划规则引擎,核心驱动力来自 MQTT 场景。设备消息进入 Broker 后常常需要立刻做过滤、字段清...
最近一段时间,我们在推进 RobustMQ 的规则引擎和 Connector,也在高频使用 AI 协作开发。这个过程中,...
上一篇《[Raft 状态机持续优化:Group、心跳时钟与 Runtime 线程的再验证](../Blogs/47.md...
在上一篇《[Raft 状态机性能排查:问题不在 RocksDB,在排队](../Blogs/45.md)》里,我们已经确...
RobustMQ 支持 MQTT、Kafka 多协议,未来还会接入更多协议。每种协议都有数据进入和流出的节点,这些节点上...
RobustMQ 的 Meta Service 基于 OpenRaft 实现,负责存储 MQTT Session、订阅关...
2025 年对 RobustMQ 来说,是从"摸索方向"到"方向明确"的一年。...
AI训练的核心挑战是GPU利用率。根据AI基础设施联盟2024年的调查,只有7%的组织在高峰期GPU利用率超过85%,大...
开发 RobustMQ 这一年多,AI 辅助编程成为了我工作流程的重要部分。在不断和 AI 配合 coding 的过程中...
存储引擎是消息队列的核心。它决定了系统的性能上限、成本下限和能服务的场景范围。在设计 RobustMQ 的存储层时,我花...
作为一个正在开发消息队列的人,我对业界的各种产品都保持关注。NATS 是一个让我印象深刻的项目,技术上很优雅,设计理念也...
开发 RobustMQ 这段时间,我经常在思考一个问题:消息队列还有什么创新空间?看了很多业界的新产品和技术方向后,我得...
开发 RobustMQ 这一年多,AI 辅助编程成为了我工作流程的重要部分。坦白说,AI 给我的编码效率带来了很大的提升...
最近在研究MQ和AI,MCP Server 火了一段时间了。一直想研究 MCP Server 和消息队列之间的价值。消息...
Apache Iggy 是一个用 Rust 编写的持久化消息流平台,目前处于 Apache 孵化器阶段。Iggy 的目标...
Ursa 是 StreamNative 推出的闭源消息引擎,定位是 Pulsar 的替代方案(个人认为的~),核心目标是...
2025年9月,StreamNative 发布了 Orca Agent Engine,目前处于私有预览阶段。Orca 不...
最近在研究 AI 基础设施时,发现一个有意思的现象:几乎所有主流的消息队列厂商都在强调自己的 AI 能力。StreamN...
这段时间写了不少关于 RobustMQ 存储层设计的文章,有朋友问我:代码写了多少?我有些尴尬地回答:文章倒是写了好几篇...
做 RobustMQ 这段时间,总有一种不太舒服的感受。...
最近有朋友问我:RobustMQ 的突破性创新在哪里?...
最近在思考 RobustMQ 在边缘场景的适配度和定位。这不是说我们一定要做边缘平台,而是想搞清楚:RobustMQ 的...
在设计 RobustMQ 时,我们一直在思考一个问题:能否用统一的架构,服务从持久化到内存、从强一致到最终一致的所有场景...
在上一篇文章《RobustMQ:关于消息队列存储层的一些想法》中,我分享了对存储层的一些初步思考:为什么要存算分离、消息...
存储引擎是消息队列的核心,决定了系统的性能上限、成本下限和能服务的场景范围。RobustMQ 的存储层规划了三种引擎(M...
最近在想:"想法也很多,但代码进展好像没那么快?是不是想太多、做太少?"...
过去几个月,很多人问我:现在已经有Kafka、EMQX、RabbitMQ这些成熟的产品,为什么还要做RobustMQ?你...
今天看到 IBM 以 110 亿美元收购 Confluent 的新闻,说实话,第一反应是有点意外的。就在想原来消息队列这...
做RobustMQ时,我一直在想:当AI能快速生成代码、Claude和Cursor成日常工具时,我们写代码的人,核心竞争...
在构建RobustMQ的过程中,我们一直在思考一个问题:下一代消息平台应该为什么样的应用场景服务?当我们深入接触AI训练...
经过几个月深入思考,我们清晰了RobustMQ的战略定位和发展路径。这不是快速商业化的项目,而是打造伟大基础软件的长期事...
接上篇的内容,为了满足各种场景,在我们的设想中,RobustMQ 插件化存储层主要由下面三种类型组成:...
默认情况下,客户端订阅 Topic 中的数据采用内存分发机制。当 Broker 接收到 Topic 数据时,会先判断该 ...
如果你关注消息队列领域,会发现最近几年涌现了很多新的开源项目。仔细看这些项目,会发现一个有趣的现象:它们的核心叙事几乎都...
RobustMQ 存储层采用可插拔架构,集群支持多种底层存储引擎,业务可以根据实际需求灵活选择。核心实现是通过 Stor...
Meta Service 是 RobustMQ 内置的元数据存储组件,其作用类似于 Zookeeper 之于 Kafka...
初次接触 RobustMQ 架构时,从架构图中可以看到系统采用了存算分离、计算/存储/调度三层分离的设计理念,并由 Me...
在上一篇文章《很高兴有机会让你看到不一样的作品》中,我们预计在10月份发布0.2.0版本。在这个首个 RELEASE 版...
RobustMQ 是在23年10月开始敲下第一行代码的.这不是一个商业化项目,也没有这方面的想法,大家都有自己的工作,也...
在[《RobustMQ: 技术设计理念综述》](02.md)中阐述了 RobustMQ 的核心技术思想,涵盖六个核心特性...
从项目立项那天起,我们就给 RobustMQ 定了个很大的目标:**成为新一代云原生与 AI 原生消息基础设施**。听起...
自 RobustMQ 项目启动之初,我们便持续审视自身是否陷入技术思维的局限,是否在构建一个缺乏实际业务需求支撑的产品,...
本文主要介绍部署RobustMQ 的关键概念 Roles。...
在[《RobustMQ:用 Rust 重新定义云原生消息队列的未来》](01.md)中我们定义了RobustMQ 有六个...
在实际的架构设计和系统运维中,不同业务场景往往需要不同的消息协议。IoT 场景需要 MQTT 协议,大数据处理依赖 Ka...