涂鸦 OmniMem：AI 记忆系统技术架构与核心能力解析

OmniMem 是涂鸦智能自研的 AI 记忆系统，面向 IoT 多设备场景设计，致力于解决当前 AI agent 在长期记忆管理中面临的核心工程挑战：跨会话记忆丢失、多设备记忆割裂、召回延迟高、准确率不足等。

该系统支持短期记忆（会话级）与长期记忆（用户级）的双通道架构，实现毫秒级召回延迟与 75%+ 的记忆准确率（Pro 版本），并通过统一记忆层打通多 Agent、多设备间的记忆壁垒。

技术方案与演进

技术优势

OmniMem 的技术差异化体现在三个层面：

• 架构层：双通道分离设计 + 统一记忆图谱，兼顾响应速度与信息深度。
• 算法层：时间语义解析、干扰消除、冲突消解等针对性优化，解决工程落地中的实际痛点。
• 工程层：毫秒级召回、实时增量更新、配置化接入，满足生产环境的性能与易用性要求。

对于需要在 IoT 多设备场景中构建持久化 AI 记忆能力的开发者，OmniMem 提供了从开箱即用到深度定制的完整解决方案。

适用场景

场景	记忆能力应用	技术依赖
陪伴玩具	长期偏好记忆、成长记录、个性化对话	长期记忆 + 情感权重
智能家居	设备状态记忆、用户习惯学习、场景联动	跨 Agent 图谱 + 实时更新
旅游助手	跨时段场景拼接、行程偏好积累	时间解析 + 长期记忆
个性化推荐	动态用户画像、偏好变更追踪	全通道记忆 + 动态更新

技术演进路线

方向	当前状态	规划目标
记忆情感权重模型	已完成	基于情感强度为记忆赋权，优化召回排序与自然表达
跨设备无感迁移	规划中	记忆数据打包 → 设备身份解绑 → 新设备同步，支持声纹关联迁移
多模态记忆融合	研发中	跨模态语义映射，支持图片/视频帧特征与文本记忆关联绑定
记忆安全与合规	持续迭代	端侧加密存储、记忆数据主权归属、GDPR 合规删除

系统架构

OmniMem 采用五层流水线架构：输入层 → 预处理层 → 加工层 → 管理层 → 存储层。

架构总览

┌───────────────────────────────────────────────────────────────┐
│                        Input Layer                            │
│                多模态数据采集（语音/文本/事件流）                  │
└──────────────────────────────┬────────────────────────────────┘
                               ▼
┌───────────────────────────────────────────────────────────────┐
│                    Preprocessing Layer                        │
│             数据清洗 → 敏感信息过滤 → 干扰信号过滤                 │
└──────────────────────────────┬────────────────────────────────┘
                               ▼
┌────────────────────────┬─────┴─────┬──────────────────────────┐
│   Short-term Memory    │           │     Long-term Memory     │
│                        │           │                          │
│  语义提取 → 总结压缩      │           │    实体抽取 → 关系关联     │
│  → 轻量化对话摘要        │           │    → 标准转写 → 权重打标    │
└────────────────────────┴─────┬─────┴──────────────────────────┘
                               ▼
┌───────────────────────────────────────────────────────────────┐
│                    Management Layer                           │
│            实时增量更新 + 离线优化整合 + 定期衰减策略               │
└──────────────────────────────┬────────────────────────────────┘
                               ▼
┌───────────────────────────────────────────────────────────────┐
│                     Storage Layer                             │
│            结构化记忆图谱（实体-关系-属性多维存储）                 │
└───────────────────────────────────────────────────────────────┘

各层职责

层级	核心职责	关键技术点
输入层	多源数据采集与标准化	多协议适配、流式数据接入
预处理层	数据质量保障与合规过滤	PII 检测与脱敏、噪声过滤算法
加工层	语义理解与结构化抽取	NER 实体抽取、关系图谱构建、情感分析
管理层	记忆生命周期管理	增量更新、时序衰减、冲突消解
存储层	高效存储与检索	向量索引、图数据库、分层缓存

双通道记忆模型

短期记忆（Short-term Memory）

• 定位：会话级上下文理解，保障多轮对话连贯性。
• 处理流程：原始对话 → 语义段落切分 → 关键信息提取 → 压缩总结。
• 存储策略：滑动窗口 + LRU 淘汰，保持轻量高效。
• 召回延迟：< 10 ms

长期记忆（Long-term Memory）

• 定位：用户级持久化画像，支撑个性化与跨会话推理。
• 处理流程：对话文本 → 实体抽取 → 关系关联 → 属性标注（情绪权重/时间戳/置信度）→ 图谱写入。
• 存储策略：结构化记忆图谱，支持多维索引与关联查询。
• 召回延迟：< 100 ms（毫秒级）

性能基准对比

基于公开数据集的评测结果，OmniMem 与主流开源记忆方案的对比如下：

指标	OmniMem Pro	OmniMem Standard	Mem0	MemGPT
记忆准确率	> 75%	> 65%	~55%	~50%
长记忆召回延迟	< 100 ms	< 100 ms	秒级	秒级
记忆维度	短期 + 长期双通道	短期 + 长期双通道	单通道	单通道
跨 Agent 记忆共享	原生支持	原生支持	不支持	不支持
动态更新机制	实时增量 + 离线整合	实时增量	全量覆写	全量覆写

核心竞争力

• 召回延迟降低一个数量级：从秒级降至毫秒级，满足实时对话场景的响应要求。
• 准确率显著领先：Pro 版本 75%+ vs 开源方案 50-55%，有效减少记忆幻觉与混淆。
• 原生多 Agent 支持：统一记忆层设计，天然支持跨智能体记忆共享与关联推理。

关键技术突破

多语种时间语义解析

AI 记忆系统对时间信息的处理直接影响记忆的有效性。OmniMem 实现了覆盖复杂场景的时间语义解析引擎：

• 时区自适应：基于用户 Profile 自动对齐时区偏差。
• 模糊时间消歧：支持自然语言时间表达解析（如 last week、国庆节、下个月初）。
• 时间冲突检测：当新记忆与已有记忆存在时序矛盾时，触发冲突消解策略。

记忆干扰消除机制

解决技能执行结果污染长期记忆的问题。典型场景：用户指令 “开空调到 26 度” 执行成功后，该操作结果不应再作为长期记忆影响后续交互。

技术方案：

• 对话意图分层标注：区分 用户偏好表达 与 一次性操作指令。
• 记忆写入前置过滤：基于意图分类结果决定是否持久化。
• 记忆权重动态调整：操作类记忆加速衰减，偏好类记忆持久保留。

跨 Agent 记忆图谱

打破多智能体间的记忆孤岛，核心思路是构建统一的结构化记忆图谱：

┌───────────┐     ┌───────────┐     ┌───────────┐
│  Agent A  │     │  Agent B  │     │  Agent C  │
│ (玩具)     │     │ (音箱)    │     │ (家电)     │
└─────┬─────┘     └─────┬─────┘     └─────┬─────┘
      │                  │                  │
      └──────────────────┼──────────────────┘
                         ▼
          ┌──────────────────────────────┐
          │    Unified Memory Graph      │
          │                              │
          │  User Entity ←→ Preference   │
          │       ↕              ↕       │
          │  Event Node ←→ Context Node  │
          │       ↕              ↕       │
          │  Device State ←→ Time Axis   │
          └──────────────────────────────┘

• 实体级统一：多 Agent 产生的记忆统一映射到用户实体图谱。
• 关系关联推理：支持跨会话、跨场景的多跳推理。
• 冲突检测与合并：当不同 Agent 产生矛盾记忆时，基于置信度与时间戳进行自动消解。

双模式动态更新

兼顾实时性与一致性的混合更新策略：

模式	触发条件	处理逻辑	适用场景
实时增量更新	对话过程中	热路径写入，异步索引	即时偏好变更、新事件记录
离线优化整合	定时任务/低峰期	冗余合并、过期清理、图谱优化	记忆库瘦身、全局一致性维护

接入方式

在涂鸦 AI 开发者平台，智能体记忆能力通过配置化方式开启，无需额外开发：

1. 登录并前往 我的智能体 并进入智能体开发页面。

   

2. 在 模型能力配置 > 记忆 > 长期记忆 下，根据使用场景选择性开启以下记忆能力：

   • 用户画像记忆
   • 历史会话总结
   • 会话事件记忆