基于表情符号的多模态情绪输出方案

方案概述

本方案旨在通过在智能体文本输出中嵌入 Unicode 表情符号，实现文本、语音、动作的统一情绪表达。通过表情符号作为情绪标记媒介，可以实现：

• 文本层面的情绪可视化。
• 文本转语音（Text-to-Speech，TTS）音色情绪的自动匹配。
• 设备动作的情绪联动。

技术原理

核心流程

1. 智能体生成带情绪的文本响应。
2. 根据文本内容分析情绪倾向，然后在句首位置插入对应情绪的表情符号。
3. 通过表情符号与 TTS/动作的映射关系，触发相应模态的情绪表现。

为什么用表情符号

• TTS 系统天然会忽略表情符号，无需额外处理。
• 单一信息源触发多模态输出，降低开发复杂度。
• 表情符号作为 Unicode 字符，具有良好的跨平台兼容性。

情绪输出实现

TTS 音色情绪输出

提示词包含指定片段

中国区数据中心的智能体提示词需包涵以下片段：

我定义了如下表情符号，请从我定义的表情符号中选出一个合适的标注在你需要输出的每句话前，以表达句子所包含的情绪。请注意：仅能使用如下定义的表情，请勿使用其他表情。
- 需要表达开心的情绪，请用😆
- 需要表达悲伤的情绪，请用😥
- 需要表达生气的情绪，请用😤
- 需要表达惊讶的情绪，请用😲
- 需要表达恐惧的情绪，请用😱
- 需要表达厌恶的情绪，请用🙄
- 需要表达激动的情绪，请用🤩
- 需要表达冷漠的情绪，请用😒
- 需要表达中性的情绪，请用😐
- 需要表达沮丧的情绪，请用😮‍💨
- 需要表达撒娇的情绪，请用😘
- 需要表达害羞的情绪，请用😳
- 需要表达沉着的情绪，请用😶

海外区数据中心的智能体提示词需包涵以下片段：

我定义了如下表情符号，请从我定义的表情符号中选出一个合适的标注在你需要输出的每句话前，以表达句子所包含的情绪。请注意：仅能使用如下定义的表情，请勿使用其他表情。
- 需要表达生气的情绪，请用😤
- 需要表达沉着的情绪，请用😶
- 需要表达愉快的情绪，请用😆
- 需要表达沮丧的情绪，请用😮‍💨
- 需要表达兴奋的情绪，请用🤩
- 需要表达友好的情绪，请用🤗
- 需要表达温和的情绪，请用😊
- 需要表达向往的情绪，请用🙂
- 需要表达感伤的情绪，请用🙁
- 需要表达悲伤的情绪，请用😥
- 需要表达严肃的情绪，请用🧐
- 需要表达轻柔的情绪，请用🤫
- 需要表达害怕的情绪，请用😱
- 需要表达冷淡的情绪，请用😒

智能体选择指定音色

如下图，使用支持情绪表达的音色：

设备端体验

如果您完成了以上两个步骤，即可在设备端与智能体对话的过程中体验相关音色的情绪表达。

设备动作情绪联动

提示词包含指定片段

与实现 TTS 音色情绪输出的提示词逻辑相同，根据数据区域在提示词中增加上述指定片段即可。当然，如果您仅需设备动作情绪联动，不需要 TTS 音色情绪输出，则可自定义 Unicode 表情符号与各种情绪的映射关系，提示词片段请遵循如下逻辑：

我定义了如下表情符号，请从我定义的表情符号中选出一个合适的标注在你需要输出的每句话前，以表达句子所包含的情绪。请注意：仅能使用如下定义的表情，请勿使用其他表情。
- 需要表达{{指定情绪}}，请用{{指定表情}}

设备端实现 Unicode 表情符号与动作的映射关系

当用户在设备端与智能体对话时，智能体在输出音频的同时，会根据提示词以如下字符串的形式向设备端下发指定的 Unicode，您需要将 Unicode 在设备本地与相关设备动作进行映射及时间定时。

以下为 TTS 音色情绪所用表情符号的 Unicode ，便于您开展设备端动作映射：

表情	Unicode	对应情绪
😆	U+1F606	开心
😥	U+1F625	悲伤
😤	U+1F624	生气
😲	U+1F632	惊讶
😱	U+1F631	恐惧
🙄	U+1F644	厌恶
🤩	U+1F929	激动
😒	U+1F612	冷漠
😐	U+1F610	中性
😮‍💨	U+1F62E、U+200D、U+1F4A8	沮丧
😘	U+1F618	撒娇
😳	U+1F633	害羞
😶	U+1F636	沉着
🤗	U+1F917	友好
😊	U+1F60A	温和
🙂	U+1F642	向往
🙁	U+1F641	感伤
🧐	U+1F9D0	严肃
🤫	U+1F92B	轻柔

设备端体验

如果您完成了以上两个步骤，即可在设备端与智能体对话的过程中体验相关情绪表达。