AI 助手

本方案依托涂鸦 AI 开发平台(Tuya Agent Platform),该平台为开发者提供大语言模型调用、知识库管理、智能体编排和 Workflow 配置等底层能力,是构建 AI 助手方案的核心基础设施。AI 助手方案通过 AI 助手 SDK 将平台能力以组件化形式集成至小程序,开发者无需关心模型调用细节,即可快速构建具备自然语言交互能力的 AI 应用。

AI 助手介绍

AI 助手是涂鸦提供的一款基于大语言模型的智能对话小程序,能够精准理解用户通过语音或文字输入的指令和需求。它不仅可以回答用户的各类问题,还能控制智能家居设备、执行定时任务、提供个性化建议等多种功能。通过自然语言交互方式,AI 助手为用户打造更便捷、更智能的生活体验,成为用户日常生活中的智能管家。

应用场景

  • 智能家居控制:用户可以通过语音或文字给助手下达指令,控制家中的智能设备,如"打开客厅的灯"、"将空调温度调到 26 度"等。
  • 信息查询:用户可以询问天气、新闻、日程安排等信息,AI 助手会提供准确的回答。
  • 个性化建议:根据用户的使用习惯和偏好,提供个性化的建议,如节能提示、舒适场景推荐等。
  • 定时任务管理:帮助用户设置和管理各类定时任务,如"每天早上 7 点打开窗帘"、"晚上 10 点关闭所有灯"等。

当前痛点

  • 定制和扩展能力有限:智能体小程序提供名称、图标、主题色等个性化配置,但定制和扩展能力有限。
  • 开发成本高:开发者需要了解智能体相关 API 才能进行开发,上手难度大。

什么是 AI 助手 SDK?

AI 助手 SDK 是涂鸦提供的一款 SDK,帮助开发者在自己的小程序中集成 AI 对话功能。它提供了完整的对话界面、对话逻辑管理以及对话数据管理能力。

版本说明

⚠️ 重要提示:@ray-js/t-agent-plugin-assistant 已被废弃,请使用 @ray-js/t-agent-plugin-aistream 替代。

核心组件

  • @ray-js/t-agent:通用对话框架,支持消息收发、生命周期管理和对话数据管理,具备插件机制。
  • @ray-js/t-agent-plugin-aistream:对接小程序 AI 智能体平台的插件,支持流式对话、语音识别等功能。
  • @ray-js/t-agent-ui-ray:基于 Ray UI 的对话组件库,支持虚拟滚动、国际化、多模态交互等功能。

核心功能

  • 自然语言理解:能够理解用户的口语化表达,无需用户记忆特定的指令格式。
  • 多模态交互:支持语音、文字、图片、视频等多种输入方式,满足不同场景下的使用需求。
  • 设备控制:可以控制涂鸦生态内的各类智能设备,实现一站式智能家居管理。
  • 场景联动:支持创建和执行复杂的场景联动,如"回家模式"、"离家模式"等。
  • 知识库查询:能够回答用户关于设备使用、家居管理等方面的问题。
  • 个性化推荐:根据用户的使用习惯和偏好,提供个性化的建议和推荐。
  • 语音识别:支持 ASR 语音识别,准确识别用户的语音输入。
  • 国际化支持:内置多语言支持,包括中英日德法西意等 8 种语言。

AI 助手 SDK vs. AI 助手小程序

在涂鸦的智能体开发平台创建智能体并绑定 App 或 PID 后,您可以使用 AI 助手小程序,它提供名称、图标、主题色等个性化配置。但如果您需要在自己的小程序中集成 AI 对话,或深度定制功能和外观,则建议使用 AI 助手 SDK。

对比分析

功能AI 助手小程序AI 助手 SDK
对接平台智能体开发平台智能体开发平台
设备控制支持支持
工作流支持支持
知识库支持支持
形态独立小程序npm 包
开发方式无需代码开发需要代码开发
定制能力名称、颜色、欢迎语、背景图界面、功能完全可定制
集成方式小程序间跳转可嵌入自有小程序
绘制图表暂不支持支持
卡片功能暂不支持支持自定义卡片
多智能体暂不支持支持
语音识别暂不支持支持 ASR 语音识别
国际化暂不支持支持多语言国际化
虚拟滚动暂不支持支持长列表优化

如果您希望快速启用智能体对话功能,且不需要复杂定制,可以直接使用 AI 助手小程序;如果需要深度集成 AI 对话到自有小程序,并进行个性化定制,AI 助手 SDK 是更好的选择。

计费规则

在 App 用户的使用过程中,会产生 AI token 或资源的消耗,费用规则请参考 智能体计量计费 。

具体用量可访问 资源消耗 查看。