产品 AI 功能开发

概述

在大模型技术迅猛发展的背景下，智能设备的创新方向不断拓展，“智能设备 + AI” 的结合为开发者带来了无限想象空间，例如 AI 陪伴机器人、AI 娃娃、AI 宠物等设备创新应用场景层出不穷。

为了助力开发者高效实现 AI 应用落地，涂鸦开发者平台提供了多样化的支持，包括适用于不同品类的标准化 AI 功能、丰富的智能体模板，以及便捷的面板投放工具，从多个维度全面保障产品的 AI 应用快速落地。

AI 功能实现原理说明

以 AI 娃娃为例，其功能核心在于接入大模型，从而实现个性化的性格赋能和流畅自然的聊天对话体验。

• 硬件条件：设备需要具备多模态数据的上行能力，包括音频、视频、图片和文字等数据的采集和传输。例如，要实现 AI 对话功能，设备必须支持语音接收（麦克风）和语音播放（扬声器）的硬件配置，以确保人机交互的顺畅性。

• 软件条件：设备端需部署一个智能体（Agent），作为对接大模型的桥梁。该智能体的主要职责是处理设备的上行请求，并根据用户的对话信息与大模型交互，返回处理结果，最终实现智能对话功能的落地。

产品 AI 功能

为了快速支撑产品 AI 场景落地，平台提供各个业务品类通用的 AI 功能。用户可根据产品需求选择需要的 AI 功能，平台会根据功能推荐对应的智能体模版。

产品 AI 功能开发流程

前提条件

您已经完成产品功能定义和创建，详细请参考 创建产品。

配置产品智能体

1. 登录 涂鸦开发者平台。

2. 单击左侧导航栏上的 产品 > 产品开发，在 产品开发 页面，选择想开发的产品，单击 继续开发 进入开发页面。带有如下图所示的 AI 标识的产品都支持配置产品智能体。

   

   

3. 确定产品需要实现 AI 功能的方式，根据设备端 AI 功能、面板端 AI 功能来选择智能体。

智能体投放端之间的区别

开发设备端智能体

1. 在 01 功能定义 > 产品 AI 功能 下，单击卡片 新增智能体。

   产品 AI 功能 仅在支持 AI 功能的产品方案中可见。如果您的产品开发页面没有该功能入口，则表示当前方案暂不支持产品 AI 功能。

   

2. 添加智能体：

   • 方式 1 - 根据功能推荐智能体：选择您需要的 AI 功能，再选择智能体模版或选择根据已选 AI 功能自动生成的智能体，绑定单击 确定。

     若当前没有可选的 AI 功能或推荐的智能体，请参考下文中的 方式 3 - 选择已创建智能体 直接添加账号下已有的智能体，或先前往 智能体开发平台 创建智能体。

     

     

   • 方式 2 - 选择涂鸦智能体应用：涂鸦提供官方的智能体应用，例如 AI 宠物小程序、AI 能源小程序等。无需开发，设备满足使用条件则可以直接接入小程序使用。选择智能体应用后，单击 添加使用。

     若涂鸦智能体应用已被投放到产品方案下，则智能体在方案下可见；如未投放，则不可见。

     

   • 方式 3 - 选择账号下已有智能体：当前账户在智能体开发平台自定义创建的、且状态为 已上架 的智能体，支持与产品关联。智能体选择完成后，单击 确定 添加使用。

     

3. 开发 AI 硬件：完成设备端智能体选择后，进入第三步 03 硬件开发 开发硬件。

   基于 TuyaOS，涂鸦为开发者提供了 AI 硬件领域构建的 Wukong AI 硬件开发框架；目前 v1.0 版本已经发布，开发者可以通过 Tuya Wind IDE 下载并开发自己的 AI 产品。关于详细的开发指导，请参考 Wukong AI 硬件开发。

   若开发固件使用了带 AI 功能的 SDK，产品会自动附带 AI 标签并显示。

   

4. 配置设备端音频参数

   若设备支持音频功能且已完成智能体配置，则支持音频参数配置。添加设备端智能体后，单击 音频配置，通过选择 音频格式、音色 可以实现设备不同音色、语速等相关参数配置，配置完成后，单击 确定。

   

   

开发面板端智能体

1. 在 01 功能定义 > 产品 AI 功能 下，单击卡片 添加智能体。

   产品 AI 功能 仅在支持 AI 功能的方案中可见。如果您的产品开发页面没有该功能入口，则表示当前方案暂不支持产品 AI 功能。

2. 添加智能体

   本步骤同设备端智能体开发中添加智能体的方式，请参考 开发设备端智能体 > 添加智能体 中的操作流程。

3. 面板副屏智能体投放

   选择面板端智能体，单击 管理投放 进入智能体投放的管理，配置完成后单击 确定。当开启面板副屏幕显示开关，即可进入面板直接使用智能体。

   

   

   扫码演示需要先完成产品面板配置。投放后效果如下图所示。关于智能 AI 副屏的详细配置流程，请参考 面板副屏配置。