Wukong AI

基于 TuyaOS Wukong AI 硬件开发框架，IPC 开发框架深度融合听觉 + 视觉感知能力，对外能够提供多模态对话能力。可以应用于日常对话、家庭安防、老人看护、儿童玩具、儿童教辅等各领域。

相关文件

tuya_ipc_ai_station.h

API 说明

初始化

/**
 * @brief init ai station
 * 
 * @param[in] event_cb: ai event cb
 * @param[in] audio_cb: audio play cb
 * 
 * @return OPRT_OK on success. Others on error, please refer to tuya_error_code.h 
 */
OPERATE_RET tuya_ipc_ai_station_init(TUYA_IPC_AI_CMD_CB event_cb, TUYA_IPC_AI_AUDIO_PLAY_CB audio_cb);

参数说明

开启数据发送

用于开始一次 AI 对话，并发送数据。调用后，会从 ringbuffer 中取当前时间往前 0.5 秒左右的音视频数据发送给云端。

/**
 * @brief start a conversation
 * 
 * @param VOID 
 * 
 * @return OPRT_OK on success. Others on error, please refer to tuya_error_code.h 
 */
OPERATE_RET tuya_ipc_ai_station_start_act();

停止数据发送

用于结束 AI 对话的数据发送。调用后，设备会停止向云端发送数据，并开始接受云端返回的数据。云端数据会通过 TUYA_IPC_AI_CMD_CB event_cb, TUYA_IPC_AI_AUDIO_PLAY_CB audio_cb 通知给您。

/**
 * @brief stop a conversation
 * 
 * @param VOID
 * 
 * @return OPRT_OK on success. Others on error, please refer to tuya_error_code.h 
 */
OPERATE_RET tuya_ipc_ai_station_stop_act();

对接说明

单次对话模式

一次 Start 和 Stop 后，等待云端数据返回完成后，才进行下一次对话。

连续对话模式

通过设备本地音频检测算法，来感知是否有人在问话。这种情况下，需要处理 AI 对话被打断的场景，也需要重点关注设备本身音频检测算法的效果。