Google Assistant 视频推送

更新时间:2024-06-25 03:27:51下载pdf

本文重点介绍使用 Google Assistant 观看摄像头视频流的部分。

认证介绍

Google Assistant 是谷歌公司推出的一款人工智能虚拟助手,它可以帮助用户完成诸如查找信息、执行任务以及收听语音消息等操作,也能帮助用户安全地控制家庭设备。例如,用户可以使用 Google Assistant 打开和关闭家中的家电(如灯具、插座、开关、空调、风扇、摄像头等),或者向 Google Home 设备发送消息来提醒用户的家人们,让生活变得更加轻松便捷。

能力开通

第一步:通过 PID 开通

若要支持 Google Assistant 拉流功能,您需要在 涂鸦开发者平台 创建产品时,配置上 Google Assistant 语言功能。您可以在 产品语音 页面上,根据提示操作。

第二步:通过 UUID 开通

若要支持 Google Assistant 拉流功能,在购买 UUID(授权码)时,您需要开通此服务,详情请访问 IPC 视频流媒体推送

开发对接

关联组件

svc_ipc_core

上报音视频编码参数信息

使用 tuya_ipc_media_adapter.h 中以下接口注册音视频规格参数。

OPERATE_RET tuya_ipc_media_adapter_set_media_info(INT_T device, INT_T channel, DEVICE_MEDIA_INFO_T media_info)

使用 tuya_ipc_media_stream.h 中以下接口来初始化媒体服务,Google Assistant 功能内嵌在整个流媒体服务中。

OPERATE_RET tuya_ipc_media_stream_init(MEDIA_STREAM_VAR_T *stream_var)

在初始化过程中,TuyaOS 中会将音视频编码参数信息上报到云端,用于 Google Assistant 拉流。

接入媒体源

Google Assistant 拉流使用 TuyaOS 环形缓存区(Ring Buffer)中的视频数据,请务必向 第二路视频通道 送入 H.264 视频数据。

常见问题

如何排查无法发现设备、无法出流等问题?

  1. 排查 PID 和 UUID 是否已经开通 Google Assistant 能力。
  2. 排查第二路视频通道的视频编码格式是否为 H.264 编码。
  3. 提交工单 联系涂鸦技术支持。