On-App AI视频主体检测：EfficientDet-D0端侧推理与动态帧率策略

随着智能 IPC 设备（如安防摄像头、宠物陪伴机器人、婴儿监视器等）日益普及，越来越多的生活场景被实时记录。然而在实际使用中，由于设备安装位置不当、广角镜头视野过大等原因，经常会出现拍摄主体占比过小的问题，导致"全景清晰而主体模糊"，严重影响用户的观看体验。

---

一、涂鸦 AI 推理模型自动突出主体

涂鸦重磅推出 On-App AI 视频主体突出解决方案，利用涂鸦赋能 App 的 AI 能力对画面进行实时目标检测，自动定位、识别主体后，再利用图像算法对其进行智能自适应放大，使主体更突出、画面更聚焦。最后，对处理完成的视频进行编码与封装，即可输出经过优化的视频内容。

该方案适合拓展应用至生活各个场景中，如：

• 在室内监护中，可用于婴儿看护、宠物监测、宠物机器人等设备；
• 在医疗影像或科研中，可结合内镜或其他医疗设备突出术野关键区域；
• 在户外记录时，可用于智能喂鸟器、狩猎摄像机、自然景观摄像机等设备；
• 在安防与工业检测中，可用于巡检、维修等需要检查局部细节的设备。

a. 例如针对家庭场景里的小猫，摄像头会自动识别主体并进行画面放大：

b. 在户外复杂场景下，涂鸦 On-App AI 视频主体方案依然能够精准识别目标对象，并进行动作追踪和画面放大。

---

二、详解涂鸦 AI 视频主体突出技术

1、整体技术架构介绍

在涂鸦所有的 AI 产品/硬件解决方案中，我们打通了端到端的 AI 能力：即设备端、云端、App 端三端协同。通过将先进的 AI 推理模型部署到涂鸦赋能 App 上，能够助力品牌商与开发者将先进的 AI 技术无缝集成到移动设备中，打造更灵活的 AI 架构、更优的用户体验、更安全的计算能力。

• 在移动端模型的部署中，涂鸦采用了轻量化技术架构（TensorFlow Lite 等），这种技术架构的优势就在于具备高效推理、低延迟、低功耗等特点，并且支持本地模型实现离线运行、系统更新、部署等按需加载的机制，助力提高运行效率，打造更灵活的 AI 架构。
• 图像处理技术涂鸦采用了 OpenGL ES，可实现更高效的渲染与优化，充分利用 GPU 对图像处理过程进行加速；
• 视频编解码技术采用涂鸦平台提供的硬件解码，能够提升视频处理性能、降低 CPU 负载，确保视频流畅播放与低功耗运行。

2、技术亮点

2.1 拥有更灵活的 AI 架构：轻量化和动态化

2.1.1 轻量级检测模型

涂鸦采用专门优化移动端的轻量级对象检测模型 EfficientDet-D0，该模型参数少、计算量小、推理速度快，可以精准检测视频中指定主体（如宠物、人物）的位置与类别。同时，基于智能分析能力可快速筛除无主体片段，有效降低计算负担，提升处理效率。

2.1.2 模型动态化

采用按需加载的动态模型管理机制，支持模型在线下载、更新与部署，确保视频应用始终使用最优模型版本，同时减少初始安装包体积，提高运行效率。

2.2 更优的用户体验：实时性和高效率

2.2.1 实时交互处理

该方案支持实时响应用户的交互需求。依托本地计算的高效运行，可确保流畅无延迟的用户体验，无需依赖网络，即可实现快速响应与实时处理。

2.2.2 新增防抖图像算法

在检测视频主体位置的过程中，检测框可能会发生抖动偏移，从而导致主体放大的画面也会产生抖动；针对这一问题，涂鸦增加抖动阈值，确保视频处理画面时的平滑流畅。

2.2.3 微调模型以提高准确度

涂鸦积累了海量不同场景下的主体图片，覆盖不同光照条件下白天黑夜等多个场景，数据脱敏之后，涂鸦对这些模型进行精心的训练微调，确保模型推理过程中的泛化能力。

2.3 更安全的计算能力：低成本和隐私保护

2.3.1 降低处理成本

涂鸦支持开发者动态调整视频帧的推理策略。在没有检测到视频主体的时候，系统会间隔多帧识别一帧；当检测到主体时，就会自动调整为间隔 3 帧检测一帧。这样就能充分利用移动端的硬件加速，显著提升视频编解码速度，降低 CPU 负载，提高整体性能。

而且，本地化处理相比云端处理的成本更低、更能节约云端负荷，算力消耗每万次减少 25 TFLOPs，节省成本约 10% 左右。

2.3.2 保护隐私安全

该方案的所有数据处理均在本地完成，显著降低时延、提高响应速度，同时避免数据外传，增强用户隐私保护，为应用提供更安全高效的计算环境。

---

三、开发教程与问题咨询

1、如何实现 AI 视频主体突出功能的开发？

涂鸦 On-App AI 视频主体突出方案是基于涂鸦智能 IPC 功能所打造，如要开发该方案需要先对接 IPC SDK，设备端方案可参考 IPC SDK 开发。

具体开发教程见如下链接：

https://t.tuya.com/AY1D3VbxRO

2、技术原理介绍

如需了解更多有关 AI 视频主体突出的技术原理和开发介绍，可查看详情：

https://developer.tuya.com/cn/miniapp/solution-ai/case

技术原理大纲介绍

3、开发者问题咨询

开发中如遇到任何问题，可以登录涂鸦开发者论坛进行提问：

https://www.tuyaos.com/viewforum.php?f=3