On-App AI宠物图像质检：三级流水线端侧检测与异常过滤机制

---

对于宠物喂食器、宠物饮水机等产品来说，建立精确的宠物档案，不仅关系到正确识别并记录宠物的异常行为，更是实现个性化、智能化、健康化喂养的核心基础。但现阶段，由于缺乏有效的图像质量筛选机制，用户上传的图片普遍存在质量问题。若系统未能有效拦截，那么低质量的宠物档案，将对宠物设备的后续使用，带来灾难性的用户体验。

用户上传的低质量图片类型

---

01 涂鸦为宠物图像质量带来质的体验提升

因此，为了帮助开发者低门槛、低成本解决生物特征采集难、识别精度低、多宠干扰、隐私安全泄露等开发难点，涂鸦基于强大的 On-App AI 架构，提供了高效的宠物图像质量检测解决方案。通过深度融合 AI 技术，系统能够在 1 秒内同时完成宠物图像识别和异常过滤，实现精准快速的图像质量评估。而且，该方案可直接拦截用户上传的低质量图像，无需经过云端检测再反馈，可大大降低网络传输时间，提高响应速度，带来更流畅的用户体验！

涂鸦赋能App的图像处理界面

1、涂鸦解析图像的维度有哪些？

目前，涂鸦支持的图像解析维度与高质量图片评判标准：

图像解析维度与评判标准

2、图像质量检测流程

涂鸦对图像质量进行检测的流程，主要经过以下步骤：

• 主体识别： 使用目标检测模型，自动识别画面中的主体，并输出主体种类、位置坐标和尺寸信息；
• 脸部识别： 使用脸部检测模型，快速检测宠物脸部区域；并通过特征点（如眼睛、鼻子、毛发）检测模型，检测宠物脸部的特征点，以快速筛查宠物图像质量；

脸部特征点检测示意图

• 算法校验： 计算宠物区域图像的平均亮度，去除过曝/过暗图片；根据宠物脸部特征点位置，计算面部姿态的角度，以及脸部是否有遮挡。

图像检测流程图

3、打造全链路的宠物设备体验

通过完善宠物生物特征档案，涂鸦可以结合智能宠物硬件，实现智能化的一站式宠物服务：

• 精准的身份识别： 有助于多模态生物识别，确保设备的功能作用于正确的宠物主体
• 联动智能设备： 根据识别结果，自动匹配个性化喂养方案
• 多宠家庭管理： 同时管理多只宠物的独立档案与个性化设置

---

02 图像质量检测技术亮点

该方案基于 On-App AI 架构所打造，App 端模型的部署采用 TensorFlow Lite 方案，具备高效推理、低延迟、低功耗、本地化运行的独特优势，有效提升用户体验与响应速度。

On-App AI 整体架构

1、更灵活的 AI 架构：轻量化和动态化

轻量化与动态化运行流程示意图

1.1 轻量级检测模型

涂鸦采用专门优化移动端的轻量级目标检测模型、宠物脸部区域模型、宠物脸部关键点位模型，可以精准检测图片中的指定主体（如宠物、人）和宠物面部点位。

1.2 模型动态化

采用按需加载的动态模型管理机制，支持模型在线下载、更新与部署，始终确保使用最优模型版本，同时减少初始安装包体积，提高运行效率。

2、更优的用户体验：实时性和高效率

2.1 实时交互处理

用户从相册选取图片后，在手机上就能立即进行检测处理。低中高端设备在进行不同分辨率的图像处理时，处理速度均可在 1 秒内完成，包括：对异常图片进行拦截、异常信息提醒。

每个品牌型号的手机，在不同图片分辨率下的处理速度数据：

各机型处理速度测试数据

2.2 图像质量的高效筛选

• 获取物种特征： 通过模型识别图像中是否仅有一只猫，过滤多猫或其他干扰物种；
• 主体占比分析： 利用图像分割技术识别主体大小，过滤主体占用比例过小的图片；
• 高精度角度分析： 针对倾斜或偏移角度过大的宠物脸部图像进行异常过滤，提升特征提取的准确性和效率。

3、更安全的计算能力：低成本和隐私保护

端侧安全计算架构图

3.1 降低处理成本

相比于云端，移动端的 AI 处理速度能显著降低算力需求与带宽消耗，为应用提供更安全高效的计算环境。

3.2 保护隐私安全

检测并过滤图像中出现的人脸或人像，特别是有人物和宠物合照的情形，涂鸦将会对图像进行过滤处理，确保用户隐私安全。

---

03 开发教程与问题咨询

1、开发教程

具体开发教程见如下链接：

https://developer.tuya.com/cn/miniapp/solution-ai/ability/picture-solution/petImageQualityAssessment/ability-set/cloud

2、问题咨询

开发过程中，如遇到任何问题，欢迎登录涂鸦开发者技术论坛进行提问：

https://www.tuyaos.com/viewforum.php?f=3