On-App AI媒体合成：EfficientDet-D0主体识别与云端模板动态合成

---

很多人在拍旅游照、宠物照、生活照的时候，总觉得成片效果平淡无趣，缺少氛围感。想让某个人物居中、给素材加特效，对手残党来说操作又极其复杂繁琐，折腾老半天，耗时又耗精力。那有没有一种简单易用的工具，能一键识别人/宠物并实现智能居中，点一下就能让照片/视频秒变质感大片呢？

---

01 涂鸦助你一键生成氛围感写真

基于强大的 On-App AI 技术架构，涂鸦重磅推出 AI 写真+视频前景开发方案，结合智能硬件，帮助完善一站式服务链路。它利用移动端的 AI 能力，能自动检测+识别图片/视频中的目标主体，并通过智能算法快速计算主体中心，实现精准居中。结合云端下发的前景模板（包括静态和动态模板），对图片进行编辑、编码和封装，最终一键生成趣味十足、主体突出的"写真级"图片或视频。

在提供卓越视觉效果的同时，也兼顾了实时性、隐私安全和成本效益，是图片/视频编辑的创新选择。

On-App AI 整体架构图

比如：搭载 IPC 的宠物喂食器，在捕捉到宠物撒泼卖萌或出糗的瞬间后，手机就能同步收到相关照片或视频，上传至涂鸦赋能 App，就可一键识别宠物并实现画面居中。而且涂鸦提供前景模板库，可供用户自由选择和添加，完成编辑后即可快速导出。整个过程简单方便，相较传统剪辑功能更智能。目前，该方案可广泛应用于任何需要突出主体、增加氛围的场景中。

我们提供下方参考案例，帮助大家更直观了解渲染效果：

• 这是抓拍到的狗狗原图，稍显单调普通：

狗狗原图

• 智能居中，并一键添加前景模板后，照片画面更有氛围感：

添加前景模板后效果

• 同时，也可以将动效图片生成视频。

---

02 深度解析核心技术与亮点

1、核心技术是什么？

在部署移动端模型的时候，我们采用了 TensorFlow Lite 方案，它具备高效推理、低延迟、低功耗优势，且支持本地离线运行。主体居中突出+精美前景模板，帮助用户轻松提升内容质感。

云端下发前景模板流程示意图

• 智能识别与居中： 结合轻量级 AI 目标检测模型 EfficientDet-D0，系统可实现毫秒级识别主体位置和类别的速度，并自动将主体调整至画面中心；
• 前景特效管理与合成： 涂鸦采用了自研的媒体合成器，云端提供前景模板库，支持动态配置、更新和下发，不仅能生成全新的图片和视频，还支持合成音频。

注：后期涂鸦将支持开发者自定义上传前景模板，敬请期待。

2、技术亮点

2.1 更灵活的 AI 架构：轻量化和动态化

• 轻量级检测模型： 涂鸦采用专门优化移动端的轻量级对象检测模型 EfficientDet-D0，模型参数少、计算量小、推理速度快，可以精准检测图片/视频中指定主体（如宠物、人）的位置与类别。同时，基于智能分析快速筛除无主体片段，有效降低计算负担，提升处理效率。
• 模型动态化： 采用按需加载的动态模型管理机制，支持模型在线下载、更新与部署，始终确保使用最优模型版本，同时减少初始安装包体积，提高运行效率。

模型检测与动态化运行流程示意图

2.2 更优的用户体验：实时性和高效率

• 实时交互处理： 依托高效的本地计算，涂鸦可确保流畅无延迟的用户体验，无需依赖网络，即可实现快速响应与实时处理。
• 智能算法提升效果： 在媒体合成过程中，当检测到主体的中心和前景模板的中心偏移超过阈值时，系统会自动缩放主体确保居中；如果一张图片拥有多个主体，我们会直接合成，不做主体居中优化，避免仅展示部分内容，以确保最佳的合成效果。
• 微调模型提高准确度： 涂鸦花费数年，累计了海量不同场景、不同光照条件下的主体图片，在完成数据脱敏后，再对模型训练进行微调，确保模型推理过程中的泛化能力。

媒体处理流程示意图

2.3 更安全的计算能力：低成本和隐私保护

• 降低处理成本： 相比云端处理，本地化处理成本低、更节约云端负荷，算力消耗每万次减少 25 TFLOPs，节省成本 10% 左右。
• 保护隐私安全： 所有处理均在本地完成，可显著降低时延、提高响应速度，同时避免数据外传，有效保护用户隐私，构建更安全、高效的计算环境。

本地化处理流程示意图

---

03 开发指南与问题咨询

1、开发教程

具体开发教程见如下链接：

https://developer.tuya.com/cn/miniapp/solution-ai/ability/picture-solution/aiPhotos/overview

2、问题咨询

开发过程中，如遇到任何问题，欢迎登录涂鸦开发者技术论坛进行提问：

https://www.tuyaos.com/viewforum.php?f=3