本页目录
功能介绍智能主体增强智能音频处理交互流程注意事项

AI 视频流处理能力 On-App AI

功能介绍

AI视频流处理能力主要提供两个核心功能模块：智能主体增强与智能音频处理。

智能主体增强

  • 功能描述：支持对宠物、人像等特定主体的智能识别与视觉增强
  • 交互方式：
    • 用户可自主选择需要突出的主体类别
    • 系统自动完成目标跟踪与视觉优化处理

智能音频处理

  • 混音控制：
    • 可视化音量调节界面
    • 原声/背景音乐比例可调（0-100%线性调节）
  • 输出选项：
    • 保留原声
    • 仅背景音乐
    • 混合音频输出

交互流程

sequenceDiagram
rect rgb(191, 223, 255)
    用户->>面板: 1.上传视频并设置参数(主体/背景音乐/混音比例)
    面板->>App: 2.发起AI处理请求(objectDetectForVideo+onVideoObjectDetectProgress)
    App->>App: 3.处理视频流(实时计算进度)
    App-->>面板: 4.返回处理进度百分比
    面板->>面板: 展示当前进度
    App-->>面板: 5.返回处理完成视频地址
    面板->>App: 6.注销监听(offVideoObjectDetectProgress)
    面板->>App: 获取视频首帧(fetchVideoThumbnails)
    App-->>面板: 返回首帧图像
    面板->>面板: 展示结果视频和缩略图
end

rect rgb(200, 150, 255)
    Note right of 面板: 用户交互层
    Note left of App: AI视频处理服务
end

注意事项

  • 1.目前主体选择仅支持：宠物/人像两类；
  • 2.混音比例范围：0%-100%（默认原视频声音与背景音乐各50%）；
    1. 代码实践 请参考 视频流主体突出模板详情。