面对面翻译

功能介绍

面对面翻译功能支持通过智能耳机、卡片等录音设备实时采集双方对话音频,并将音频数据传输至App端。系统利用语音识别和AI 翻译技术,将语音内容转写为文字并实现多语言互译,识别和翻译结果可通过文字、语音形式即时反馈,帮助用户在跨语言交流场景下实现高效、自然的沟通体验。

面对面翻译

交互流程

sequenceDiagram
    %% 面板发起面对面录音
    rect rgb(191, 223, 255)
    面板->>app: 发起录音
    end

    %% app将音频流实时传入云端
    rect rgb(255, 239, 191)
    app->>云端: 实时上传音频流
    end

    %% 云端返回ASR和AI翻译结果,返回TTS音频流
    rect rgb(255, 191, 191)
    云端-->>app: 返回ASR结果、AI翻译结果、TTS音频流
    end

    %% app将ASR和翻译结果给到面板
    rect rgb(191, 255, 191)
    app-->>面板: 推送ASR和翻译结果
    end

    %% app将TTS音频流输入到耳机,耳机播放音频流
    rect rgb(191, 255, 255)
    app-->>耳机: 推送TTS音频流
    耳机->>用户: 播放音频流
    end

    %% 面板监听到ASR和翻译后渲染
    rect rgb(223, 191, 255)
    面板->>面板: 根据当前发言人,渲染ASR和翻译结果到不同区域
    end