端侧推理能力提升使语音转写、实时翻译、图片搜索等应用可以在本地完成。相较云端方案,本地处理可减少网络依赖并降低隐私风险。
端云协同架构
简单且高频的任务在端侧处理,复杂推理或需要大算力的生成任务上云。系统需在模型调度、能耗和用户体验之间寻找平衡。
- 端侧:唤醒词、语音增强、短文本生成
- 云端:深度推理、多步规划、大数据分析
- 协同:端侧先处理敏感信息,再上传脱敏结果
目前,端侧模型能力仍受限于内存与功耗,但主流厂商已明确将其作为差异化方向。
终端厂商和芯片公司加快端侧模型适配,本地运行带来低延迟和隐私优势,复杂任务仍需云端支持。
端侧推理能力提升使语音转写、实时翻译、图片搜索等应用可以在本地完成。相较云端方案,本地处理可减少网络依赖并降低隐私风险。
简单且高频的任务在端侧处理,复杂推理或需要大算力的生成任务上云。系统需在模型调度、能耗和用户体验之间寻找平衡。
目前,端侧模型能力仍受限于内存与功耗,但主流厂商已明确将其作为差异化方向。