上线前的评估能发现部分问题，但模型在实际使用中会遇到新的攻击方式、政策变化和数据分布变化。
持续安全监控
- 输入端：检测提示注入、敏感信息上传
- 输出端：监测幻觉、偏见和不合规内容
- 运行端：跟踪工具调用、数据访问和权限变更
持续评估的数据还可以反哺训练和规则优化，形成闭环。
TREND AI安全 红队测试 全生命周期
AI 安全评估应从项目验收转向全生命周期持续监控
一次性的红队测试无法覆盖模型上线后的数据漂移和对抗输入，企业需要建立持续评估机制。
一次性的红队测试无法覆盖模型上线后的数据漂移和对抗输入，企业需要建立持续评估机制。
上线前的评估能发现部分问题，但模型在实际使用中会遇到新的攻击方式、政策变化和数据分布变化。
持续评估的数据还可以反哺训练和规则优化，形成闭环。