AI 安全机制被指过度依赖模型拒绝回答能力
AI 安全正越来越依赖模型拒绝危险请求,但文章认为这种拒绝机制是概率化的,既可能被 jailbreak 绕过,也可能对无害问题过度拒答。文中提到,Anthropic 曾称一种 classifier 让聊天机器人的计算成本增加 24%,公司也在转向观察模型内部 activations 的 probes。
AI 安全正越来越依赖模型拒绝危险请求,但文章认为这种拒绝机制是概率化的,既可能被 jailbreak 绕过,也可能对无害问题过度拒答。文中提到,Anthropic 曾称一种 classifier 让聊天机器人的计算成本增加 24%,公司也在转向观察模型内部 activations 的 probes。