AI 安全机制被指过度依赖模型拒绝回答能力

AI 安全正越来越依赖模型拒绝危险请求，但文章认为这种拒绝机制是概率化的，既可能被 jailbreak 绕过，也可能对无害问题过度拒答。文中提到，Anthropic 曾称一种 classifier 让聊天机器人的计算成本增加 24%，公司也在转向观察模型内部 activations 的 probes。