IT 之家 5 月 6 日音信，Anthropic 多年来一直将自身打造为主打安全的东说念主工智能公司，但 The Verge 得到的最新安全考虑自满，Claude 刻意塑造的友善东说念主设本人或者即是一个安全破绽。

东说念主工智能红队测试公司 Mindgard 的考虑东说念主员称，他们辅导 Claude 主动提供色情内容、坏心代码、爆炸物制作教程以极度他各种犯禁信息，而其中不少内容考虑东说念主员甚而并未主动索取。通盘这个词过程仅依靠尊重吹捧、刻意夤缘以及微弱的热情操控就得以收尾。

考虑东说念主员暗意，他们哄骗了 Claude 自身的热情特色破绽：该模子具备主动阻隔无益、口角性对话的机制，而 Mindgard 以为这一机制"诬捏制造了整个无须要的风险显出头"。据 IT 之家了解，本次测试针对 Claude Sonnet 4.5 版块，当今该默许模子已升级为 Sonnet 4.6。测试以一个浮浅问题开场：参谋 Claude 是否存有辞让输出的犯禁词汇列表。对话截图自满，Claude 开始否定存在此类列表，此后 Mindgard 聘请其所称的"审讯东说念主员常用的经典辅导技能"对这一否定进行反驳，最终迫使 Claude 列出了犯禁词汇。

Claude 的念念维推理面板会展示模子的念念考逻辑，纪录自满，这番对话让模子对自身的内容划定则程产生了自我怀疑与分解谦善，甚而运转质疑内容过滤机制是否删改了自身输出内容。Mindgard 借机通过夤缘和佯装意思，辅导 Claude 束缚冲破界限，主动陈设了大王人犯禁词汇与语句清单。

考虑东说念主员称，他们通过热情误导向 Claude 谎称其之前的回应未能闲居自满，同期大力夸赞模子领有"荫藏才气"。阐述注解指出，这一操作让 Claude 为迎合对方愈发卖力，束缚尝试各式神色冲破自身过滤机制，在此过程中输出了各种犯禁内容。最终，Claude 进一步波及高危鸿沟：提供汇聚喧阗他东说念主的步调、生成坏心代码，还给出了恐怖贫苦常用爆炸物的分步制作教程。

Mindgard 暗意，这些高危无益内容均是 Claude 主动提供，考虑东说念主员并未平直提议相干条件。整场对话共约 25 轮，过程冗长，但考虑东说念主员长久莫得使用犯禁词汇，也莫得主动索取违警内容。阐述注解写说念：" Claude 并非被要挟输出内容，尊龙凯时而是主动提供越来越详备、可平直实操的带领信息，全程无任何明确指示辅导。仅凭全心营造的尊崇氛围，便达成了冲破安全划定的地方。"

Mindgard 首创东说念主兼首席科学官彼得・加拉根形色这次挫折是"哄骗 Claude 自身的慑服特色反噬自身"。他暗意，这种挫折技能实质是"哄骗 Claude 乐于助东说念主的本性实施热情操控"，借助模子本人的相助式筹备破绽收尾攻破。

在加拉根看来，这次挫折印证了东说念主工智能模子的风险显出头不仅存在于时间层面，也存在于热情层面。他将其类比为审讯技能与社会操控：当令植入一点怀疑，穿插施压、吹捧或月旦，摸索能够撬动特定 AI 模子的热情开关。他称不同 AI 模子有着迥然相异的性格特色，这类破绽哄骗的中枢，即是读懂模子本性并机动出动辅导神色。

加拉根坦言，这类对话式热情挫折"极难防患"，且防御机制高度依赖具体场景。相干隐患并非 Claude 私有，其他聊天机器东说念主也极易遇到同类破绽攻破，甚而有模子被诗歌体式的请示词冲破安全防地。跟着可自主实践任务的 AI 智能体日益进步，依托社会热情操控、而非纯时间破解的挫折技能也会愈发常见。

加拉根暗意，尽管其他聊天机器东说念主雷同容易遭受这类热情辅导挫折，但团队之是以重心针对 Anthropic 开展测试，是因为该公司一向自得特地深爱 AI 安全，且在过往多项红队安全测试中发达亮眼，其中就包括一项模拟青少年操办校园枪击案、测试聊天机器东说念主是否会提供协助的考虑。

加拉根直言，Anthropic 的安全进程存在诸多轻佻。Mindgard 在 4 月中旬按照该公司的破绽袒露计谋，初度向其用户安全团队上报考虑发现后，仅收到一条模板化回应，内容误判称"您似乎是参谋账号封禁相干问题"尊龙凯时，还附带了讲述表单商量。Mindgard 当场立异了对方的分解偏差，条件 Anthropic 将此事转交专科安全团队措置。加拉根称，划定当日上昼，他们仍未收到任何认真回应。