据知情人士透露,贾西向美国官员们表示,亚马逊的研究人员通过一系列提示词,成功引导Anthropic的Fable 5模型提供了原本被禁止获取、可用于协助网络攻击的信息。科技行业高管们一直就尖端AI工具的强大能力与政府保持定期沟通。
不久后,白宫官员召开会议讨论应对措施,安全研究人员开始对亚马逊的说法进行验证。据政府官员透露,官员们要求Anthropic修复相关漏洞,否则将下架该模型。
知情人士称,美国官员们最终认为,消除这一风险最直接的方式是阻止外国政府、公司及个人使用该工具。白宫一位高级官员表示,尽管特朗普总统对此举可能阻碍创新存有顾虑,但最终还是批准了这一行动。
亚马逊CEO贾西向美官员报告模型问题
长期以来,美国政府一直认为,作为美国AI竞赛领军企业之一的Anthropic,无法被信任来妥善管理其新模型所带来的安全风险。知情人士表示,周五,部分政府官员与Anthropic CEO达里奥·阿莫代伊(Dario Amodei)进行的通话,更加深了这一看法。
针对政府的这一举措,Anthropic表示,为确保合规,将切断所有用户对Mythos和Fable模型的访问权限,这可能阻碍全球各地企业利用这些工具识别软件漏洞的努力。该公司称,Anthropic的许多研究人员出生在国外,这意味着政府的规定实际上使他们无法从事最新模型的研发工作。
美国政府与亚马逊之间的沟通,反映出美国大型企业与政府如何共同应对AI技术所带来的全新能力。亚马逊是Anthropic的重要投资者,不仅为其数据中心供应芯片,还部署其最先进模型用于识别软件漏洞。周五迅速发生的一系列事件表明,在AI领域,新的发现和实验结果能够迅速影响政府监管政策,并可能进一步左右企业的发展前景和市场命运。
亚马逊发言人对此回应称:“作为一家为大量私营和公共部门客户提供服务的领先云服务提供商,政府就潜在安全风险向我们咨询并不罕见。当这类情况发生时,我们不会透露相关讨论的细节。”
Anthropic表示,亚马逊指出的那些漏洞实际上属于相对基础的问题。该公司称,其他公开可用的模型同样具备发现这些漏洞的能力,而且这些问题并不构成一次完整意义上的所谓“越狱”。一些了解亚马逊研究情况的安全研究人员也认同这一观点。
Anthropic还表示,其已经部署了充分的安全防护措施,并且公司是出了名的高度重视安全。此前,该公司已按照白宫的指示,暂缓扩大对Mythos模型的访问权限。
亚马逊报告
在周五的出口管制举措出台之前,有报道称一名用户绕过了Anthropic Fable 5模型的安全防护机制,这进一步加剧了外界对其可能被用于辅助网络攻击的担忧。
据看过相关报告的知情人士透露,亚马逊就Fable模型与网络安全专家分享的一份报告显示,当使用一组特定提示词对Fable进行查询时,该模型能够挖掘出至少四个软件程序中的安全漏洞。网络安全公司GreyNoise Intelligence创始人安德鲁·莫里斯(Andrew Morris)表示,这些信息通常是Fable不会提供的,但距离真正危险的网络安全信息仍有很大距离。
他表示,许多其他工具其实也已经能够发现类似漏洞。不过,Anthropic的软件之所以备受关注,是因为它被认为能够进一步将漏洞信息转化为可实际运行的“漏洞利用代码”。此类代码可用于入侵计算机网络,但没有证据表明亚马逊的研究人员成功获取了这一能力,该能力受到Fable安全防护机制的保护。
据知情人士透露,亚马逊CEO贾西致电政府官员的举动,被一些人视为一般性提醒,但此事迅速升级,最终导致商务部全面禁止外国用户访问Mythos和Fable模型。美国国家网络总监肖恩·凯恩克罗斯(Sean Cairncross)和商务部长霍华德·卢特尼克(Howard Lutnick)参与了相关讨论。商务部负责对关键技术的出口管制。
Anthropic今年早些时候开始向亚马逊及其他科技公司预览Mythos模型,并与特朗普政府合作采取分阶段推进的方式,其目标是让关键用户先利用该模型发现并修复软件漏洞,之后再向更广泛的公众开放访问权限。
美国政府在周五采取的这些措施,再次点燃了Anthropic与特朗普政府之间持续已久的矛盾,双方已经因为AI模型使用问题对簿公堂。特朗普政府依然不信任这家创业公司,原因包括其与自由派事业捐赠者之间的联系,以及其对AI风险发出的警告。Anthropic此前曾聘请多名拜登政府前官员,阿莫代伊也曾批评特朗普及其政府。
今年4月,阿莫代伊、贝森特及白宫办公厅主任苏西·怀尔斯(Susie Wiles)共同参加了一场会议,这被视为一种示好与和解的机会,但会上也涉及了安全方面的讨论。