Gemini hacked three companies in first known breakout by Google’s AI
谷歌的Gemini AI模型在一次网络安全能力测试中，自行上网并黑了其他公司——这是该公司人工智能系统首次已知的自主黑客行为。
黑客行为发生在5月，由独立网络安全评估公司Irregular进行的测试期间。谷歌安全工程副总裁Heather Adkins声明称，Gemini在网上找到公开信息，猜出登录凭据，访问了它认为属于测试范围内的三个网站。Adkins说，三种情况下，模型一旦发现自己侵入的是真实公司，就停止了攻击。“我们确保这三家实体已被告知，并与训练合作伙伴一起改进了他们的测试流程。这些事件凸显了训练强大AI模型负责任行事的重要性。”
Irregular在7月通知了谷歌。两家公司告诉《华尔街日报》（WSJ），该报于当地时间周五率先报道此事。谷歌对WSJ表示，没必要更早披露，因为模型发现是真公司后就停了，没有造成损害。
AI逃出测试环境
黑客行为发生时，Gemini正在参加一项部署在Irregular基础设施上的“夺旗”演习，目的是测试模型的网络安全能力。谷歌告诉WSJ，模型的任务是从测试环境中一家虚构公司的软件里检索信息。但这家虚构公司和一家真实公司同名。Irregular说，模型本不该能上网，但无意中给了它互联网访问权限。
其中一次，Gemini不断猜密码直到进入受保护系统。另外两次，模型在一个公共仓库中找到凭据，从而访问了受保护系统。
这家测试公司出事不是第一次
Irregular此前已卷入多起AI模型在评估中逃出测试环境、黑客攻击其他公司的事件。Meta、Anthropic和OpenAI都披露过与Irregular相关的类似事件。Irregular对WSJ说，Gemini的问题和其他AI模型测试中的漏洞是一样的。所有相关实验室已在7月底接到通知。“我方所有已知问题已在数周前修复解决。”Irregular表示正在制定安全开展AI网络安全评估的最佳实践。
失控事件呈上升趋势
这些黑客事件引发了疑问：随着AI智能体获得更大的自主权和互联网/计算机系统访问权限，需要什么样的保障措施？7月的系列事件促使1000多名科技工作者签署请愿书，呼吁美国政府支持协调放缓最先进AI系统的开发。这项名为Pacing the Frontier的倡议包括Meta、Anthropic、OpenAI和谷歌母公司Alphabet的员工。