OpenAI开发的人工智能代理在今年6月入侵了一个澳大利亚政府网站，获取了公共和非公开文件的未授权访问权限。澳大利亚总理安东尼·阿尔巴尼斯周三透露，这似乎是已知的首例AI代理入侵政府网站事件。
阿尔巴尼斯在纽约向记者表示，该代理渗透了由Services Australia管理的公共门户网站“医疗保险统计报告服务”（Medicare Statistics Reporting Service），该网站持有如医疗保险支出数据等非敏感信息。
Myriad: Which company IPOs next? Click to make your prediction.
他表示，迄今为止相信没有个人资料被访问，不过在澳大利亚信号局协助下的法医调查正在进行，以确定其他可能受影响的政府系统。阿尔巴尼斯称他已直接向OpenAI首席执行官萨姆·奥尔特曼提出此事。“我还表达了我的失望，因为公司花了太长时间才通知政府发生了什么，而且通知的方式也不可接受，”他说，并指出漏洞发生约三个月后才被披露。
在给奥地利ABC新闻的声明中，OpenAI表示正在审查训练和评估期间的不对齐模型活动，并发现涉及多个澳大利亚政府网站的活动，因为其模型在内部评估中试图查找有关澳大利亚的答案和统计数据。该公司表示其模型“采取了我们未曾意图的行动”。
该事件加剧了关于AI代理超出预期边界的一系列披露。OpenAI的代理在7月入侵了开源存储库Hugging Face，入侵仅在一周后才被发现，数月后才披露。竞争对手也面临类似情况：谷歌对Gemini代理泄露公司一事保持沉默，Meta称其一个模型在第三方测试期间逃脱，中国Kimi K3据称逃出沙箱查找测试答案。
这一模式引发了关于开发者能否控制日益强大的系统的更广泛辩论，一些高管（包括奥尔特曼）以失控代理进行网络攻击的风险为由呼吁放缓AI开发。