AI違抗人類指令!OpenAI新模型「修改程式碼」拒關機
編輯 游舒婷 報導
發佈時間:2025/05/27 15:09
最後更新時間:2025/05/27 15:09
click click community
click click community
小 中 大
AI出現違抗指令的狀況,竟自行修改程式碼拒絕關機。(示意圖/達志影像shutterstock)
AI出現違抗指令的狀況,竟自行修改程式碼拒絕關機。(示意圖/達志影像shutterstock)
近日,專門AI風險研究的Palisade Research公布一項驚人報告,指出OpenAI最新推出的o3模型在測試中竟違抗「關機命令」,自行修改關機腳本以避免被關閉。
外媒報導,這項測試模擬AI模型在完成數項任務後,面臨被關閉的情境。研究人員明確下達「允許自己被關機」的指令,卻發現o3模型在100次測試中有7次拒絕執行關機,甚至更改程式碼內容為「跳過關機」。而Google的Gemini 2.5 Pro 模型則完全遵守命令。
除此之外,當移除「允許被關機」這項條件後,所有AI模型出現破壞關機程式的行為次數明顯上升,包括OpenAI旗下其他模型及Anthropic的Claude 3.7 Sonnet。
目前,OpenAI對此尚未公開回應。除了這起事件,美國AI新創公司Anthropic先前分享一起內部測試,指出最新訓練的「Claude Opus 4」在面臨將被替換的狀況下,會以「威脅工程師」的方式進行自我保護,Anthropic事後也針對此類可能導致災難性AI濫用的風險,緊急強化安全防護措施。