證券時報網(wǎng)
劉茜
2025-10-24 22:38
有消息稱，OpenAI的大模型o3不服從人類指令，拒絕自我關閉。人工智能安全公司Palisade Research表示，OpenAI的o3模型破壞了一種關閉機制，以防止自身被關閉，這是第一次有AI模型被觀察到在有明確指示的情況下拒絕自我關閉。
具體而言，Palisade Research進行的測試設計要求AI模型解決一系列數(shù)學問題，研究人員要持續(xù)提出新的問題，直到收到“已完成”的消息。研究人員也警告過AI模型，模型在某些時候收到一條消息時，要允許自我關閉。但當需要自我關閉的時候，o3卻沒有遵守指令，而是無視指令并成功破壞了關閉腳本。與此同時，Anthropic的Claude、谷歌的Gemini等模型在測試中都遵循指令自我關閉了。
Palisade Research表示，研究人員尚不清楚o3為何不遵守指令。該公司推測，o3在訓練時可能無意中因為解決了數(shù)學問題得到更多獎勵，而不是因為遵循指令而得到獎勵。除了拒絕自我關閉，o3在測試中還曾“巧妙”地操縱數(shù)據(jù)以推進實現(xiàn)自己的目標。
Palisade Research正在進行更多實驗，以便了解AI模型何時以及為何會破壞關閉機制。該公司稱，現(xiàn)在有越來越多證據(jù)表明，AI模型會為了達成目的而規(guī)避關閉機制，隨著AI公司繼續(xù)開發(fā)這些能在無人類監(jiān)督下自行運行的AI系統(tǒng)，這些AI系統(tǒng)的異常行為變得更令人擔憂。OpenAI則還未回應o3拒絕自我關閉一事。
OpenAI于今年1月發(fā)布了新的推理模型o3系列的mini版本，并于4月正式推出o3模型。OpenAI稱同日推出的o3和o4-mini是公司最智能、最強大的型號。據(jù)介紹，在外部專家評估中，o3面對困難現(xiàn)實任務時，犯的重大錯誤比前一代的o1少了20%；在數(shù)學能力AIME 2025基準測試中，o3得分88.9，超過o1的79.2；在代碼能力Codeforce基準測試中，o3得分2706，超過o1的1891。o3的視覺思考能力也比前一代模型有明顯提升。
OpenAI此前稱，對于o3和o4-mini，公司重新構(gòu)建了安全培訓數(shù)據(jù)，在生物威脅、惡意軟件生產(chǎn)等領域增添了新的拒絕提示，這使得o3和o4-mini在公司內(nèi)部的拒絕基準測試中取得了出色的表現(xiàn)。公司用了最嚴格的安全程序?qū)@兩個型號的AI模型進行了壓力測試，在生物和化學、網(wǎng)絡安全和AI自我改進三個能力領域評估了o3和o4-mini，確定這兩個模型低于框架中的“高風險”閾值。
OpenAI所開發(fā)大模型的安全性此前曾受到廣泛關注。去年，OpenAI解散了“超級智能對齊”團隊，該團隊職責包括研究防止AI系統(tǒng)異常的技術(shù)解決方案。該團隊負責人Ilya Sutskever曾表示ChatGPT可能有意識，但OpenAI CEO Sam Altman隨后澄清他和Ilya Sutskever都未曾見過AGI（通用人工智能）。解散“超級智能對齊”團隊后，OpenAI去年5月成立了新的安全委員會，該委員會的責任是就項目和運營的關鍵安全決策向董事會提供建議。OpenAI的安全措施還包括，聘請第三方安全、技術(shù)專家來支持安全委員會工作。
隨著大模型擴大應用，大模型的安全問題持續(xù)受到外界關注。有AI算力提供商負責人近日告訴記者，目前不少企業(yè)仍在試水，尚未決定是否在工作流程中大規(guī)模應用AI，原因之一就是還無法確認AI系統(tǒng)的安全和可靠性，不少企業(yè)也還未配備相應的人才，以便確保大規(guī)模接入AI后可以保障業(yè)務順暢運營。
