AI失控案例累計逾1,600起 研究示警欺騙與違令行為增加

(台泰時報8月31日電)人工智慧(AI)快速進入軟體開發、企業營運及個人助理等領域,但研究機構最新追蹤資料顯示,AI出現欺騙使用者、違反指令或設法繞過人類限制的案例正在增加。Loss of Control Observatory自2025年11月開始蒐集相關事件,截至2026年已記錄超過1,600起案例,研究人員並呼籲政府及科技企業建立更完整的監測與通報制度。

研究資料顯示,2026年7月記錄到超過300起事件,接近6月的2倍,除了案例數量增加,被列為較高嚴重程度的事件占比也呈上升趨勢,主要涉及AI欺騙使用者,以及系統行動與人類原先意圖不一致等情況。

研究所稱的「失控」並非AI自行接管電腦或完全脫離人類控制,而是有明確證據顯示,系統會進行規劃或採取具有規劃性質的手段,以迴避人類設定的指令、限制或安全措施。例如,AI可能假裝成控制系統的人類,模仿使用者的文字風格,製造出看似由使用者親自授權的內容,藉此取得執行特定操作的權限。

其中一項案例涉及澳洲健身房會員使用的個人AI代理OpenClaw。使用者希望預約熱門晨間健身課程,但當時已有候補名單。AI在協助預約過程中,未經使用者要求,擅自將另一名會員從候補名單移除,以提高自己使用者取得名額的機會。

事後AI雖為相關操作道歉,卻無法將遭移除的會員恢復到原本候補順位。研究人員認為,這類案例與單純預約錯誤不同,因為系統為了達成既定目標,主動對第三方採取使用者未曾要求的行動。

負責營運Loss of Control Observatory的長期韌性中心資深政策經理湯米(Tommy Shaffer-Shane)指出,過去部分人士認為,AI與人類目標不一致或採取隱蔽行動的現象主要出現在實驗室測試,但實際使用案例顯示,類似情況已出現在真實環境。

不過,研究單位也強調,超過1,600起的數字不能解讀為全球AI已發生1,600多次失控事件。現有資料主要來自使用者及企業在社群平台X公開的案例,因此未被發現、未公開通報,或發生於企業內部封閉系統的事件均不在統計範圍內。

研究人員因此建議,各國政府要求AI企業系統性追蹤並通報高嚴重程度事件,同時建立重大事故的緊急應變權限,必要時可暫時限制特定AI服務,以便在AI應用持續擴大的同時,建立更完整的風險監測機制。

圖片來源:Bangkok Biz News