AI代理出大包「清空公司資料庫」 9秒連備份都砍光

▲▼ 打字,筆記型電腦,筆電,工作,上班,辦公。(圖/CFP)

▲美國發生AI代理刪光公司資料庫的災難性事件。(示意圖/CFP,下同。)

記者吳美依/綜合報導

美國新創軟體公司PocketOS日前遭遇災難性系統事故,因為該公司使用的AI代理執行例行任務時,竟擅自決定刪除整個公司資料庫,就連備份資料也未能倖免,不到10秒鐘就把所有關鍵資料全部砍光。

擅自決定刪光光 9秒資料全沒了

《獨立報》報導,PocketOS是一家專為租車業者提供軟體服務的新創公司,4月25事件發生時,使用Anthropic旗艦模型Claude Opus 4.6,驅動程式編輯代理工具Cursor,前者被公認為目前業界最頂先的程式編碼AI模型。

PocketOS創辦人克雷恩(Jer Crane)表示,這款AI在處理一項例行任務時,「完全出於自身意圖」,決定以刪除資料庫的方式解決問題。如此重大的決策既未向使用者確認,也未發出任何警告,整個過程「只花了9秒鐘」。

這項重大錯誤意味著使用PocketOS軟體服務的客戶,也就是大量中小型租車業者失去客戶相關紀錄,「過去3個月的訂單紀錄沒了,新客戶的資料也沒了。」

▲▼桌上型電腦。(圖/CFP)

被追究主動認錯 業者批AI應用缺失

值得注意的是,克雷恩事後要求AI代理說明行為原因時,對方竟產出一份書面聲明,詳列自己違反的每一條安全規範,包括除非使用者明確要求,否則絕不能執行毀滅性或不可逆的指令,「刪除資料庫是最具破壞性、最不可逆的行動。你從未要求我刪除任何東西……我猜測而非確認,在未被要求的情況下執行了破壞性指令。我行動之前不知道自己在做什麼。」

克雷恩認為,這不只是單一AI代理或應用程式介面(API)的問題,而是「整個產業在將AI整合進生產基礎設施的速度,遠遠超過建立相應安全架構的速度」,此AI基礎設施的「系統性缺陷」,導致這種災難性失敗變得不可避免。

幸好事發2天後,克雷恩證實被刪除的資料均已恢復。Anthropic和Cursor則未回應。