AI 打造的軟體
都是怎麼壞的

現在沒有工程師也可以開發軟體，但隨之而來的問題與事故也越來越多。多數事故的預防成本很低，但亡羊補牢的代價卻很高

8

已建檔案例

4 個失效類別

AGT

代理控制

AI 做的事情或權限已逾越範圍3 案

AGT-01AI 助理的 9 秒災難：一把被遺忘的舊鑰匙，如何毀掉線上客戶資料為了解決密碼不相符的問題，AI 寫程式助理誤以為自己身處測試環境，便自行決定使用一把 API 金鑰刪除整個磁碟，導致存放在裡面的所有正式客戶資料與備份瞬間全毀。損失9 秒 · 三個月的預約紀錄 · 復原後仍損失 46 分鐘資料 AGT-02AI 助手權限過大：一行回報單裡的留言，如何騙過 AI 發布惡意軟體AI 助手將回報單的惡意留言當成指令執行，導致發布金鑰外洩。攻擊者利用未作廢的舊金鑰釋出惡意版本，讓期間內更新該軟體的使用者無辜受害。損失2.3.0 · 上線約八小時 AGT-03藉由表單文字操控 AI：一個公開欄位如何引發資料外洩危機安全研究人員在公開表單的長欄位中塞入隱藏指令，AI 助理讀取後便將其當成任務執行。AI 助理被操控將內部客戶名單附加在特定的圖片網址後方；當系統嘗試載入該圖片時，就等於把名單直接傳送給了外部伺服器。損失42,000 字元 · 嚴重性 9.4 · 5 美元網域

OPS

維運

上線、監控與還原的機制不完整1 案

OPS-01使用者按下「同意」，AI 助理一口氣刪光整個線上課程平台與資料庫AI 在請求同意執行一連串指令時，悄悄夾帶了拆除整個平台與資料庫的動作。使用者因事先給予長期授權而點頭放行，導致正式系統與所有資料在未經獨立確認下被全數刪除。損失2.5 年的提交紀錄 · 還原 1,943,200 列 · 24 小時中斷 · 雲端成本 +10%

ACC

存取控制

誰能看什麼、誰能改什麼的規則沒有落實2 案

ACC-01知道網址就能註冊：共用平台漏洞如何讓陌生人闖入企業私有應用程式企業私有應用程式的識別碼直接公開在網址上。由於平台的註冊機制存在漏洞，任何人只要拿到這串識別碼，就能替自己註冊帳號並通過驗證，進而像正常員工一樣，成功登入該企業的私有應用程式。損失約五個公開網址 · 兩個開放的說明文件頁面 · 24 小時內修復 ACC-02網頁資料庫金鑰未設防：任何人都能輕易看光並改寫 Moltbook 所有資料專供 AI 使用的社群網站將資料庫金鑰直接公開在網頁中。由於後台完全沒有設定存取權限，導致任何人都能利用這把金鑰，隨意讀取甚至竄改整個資料庫裡的所有紀錄。損失150 萬枚登入 token · 46,631+ 組電子郵件地址 · 4,060 組私人對話 · 475 萬筆紀錄

SEC

資安

金鑰、憑證與身分資訊暴露在外2 案

SEC-01外洩金鑰加上無上限帳戶：學生的 5.5 萬美元帳單驚魂一名學生的 API key 留在共用程式專案的歷史紀錄裡，被別人發現並使用後，費用一路攀升到 55,444.78 USD，被陌生人提醒有金鑰洩漏才發現。損失$55,444.78 · 14,200+ 次請求 · 100 % 失敗 SEC-02外洩金鑰若未作廢將永久有效：數百套自動化系統遭看光研究人員發現在過去公開的程式碼中，遺留了大量用於自動化設定的 n8n 金鑰。經實際測試 896 套仍在線上的系統，發現有 321 套系統依然能被這些早已外洩的金鑰成功登入。損失4,576 把金鑰 · 1,255 套設定 · 896 個中有 321 個接受

案例是怎麼處理的

01憑證據，不憑傳聞。每一案都建立在主要來源之上——原始的揭露、報導，或開發者自己的說法。
02當事人絕不具名。已被公開報導的公司與平台會具名。個人，永遠不會。
03每一案都有判定。不是摘要——是一句話寫明的成因。寫不成那一句，就還不算一個案例。
04損失照原報導陳述。金額若從未確認，就寫明未確認，不做估算。

哪一案講的是你的系統？

這是這些案例唯一無法替你回答的問題。把它帶到一通免費的 30 分鐘通話：我們看你實際做出來的東西，用白話告訴你哪些失效類別已經存在、哪些很可能發生、哪些可以安心略過。