所有文章

分類

安全與治理

安全閥、先提案再執行、prompt injection、靜默失敗——讓 AI 出錯時停得下來的機制。

這一區談的是讓 AI 系統「出錯時停得下來」的機制。AI 一定會出錯,差別只在出錯時是被攔住、還是安靜地繼續跑。

核心的幾個概念會反覆出現:安全閥(超過一定金額或影響範圍就必須有人確認)、先提案再執行(AI 只能提出動作,由人或規則放行)、prompt injection(外部輸入偽裝成指令)、以及靜默失敗(系統沒有報錯,但結果是錯的)。每個概念都有一篇基礎概念短文可以先讀。

我們把治理當成設計問題,不是合規文件。文章裡談的都是可以落到流程與系統裡的做法,並且盡量附上真實案例的出處與日期。

目錄4 篇文章