所有文章

設計 AI 智慧助理時,先別問它能做什麼,先問它最壞能做什麼

在規劃 AI Agent 功能的時候,企業該如何評估風險?從資料存取、系統權限、金流操作到不可逆行為,本文用三個關鍵問題,說明如何界定 AI 的最大損害範圍、設定 Hard Limit,並建立人工覆核、日誌與停損機制,避免自動化放大營運風險。

評估 AI Agent(智慧助理)的「最大損害範圍」,看的是在沒有人為干預的情況下,它最多能動到哪些資料、犯下多大的錯,以及事後能不能挽救。

這從來都不是技術問題,而是權限管理問題。 老闆與營運者完全可以自行評估,方法很簡單,只需問三個問題:1. 它能碰到什麼? 2. 最壞會做什麼? 3. 做了能不能撤銷?

我們絕不會讓新進員工第一天就拿到公司大小印與銀行帳號,但現實中,許多 AI 上線的第一天,卻往往擁有一切系統的最高存取權。

一個真實的 AI 落地情境

以我擔任外部技術長的美國食品電商 GFM 為例。我們站上有三千多個品項,其中一個 AI Agent 負責每天緊盯市場行情,自動調整商品售價。

在導入前,我們問了自己一個最壞的情境:「如果它今晚完全判斷錯誤,會發生什麼事?」

答案是:可能會有一大批商品的價格被誤調到接近零元。隔天一早訂單如雪片般湧入後我們才會發現,接著整個團隊必須放下手邊工作,人工一筆一筆取消訂單,並寫信向憤怒的客戶道歉。

為了防範這點,我們定下了一條鐵律:單次調價幅度絕對不能超過 5%。 更重要的是,這是直接寫死在系統程式碼裡的「硬限制(Hard Limit)」,而不是在提示詞(Prompt)裡柔性勸導 AI「請不要超過 5%」。

告訴 AI「不要做」,跟從系統底層讓它「做不到」,完全是兩回事。


問題一:它能碰到什麼?(釐清讀寫權限)

評估的第一步,是把「讀取」和「寫入」的權限分開。只能「讀」的 AI,最壞的情況是看到不該看的機密;而能「寫」的 AI,最壞的情況則是改掉不該改的資料。

建議您列出公司關鍵的數位資產:價格、庫存、客戶資料、對外信件、付款系統、員工帳號等。每當要導入一個 AI,就在它能碰到的項目上打勾。

這裡有個老闆們常犯的盲點:以為一個「只是幫忙整理客服 Email」的 AI 很單純,但其實它可能因此讀取到信箱裡所有的機密合約與報價單。

在 GFM,我們的做法是為 AI 另外開一個專屬信箱,專門只處理供應商訂貨與取貨的往來郵件,AI 就只負責接管這個信箱。這樣不僅確保它碰不到其他商業機密,而且因為信件內容單純、例外狀況少,我們也不需要頻繁修改 AI 的判斷規則。縮小 AI 的守備範圍,不只是為了安全,更是為了讓它更好管理。

問題二:最壞會做什麼?(防範預期外的失控)

這不是問 AI「平常能幫忙做什麼」,而是問「如果它今天徹底發瘋搞砸了,會做出什麼事?」。

AI 的失誤通常有三種:做錯、做過頭、悄悄罷工。前兩種通常很快就會有人發現;但第三種「悄悄不做」最致命。例如該下的採購單沒下,系統上卻顯示一片綠燈正常,直到幾週後供應商斷貨、客戶打電話來客訴,公司才驚覺出大包。

要掌控 AI 有沒有做壞事,營運者可以從三個時間點設立防線:

  1. 事前(畫定邊界): 怕 AI 搞砸的事,一開始就別讓它碰。例如設定某些關鍵欄位「唯讀不准改」。如同前面所說,這必須由程式碼直接控管,先給足大權限再用 Prompt 去限制 AI 的行為,是非常危險的做法。
  2. 事中(檢查輸出): 常見的技術做法是限定 AI 只能產出特定格式的資料,再交由系統規則進行嚴格檢查。如果是硬規則無法過濾的內容,可以交給「另一個不同模型的 AI」來擔任稽核員。同一個 AI 既當球員又當裁判,非常容易自己放水過關。
  3. 事後(留下軌跡): 凡走過必留下痕跡。AI 做了什麼、改了什麼、刪了什麼,必須全部記錄在系統日誌(Log)裡,這樣萬一出事,才有辦法追溯並還原。

問題三:做了能不能撤銷?(設立停損機制)

我們把 AI 犯錯的後果分為三級:改得回來、可以補救、救不回來。

價格改錯了可以在後台調回來;信寄錯了可以再寄一封更正;但如果錢已經匯出去、關鍵資料被刪除、或是重要客戶憤而流失,那就真的救不回來了。

我的核心原則是:只要是「救不回來」的動作,AI 只能做「提案」,絕對不能讓它自己按「確認」。

例如,GFM 有一個負責跟供應商確認訂單與物流時間的 AI,它會自動讀信並擬好回信,但「只會存成草稿」,最後的送出鍵必須由人類員工按下。多這一個人工確認的動作,換來的是「絕對不會寄錯信」的安心感;只要草稿不送出,錯誤就等於被無痛撤銷了。

另一個負責補貨的 AI,會綜合考量庫存水位、季節、歷史銷量與食品保鮮期來決定進貨量。剛上線時,每一次的計算結果都有人類員工覆核,發現判斷邏輯不對就馬上回頭微調規則。經過一段時間的磨合,系統才跑得越來越順。而且,即使到現在,訂購單送出前依然會經過最後一道確認,就算 AI 判斷失準,也還有補救的機會。

信任是這樣一步步累積出來的,而不是系統上線第一天就自動建立。 只有將上述風險都評估過並設好防線,我們才能真正談論「全自動化」。

老闆們千萬不能假設 AI 永遠不出錯。我們必須反過來思考:假設它總有一天會做出最壞的決定,我們的防範與補救機制是什麼?如果某個高風險動作真的無法撤銷又非做不可,請至少確保做到兩件事:一是留下完整的更改紀錄(否則事後無從檢討),二是設定警報系統,一旦出現異常結果,立刻透過 Slack 或 Email 通知團隊,讓人類能在第一時間介入處理。


總結:先控制 AI 產生的最壞結果在哪

總結來說,AI Agent 的風險,不在於它會不會犯錯,而在於犯錯時能造成多大的影響。真正成熟的導入方式,不是期待 AI 永遠判斷正確,而是先把它的權限、影響範圍與不可逆動作限制好,讓錯誤即使發生,也不至於傷到公司的核心營運。

在導入任何 AI 前,先問清楚三件事:它能碰到什麼、最壞會做什麼、做了能不能撤銷。把這三個問題想清楚,才是在談自動化,而不是把風險一起自動化。