三項測試

風險、可逆性、可驗證性

是否將任務交給自動化系統，取決於任務的三個特性，而非該系統看起來有多令人印象深刻。

1. 風險（Stakes）。 如果輸出結果是錯誤的，會造成什麼後果？一首錯誤的歌曲推薦只讓你損失三分鐘。但錯誤的劑量、錯誤的稅務數字或錯誤的醫療摘要，代價則大得多。風險越高，越需要謹慎。

2. 可逆性（Reversibility）。 你能否撤銷一個糟糕的結果？你可以重寫草稿，這是可逆的。但已經匯出的款項、已經送出的訊息、已經執行的決策：這些都難以撤銷。不可逆且高風險，是危險區域。

3. 可驗證性（Verifiability）。 你能否實際地將結果與獨立的標準進行核對？如果你無法分辨正確與錯誤的答案，授權就是一種賭博，而非捷徑。

閱讀上方的矩陣。低風險且容易檢查：自由授權。高風險但可檢查：授權，但每次都要驗證。高風險且難以檢查：自己保留處理。低風險但難以檢查：授權並進行抽樣檢查。

對任務進行排序

輪到你了：為四項任務排序

以下是你可以交給自動化系統處理的四項任務：

- A. 為朋友的驚喜派對撰寫邀請文字。

- B. 計算你家稅務申報表上的最終數字。

- C. 摘要化一章你明天必須在課堂上討論並辯護的內容。

- D. 為公路旅行播放清單推薦十首歌曲。

自動化系統如何失敗

輸出出錯的四種方式

自動化系統不會像崩潰的程式那樣停止運作並顯示錯誤。它們在看起來完全正常的時候失敗。請記住這四個特徵。

1. 自信但錯誤。 輸出結果流暢、格式整齊且充滿自信，但它就是錯的。呈現方式的自信程度無法告訴你內容是否正確。錯誤的答案和正確的答案看起來同樣精緻。

2. 過時或有偏見的資料。 系統基於輸入的資料進行推理。如果這些資料過時、缺乏代表性或存在偏斜，輸出結果也會繼承這些缺陷：去年的價格、低估某些群體代表性的訓練集、或只向你展示單一觀點的資訊流。

3. 誤解意圖。 你要求做一件事；系統卻解決了一個相近但不同的問題。你想要一份保留反論的摘要；但它給了你一份將反論扁平化的摘要。它回答了一個你並未提出的問題。

4. 優化錯誤的目標。 系統最大化了它被指示要達成的指標，但這並不總是你要的。一個被指示最大化觀看時長的資訊流，學會的是讓你不斷滑動，而不是提供資訊。這是微妙的失敗：系統達成了它的目標，卻讓你失望。

這四種情況的共同警示是同一項紀律：永遠不要讓流暢的呈現取代檢查。

捕捉錯誤

輪到你了：捕捉一個看似合理的輸出

預算工具給出上個月的摘要如下：

「總支出：30 天內共 $1,200。您的每日平均約為每天 $75。支出看起來控制得很好。」

這個工具的語氣很自信，格式看起來也很整潔。

三種檢查方式

讓檢查方式與風險相匹配

驗證需要花費時間，因此你應根據風險程度來調整驗證力度。對播放清單過度檢查是浪費生命；對醫療排程檢查不足則可能危及他人的生命。以下是三種工具，從成本最低到最徹底。

抽樣檢查（Spot-check）。 隨機抽取幾項輸出並仔細檢查。適用於低風險、高產量的工作：如果抽樣的三項中有三項看起來正確，你便可將有限的信任擴展到其餘部分。

交叉核對獨立來源（Cross-check an independent source）。 將結果與不共享該系統數據或假設的事物進行確認：第二個工具、官方記錄或知情者。獨立性是關鍵所在；兩個依賴相同錯誤數據的系統可能會得出一致但同樣錯誤的結論。

根據已知事實進行合理性檢查（Sanity-check against what you know）。 將輸出結果與你已經信任的事實和粗略數量級進行比對。你正是這樣發現預算錯誤的：你知道 1,200 除以 30 絕不可能接近 75。這幾乎不費成本，卻能發現相當比例的錯誤。

規則：驗證的強度隨風險與不可逆性而提升。輕微且可逆的錯誤只需一瞥；昂貴且不可逆的錯誤則每次都需要獨立的交叉檢查。

需要多少檢查？

輪到你了：兩項工作，兩種檢查

一個自動化助理為你起草了兩樣東西：

- A. 給朋友的簡訊，建議將見面時間從 6 點改為 7 點。

- B. 你高齡祖父母的每週用藥計畫表，列出了劑量與時間。

你交付，你負責

「系統是這樣說的」不是藉口

以下是區分專業人士與旁觀者的規則：交付輸出結果的人擁有該輸出結果的所有權。 當你提交、發送或依據其採取行動時，它就成為你的責任。協助你的系統只是一種工具，而工具不承擔責任。

「系統是這麼說的」作為辯護之所以行不通，原因很簡單：你做了兩個系統無法替你做的選擇。你選擇將此任務授權給系統，你也選擇了要以多嚴格的標準來驗證結果。這兩個選擇都是你做的，因此後果也由你承擔。

這對你來說並不公平；這正是讓你保持掌控力的機制。如果責任可以轉移給工具，那就沒有人會去檢查任何東西，而每一次失敗都會成為無主之災。擁有主權（Ownership）是使用強大工具的代價，也是其回報。

誰的錯？

輪到你了：一個小組專案

你的團隊使用自動化工具計算報告中的數據。其中一個數據是錯的，沒有人檢查，導致團隊被扣分。一位隊友聳聳肩說，「是工具給我們這個數字的，所以不是我們的錯。」

保持親手操作

技能維護與能力的錯覺

在所有危險之下，隱藏著一個更深的隱患。如果你完全將某項技能委託給他人或工具，你將逐漸失去檢查取代你的那個工具的能力。你無法發現你已無法親自完成的工作中的錯誤。

觀看工具流暢地執行某項任務會產生一種能力錯覺：因為最終產出看起來簡單且顯而易見，你便覺得自己理解了。然而，當正確答案擺在面前時能識別它，與你能夠自行產出或驗證它，是兩回事。那種「理解」的感覺，往往跑在了實際技能的前面。

防禦之道在於刻意堅持：親手完成足夠多的核心工作，以保持敏銳度。有時親自計算算術，有時從零開始撰寫草稿，有時親自閱讀原始資料。這並非效率低下，而是在維護那項讓你能在工具失誤時及時察覺的關鍵能力。最擅長的自動化系統操作者，都會讓自己的雙手留在工作中。

你會帶走什麼？

最後一個想法

你現在已掌握一套完整的框架：依據風險、可逆性與可驗證性來決定何事該授權；辨識四種失敗模式；根據風險程度進行相應的驗證；對你所交付的成果負責；並保持自身技能足夠銳利，以能察覺工具的偏差。

自動化系統只會變得越來越強大，並更深入地融入你的生活。這使得此框架隨時間推移而更具價值，而非減弱。能夠明智授權並妥善驗證的人，擁有一種不會過時的優勢。