3つのテスト

リスク、可逆性、検証可能性

タスクを自動化システムに委譲すべきかどうかは、そのシステムがどれほど印象的かではなく、タスクの3つの性質に依存します。

1. リスク（Stakes）。 出力が誤っている場合、何が破綻しますか？ 曲の推奨が間違えば3分を失うだけです。一方、投薬量、税額、または医療サマリーが間違えば、はるかに大きなコストがかかります。リスクが高いほど、慎重である必要があります。

2. 可逆性（Reversibility）。 悪い結果を取り消すことはできますか？ 書き直せる下書きは可逆的です。すでに送金した支払い、すでに送信されたメッセージ、すでに実行された決定：これらは取り消しが困難です。不可逆性が高く、リスクが高い場合が危険地帯です。

3. 検証可能性（Verifiability）。 結果を独立した基準に対して実際に確認できますか？ 正解と誤答を区別できない場合、委任はショートカットではなく賭けになります。

上記のマトリクスを読み取ってください。リスクが低く、確認が容易な場合：自由に委任してください。リスクが高く、確認可能な場合：委任し、毎回検証してください。リスクが高く、確認が困難な場合：自分で行いましょう。リスクが低いが確認が困難な場合：委任し、抜き打ちで確認してください。

タスクをランク付けする

あなたの番です：4つのタスクをランク付けしよう

以下は、自動化システムに任せることができる4つのタスクです：

- A. 友人のサプライズパーティーへの招待文を作成する。

- B. 家族の確定申告書の最終的な数値を計算する。

- C. 明日の授業で議論し、弁明しなければならない章を要約する。

- D. 車での旅行（ロードトリップ）用のプレイリストに10曲を提案する。

自動化システムが失敗する仕組み

出力が誤る4つの方法

自動化されたシステムは、エラーを表示して停止するクラッシュしたプログラムのように失敗しません。完全に正常に見える状態で失敗します。以下の4つの兆候を学びましょう。

1. 自信満々な誤り。 出力は流暢で、フォーマットも整い、自信に満ちていますが、単に間違っています。提示の自信度は、正しさについて何の示唆も与えません。誤った回答と正しい回答は、同じほど洗練されて見えます。

2. 古いデータまたは偏ったデータ。 システムは、与えられたデータに基づいて推論します。そのデータが古く、代表性が低く、または偏っている場合、出力はその欠陥を継承します：昨年の価格、特定のグループを過小評価している学習セット、常に片側しか表示しないフィードなどです。

3. 意図の誤解。 あなたは1つのことを求めましたが、システムは近接しているが異なる問題を解決しました。反論を残す要約を求めましたが、それらを平坦化した要約が返されました。あなたは尋ねていない質問に答えたのです。

4. 誤ったものの最適化。 システムは、指示されたものを正確に最大化しますが、それは常にあなたが望んでいたものとは限りません。視聴時間を最大化するように指示されたフィードは、あなたをスクロールさせ続けることを学習し、あなたを情報提供することには学習しません。これが最も微妙な失敗です：システムは目標を達成し、あなたを裏切ります。

これら4つすべての兆候は同じ規律です：流暢な提示を、確認の代わりに決して許さないこと。

エラーを発見する

あなたの番です：妥当な出力を見つけなさい

予算管理ツールが先月のサマリーを出力しました：

'総支出：30日間で1,200ドル。1日あたりの平均は約75ドルでした。支出は十分にコントロールされています。'

ツールは自信に満ちており、フォーマットもクリーンに見えます。

確認する3つの方法

リスクに見合った確認を行う

検証には時間がかかるため、リスクの大きさに合わせて調整します。プレイリストを過剰に確認するのは時間の無駄ですが、医療スケジュールの確認不足は他人の命を危険にさらします。最もコストが低いものから最も徹底したものまで、3つのツールがあります。

スポットチェック。 出力をランダムにいくつか抽出して、詳細に検査します。低リスクで大量の作業に適しています。抽出した3件すべてが正しく見えた場合、残りにも限定的な信頼を拡張できます。

独立したソースとのクロスチェック。 システムのデータや前提条件を共有していないもの（別のツール、公式記録、知見のある人物など）と照合して結果を確認します。独立性がすべてです。同じ悪いデータに基づいている2つのシステムは、両方が間違っているにもかかわらず一致してしまいます。

既知の情報との健全性チェック。 出力を、すでに信頼している事実や大まかな規模感と照らし合わせます。この方法で予算の誤りを発見しました。1,200を30で割った値が75には到底ならないことは知っていたからです。これにはほとんどコストがかからず、驚くほど多くの失敗を検出できます。

ルール：検証の厳格さは、リスクと不可逆性の上昇に伴って高まる。些細で取り消し可能なものには一瞥を、コストが高く不可逆なものには毎回、独立したクロスチェックを要する。

どの程度の確認が必要か？

あなたの番：2つのタスク、2つのチェック

自動アシスタントが、あなたのために2つのものを下書きします：

- A. 友人へのテキストメッセージ。6時ではなく7時に会うよう提案するもの。

- B. 高齢の祖父母のための週次服薬スケジュール。用量と時間をリストアップしたもの。

あなたがリリースするものは、あなたが責任を持つ

システムがそう言ったは言い訳にならない

プロフェッショナルと傍観者を分けるルールはこれです：出力をリリースする人間は、その出力の責任を負う。 提出し、送信し、またはそれに基づいて行動した時点で、それはあなたのものになります。支援してくれたシステムは道具であり、道具は責任を負いません。

「システムがそう言ったからだ」が防衛策として機能しないのには、単純な理由がある。システムでは代用できなかった2つの選択を、あなたが下したからだ。このタスクを委譲することを選んだこと、そして結果をどの程度厳密に検証するかを選んだことだ。両方の選択はあなたのものだったため、結果もあなたのものだ。

これはあなたにとって不公平ではない。これこそが、あなたにコントロールを握り続けさせるものだ。もし責任がツールに移転できるなら、誰も何も確認しなくなり、すべての失敗が孤立した状態（責任の所在が不明な状態）となるだろう。強力なツールを使用する際の代価であり、また報酬でもあるのが、所有権（責任の所在）である。

誰の責任か？

あなたの番：グループプロジェクト

あなたのチームは、レポートの数値を計算するために自動化ツールを使用した。ある数値が誤っており、誰もそれを確認しなかった結果、チームは減点された。チームメイトは肩をすくめ、「その数値はツールが提示したものだ。だから私たちの責任ではない」と主張している。

手を離さない

スキルの維持と能力の錯覚

他のすべての危険の下に、1つの危険が隠れている。スキルを完全に委譲すると、あなたを置き換えたツールをチェックする能力を徐々に失うようになる。もはや自分では行えなくなった作業の誤りを発見することはできない。

ツールが何かを流暢に行っているのを見ることは、能力の錯覚を生み出す：完成した出力が簡単で自明に見えるため、理解しているように感じられる。しかし、正解を提示されたときにそれを認識することと、自分で生成したり検証したりできることは同じではない。理解しているという感覚は、実際のスキルを追い越してしまう。

防御策は意図的なものである：シャープさを保つために、コア部分を十分手作業で行い続けること。時々自分で計算を行うこと。時々ゼロから草稿を書くこと。時々一次資料を自分で読むこと。非効率なのではない；ツールが失敗したときにそれを捕捉できる正確な能力を維持しているのだ。自動化されたシステムの最高のオペレーターは、常に自分の手を作業の中に保っている。

あなたは何を手にしますか？

最後のひとこと

あなたは完全なフレームワークを手にしました。利害関係、可逆性、検証可能性に基づいて何を委任するかを決定し、4つの失敗モードを認識し、リスクに比例して検証し、リリースしたものを所有し、ツールをキャッチするのに十分なほど自分のスキルを鋭く保つこと。

自動化されたシステムは、より能力が高くなり、あなたの生活に深く組み込まれていくでしょう。そのため、このフレームワークの価値は時間とともに減るのではなく、増していきます。賢く委任し、適切に検証できる人は、期限のない優位性を手にしています。