170分は、直した35分を足したあとの合計だ

週次の報告書を、以前は40分かけて書いていたとします。ツールは下書きを8分で返します。この40分と8分は作例の数字であり、実在のチームの測定ではありません。画面から32分が消えても、組織が32分を節約したことにはなりません。その一部は、データを整える、数字を確かめる、文を直す、出力が違うときにやり直す、という作業へ移っただけかもしれません。

短い試験を終えたばかりなら、有用な問いは機械はどれだけ速いかではありません。受け入れられる出力を得るまでの総工数が、どう変わったかです。

この記事は、試験の設計のあとです。一つの作業は固定してある。基準、つまりツールを使う前に同じ仕事へかけた時間もある。二週間の記録もある。止める、範囲を保つ、広げる、はその表を読んでからです。

証拠について: 以下の数字はすべて、計算の見せ方のために編集部が作った例です。標準的な測定でも、特定のモデルを動かした結果でも、典型的な節約率でもありません。

速い工程だけを見ると、表は成功に見える

少人数のチームが、週次報告でツールを試したとします。試験の前、同じ量の報告を二週間分書くのに合計240分かかっていました。これが基準です。

ツールを加えたあと、記録した時間は四種類です。

二週間の作業	時間
データと指示の準備	45分
下書きの作成と、ツールの操作	35分
数字と内容の確認	55分
誤りを直し、届かない部分を書き直す	35分
総工数	170分

同じ期間に、出力を大きく書き直した例が二つありました。それをツールの失敗と呼ぶ必要はありません。見るべきなのは、やり直した35分がすでに合計の中にあることです。

下書きの35分だけを見ると、試験は極端に速く見えます。比べるなら次です。

基準の240分から新しい総工数170分を引くと、二週間で70分の短縮です。

70分は、ツールが長い期間で費用に見合うことを示しません。もっと狭い問いへの答えです。この範囲で、この二週間では、記録された時間は基準より70分少なかった。

スライドに載せる前に、四つの時間を足す

表に機械の実行時間だけで、準備も確認もやり直しもなければ、まだ結論を出さないでください。四つの時間を自分で足します。次の短い表で足ります。

問い	自分のチームの数字
同じ仕事量の基準	___
入力の準備	___
出力の作成と操作	___
確認	___
修正とやり直し	___
新しい総工数	___
基準との差	___

固定するのは二つです。同じ種類の出力と、受け入れられる品質が同程度であること。以前の報告は丁寧に見ていたのに、試験の版は確認を減らして送っているなら、時間の比較は公平ではありません。

仮定を一つ変えて、差が残るか見る

使える数字は、簡単な境界の確認に耐えます。上の例の他の数字はそのままに、修正時間が35分ではなく110分だったとします。

新しい合計は次です。

45 + 35 + 55 + 110 = 245分。

工程は基準より5分多くなります。最初の表と矛盾はしません。示しているのは、やり直しが時間の優位を消しうる変数だということです。これは仮定を一つだけ、意図的に変えた作例です。本番で観測された不具合ではありません。

自分のデータでも同じ押しかたができます。異常な誤りが週に一つだけなら、結論は変わりますか。とても慣れた人を一人、標本から外したら変わりますか。仕事量が増えたとき、確認時間はほぼそれに沿って増えますか。

狙いは試験を失敗させることではありません。結論がどの変数に強く乗っているかを見ることです。

70分を、データより大きい話にしない

米国国立標準技術研究所（NIST）のAIリスクマネジメントフレームワークは、測定を利用の文脈、リスク、あらかじめ定めた基準に結び付けることを強調しています。ガバナンスにも、役割、責任、監視が要ります。生成AIについては、NISTがその種類のツール向けにまとめたプロファイルが、もっともらしく聞こえても誤っている出力のようなリスクの評価、測定、検査を引き続き強調しています。

二週間の試験を、そのまま「ツールは毎月、チームの時間を29%節約する」と言い換えて、一年に掛け算しないでください。ツールへの慣れ、仕事量の変化、難しい案件、まれだが重大な誤り、監督のコストが結果をどう動かすかは、まだわかりません。

データに近い書き方は、たとえばこうです。

測定した二週間と仕事量の範囲では、新しい工程は基準の240分に対して170分を使った。準備、確認、修正を含めても、70分の差は残っている。他のチームへ広げたり、拡大を決めたりする前に、さらにデータが要る。

試験で、顧客に影響する誤り、機密データ、コンプライアンス、重要な判断に触れる誤りが出たなら、数十分の短縮でその重大さを隠さないでください。時間は判断の一部です。

止める、範囲を保つ、広げる、の前に三つ書く

総工数が出ても、アカウントをすぐ買い足さなくて構いません。三つの答えを書いてください。

1. やり直しをすべて数えても、短縮は残っていますか。 残っていなければ、広げる前に直す場所はすでにわかっています。
2. 品質は、受け入れられる水準を保っていますか。 直した誤りを数え、重大な誤りと小さな文言の修正を分けてください。
3. 結果は、週と担当者をまたいで安定していますか。 良い週が一つ、または非常に上手な人が一人いても、チーム全体の代表にはまだなりません。

次の一歩は、見栄えのよい投資対効果の数字を探すことではありません。基準を先に書き、確認したデータから止める、範囲を保つ、広げるを決めることです。

Sources

1. Artificial Intelligence Risk Management Framework (AI RMF 1.0) — NIST — AIシステムを評価するときの、ガバナンス、文脈に沿った測定、役割、リスクの監視を照合する原枠組み。
2. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1) — NIST — 生成AI向けのプロファイル。評価、検査、もっともらしく聞こえる誤った出力への注意を支える。