小さく試して、効果を測る。AI や新しい仕組みの試験導入の評価方法

新しいツールや AI を試したあと、「便利だった」「あまり変わらなかった」⁠という感想だけで続けるかどうかを決めていないでしょうか。感想は大切ですが、それだけでは、予算を出す人に説明できません。

この記事では、小さく試した結果を判断するための測り方を、始める前・期間中・期間後に分けて説明します。例として出す数字は、考え方を示すための仮の例であり、実際の結果ではありません。

始める前：今の状態を測る

効果を比べるには、「試す前」⁠の数字が必要です。試験導入の前に、次の項目から1〜3個を選んで、1〜2週間分を記録します。

• 1件あたりの作業時間：例えば、返信メールの作成に1件あたり何分かかっているか
• 処理件数：1日、または1週間に何件処理しているか
• やり直しの回数：修正や差し戻しが何件あったか
• 待ち時間：依頼から完了までに、何日かかっているか

測り方は、簡単で構いません。付箋に開始と終了の時刻を書く、表計算ソフトに1行ずつ記入する、といった程度で足ります。精密さより、試す前後で同じ方法で測ることが重要です。

期間中：同じ方法で測り続ける

試している間も、始める前と同じ方法で記録を続けます。そのとき気をつけることが3つあります。

1. 測る項目を途中で変えない。変えると前後の比較ができなくなる
2. 使った回数と、使わなかった回数を分けて記録する。使わなかった日があるなら、その理由もメモする
3. 数字に表れない事柄も、メモに残す。「文面を考える負担が減った」「確認の手間が増えた」⁠といった、担当者の声も記録する

担当者が少人数の場合、1人の得意不得意で結果が大きく変わります。数字を見るときは、人数が少ないことを念頭に置いてください。

期間後：判断の基準を、始める前に決めておく

結果を見てから基準を決めると、都合のよい解釈になりがちです。そのため、始める前に、続ける条件を決めておきます。例えば、次のような形です（数字は仮の例です）。

• 1件あたりの作業時間が、試す前より2割以上短くなっている
• 修正の回数が、試す前より増えていない
• 担当者の半数以上が、続けたいと答えている

条件を満たしていれば続ける、満たしていなければ使い方を変えて再度試すか、やめる。このように決めておくと、結論に迷いません。時間の短縮を金額に直すときは、人件費の概算を使って「月あたり何時間の削減か」⁠を示すと、伝わりやすくなります。

効果が出なかったときの見方

数字に変化がなかった場合、原因は大きく3つに分けられます。

• 対象の業務が合っていなかった：手順が毎回変わる、判断が多いなど。別の業務で試す
• 使い方が定着しなかった：指示文や手順が整っていない。手順書や研修で補う
• 測り方に問題があった：測る項目が実態に合っていない。項目を見直す

効果が出なかったという結果も、次の判断の材料になります。理由を一緒に記録しておくと、別の部署が似た取り組みをするとき、同じ失敗を避けられます。

測る項目は、多すぎないようにします。3つを超えると記録の負担が増えて、続かなくなります。「何分短くなったか」だけでも、十分に意味のある判断材料になります。

また、数字の変化が、試験導入以外の原因で起きていないかも見てください。たとえば、期間中に繁忙期と閑散期をまたいだり、担当者が増減したりすると、件数や時間は大きく動きます。前後の期間の条件をできるだけそろえ、そろえられない部分は、メモに残しておきます。報告の際にその事情を添えれば、数字の読み違いを防げます。

Renode にできること

Renode では、試験導入の計画段階から、測る項目の選定、記録のひな形づくり、期間後の集計と判断の整理を一緒に行います。結果は数字でまとめ、続ける・広げる・やめるのどれが適切かを、理由とともにご報告します。