耳の痛い話になってしまいますが、事実として、ほとんどの組織では、誰を採用し、育成し、配置するかといった人材に関する重要な意思決定が、不完全で静的なデータに基づいて行われています。また、このような意思決定の中心をAIが担うようになると、データ品質の問題はさらに深刻になります。実際に機能するスキルシステムと、導入されたものの使われずに終わるシステムとの差は、その基盤となるデータアーキテクチャにあります。高品質なデータアーキテクチャがなければ、AIはただ、より速く、より大きな規模で誤った判断を行うだけのものになってしまいます。次に挙げる6つの質問は、マーケティング上の宣伝文句に惑わされず、重要な意思決定の場面で本当に成果を出すことのできる基盤の上にソリューションが構築されているかを見極める一助となるものです。
1. スキルを確率的なものとして扱っていますか？それとも決定論的なものとして扱っていますか？
問題点: 多くのシステムは、スキルを単なるチェックボックスのように扱っています。つまり、「従業員XはスキルYを持っている: TRUE」のような扱い方です。しかし、実際のスキルはそのようなものではありません。スキルとは、時間経過とともに変化する、信頼度で重みづけされた評価です。
注目すべきポイント: そのシステムでは、不確実性が表現できているか。単に「はい」と答えるだけでなく、「信頼度85%」という表示があるか。データサイエンスで使われるPythonとウェブ開発で使われるPythonが、文脈の異なる別個のスキルとして扱われているか。評価について、システムがどの程度の確信を持っているのかを示せないのであれば、それは単なる推測にすぎません。しかも、その推測が間違っているとしても、ユーザーがそれを知るすべはありません。
2. 業務シグナルを捉えていますか？ それとも単なる記録ですか？
問題点: トレーニング記録で分かるのは、その従業員が何を学習したかです。一方、自己申告で分かるのは、その従業員が自分に何ができると思っているかです。そのどちらを見ても、いざ重要な場面で実際に何ができるのかという点を確認することはできません。
注目すべきポイント: そのシステムは、実際の業務が行われている環境と連携しているか。GitHub、Jira、Confluence、および自社のプロジェクト管理ツールからシグナルを取得できるか。ケイパビリティを示す最良の証拠は、コースの修了証明書ではなく、実際に発揮された仕事の成果です。システムがトレーニングの受講リストと年次評価だけしか把握していないのであれば、最も重要なシグナルを見落としていることになります。
3. コンテキストを捉えていますか？ それとも単にキーワードを照合しているだけですか？
問題点: 「Python」は1つのスキルではありません。データサイエンスで使われるPython（pandas、scikit-learn）と、ウェブ開発で使われるPython（Django、Flask）やDevOpsオートメーションで使われるPythonは、まったく異なるものです。キーワードだけで照合するシステムでは、質の低いレコメンデーションしか得られません。
注目すべきポイント: そのシステムは意味論的コンテキストを理解しているか。財務領域における「データ分析」と、マーケティング領域における「データ分析」を区別できるか。ダッシュボードの構築に使うReactのスキルと、モバイルアプリ構築に使うReactのスキルと異なることを認識できるか。意味論的な理解がなければ、マッチングは、高額な費用のかかるキーワード検索程度の役割しか果たせません。
4. 時間の経過によるスキルの減衰がモデル化されていますか？
問題点: 昨日使ったスキルは、3年前に使ったスキルよりも価値があります。スキルは使うことで研ぎ澄まされますが、使わなければ衰えていきます。しかし、多くのシステムでは、それらがすべて同じものとして扱われています。
注目すべきポイント: 直近の状況の確認: 最後にそのスキルが実際に示されたのはいつか。頻度: そのスキルはどのくらいの頻度で使われているか。推移: そのスキルが強化されているか、衰えつつあるか。先週使われたスキルも、3年前に使われたスキルも同等に「有効」なものとして扱われるシステムでは、配置転換などによって従業員が実際にはそのケイパビリティを業務で使わなくなってもその変化がデータに反映されず、データの信頼性が低下します。
5. システムに評価の根拠の説明がありますか？
問題点: システムが、なぜその従業員に特定のケイパビリティがあると判断したのかを確認できなければ、その判断を検証することはできません。問題点を特定することも、改善することもできません。そして、判断のロジックが見えなければ、信頼は急速に損なわれます。
注目すべきポイント: すべての評価について、その判断に至った理由を追跡できる必要があります。どのような証拠がその評価を裏付けているのか。どのシステムがデータを提供したのか。最後に更新されたのはいつか。システムの信頼度はどの程度か。誰がその評価を検証したのか。説明可能性は、自信と責任を持って意思決定を行うための基盤です。
6. 複数の情報源を統合していますか？ それとも1つの情報源に依存していますか？
問題点: 単一の情報源だけでは、全体像を把握できません。自己申告は楽観的になりがちです。マネージャーによる評価は頻度が限られています。学習記録で示されるのは、実践ではなく学習です。業務上の証拠は、多数のシステムに分散しています。
注目すべきポイント: そのシステムは、複数のシグナルを統合し、それらに情報に基づいた適切な重みづけを行うことができるか。作業の実績、学習活動、マネージャーによる評価、同僚による検証、自己申告。これらはいずれも重要です。しかし、そのどれか1つだけで十分ということはありません。単一の情報源に依存するシステムは、その情報源が持つバイアスや盲点をすべて引き継いでしまいます。複数の情報源を統合する仕組みは、構築するのが簡単ではありませんが、それこそが唯一、機能する方法となります。
その先に進むには
これら6つの質問だけで、商談を成立させたり、評価を完了させたりすることはできません。しかし、そのベンダーがデータの問題について真剣に考えているのか、それとも分類法やユーザーインテグレーションを前面に出し、それ以上深く検討されないことを期待しているのかは、これらの質問によってすぐに明らかになります。
厳しい現実として、このような質問に対して十分な回答を出せるよう設計されたスキルシステムは、ほとんど存在しません。導入を決める前に、そのことを知っておく価値はあります。
データの側面についてさらに詳しく知りたい方は、こちらのブログ記事: Skills Data: Understanding the Foundation of Workforce Intelligence（スキルデータ: 人材インテリジェンスの基盤を理解する）をご覧ください。
