AIとの協働の質を測る「AI協働力」評価設計が無償公開
株式会社ハイヤールーは、エンジニアがAIエージェントとどれだけ効果的に協働できているかを評価する独自指標「AI協働力」の評価設計を無償で公開しました。これは、300社を超える企業での採用領域のコーディング試験を通じて蓄積された116万件（2026年7月時点）の評価データをもとに、AIとの協働の質を5つの領域と13の評価観点で標準化したものです。
この指標が評価するのは、AIが出力した成果物ではなく、人間側のプロセスです。具体的には、AIへの指示の仕方、確認のタイミング、判断の変更点といった、実際の開発セッションにおける行動データに着目しています。
「使った量」から「活用の質」へ：評価基準転換の背景
生成AIコーディングツールの導入が一般的になるにつれて、各企業は当初「量」の計測に注力しました。トークン使用量や利用回数をKPIに設定する動きが見られましたが、その後の調査で、使用量と生産性が必ずしも一致しないことが明らかになりました。
さらに、2026年6月にはAnthropicとGitHub Copilotが相次いで料金体系を見直し、消費量が直接コストに結びつく構造がより明確になりました。これにより、「たくさん使うこと」を推奨するKPIはコスト管理と衝突するようになり、「量」をKPIに置く前提が崩れました。今後は「同じ課題に、どれだけ的確に到達したか」という「質」が問われる時代になってきています。
しかし、この「質」には共通の物差しが存在しないという課題がありました。海外ではいくつかの評価枠組みが提案されていますが、日本の開発現場にそのまま適用できる標準的な指標はまだありませんでした。
「AI協働力」の評価設計と5領域13観点
「AI協働力」は、株式会社ハイヤールー独自の指標「SEI（Software Engineering Index）」を構成するドメインの一つです。実際の開発セッションの行動データから、以下の5つのサブ領域と計13の評価観点を、検出条件とルーブリックに基づいて採点します。
| 評価領域 | 何を見るか |
|---|---|
| 意図の仕様化 (Intent Specification) | 何を作りたいのかをAIに伝わる形で言語化できているか。前提・制約・受け入れ条件をどこまで明示しているか |
| 環境構築 (Environment Engineering) | AIが正しく動くための土台を整えられているか。参照させるドキュメント、接続するツール、用途ごとのモデルの使い分け |
| 共同推論 (Co-Reasoning) | AIとの対話を通じて問題を解けているか。仮説を出させ、検証し、方針を修正していく往復ができているか |
| 実行の統制 (Execution Control) | AIの実行をどこまで統制できているか。どこで止め、どこを承認し、どこを差し戻すか |
| 出力の品質保証 (Output Quality) | 出てきたものの妥当性を検証できているか。テスト、レビュー、受け入れの判断 |
この指標が測っているのは、AIが書いたコードの出来ではなく、人間の指示と判断そのものです。この設計には、AIモデルの性能向上によってスコアが変動せず、純粋に「人のスキル」を測り続けられるという利点があります。また、人の行動が変わらない限りスコアが動かないため、ツールの入れ替えや操作の増加だけではスコアは向上しません。
実データが示す「共同推論」の課題
評価データにおける5領域の平均スコアを見ると、「共同推論」——AIとの対話を通じて問題を解く力——が最も低い48.6%でした。一方で、「実行の統制」（69.7%）や「意図の仕様化」（67.3%）は比較的高い水準にあります。
これは、要件を言語化してAIに伝え、その結果を管理することはできているものの、AIと共に考えて答えの精度を高めていくことができていないエンジニアが多いことを示しています。一度指示を出し、返ってきた出力を人が手作業で修正するという使い方が主流であることがうかがえます。
この「共同推論」の領域は、同じツールやモデルを使用していても成果に差が生まれる最大の伸びしろであると指摘されています。量を絞りながら成果を上げるためには、まずこの部分から改善に着手することが重要です。
無償ホワイトペーパーとオンラインセミナーのご案内
株式会社ハイヤールーは、評価体系の全容を解説したホワイトペーパー『AI協働力 — 100万件の評価データに基づいた、AI時代のスキル指標』を無償で提供しています。このホワイトペーパーでは、5つのサブ領域・13評価観点の設計、検出条件、ルーブリックの仕組み、そして2万件を超える実スコア評価が示す「差がつく場所」が掲載されています。
- ダウンロードはこちら: https://hireroo.io/whitepapers/ai-collaboration/
また、2026年9月3日（木）にはオンラインセミナー『AI協働力は量から質へ——生産性の差を生む”AI活用の質”の見極め方』が開催されます。AIが個人の実力を増幅する中で、成果だけで実力を見極めることがなぜ難しくなったのか、海外の調査事例や評価データをもとに、AI協働力の評価基準と評価方法が解説されます。
株式会社ハイヤールーについて
『HireRoo』は、AIと協働して成果を出す力「AI協働力」を可視化する、エンジニアリング組織向けのプラットフォームです。独自の指標「SEI（Software Engineering Index）」は、NTTドコモ、三井住友カード、freeeなど300社以上で導入され、評価実績は116万件を超えています（2026年7月時点）。採用時のスキルインタビューから在籍エンジニアのスキル評価まで、一貫した指標で組織を支援しています。
関連リンク:
コメント