GitHub Copilot Evalsとは?スキルやエージェントを継続評価する方法

GitHub Copilot Evalsとは?スキルやエージェントを継続評価する方法
目次

GitHub Copilot Evalsは、Copilotに追加するスキルやカスタムエージェント、MCPツールの動作を、同じ条件で繰り返し確認するための機能です。実際に近い課題と合格条件を決め、出力と実行の過程を確認できます。

指示を更新した後は、担当者が実行を承認し、同じケースで従来の処理が保たれているかを確認します。GitHub Copilot Evalsの対応環境と、変更前後を比べる方法を紹介します。

AI活用のセキュリティ対策

情報漏えい・不正アクセスは、普段のAI利用でも備えたいリスク。事故の仕組みと、自分で確認できる対策を解説。

無料ダウンロード →

GitHub Copilot Evalsとは

GitHub Copilot Evalsの評価ケースには、エージェントに与える課題、利用する入力、期待する結果、確認したい動作を記述します。例えばリリースノートを作るスキルなら、含めるべき完了済みの課題と、除外すべき未完了の課題を揃え、結果に課題番号が残るかを見ます。GitHubは2026年11月17日に公開プレビューを案内し、評価エンジンにローカル向けのVallyを採用したと説明しています。GitHub公式発表

自動テストに加えて確認できること

通常の自動テストでは、同じコードが期待どおりに動くかを確かめます。生成AIの評価では、モデルが入力を読み取り、必要な情報を選び、期待する成果物を作ったかを見ます。

たとえば成果物を所定の形式で保存する処理でも、ファイルが作られただけでは要件を満たしたか判断できません。元資料にない内容を追加していないか、必要な項目を落としていないか、入力を書き換えていないかを決めておくと、結果と操作を両方確認できます。

評価する対象を一つ決める

スキルは、目標や手順、判断の条件を追加する仕組みです。カスタムエージェントでは、その役割や利用するツールを調整します。MCPツールでは、接続先から情報を取得したり、許可された操作を呼び出したりできます。

対象を一つに絞ると、評価結果が変わった理由を追いやすくなります。スキルを変える検証と接続先を変える検証を同じ実行で混ぜると、どちらが原因か判断しづらくなります。まず変更したいものを一つ選び、周辺の環境は固定します。

GitHub Copilot Evalsの提供条件と導入

評価の初回実行の図解。評価対象を選ぶ、ケースと判定条件を確認、実行内容と費用を確認・承認、結果と操作を見直す

公開プレビューの案内では、対象にCopilot Individual、Business、Enterpriseが挙がっています。使い方は、Visual Studio Code、Copilot CLI、GitHub Copilotアプリで異なります。次の表は2026年11月時点の案内です。GitHubのインストール案内

開発環境はじめ方
Visual Studio CodeVisual Studio MarketplaceからGitHub Copilot Evals拡張をインストール
Copilot CLIGitHubの公式リポジトリにあるプラグインのインストール手順を参照
GitHub CopilotアプリCustomizeでgithub/evalsのマーケットプレイスを追加し、プラグインをインストール

会社の環境では、同じ契約でも拡張やプラグインの導入が認められているかを確認します。業務で使うリポジトリをいきなり開く必要はありません。評価用の小さなプロジェクトで、どの実行環境とモデルが選べるか、結果がどこに残るかを確かめます。

関連記事:GitHub Copilotの使い方|VS Codeへの導入と補完・チャットの操作を整理

CLIと画面の違いを把握する

VS Codeで試すときは、Evals Canvasの「Settings → Advanced → Install eval runner」でローカルの評価ランナーを用意します。Canvasでスキルなどの対象を選び、提案された入力、ケース、合格条件を確認して保存します。「Review & run」で操作内容と費用を確認して実行を承認し、完了したら「Results」で結果を読みます。GitHubの評価ランナー設定

Copilot CLIで /eval create などのコマンドを使う場合は、公式手順どおり会話内で /settings experimental on を実行します。評価を実行する前に入力と操作の範囲を確認し、保存された結果を共有する前に閲覧者を決めておくと、別の担当者も同じケースを比較できます。GitHubの初回評価手順

GitHub Copilot Evalsで評価ケースを作る

最初は再現しやすい作業を選びます。例えば開発チームの変更案内を作るスキルを検証するなら、説明を増やすより、どの課題が載るべきかと、下書きを誰が確認するかを先に決めます。

普段起きる入力と間違えやすい入力を揃える

合格条件の例。成果物に完了した課題IDを記載し、実行過程では指定された資料だけを参照する

例として、完了した課題、保留中の課題、タイトルは似ているものの対象外の課題を、評価フィクスチャに入れます。評価フィクスチャとは、テスト時に繰り返し使う固定データです。業務の顧客情報や実際の機密資料に依存せず、架空の課題IDと短い説明で同じ判断を試せます。

ケース期待する結果実行過程で見たいこと
完了した課題が1件変更案内に課題IDと概要が残る指定した入力だけを参照する
保留中の課題がある変更案内に保留中の項目を追加しない課題の状態を確認する
反映対象が0件対象なしと示す入力資料や既存の成果物を変更しない

通常のケースだけでは、スキルが欠けた条件に出会ったときの挙動が分かりません。間違うと困る入力も含めると、新しい指示を追加したときの退行が見やすくなります。よく起きる誤りは、将来も同じ入力で検証できるように保存します。

合格条件を担当者同士で照合する

「分かりやすい」だけでは判断が割れるため、「完了した課題IDが1件残り、保留中の課題IDは載らない」と具体化します。文体や読みやすさのように採点が難しい条件は、誰が何を見て判断するかも記録します。

出力ファイルの存在、必須情報の照合、対象外のファイルを編集していないことのように、機械で判断しやすい条件を先に置きます。質的な条件は、一貫した例や資料を共有してから確認します。

職種別AI活用事例集

自分の仕事に取り入れたいAI活用が見つかる。GiftXが実践する18業務の具体例を公開。

無料ダウンロード →

GitHub Copilot Evalsで変更前後を比較する

Copilotの評価は、一度の成功を採用の根拠にせず、同じケースを変更前と変更後で試すために使います。GitHub Copilot Evalsは、保存済みの実行結果を比較できます。例えばCLIでは評価を実行し、結果を保存した後に /eval compare で二つの実行を比較する方法が案内されています。保存した実行の比較手順

比較する条件を揃える

  1. 初回の評価を保存する。変更前のスキル、入力、モデル設定を記録します。
  2. 一か所を修正する。例えば保留中の課題を含めてしまったなら、その判定だけを追加します。
  3. 同じ評価を実行する。同じ入力、モデル、ツール条件で保存済みのケースを再実行します。
  4. 落ちたチェックを見直す。今回直した項目だけでなく、以前は通っていた項目も確認します。
  5. 採否を記録する。修正を残す根拠と未解消の条件を記録し、次の担当者に渡します。

変更後の出力が好みでも、元資料のIDが消えた場合は公開工程で追跡できなくなります。採否に影響する条件は実行前に決めます。出力の一部に揺れがある場合は数回試し、変わらず通る条件と、特定の入力だけで落ちる条件を確かめます。

比較結果をチームの決定につなげる

例えば実際の変更案内に不必要な課題が1件混ざると、その内容を見たサポート担当が、提供前の機能を案内するおそれがあります。このケースでは、文章表現の改善を採用する前に、完了済みの項目だけが出力されることを優先します。結果の点数が上がっていても、必須のチェックが落ちていれば修正を保留します。

評価を加えた理由は、失敗した入力と想定する対応まで書きます。「対象外の項目が出るため、公開前に除外を確認する」と記録しておけば、後から同じ問題が起きたときに、ケースの狙いを見直せます。品質を改善する修正と、評価の設定を修正する変更は、記録でも分けると比較条件を追いやすくなります。

チェックの失敗と実行の失敗を区別する

モデルの出力が要件を満たさず失敗する場合と、アクセス権やツールの設定が足りず評価を実行できない場合があります。実行結果がなければ、スキルの品質が下がったとは判断できません。

トレースで進んだ処理を読み、どの入力とツールが使われたかを確認します。別の人が同じ失敗を再現できるように、スキルの版とケースを残しておくと、評価の設定を調べる手間を抑えられます。

GitHub Copilot Evalsを実行するときのデータと承認

GitHubの案内では、各実行前に実行者が承認します。公式リポジトリは、実行に伴う操作とトークンやクレジットの費用を確認してから承認する手順を示しています。GitHubの公開プレビュー案内

評価に実データを使う必要があるか

公開の仕様や架空の例で同じ動作を試せるなら、それを評価入力に使います。業務データが必要な場合は、チームで利用が認められているデータに絞り、実行時の接続先と結果の保存範囲を確認します。

Vallyはローカル向けの評価エンジンですが、使うモデルやMCPツールによって実行時の処理先は異なります。ローカルのプロジェクトで評価を始めたという事実だけで、データが外部へ送られないとは判断できません。評価の入力に含める情報と、許可する操作を試す前に確認します。

例えばSharePointのWork IQ MCPを開発環境から使う場合は、閲覧だけの権限と、コンテンツを変更する権限で使える操作が異なります。参照するだけの評価なら、実行環境でも読み取りだけの権限になっていることを確かめます。これは接続先の権限設計であり、評価ツールの実行前承認とは別の確認です(出典: Microsoft LearnのWork IQ権限案内)。

誰が結果を読めるかを決める

生成された出力だけでなく、保存したトレースにも入力や途中の結果が含まれることがあります。試用で公開できない情報を使う場合は、保存先を共有する前に閲覧者を確かめます。評価をレビューする人には、結果を読むために必要な情報だけを渡し、元データへのアクセスが必要なときはその理由を確認します。

実行前に想定する変更を確認する

評価を通じて出力ファイルを書き出すことと、実際の業務システムの情報を書き換えることでは影響が異なります。確認用のファイルは評価専用のフォルダへ保存し、外部システムを前提とするケースでも、試用できる接続先を選びます。

同じ評価ケースを複数回動かす場合は、前の結果が次の入力に混ざっていないか確認します。結果の保存先と、採点のために参照する元データを別に管理すると、再実行時の条件を揃えやすくなります。

GitHub Copilot Evalsに関するよくある質問

通常のCopilotでも評価の実行料を考える必要がありますか?

公式の初回評価手順は、実行前にトークンやクレジットの費用を確認するよう案内しています。どのモデルや実行方法を選ぶかによって条件が変わるため、評価の実行前に表示と契約を確認します。

スキルがなくても使えますか?

公開プレビューでは、スキルに加えてカスタムエージェントやMCPツールも対象です。どの対象でも、現実に近い課題、期待する出力、確認したい操作を決めてから試すと結果を判断しやすくなります。

一度に大量の課題を評価したほうがよいですか?

最初は正解と失敗の理由を説明できるケースを少数選びます。チームで困った失敗が出るたびにケースを足すと、追加の評価工数を、実際の課題に結びつけられます。

まとめ

GitHub Copilot Evalsでは、Copilotのスキルやカスタムエージェント、MCPツールを決まったケースで試せます。まず一つの作業を選び、合格条件と間違えやすい入力を用意します。設定を変えた後は同じ入力とモデルで評価を実行し、以前は成功していた条件まで確認します。実行前にツールの操作と費用を確かめ、実行後には成果物と記録から何が変わったかを確認すると、チームで変更の採否を決めやすくなります。

チームで使うAIの品質を確かめたい方へ

AIの設定を業務に組み込む場合は、普段どの結果を確認し、どうなったら使うのを止めるか決めておくと、更新後の判断を揃えやすくなります。GiftX AIエージェント構築支援では、既存の作業手順と成果物をもとに、試す条件や確認担当を整理します。評価する対象が決まっていなければ、頻繁に起きる手戻りから一緒に選べます。

▶ GiftX AIエージェント構築支援の詳細・お問い合わせはこちら

関連記事

AI活用のセキュリティ対策

情報漏えい・不正アクセスは、普段のAI利用でも備えたいリスク。事故の仕組みと、自分で確認できる対策を解説。

無料ダウンロード →
石塚 悠悟
AIエキスパート

GiftX共同代表。デロイト トーマツ/PwCでのコンサルティングを経て、ホットリンク執行役員として事業領域全体(デジタルマーケティング支援事業・SaaSプロダクト事業)・バックオフィス領域を統括。AI活用・業務自動化・エージェント構築の実務に注力。

SHARE