Geminiの動画解析機能「Agentic Video Understanding」とは
Agentic Video Understandingとは、Geminiが質問に必要な動画区間を自ら探し、映像・音声・字幕を選択的に読み込む動画理解方式です。
Googleは2026年9月1日（米国時間）に、この機能をGemini 3.7 Flash、3.6 Flash、3.5 Flash-Lite向けに発表しました。アップロード動画とYouTube動画を対象に、Gemini APIのInteractions APIから利用できます。Googleの発表では、Gemini Enterprise Agent Platformでも提供すると説明されています。
関連記事：Geminiとは？できること・料金プラン・モデル体系とChatGPTとの違い
静的処理は動画を固定間隔で一度に読む
従来の静的処理では、動画から既定で毎秒1フレームを抽出し、コンテキストへ一度に配置します。処理の入口で読む範囲が決まるため、短い動画の要約や、全体を一定の粒度で確認したい用途に向きます。
一方、1秒未満の短い変化は既定の抽出間隔から外れる可能性があります。フレームレートは調整できますが、動画全体を細かく読むほど入力トークンが増え、長時間動画ではコストとコンテキスト消費が膨らみます。
Agentic処理は質問に合わせて探索範囲を変える
Agentic処理では、Geminiが動画のタイムラインを移動し、まず字幕や音声から手掛かりを探します。その後、必要な区間のフレームを読み込み、解像度やフレームレートを動的に変えながら回答を組み立てます。
「全体を均等に読む」のではなく、「質問へ答えるために必要な箇所を探す」のが違いです。長い動画のなかにある一瞬の出来事や、複数箇所に散らばる根拠を探す用途で差が出ます。
現在の対応モデルは発表時より増えている
発表時の対応モデルはGemini 3.7 Flash、3.6 Flash、3.5 Flash-Liteの3つでした。2026年9月3日時点のGemini API公式ドキュメントでは、Gemini 3.8 Flashも対応モデルに加わっています。
発表記事と現行ドキュメントでモデル一覧が異なるのは、公開後に対応範囲が更新されたためです。実装時は発表時の一覧ではなく、公式ドキュメントとGoogle AI Studioに表示されるモデルを確認してください。
関連記事：Gemini 3.7 Flashとは？3.6 Flashとの違いと料金
Agentic Video Understandingの仕組み
Agentic処理は、動画を読むための処理を1回で終えません。Geminiが探索、読み込み、判断を繰り返すエージェントループを使い、質問に必要な証拠を集めます。
字幕・音声・フレームを段階的に確認する
最初に字幕や音声のトランスクリプトを調べると、長時間動画のどこを詳しく見るべきか絞れます。視覚的な確認が必要な箇所では、その区間のフレームを読み込みます。
たとえば「講義で示された3つの主張は何か」という質問なら、発言内容を中心に探索します。「装置の警告灯が点いた瞬間はいつか」という質問なら、映像上の短い変化を確認する処理へ寄ります。同じ動画でも質問によって読む場所と粒度が変わります。
関連記事：Gemini 3.5 Transcribeとは？精度・料金・日本語対応を解説
応答のstepsで探索履歴を確認できる
Interactions APIの応答にはsteps配列があります。Agentic処理が実行されると、動画区間や字幕の読み込み要求を示すprocessing_callと、その結果を示すprocessing_resultが追加されます。
最終回答だけでは、静的処理とAgentic処理のどちらが使われたか判断しにくい場合があります。実装テストではinteraction.stepsを記録し、2種類の処理ステップが含まれることを確認すると設定漏れを見つけられます。
動画ごとに処理方式を分けられる
1回のリクエストへ複数の動画を入れる場合、動画ごとにagenticとstaticを指定できます。長い講義はAgentic処理、短い実験映像は静的処理として、両者を同じ質問で比較する構成も可能です。
すべての入力を同じ方式へそろえる必要はありません。動画の長さ、質問の種類、必要な精度を基準に個別設定するほうが、待ち時間とトークン消費を調整しやすくなります。
GeminiのAgentic Video Understandingで変わるトークン・コスト・精度
Googleは標準的な動画理解ベンチマークで、Agentic処理が静的処理よりトークン効率と回答品質を改善したと報告しています。ただし「最大」の数値であり、すべての動画と質問で同じ差が出るわけではありません。
| 指標 | Googleの公表値 | 読み方 |
|---|---|---|
| トークン消費 | 最大88%削減 | 必要な区間だけを読むことで入力を圧縮 |
| 解析コスト | 最大66%削減 | トークン削減に応じてAPI利用料を抑制 |
| 回答品質 | 最大7%向上 | 長時間動画の標準ベンチマークでの改善 |
これらは2026年9月時点のGoogle公表値です（出典: blog.google）。最大66%のコスト削減は機能専用の割引ではなく、読み込むトークンが減ることで生じます。Agentic Video Understanding自体に追加料金はなく、利用モデルの通常のGemini APIトークン料金が適用されます。
長時間動画ほど削減余地が大きい
10分から90分程度の動画や、数時間の録画では、質問と無関係な区間が多くなります。Agentic処理は不要な部分をコンテキストへ詰め込まないため、静的処理との差が出やすい構造です。
反対に、短い動画を最初から最後まで確認する質問では、探索による削減余地が小さくなります。自社データで比較するときは、同じ動画と質問を両方式で実行し、入力トークン、応答時間、正答率をそろえて記録してください。
AIエージェントを「どう作り、どう育てるか」を、GiftX記事制作エージェントの実物で解説。
GeminiのAgentic Video Understandingに向いている動画解析
Agentic処理は、動画全体の要約だけでなく、特定の出来事を探す質問に向きます。Googleは発表時に、一瞬の場面探索、長時間動画からの情報抽出、異常検知、回数のカウントを例として挙げています。
1秒未満の短い場面を探す
スポーツ映像の接触、録画画面の短い表示変化、装置の警告灯などは、毎秒1フレームの静的処理では拾いにくい対象です。質問に応じて対象区間のフレームレートを上げるAgentic処理なら、必要な瞬間へ探索を集中できます。
ただし、動画全体の全フレームを完全に監査する用途とは異なります。見落としを許容できない検査では、専用のコンピュータビジョン処理や静的処理と組み合わせる設計が必要です。
長時間録画から根拠のある場面を抜き出す
会議録画、講義、イベント配信、操作ログから、特定テーマに関係する箇所だけを探せます。回答にタイムスタンプを含めるよう指示すると、人が元動画へ戻って確認しやすくなります。
字幕だけで結論を出さず、該当場面の映像も確認するよう質問を具体化すると、発言と画面表示を突き合わせられます。動画理解を検索機能として組み込む場合は、回答文と根拠区間をセットで保存する設計が向きます。
異常や回数を数える
製造ラインの停止、動物の特定行動、映像内で繰り返される操作など、イベントの発生箇所と回数を調べる用途にも使えます。長時間映像の確認範囲を絞る一次スクリーニングとして利用できます。
カウント結果は、イベントの定義によって変わります。「同じ動作が連続した場合は1回と数える」などの判定条件を質問文に含め、短い正解データで誤差を測ってから範囲を広げてください。
動画解析を含むAIの適用先を広げて考える場合は、職種別AI活用事例集に用途別の例を整理しています。
Gemini APIでAgentic動画解析を使う手順
設定の中心は、Interactions APIへ渡す動画入力にprocessing: "agentic"を追加することです。動画を利用可能な状態にし、質問と一緒に送信したあと、応答の処理ステップまで確認します。
STEP1｜動画の入力方法を選ぶ
公式ドキュメントでは、File API、Cloud Storage Registration、インラインデータ、YouTube URLの4経路が案内されています。多くの用途ではFile APIが推奨され、100MBを超えるファイル、10分を超える動画、同じ動画を複数回使う場合に向きます。
| 入力方法 | 目安 | 向いている用途 |
|---|---|---|
| File API | 有料20GB、無料2GBまで | 大きな動画、長時間、再利用 |
| Cloud Storage Registration | 1ファイル2GBまで | 保存済み動画の継続利用 |
| インラインデータ | 100MB未満 | 短い動画、1回だけの処理 |
| YouTube URL | 公開動画 | URLを直接渡す試行 |
YouTube URL入力はプレビューで、料金やレート制限が変わる可能性があります。非公開動画と限定公開動画は対象外です。サイズ上限や提供条件は更新されるため、実装前に動画理解の公式ガイドで確認してください。
STEP2｜動画入力へprocessingを指定する
Interactions APIのinput配列に、type、uri、mime_typeを持つ動画オブジェクトを入れます。その同じオブジェクトへprocessing: "agentic"を追加し、質問テキストと一緒に送信します。
設定値を省略した場合は静的処理が既定です。Agentic処理を試すときは、モデルだけを対応版へ変えて終わりにせず、動画入力側のprocessingが設定されているか確認してください。
STEP3｜steps配列と回答品質を検証する
応答後はinteraction.output_textだけでなく、interaction.stepsも確認します。processing_callとprocessing_resultがあれば、モデルが動画内を動的に探索したと判断できます。
次に、正解が分かっている動画と質問で静的処理と比較します。確認項目は、正答率、根拠タイムスタンプ、入力トークン、応答時間の4つです。Googleの最大値をそのまま見積もりへ使わず、実データの中央値と失敗例を残してください。
静的処理とAgentic処理の選び方
公式ガイドは、品質またはトークン効率を優先する場合、まずAgentic処理から試すことを勧めています。一方、短い動画の低遅延処理や全体のフレーム精度が必要な場合は、静的処理が候補になります。
| 判断軸 | Agentic処理 | 静的処理 |
|---|---|---|
| 動画の長さ | 長時間向き | 5分未満の短い動画向き |
| 質問 | 特定の瞬間や散在する根拠を探す | 全体を均等に確認する |
| トークン効率 | 必要区間だけを読む | 抽出フレームを一括投入する |
| 応答時間 | 探索ステップが増える | 低遅延を狙いやすい |
| フレーム精度 | 必要箇所へ動的に集中する | 動画全体を固定粒度で扱う |
選択に迷う場合は、動画の長さだけで決めないでください。質問が「どこかにある一瞬を探す」なら短い動画でもAgentic処理が合い、「全区間を同じ基準で検査する」なら長さにかかわらず静的処理や専用モデルとの併用が合います。
全国8,000人調査で、AIの活用方法によって生産性向上に約3.8倍の差が生まれることが判明。
GeminiのAgentic Video Understanding導入前に確認したい制約
Agentic処理はトークン効率を上げる一方、探索そのものに処理時間がかかります。費用、速度、網羅性のどれを優先するかを決め、動画ごとに評価条件を用意してください。
低遅延を優先する短い動画には静的処理も残す
5分未満の短いクリップへ素早く回答する用途では、静的処理のほうが待ち時間を抑えやすいと公式ガイドは説明しています。Agentic処理を全リクエストへ一律適用すると、削減できるトークンが少ないのに探索時間だけが増える場合があります。
本番では処理方式を設定値として切り替えられるようにし、動画時間と質問タイプでルーティングする設計が扱いやすくなります。移行期間は静的処理を残し、同じ入力で結果を比較できるようにしてください。
探索結果は全フレーム検査を保証しない
Agentic処理は質問に必要だと判断した場所を選択的に読みます。動画全体のすべてのフレームを同じ精度で検査したことを保証する仕組みではありません。
安全や品質に関わる判定では、Agentic処理を候補抽出や根拠提示に使い、最終判定を別の検査工程で確認する構成が必要です。探索に使った区間と回答根拠をログへ残すと、見落としの原因を追いやすくなります。
モデルと入力経路の提供条件は更新される
発表から現行ドキュメントまでの短期間でも、対応モデルにはGemini 3.8 Flashが加わりました。YouTube URL入力はプレビューであり、料金や上限が変わる可能性があります。
モデル名、ファイル上限、レート制限をコードへ固定する場合は、更新時に差し替えられる設定へ分離してください。公開前やリリース前に公式ドキュメントを確認する運用もセットで用意します。
Geminiの動画理解をAIエージェントへ組み込むときに陥りがちな3つの落とし穴
新しい動画理解機能を使うこと自体を目的にすると、評価対象が広がり、改善点を切り分けにくくなります。まず1つの動画と質問タイプに絞り、静的処理との差を測れる状態を作ることが出発点です。
落とし穴1｜いきなり全ての動画処理を置き換える
いきなり全ての動画をAgentic処理へ切り替えると、速度を優先すべき短い動画まで探索対象になります。長時間動画から特定場面を探す1業務に絞れば、精度、トークン、応答時間の変化を同じ条件で比べられます。
落とし穴2｜壮大なAI戦略を固めてから始める
全社の動画活用戦略から決めようとすると、入力形式、保存期間、評価基準などの論点が一度に増えます。まず検証用の動画セットと質問を決め、API応答を記録する小さな実装から始めるほうが判断材料を早く得られます。
落とし穴3｜既製品のチャットだけで業務フローを完結させる
汎用のチャット画面で都度動画を確認するだけでは、入力の受け渡し、結果の保存、失敗時の再処理を自社の業務フローへ組み込みにくくなります。APIで処理方式とログを管理し、人が確認する条件までカスタマイズして初めて継続運用につながります。
スモールスタートで1業務をAIエージェントに任せる
Agentic Video Understandingは、長時間動画から特定場面を探す1業務で始めると評価しやすくなります。静的処理との比較で基準を作り、根拠区間を人が確認できる状態にしてから対象動画を広げてください。
GiftXでは、このような1業務単位のAIエージェント構築を伴走支援しています。詳細はAIエージェント構築支援サービスをご覧ください。
GeminiのAgentic Video Understandingに関するよくある質問
Agentic Video Understandingは無料ですか？
機能自体への追加料金はありません。利用したGeminiモデルの通常のAPIトークン料金が適用されます。動画の長さや探索量で消費量が変わるため、料金はリクエストごとの利用トークンで確認してください。
どのGeminiモデルで使えますか？
2026年9月3日時点の公式ガイドでは、Gemini 3.8 Flash、3.7 Flash、3.6 Flash、3.5 Flash-Liteが対応しています。モデル一覧は更新されるため、実装時に公式ガイドを確認してください。
YouTube動画も解析できますか？
公開YouTube動画のURLを直接入力できます。ただしプレビュー機能であり、非公開動画と限定公開動画は対象外です。提供条件や上限は変更される可能性があります。
Agentic処理を使ったか確認する方法はありますか？
応答のinteraction.stepsを確認してください。processing_callとprocessing_resultが含まれていれば、Geminiが動画内を動的に探索しています。
まとめ
GeminiのAgentic Video Understandingは、質問に応じて必要な動画区間を探し、映像・音声・字幕を選択的に読み込む方式です。静的処理よりトークンとコストを抑えながら、長時間動画や特定場面の質問で回答品質を高められる可能性があります。
実装では動画入力へprocessing: "agentic"を指定し、応答のprocessing_callとprocessing_resultを確認します。まず1つの動画解析業務で静的処理と比較し、精度、トークン、応答時間の基準を作ってから対象を広げてください。
Geminiの動画理解を業務へ組み込みたい方へ
長時間動画の解析を本番運用へ載せるには、モデル選定だけでなく、入力経路、評価データ、根拠ログ、人が確認する条件まで一つの流れとして設計する必要があります。
GiftXのAIエージェント構築支援では、対象を1業務に絞った検証から、API連携、評価、運用フローの設計まで伴走します。Agentic Video Understandingを自社の動画処理へ組み込む方法を整理したい方は、ぜひお問い合わせください。
▶ GiftX AIエージェント構築支援の詳細・お問い合わせはこちら
