何をどこまでAIでやったか
調査の規模は、事前調査がオフィス系7職種の8,000人。そこからAI利用者を絞り込んだ本調査が669人です。AIをどう使っていて、成果をどう感じているかをアンケートで聞きました。
工程ごとの分担は、次のとおりです。
| 工程 | AIがやったこと | 人がやったこと |
|---|---|---|
| 調査設計 | 他社調査の横断リサーチ、仮説と伝える順番の案出し、設問の文面づくり | 調査の狙いを決める、仮説を選ぶ |
| 集計・分析 | 生データの集計、クロス集計、検算 | 公表する数字の最終確認 |
| 示唆の抽出 | データからの示唆の案出し、追加分析 | どの示唆を中心に据えるか決める |
| プレスリリース | 他社リリースの収集と型の抽出、原稿、図版、レビュー | 何を見出しにするか決める |
| 調査レポート | 骨子、スライド作成、レビュー | 構成の承認、採用しない判断 |
| セミナー | セミナー専用の骨子とスライド作成 | 話す内容の決定 |
全工程を通して進め方は同じです。AIが公開情報や生データを調べ、仮説や分析の案を出す。そのたたき台を人が確認して直す。これを繰り返します。人が決めるのは、方向と、そのまま進めない判断です。
調査設計は仮説と伝える順番から逆算する
まず世の中のAI関連の調査を横断で調べる
最初にやったのは、他社のAI調査を横断で調べることです。AIが公開調査を集め、設問や見出しを比較して、2つに仕分けます。もう世の中に出ている話と、まだ出ていない話です。
既存の調査では分からなかったことを、少なくとも1つは明らかにする方針にしました。
このとき見つかったのが、AIの使い方の深さでした。利用率を調べた調査はいくつもあります。ただ、使い方の深さと成果実感の関係を聞いた調査は見当たりませんでした。
調査票より先に仮説を書く
既存調査における空白が見つかったら、次は仮説です。
仮説を先に立てるのは、欲しい数字に合わせて設問を作らないためです。今回立てたのは、この3つです。
- AIは広く使われている
- でも、成果を実感できている人は少ない
- その差は、使い方の深さにあるのではないか
仮説を書いたら、それが当たった場合の伝える順番まで先に書きます。そこまで決めてから、設問づくりに進みます。
仮説は外れる前提です。外れたときに捨てられるよう、先に言葉にしておきます。
設問ができたら仮説の答えを先に書いてみる
アンケート設問の案ができた時点で、仮説どおりの結果が出たと仮定した回答分布を、AIで作りました。そのうえで、その架空の数字で、プレスリリースとレポートのサマリーまでAIで書いています。
狙いは、実査の前に設問を検証することです。架空の数字で原稿を書いてみると、その設問で仮説を確かめられるかが見えます。書けなければ、設問が足りないか、聞き方がずれています。実際、この段階で設問を何度か直しました。
集計はローデータから始め、チェックは何重にもかける
人はピボットを作らず、ローデータから渡す
回収したアンケートのローデータが入ったスプレッドシートを、そのままAIに渡しました。人がピボットや中間の集計表を作る工程は挟んでいません。
| 従来のやり方 | 今回のやり方 | |
|---|---|---|
| 手順 | 人がピボットで集計表を作り、グラフにして、眺めて示唆を考える | ローデータを渡して、集計・クロス集計・示唆の案出しまで任せる |
| クロス軸 | 人が思いついた分だけ | 頼めば、その場で何十通りも試せる |
理由は2つです。公表する数字はどのみち生データから計算し直すこと。そしてクロス集計を、人が思いつく範囲を超えて試せることです。
3段階のチェックで誤りを止める
AIの計算は間違います。最初のドラフトには、いくつか誤りがありました。
- 生産性が明確に上がったと答えた割合の比（AIエージェント化層 ÷ チャット利用層）を3.7倍と書いていたが、生データから計算し直すと3.81倍（公表は約3.8倍）でした
- 60%超と書いていた活用意向が、実際には59.9%で60%を超えていませんでした
- マーケティング・営業のチャット止まり層で、生産性が明確に上がったと答えた割合が16.7%であるべきところ、6.7%になっていました
こうした誤りが出る前提で、チェックを3つ重ねました。
1つ目は、公表する数字を、集計済みの表を使わず生データから計算し直すことです。倍率も、丸める前の値で割ってから丸めます。
2つ目は、作ったAIとは別のAIが検算することです。作成と評価の役割を分けます。
3つ目は、最終チェックは人が確認することです。
以降はこの3段階を通す運用にしました。見つけた誤りはルール化してAIへの指示に固定したので、次の調査はそこから始められます。
全国8,000人調査で、AI活用方法によって生産性向上に約3.8倍の差が生まれることが判明。
示唆は、問いを変えて追加分析する
データが返ってきても、実査前に作った原稿へすぐに数字を差し込むことはしませんでした。仮説に合う数字だけを拾うことになるためです。まず原稿から離れて、AIにデータを読み直してもらいました。
立てた仮説は、いくつか外れた
仮説と一緒に、マーケティングと営業はひとまとめに語れるという前提も置いていました。ここがデータと逆で、マーケティングは利用率が高いのに成果実感が低く、営業はその逆でした。
外れた仮説は捨てて組み直し、使い方の深さと成果実感の関係を中心に据えました。
問いを変えたら、別の軸が出てきた
一度出た示唆で終わらせず、追加で分析できるデータはあるかと問いを変えて掘り直しました。そこで出てきたのが、深さとは別の軸です。
マーケティング職では、AIを使う業務が5つ以上ある人は、生産性の明確な向上実感が35.7%でした。4業務以下は4.2%です。これはマーケティング職100人の内訳を後から切り直した探索的な参考値で、複数回答を含みます。ただ、使い方の深さだけでなく、AIを使う業務の幅でも差が見られました。
この軸は、最初の仮説にはありません。人が手で集計していたら、たぶん見つかっていません。
確かめられなかった仮説も、AIが報告する決まりにしています。何を確かめ、何を確かめていないかを残すためです。
プレスリリースは他社の型を集めてから書く
書く前に他社のリリースを集める
原稿を書く前に、他社の調査リリースを集めました。AIを並列で走らせて、調査リリース18件とサービスのリリース14件です。件数は、URLを開いて実在を確認できたものだけです。
出てきたのは、対照的な2つの数字を並べる見出しの型です。今回は「オフィス系7職種でAIの利用は約67%まで広がっている。でも成果を明確に実感できたのは約2割」の2つを並べました。
AIで書き、別のAIがレビューする
原稿はAIで書いて、別のAIがレビューします。指摘は、致命的・要修正・推奨の3段階に分かれます。
指摘は2つありました。同じ指標の数字がサマリーと本文で食い違っていたこと。そして母数が700、約700、669、約8,000と混在し、どの数字がどの母数の話か読み取れないことです。どちらも、記者が数字を疑う入り口になります。
図版も同じデータからAIで作りました。ここでの決まりは、図だけを切り取られても、対象者、母数、指標、比較内容が分かるようにすることです。
レポートは、骨子を決めてから作る
最初はグラフの雛形から作って、うまくいかなかった
調査レポートは、最初にグラフの雛形を作ってデータをはめる進め方をしたら、ページごとにグラフが並ぶだけで話がつながりませんでした。
そこで進め方を変えました。骨子と伝える順番を先に固めて、それからスライドにします。
これは提案書のときと同じでした。詳しくは関連記事：AIで提案書を作る仕組み｜商談を動かす資料は「スライド化の前」に決まるに書いています。
作ったのは「利用は広がっている → でも成果は約2割 → 差が出たのは使い方の深さ → なぜ進めないのか → 成果につなげる進め方」という5章の流れです。骨子ができていれば、スライドを作る段階では見せ方だけを考えれば済みます。
同じ骨子とデータから、セミナーへ
レポートは経営者向けに24枚、マーケティング・営業向けに23枚の2冊です。同じ調査データですが、章の順番と中心に置く結果を変えています。
同じ調査データから、解説セミナーも2本作りました。こちらは資料を流用せず、セミナー専用の骨子から作っています。調査の数字と示唆が固まっていたので、媒体ごとに組み直しやすくなりました。
数字を出し解釈の候補を広げるのはAI。何を採用しどう伝えるかを決めるのは人
数字を集めて、計算して、原稿にするところまではAIが速い。ただ、その数字が何を意味するのか。外れた仮説を捨てるかどうか。その職種の書き方が失礼になっていないか。ここは人が決めるしかありません。
GiftXが掲げる「ひとの温かみを宿した進化を。」というミッションも、ここにつながっています。手を動かす部分をAIに任せられるほど、何を問うかを考える時間が増えます。
今回やってみて価値があったのは、速く作れたことよりも、次も使える調査の進め方が残ったことでした。どこをAIに任せ、どこで人が確認するか。その線引きが決まっていれば、次の調査はゼロから考えずに始められます。
調査の結果そのものは、2冊のレポートにまとめて公開しています。ぜひご覧ください。
