AIはGA4の数字を説明できる。でも、それが本当のアクセスかは分からない

アクセス解析を開いても、結局どこを見ればいいのか分からない。そういう相談をよく受けます。

直帰率、エンゲージメント、セッション、ユーザー数。以前は用語を一つずつ調べる必要がありました。画面を開いた瞬間に閉じた経験がある人も多いはずです。

いまは事情が変わりました。データを書き出してAIに渡すだけで、それらしい分析が返ってきます。ユーザー数が増加しています、滞在時間が長く質の高い訪問者が来ています、順調に成長しています。実際に試すと文章は驚くほど自然で、最初は便利だと感じました。

ただ自社サイトで検証したところ、その診断が大きく外れていました。しかも原因は、AIの計算ミスではありませんでした。

AIは渡された数字を疑わない

自社サイトのデータをAIに渡したとき、返ってきた分析はこうでした。ユーザー数が前の期間の約2倍、平均滞在時間は5分以上、順調に成長している。

数字だけを見れば、その解釈は正しいものでした。計算も比較も間違っていません。

問題は、その数字自体が実態を表していなかったことです。調べてみると、ユーザー数の増加にも、滞在時間の長さにも、アクセス数の多さにも、それぞれ別の理由がありました。

実際には、3つとも違っていた

増えたのは訪問者ではなく、計測できるようになった数

最初に分かったのは、計測タグの設定でした。

タグにはいつ計測を始めるかの条件があります。設定によっては、ページを開いてすぐ離脱した人を記録できません。タグが動き出す前に、その人はもうページを閉じているからです。

設定を修正したところ、ユーザー数が大きく増えました。増えたのは訪問者ではありません。今まで数えられていなかった人が、数えられるようになっただけです。

AIに渡したデータには、設定を変更した日をまたいだ期間が入っていました。前半は離脱した人を取りこぼしている状態、後半は正しく記録できている状態。この背景を知らないAIは、集客が改善していると判断しました。

比較の条件がそろっていないデータを渡したことが原因です。

滞在時間が長かったのは、すぐ帰る人がいなかったから

同じ設定の問題は、滞在時間にも出ていました。

すぐ離脱した人が記録されていなければ、残るのは長く見た人だけです。その人たちだけで平均を出せば、数字は当然長くなります。

修正前は平均5分を超えていました。修正後の実際の数字は1分未満です。

質の高い訪問者が増えたのではなく、短時間で離脱した人が平均に入っていなかっただけでした。良い数字に見えると安心しがちですが、都合の悪いデータが最初から抜けていた結果ということもあります。

訪問者の半分近くが自分たちだった

地域ごとの内訳を見て、いちばん驚いたのがこれです。訪問者の約半数が、自社の事務所がある区から来ていました。

考えれば当然でした。更新後の表示確認、デザインのチェック、スマホでの見え方の確認、フォームの送信テスト、画像を差し替えたあとの動作確認。こうした日常の作業が、すべて1ユーザーとして記録されていました。

さらに全体の4分の1ほどが、海外の特定の都市からのアクセスでした。調べると、大手クラウドサービスのデータセンターが集中している地域です。断定はできませんが、人ではなく自動で巡回するプログラムの可能性が高いと考えられます。

自社分と自動巡回分を引くと、実際に外から来た人は想像よりかなり少数でした。

きっかけは「数字ほど問い合わせが来ていない」だった

そもそも、なぜ調べ始めたのか。

最初の違和感は、アクセスは大きく増えているのに問い合わせがほとんど増えないことでした。

アクセスが増えれば必ず問い合わせが増えるわけではありません。ただユーザー数が倍近くになっているなら、何らかの変化があってもよさそうです。

そこで集客が悪いと考える前に、この数字は正しいのかを疑いました。結果として、問題は施策ではなく計測の前提にありました。

増えている理由を考える前に、本当に増えているのかを確認するほうが先になることがあります。

なぜAIには見抜けないのか

この記事でいちばん伝えたいのはここです。

AIには次の情報がありません。いつ計測の設定を変更したか、タグがどういう条件で動くか、自社の事務所がどこにあるか、どのアクセスがテスト用か、どの海外アクセスが自動巡回の可能性が高いか。

AIが見ているのは、できあがった数字だけです。この数字ならこう解釈できます、という説明はできます。一方で、そもそもその数字が信用できるかは、サイトを運営している側にしか分かりません。

AIの分析が外れるとき、原因はAIの能力ではなく、前提が渡されていないことにあります。

渡す前に確認したい2つのこと

難しい作業ではありません。どちらも数分で終わります。

地域ごとの内訳を見る

アクセス解析には、訪問者がどの地域から来たかを表示する画面があります。

自社の事務所がある市区町村が上位に出ていたら、社内からのアクセスが混ざっています。制作会社や店舗の運営では、想像以上に多くなります。

海外向けではないのに、身に覚えのない海外の都市が並んでいる場合も注意します。すべてが自動巡回とは限りませんが、見込み客ではない可能性があるものとして切り分ける価値があります。

これを確認するだけでも、数字の見え方はかなり変わります。

検索の数字と突き合わせる

Googleには、自分のサイトが検索でどう表示され、何回クリックされたかを見られる無料のツールがあります。サーチコンソールというもので、アクセス解析とは別に用意されています。

ここで見られるクリック数と、アクセス解析の検索経由のユーザー数は、通常なら近い数字になります。検索結果をクリックした人が、そのままサイトに来るからです。

たとえばサーチコンソールが100クリックなのに、アクセス解析が600ユーザーと出ていれば、何かが混ざっています。重複した計測、自動巡回、設定の不備。いずれかを疑ったほうが安全です。

自社サイトでは6倍以上の差がありました。この時点で、そのまま成長の指標として使うのは危ないと判断できました。

GA4が壊れているわけではない

強調しておきたいのは、ツール自体に問題があったわけではないことです。

アクセス解析は、設定されたルールどおりに記録します。タグが遅れて動けば、その前に離脱した人は残りません。社内からのアクセスを除外しなければ、普通の訪問者として集計されます。自動巡回への対策をしていなければ、それも混ざります。

温度計が壊れているのではなく、日なたに置いたまま室温を測っているようなものです。計測の条件が変われば、同じツールでもまったく違う数字が出ます。

それでもAIは十分に役に立つ

ここまで読むと、AIに任せる意味がないように思えるかもしれません。そうではありません。

指標の意味を説明する、どの数字とどの数字を比べるべきか整理する、レポートを要約する、改善の仮説を大量に出す。こうした作業はAIが得意です。専門用語を一つずつ調べるより、説明させたほうが圧倒的に早い場面は多くあります。

役割を分けるのが現実的です。

右側は、サイトの運営状況を知っている人にしか判断できません。

これから差がつくのは、分析より計測

以前は、アクセス解析を読み解ける人そのものが少数でした。いまはAIを使えば、誰でも一定の水準の分析コメントを作れます。

だから差が出るのは、どのデータを渡すか、何を除外するか、どの期間を比べるか、設定変更の影響を把握しているか。分析の手前の部分です。

AIが広まるほど、重要になるのは分析の技術ではなく、正しいデータを用意できるかどうかになっていきます。

アクセスは増えているのに問い合わせが増えない。そんなとき、多くの人はまずSEOや広告を疑います。ただ実際には、計測そのものがずれているケースは珍しくありません。今回の自社サイトも、修正するまでかなり長い間、間違った数字を見ていました。

確認する順番は、正しく計測できているか、人のアクセスだけを見られているか、そのあとで分析する。この順です。

数字の読み方はAIに任せる。数字が本当に人の行動を表しているかは、自分で確かめる。この分け方ができれば、AIはかなり頼れる存在になります。

いまの数字が信用できるか分からない、という段階から相談を受けています。