LLM仮想顧客で購買行動シミュレーション：A/Bテストの新たな可能性

ChatGPTのDeep Research（AI）での出力結果をそのまま掲載しています。ChatGPTのDeep Researchはハルシネーション（誤った情報の生成）が少なくなるよう調整されていますが、あくまで参考程度に読んでください。当記事は検索エンジンに登録していないため、このブログ内限定の記事です。

新しいA/Bテストの悩み

とあるEC企業のマーケティング会議。マーケティング部長の田中さんは、最近導入を検討しているサイト改修案について頭を悩ませていました。「新しい商品レコメンデーション機能が本当に売上に効果があるのか、A/Bテストで確認したいんだけど…実施には時間もコストもかかるのが課題だね」と田中さんはため息をつきます。A/Bテストとは、一部ユーザーに現行バージョン（A）と改修バージョン（B）をそれぞれ見せて効果を比較する手法です。しかし十分なユーザートラフィックを集めて統計的に有意な結果を得るには、数週間や場合によってはそれ以上の時間が必要です。「ユーザー体験を損ねず効率的に実験する方法があれば…」と田中さんはこぼしました。

そこへデータサイエンティストの鈴木さんが声を上げます。「実ユーザーの代わりに、AIで仮想顧客を作ってテストするのはどうでしょう？」唐突な提案に、会議室は一瞬静まり返りました。マーケ担当の山田さんが首をかしげます。「AIでユーザーを再現って…どういうこと？」鈴木さんは微笑んで、「最近の大規模言語モデル（LLM）を使えば、人間の購買行動をある程度シミュレーションできると示した研究があるんです」と説明を始めました。

仮想顧客エージェントとは何か？

鈴木さんはホワイトボードに人の形を描き、「例えばChatGPTのようなLLMに、30代独身女性でアウトドア好きの顧客…といったペルソナ（人物像）を与えてあげます。そして、そのAIに実際のショッピングサイト上で商品検索や閲覧、購入といった操作をさせるんです」と言います。「要するに、LLMに仮想顧客エージェントとしてサイトを使ってもらい、その行動ログを収集するんですね」。山田さんは驚いた様子です。「本当にそんなことができるんですか？」

「はい、Amazonの研究チームがPAARSというフレームワークでそれを実現しています」と鈴木さん。 ([2503.24228] PAARS: Persona Aligned Agentic Retail Shoppers) ([2503.24228] PAARS: Persona Aligned Agentic Retail Shoppers)ホワイトボードには、「実購買データから自動ペルソナ抽出」「LLMエージェントに検索・閲覧・購入ツールを与える」「人間とAIの行動分布を比較する」という3つの箇条書きが書かれました。鈴木さんは続けます。「PAARSではまず匿名化された過去の購買ログからAIが典型的な顧客のペルソナを自動で抽出します。そして、そのペルソナを持ったLLMエージェントに検索や商品閲覧、購入など小売特化のツールを使わせて、仮想的なショッピングセッションを生成するんです ([2503.24228] PAARS: Persona Aligned Agentic Retail Shoppers)」。田中さんがメモを取りながらうなずきます。「最後に、人間の行動パターンとAIエージェントの行動パターンを比較して、そのズレを測るアラインメント指標で評価する。こうしてAIが人間らしく行動できているかチェックするわけですね」。 ([2503.24228] PAARS: Persona Aligned Agentic Retail Shoppers) ([2503.24228] PAARS: Persona Aligned Agentic Retail Shoppers)

「具体例として…」と鈴木さんは手元の資料をめくります。「ある仮想顧客が“ソロキャンプに興味がある30代女性”というペルソナだとします。このAIエージェントはサイト上で『一人旅 おすすめの本』と検索し、本の詳細を閲覧して気に入れば購入まで行動します。実際にPAARSでは、このようにペルソナに沿った購入セッションを次々と生成することに成功しています (PAARS: Persona Aligned Agentic Retail Shoppers) (PAARS: Persona Aligned Agentic Retail Shoppers)。」山田さんが感心した様子で尋ねます。「そのペルソナってどうやって決めるんですか？」鈴木さんは「人間の購買データからAIが学習して作るんですが、例えば先ほどの例では『ソロ旅行関連の商品を買っている』『レビュー評価を重視する』などの履歴から、年齢層や関心事、価格に対する態度といったプロフィールを推測するんです」と説明しました。「ペルソナがあることで、AIの購買行動にも一貫した理由付けが生まれるわけです。実際、この手法によりエージェントの行動がセグメントごとに人間の特徴に近づいたと報告されています ([2503.24228] PAARS: Persona Aligned Agentic Retail Shoppers)。」

仮想顧客はどこまで本物のように行動できる？

田中さんは腕を組み、「理屈は分かったけど、本当にそんなAI顧客が人間みたいに動くのかな？」と疑問を投げかけます。「結局AIの出す結果が現実とかけ離れていたら、テストにならないよね。」鈴木さんはうなずき、「そこが重要なポイントです。研究者たちもどれだけ本物のユーザー行動に近づけられるかを詳しく検証しています」と返しました。

「まず、個々の行動の正確さよりも集団としての傾向の再現性が大事だと指摘されています (PAARS: Persona Aligned Agentic Retail Shoppers)」と鈴木さんはホワイトボードに円グラフを描きます。「A/Bテストで知りたいのは、全体として売上やクリック率がどう変わるか、ですよね。だから一人ひとりの完全な再現までは求めず、仮想顧客の集団としての行動分布が人間の集団に近ければOKなんです (PAARS: Persona Aligned Agentic Retail Shoppers)。」この「行動分布の近さ」を測るため、PAARSではKLダイバージェンスという指標などを用いて、人間とAI集団の差異を定量化しています (PAARS: Persona Aligned Agentic Retail Shoppers) (PAARS: Persona Aligned Agentic Retail Shoppers)。鈴木さんは「難しい用語ですが、要は人間とAIの行動パターンのズレを示す数値で、ゼロに近いほど分布が一致していることを意味します」と補足しました。

「実験では、このKLダイバージェンスがペルソナを与えたAIエージェントでは下がり、人間の分布に近づいたそうです (PAARS: Persona Aligned Agentic Retail Shoppers)」と鈴木さん。 (PAARS: Persona Aligned Agentic Retail Shoppers)山田さんが「ペルソナなしより良くなったってことですね」と確認すると、「その通り。ただし完全に同じにはまだならない。多様な検索語や閲覧商品数といった指標では、依然として人間の方がバラエティに富んでいて、AIはもう少し画一的だという結果も出ています (PAARS: Persona Aligned Agentic Retail Shoppers)」と付け加えます。「つまりペルソナで改善はするけど、人間特有のばらつきにはまだ及ばないと」。

「それでも予測には使えそうですか？」と田中さん。「はい、少なくとも方向性（トレンド）の予測にはかなり有望です」と鈴木さんは頷きます。「PAARSの研究では、実際の過去のA/Bテスト結果とAIエージェントのシミュレーション結果を比較しています。その結果、3つ中2つのテストで売上の増減方向について人間とAIの結果が一致しました (PAARS: Persona Aligned Agentic Retail Shoppers) (PAARS: Persona Aligned Agentic Retail Shoppers)。」山田さんが「おお、かなりの的中率ですね！」と驚くと、田中さんは「全部ではないけど、2/3は心強いね」とメモに書き込みます。「ただし…」と鈴木さんは指を一本立てました。「注意すべき点があって、AIは効果の大小を誇張しがちなんです」。実際その研究では、AIシミュレーション上の売上増減幅は人間実測の10～30倍にも達しました (PAARS: Persona Aligned Agentic Retail Shoppers)。鈴木さんは「AIエージェントたちは購入に前のめり過ぎる傾向があり、そのせいで差分が大きく出すぎたと分析されています (PAARS: Persona Aligned Agentic Retail Shoppers)。現状のモデルでは『買い物を最後まで完了する』率が人間より高めに出るバイアスがあるようですね」と説明しました。「幸い方向性は合っていたので、効果がプラスかマイナスかの予測には使えますが、数値の絶対値は調整が必要ということです。」

山田さんがノートを見返しながら質問します。「AIが前のめりってのは、どうして起こるんでしょう？」鈴木さんは「LLM自体がデフォルトでは『ユーザーの役に立つ答えを出そう』とするため、購買シナリオではつい『購入する』方向に動きやすいのかもしれません。また、学習時に成功（購入）事例を重視しすぎると、買いすぎる癖がつく可能性もありますね」と推測します。「この点、モデルを調整（ファインチューニング）すると改善できるという報告があります」と付け加えました。「Amazonの別チームの研究では、実際の購買行動データ数万件を用いてLLMを追加訓練（ファインチューニング）し、より人間らしい挙動を再現できたそうです ([2503.20749] Beyond Believability: Accurate Human Behavior Simulation with Fine-Tuned LLMs)。具体的には、モデルに人間の行動履歴と、そのとき人間が頭の中で考えていそうな理由づけ（推論）までセットで学習させたところ、行動予測の精度が大きく向上したとのことです ([2503.20749] Beyond Believability: Accurate Human Behavior Simulation with Fine-Tuned LLMs) ([2503.20749] Beyond Believability: Accurate Human Behavior Simulation with Fine-Tuned LLMs)。」田中さんは興味深そうに「なるほど、行動の裏の理由も覚えさせるわけだ」とつぶやきます。

([2503.20749] Beyond Believability: Accurate Human Behavior Simulation with Fine-Tuned LLMs)鈴木さんはスマートフォンを取り出し、「こちらがその研究の概念図です」と見せてくれました。図には、ある商品のウェブページHTMLが「コンテキスト」としてAIに与えられ、AIが「リーズナブルで品質も良さそう…」といった推論（理由づけ）を生成し、次に「{type: click, target: ...}」といった行動を出力する流れが描かれています。このAIはファインチューニング済みモデルで、人間の行動データ＋推論を学習しています。その結果、従来のプロンプトだけで動かしたモデルよりも次の行動予測の正解率が大幅に上がったそうです ([2503.20749] Beyond Believability: Accurate Human Behavior Simulation with Fine-Tuned LLMs)。さらに鈴木さんは続けます。「面白いのが、調整したモデルは無闇に購入ボタンを押さなくなった点です ([2503.20749] Beyond Believability: Accurate Human Behavior Simulation with Fine-Tuned LLMs)。学習データに実際の『買わない選択』も含まれているので、人間らしく“買わない”という行動も適切に再現できるようになったんですね。」山田さんは「つまり、AIにちゃんと現実のデータでしつけをすると、『とにかく買う』みたいな極端な行動が減ると」と笑顔でまとめました。

オフラインシミュレーションでマーケティング施策を評価

議題は新機能のテストでしたが、山田さんはふと別のアイデアを思いつきます。「サイト改修だけじゃなくて、マーケティング施策の反応も仮想顧客で試せるんでしょうか？例えば新しいクーポンを発行したらユーザー行動がどう変わるかとか…」田中さんも「それは面白い。広告キャンペーンの効果検証とかにも応用できたら嬉しいね」と乗り気です。鈴木さんは頷き、「はい、既にCXSimulatorという研究ではそれが試されています」と答えました。

「CXSimulatorでは、ユーザーの行動履歴に出てくるイベント（例: 商品閲覧、クーポン適用、購入など）をすべてテキスト記述として扱い、LLMで埋め込みベクトルに変換します ([2407.21553] CXSimulator: A User Behavior Simulation using LLM Embeddings for Web-Marketing Campaign Assessment)。そしてあるイベントから次のイベントへの遷移を予測するモデルを学習させるんです」と鈴木さん。 ([2407.21553] CXSimulator: A User Behavior Simulation using LLM Embeddings for Web-Marketing Campaign Assessment)ホワイトボードには点と矢印からなる行動フロー図が描かれました。「例えば通常は『商品閲覧→カート追加→購入』という流れが多いユーザーがいたとして、新たに『クーポン適用』というイベントを途中に入れたら、その後の購入率がどう変わるかをこのモデルでシミュレーションできます。」山田さんが「まさにユーザー行動のパスをグラフ上で辿る感じですね」と言うと、鈴木さんは「その通り。そして、この手法を使えば新しいキャンペーンをオフラインでテストできるんです」と頷きます。「ユーザーに実際にクーポンを配る前に、過去データから学習したモデルで何が起きそうか予測できるわけです。研究ではGoogleの公開している通販サイトデータで検証していて、ある程度現実と一致する結果が得られています ([2407.21553] CXSimulator: A User Behavior Simulation using LLM Embeddings for Web-Marketing Campaign Assessment)。」

「他にもAgentA/Bという取り組みでは、もっと直感的にウェブサイト上でのA/Bテストを丸ごとシミュレーションしています」と鈴木さんは資料をめくりました。「こちらは実際のWebページに仮想ユーザーがアクセスして操作する形式で、UIの違いによる影響を調べるものです。ケーススタディではAmazonのサイトを使い、10万件もの多様なペルソナをまず生成してから、それを元に1,000人規模の仮想ユーザーを動員しています (AgentA/B: Automated and Scalable Web A/B Testing with Interactive LLM Agents) (AgentA/B: Automated and Scalable Web A/B Testing with Interactive LLM Agents)。」田中さんも山田さんも思わず目を見張ります。鈴木さんは続けます。「具体的には、コントロール（現状）ではサイトの左側に全フィルターオプションを表示し、処理群（テスト案）では絞り込んだ主要オプションだけを表示するようにUIを変更しました。そして仮想ユーザーたちにショッピングさせてみたところ…処理群のユーザーは購入件数やフィルター操作が増えたんです (AgentA/B: Automated and Scalable Web A/B Testing with Interactive LLM Agents)。」山田さんが「それってつまり、オプションを減らした方が色々試して買ってくれるユーザーが多かったと？」と確認すると、「ええ。そして興味深いのは、人間のユーザーテストでも同じ傾向が観測されたという点です」と鈴木さんは付け加えました (AgentA/B: Automated and Scalable Web A/B Testing with Interactive LLM Agents)。「つまり、AIの仮想顧客で試した結果は現実の人間でも再現されたことになります。」田中さんは「すごい！本物のA/Bテストと同じ方向性の結果が事前にわかれば、大きな武器になりますね」と笑顔になります。

「もっとも、完全に人間と同じというわけではありません」と鈴木さんは慎重な口調で言いました。「このAgentA/Bの研究では、仮想ユーザーは人間より目的志向が強く、早く購入まで進みすぎる傾向も確認されています (AgentA/B: Automated and Scalable Web A/B Testing with Interactive LLM Agents)。実ユーザー100万人分の行動と比べると、仮想ユーザーの方が迷わず一直線に目的を達成してしまうので、操作手順の長さが短かったんです (AgentA/B: Automated and Scalable Web A/B Testing with Interactive LLM Agents)。現実のユーザーはもっと寄り道したり迷ったりしますからね。」山田さんは「確かに、私も通販サイトでは色々比較検討してつい長居しちゃいます」と笑いました。「こうした違いはありますが、逆に言えば仮想ユーザーは効率的に問題点を炙り出してくれるとも言えます」と鈴木さん。「少なくともUIの変更で大きな不都合があればすぐ検出できますし、細かい調整は別途人間のテストで確認する、といった使い分けができるでしょう。」

仮想顧客シミュレーションのメリットと限界

田中さんはホワイトボードに「メリット」と書き、鈴木さんと山田さんに振り返りました。「では、仮想顧客エージェントを使う利点は何でしょう？」と尋ねます。鈴木さんはすかさず答えます。「まずスピードとコストです。例えばGPT-3.5を使ったある研究では、1万件以上の架空の購買アンケート回答をたった30分で生成しています (Synthetic testing and the future of AI-powered Living Audiences - BOI (Board of Innovation))。従来なら何週間もかかる大規模調査が、圧倒的な速さと低コストでできるわけです。」 (Synthetic testing and the future of AI-powered Living Audiences - BOI (Board of Innovation))山田さんは「確かに、人件費も参加協力のインセンティブも不要ですもんね」とペンを走らせます。「次に柔軟性です」と鈴木さん。「実ユーザーを集めにくいシナリオでもテストできます。例えば新機能の受容度を調べるアンケートや、滅多に現れないニッチなユーザー層（高齢のゲーマーとか）の反応も、AIなら必要なペルソナを作って用意できます (PAARS: Persona Aligned Agentic Retail Shoppers)。現実には母集団に占める割合が小さいグループの意見も、シミュレーションなら均等に検証できますね。」田中さんは「それは今まで出来なかった切り口だ…マイノリティ層の声を事前に汲み取れるのは大きい」と感心しています。

一方で、鈴木さんは「限界も認識しておく必要があります」とホワイトボードに太字で書き足しました。「まず、深みやリアリティの限界。 (Synthetic testing and the future of AI-powered Living Audiences - BOI (Board of Innovation))AIの返答や行動は時に表面的で、微妙な心理描写や行動の揺らぎが足りないことがあります (Synthetic testing and the future of AI-powered Living Audiences - BOI (Board of Innovation))。たとえば商品レビューを読んでじっくり悩むような、人間らしい逡巡を完全に再現するのはまだ難しいかもしれません。」 (Synthetic testing and the future of AI-powered Living Audiences - BOI (Board of Innovation)) (Synthetic testing and the future of AI-powered Living Audiences - BOI (Board of Innovation))山田さんはうなずき、「AIは論理的に動きすぎて、人間ならではの矛盾した行動とか衝動買いみたいなのは苦手そうですね」と言います。「その通り。あと現実とデータのずれも問題です」と鈴木さん。 (Synthetic testing and the future of AI-powered Living Audiences - BOI (Board of Innovation))「AIの元になる学習データが古かったり偏っていたりすると、新しいトレンドや製品に対する反応は正しくシミュレートできません (Synthetic testing and the future of AI-powered Living Audiences - BOI (Board of Innovation))。常に最新の市場状況を反映させるには、定期的な追加学習やプロンプトの工夫が必要でしょう。」田中さんも「トレンドが変わったら仮想顧客もアップデートしないとね」と応じます。

「それとプロンプト設計にも気を配る必要があります」と鈴木さんは指摘します。「AIの挙動は与える指示次第なので、不適切な指示ではトンチンカンな動きになる危険があります (Synthetic testing and the future of AI-powered Living Audiences - BOI (Board of Innovation))。ペルソナの設定やタスクの与え方は、現実のデータや専門家の知見を踏まえて慎重にデザインする必要がありますね。」さらに鈴木さんは少し声を落として続けました。「バイアスの問題も見過ごせません。 ([2503.24228] PAARS: Persona Aligned Agentic Retail Shoppers)LLMは訓練データ由来の偏りを持つことがあり、例えば有名ブランドを過剰に好むブランド偏向や、星5評価を連発するレビュー評価バイアスが報告されています ([2503.24228] PAARS: Persona Aligned Agentic Retail Shoppers)。またマイナーな属性の表現が弱いこともある ([2503.24228] PAARS: Persona Aligned Agentic Retail Shoppers)。そうした偏りがあるままでは、仮想顧客の行動も偏ってしまいかねません。研究者たちは人間のデータに合わせ込む（アラインする）ことでこれを緩和しようとしていますが ([2503.24228] PAARS: Persona Aligned Agentic Retail Shoppers)、企業で応用する際も偏りをモニタリングして調整することが大事です。」

田中さんはホワイトボードの「メリット」「限界」一覧を眺め、「つまり仮想顧客シミュレーションは、迅速で柔軟な予測ツールとして非常に有用だが、完全な答えではなく指標やヒントと捉えるべきということだね」とまとめました。鈴木さんも「ええ、そのとおりです」と頷きます。「現実のユーザー調査やA/Bテストを完全に置き換えるものではなく、むしろその前段階のガードレールとして使うイメージです (PAARS: Persona Aligned Agentic Retail Shoppers)。先にAIでリスクが高そうな案を排除し、有望な案に絞り込んでから実際のユーザーで検証すれば、試行錯誤のサイクルを格段に高速化できます (PAARS: Persona Aligned Agentic Retail Shoppers)。」 (PAARS: Persona Aligned Agentic Retail Shoppers)「そうすれば競合他社より素早く改善を回せる、と」と田中さんは笑顔を見せます。

まとめ

会議の最後に、田中さんは「よし、まずはこの仮想顧客シミュレーションを小規模に試してみよう」と宣言しました。「自社の過去データでペルソナを作って、AIエージェントがどんな行動をするか見てみたいですね」と山田さんも乗り気です。鈴木さんは「ではプロトタイプを私のチームで準備します。幸い最新の研究事例も揃っていますから、きっと良い結果が出せると思いますよ」と応じました。

こうして仮想顧客たちによる新しい実験手法の第一歩が踏み出されました。LLMエージェントが生み出す購買シミュレーションは、マーケターにとって頼もしい仮想モニターとなりつつあります。もちろん人間そのものではないにせよ、その「それっぽさ」や意思決定の再現性は日々向上しています。実際、アメリカでは約43%の小売企業がこうした自律AI技術の実験を進めており、さらに53%が活用を検討中だといいます (5 key stats on the rise of agentic AI in retail)。仮想顧客シミュレーションは、近い将来マーケティングやUX改善の現場で当たり前のツールになるかもしれません。その成功のカギは、AIの力を上手に借りつつも人間の理解と創意工夫で舵取りをすること。田中さんたちは、自社の仮想顧客たちが見せてくれる未来のユーザー行動に胸を躍らせています。

参考文献