DX station

Sitecore での A/B テスト

渡辺 亮太

こんにちは。 Sitecore MVP の渡辺です。

Sitecore のマーケティング機能を活用してできることを、シリーズでご紹介していますが、
今回は「 Sitecore での A/B テスト」です。

マーケティング担当の方であれば、「 A/B テスト」という言葉を、よく耳にするかと思います。
しかしながら、Web サイトの運用・改善のサイクルの中に、 A/B テストを常態的に取り入れられている企業は、意外と少ないと感じています。

A/B テストを取り入れられていない理由として、「 A/B テストを実施する意義がいまいち分からない」「 A/B テストを実施できる環境がない」と、考えられている方もいらっしゃるかと思います。

今回は、そんな方向けに A/B テスト実施の意義と、 Sitecore で A/B テストを行うことの利点や機能について、ご紹介します。



A/B テスト実施の意義

Web サイト内のコンテンツを作成・変更する際に、デザインや文言を担当者の勘や経験、それからネットや書籍などで公開されている成功例だけをもとに、決めてしまっていませんでしょうか。
もちろん、培ってきた勘や経験も大変貴重なものですが、潮流や情勢が刻々と変わっている中で、過去に成功したものが、そのまま成功し続けるかは分かりません。
また、公開されている成功例は、あくまでも他社で成功したものであって、それが自社でも成功するとは限りません。

「じゃあ、何をもとに決めれば良いんだ!?」となったときに使うべきなのが、
複数のコンテンツパターンを、一定割合のサイト訪問者ごとに別々に表示させ、その訪問者の行動データをもとに、コンテンツの勝ちパターンを決める、 A/B テストです。

簡単な例で言うと、 Web サイト内の「お申込み」のような、CTA( Call To Action )ボタンのデザインを複数パターン用意して、各パターンを一定の割合の訪問者に分配して表示させ、クリック率・コンバージョン率が最も高いものを、勝ちパターンと判断します。

pattern
自社サイト内での訪問者の行動データという事実をもとに、勝ちパターンの判断を行いますので、その勝ちパターンを採用することで、以降の成功確率が高まると言えます。
この A/B テストを行うにあたって、重要なポイントが2つあります。

1つ目は、「各パターンを同時にテストすること」です。
2週間「 A パターン」を表示して、次の2週間で「 B パターン」を表示して比較するというように、時期をずらして比較を行われることがありますが、この場合は他の外的要因が結果に影響を及ぼしてしまう可能性があります。
外的要因を排除するために、各パターンを同時にテストすることが重要です。

2つ目は、「テスト結果を正しく分析できること」です。
各パターンの効果について、コンバージョン率だけでは勝者が明確にならないこともありますので、マイクロコンバージョンを含め、事前に定義した複数の指標で、効果を比較・評価できることが重要です。
また、テスト結果について統計的な信頼度を確認することも重要で、この値によってその時点で勝者の判定をして良いか、あるいはまだテストを継続するべきかを判断できます。


Sitecore で A/B テストを行う利点

前章で A/B テストの意義について触れましたが、この A/B テストを Sitecore のマーケティング機能を利用して行えます。

Sitecore で A/B テストを行う利点として、普段 Sitecore を利用している方であれば、使い慣れているインターフェースで A/B テストの設定ができることとなるため、新しいツールとして覚える必要がありません。
新しいツールの場合には、導入するまでのハードルが高かったり、操作に慣れるまでに時間が掛かることがあるという難点を解消できます。

また、 Sitecore 上に登録してある画像やコンテンツなどのアイテムを、 A/B テストに利用できますので、テスト実施前のコンテンツ準備の時間を削減できます。

もちろん、前章で挙げた、 A/B テストにおける重要ポイントである、「各パターンを同時にテスト」と「テスト結果を正しく分析」についても、 Sitecore の A/B テストの機能で実現可能です。


機能

Sitecore での A/B テストには、「コンポーネントテスト」と「ページテスト」の2つの方法があります。


コンポーネントテスト

Web ページ内の、特定のコンポーネントの A/B テストをする場合に、コンポーネントテストを利用します。
ボタン・画像・テキストなどが含まれるコンポーネントの別パターンを用意して、 A/B テストを行います。

コンポーネントテストは、 Sitecore の <エクスペリエンスエディター> で、テスト対象のコンポーネントをクリックして表示されるツールバー内の、「コンポーネントのテスト」を選択して表示されるダイアログボックスで、設定ができます。

component_test


ページテスト

Web ページ全体の A/B テストをする場合に、ページテストを利用します。
ページ全体を異なるデザインとする場合に、ページコンテンツの「別バージョン」または「別コンテンツ」を用意して、 A/B テストを行います。

ページテストは、 Sitecore の <エクスペリエンスオプティマイザー> で、「ページテストを作成」ボタンをクリックして表示されるダイアログボックスで、設定ができます。

page_test


テスト結果レポート

A/B テストの結果は、 <エクスペリエンスエディター> の「テスト結果」から、レポートを表示できます。
このレポートで、テストを行った各パターンについて、どれだけの効果があったかを、複数の指標で詳細に確認できます。

test_result
■ベストエクスペリエンス効果
最も効果の高かったテストパターンが、デフォルトパターンと比較して、何%エンゲージメントバリューを向上させたかを示します。
※エンゲージメントバリューは、 前回の記事 で紹介した「ゴール」のアイテムで設定するポイントの値を基準に、算出されます。

■信頼度
テストの統計的な信頼度を示します。勝ちパターンの判定は、この信頼度が「90%」を超えてから行うのが望ましいとされています。

■上位ゴールコンバージョン
選択したパターン(エクスペリエンス)の、コンバージョン・マイクロコンバージョンの発生数/発生率と、デフォルトパターンに対しての上昇率を示します。


最後に

今回、 Sitecore で実践できる A/B テストを、ご紹介しました。
A/B テストによって、サイト訪問者の行動の結果をもとに、コンテンツの勝ちパターンを決めることで、サイトの成果向上の成功確率を高めることができます。
ぜひ、 Sitecore の利点を活かした効率的な A/B テストを、 Web サイトの運用・改善のサイクルの中に、取り入れてみてください。

Sitecore のマーケティング機能活用に関して、弊社にてご支援をさせていただくことが可能です。
ご不明な点やお困りの点がございましたら、お気軽にお問合せください。

お問合せはこちら

関連ブログ記事

Sitecore でマーケティング施策を行うための最初のステップ
Sitecore で実践!サイト分析 ―エクスペリエンスプロファイル―

関連ページ

導入からデジタルマーケティングのコンサルティングまでご支援 - Sitecore on Cloud
デジタルマーケティング・コンサルティングサービス

お問い合わせ

製品・サービスに関するお問い合わせはお気軽にご相談ください。

ピックアップ

セミナー情報
クラウドエンジニアブログ
clouXion
メールマガジン登録