2年後に5倍のエンゲージメントもたらすヘッドラインテスティング。その長期分析結果
by JOSH SCHWARTZ（原文）2024.05.07
Chartbeatの記事タイトルA/Bテスト機能「ヘッドラインテスティング」はグローバルパートナーの間でますます人気になっています。世界最大手のパブリッシャーのなかにはトップページの最適化に欠かせないと考えているところもあり、週に1,000回以上テストを実施しているサイトを見たこともあります。
ヘッドラインテスティングは2つの方法で価値を提供します。ひとつは定量的な観点で、テストをした各記事のエンゲージメントを直接的に高めること。もうひとつはそのデータに基づいて編集チームがより良いタイトルの書き方を学べることです。
私たちはこの2つ目のユースケースに関連して、定期的に「ヘッドラインテスティングの価値は時間の経過とともに低下するのか」聞かれます。数カ月間ヘッドラインテスティングを実施すると編集者がどんな見出しが効果的か理解するようになると仮定すれば、テストを続けることの重要度は低くなり、次第にヘッドラインテスティングが減価償却資産になる、と考えての質問でしょう。
しかし私たちの調査によれば、ヘッドラインテスティングの価値は時間とともに高まるばかりか、エンゲージメントを着実に促進しつづけることも示唆されています。
ヘッドラインテスティングの質を長期分析
ヘッドラインテスティングの価値が減っていくのか調べるため、私たちはこの機能のローンチ以来実施されてきた100万以上のテストデータを調べました。
まずテストによる改善が時間の経過とともに変化するかを見てみます。効果を定量化するために2つの指標に注目しました：
- もっとも高いエンゲージメントを引き出すタイトルになった非オリジナルタイトルの割合
- 勝者タイトルのエンゲージメントの平均上昇率
この2つの指標を用いると、ヘッドラインテスティングの効果は時間の経過とともにほぼ一定であることがわかりました。あるサイトがヘッドラインテスティングを使いはじめた当初は、テストの約65%でオリジナルではないタイトルが勝者となり、平均上昇率は約45%でした。
記事タイトルのテストをする文化がはじまった直後からそうなる事は予想できていましたが、下のグラフに見られるように2年が経ってもその割合は変わっていません。
このことから、テストがエンゲージメントを引き上げつづけているのは間違いありません。編集者は時間をかけてオリジナルの見出しを書くのがうまくなっていると言えますが、別の見出しを書くのもうまくなっています！
しかし、テストをする活動自体も考慮すると、話が変わってきます。
記事タイトルをテストする文化をつくる
私たちは、ヘッドラインテスティングでもっとも成功しているユーザーは重要な記事タイトルのアイデアをブレーンストーミングすることに特化したSlackルームやチームミーティングなど、テストを文化に組み込んでいるユーザーであることを発見しました。テストをすればするほどそれにまつわる文化が強くなっています。
文化の構築には時間がかかります。しかし、あるサイトでヘッドラインテストを実施する人の数は、平均してテスト開始1年目に約44％、2年目にはさらに49％増えることをデータが裏付けています。
テストをする人が増えればテストの数が時間の経過とともに増えるのは当然なのですが、私たちは実際にテスト数が大幅に増加しているのを目の当たりにしています。正確にいえば、ツールを使用したサイトの最初の2年間で実行されたテストの数は411%増加しています。
このデータとテストの上昇率が一定であるという事実を組み合わせるとおもしろい発見があります。平均的なパブリッシャーは、ツールを使いはじめたときと比べて、2年後に5倍以上のエンゲージメントをヘッドラインテスティングで促進しているのです。
タイトルテストの持続的な効果
冒頭で紹介した「ヘッドラインテスティングの価値は時間の経過とともに低下するのか」という疑問は、読者へのインパクトがもっとも高い最適化に確実に時間を割く必要があるグローバルパブリッシャーにとってとくに重要です。この分析によって記事タイトルのテストには具体的なメリットがあることがおわかりいただけたと思います。
その他の重要なポイントをいくつか挙げましょう。
- 私たちの分析はヘッドラインテスティングが引きつづきエンゲージメントを促進していることを示唆している。編集者は時間をかけてオリジナルのタイトルを書くのが上手になっているだけでなく、魅力的なバリエーションを作る能力も向上している。
- 一貫性が重要。ヘッドラインテスティングの価値はテストの数が増えても衰えることがない。それどころか長期的にエンゲージメントを高めている。
- ヘッドラインテスティングの文化と持続的なエンゲージメントとの関連も見られる。チームによってテストが推進され、分析され、反復されればされるほど、その結果は長期にわたってより強固なものとなる。
株式会社キメラ（英語表記: Ximera, Inc.）
〒150-0031 東京都渋谷区桜丘町23番17号