LINE公式アカウントのテスト配信｜A/Bテストの組み方と判定

このページでわかること

こんにちは、あきです。

配信の話が3回続きました。第16回で送り方、第17回で中身、第18回で送る相手。このページは、出す前に確かめる話と、出したあとに比べる話です。

先に、いちばん大事なことを書きます。LINE公式アカウントの標準機能に、A/Bテストはありません。 広告のほうにはありますが、メッセージ配信にはボタンがありません。

だから検索して出てくる「LINEでA/Bテストをする方法」の多くは、外部ツールの紹介になります。このページはツールを使わずに、標準機能だけで2案を比べる手順を書きます。 完璧な仕組みではないので、その限界も正直に書きます。

そしてもう1つ。比べる以前に、判定できない状態で比べている人がとても多いです。 LINEの分析には集計の仕様があって、それを知らないと、出た数字を読み違えます。ここも扱います。

まずこれだけ｜テスト配信で自分に送る

メッセージ作成画面の下に「テスト配信」というボタンがあります。配信を押す前に、必ずここを通してください。

理由は単純です。パソコンの入力欄で読みやすく見えても、スマホのトーク画面では長すぎる、ということが本当によく起きます。 プレビューも出ますが、実機で見るのがいちばん確実です。

見るのは4つだけで足ります。

見るところ	よくある失敗
1行目	通知に出る部分が「いつもありがとうございます」で終わっている
長さ	スマホで2画面以上スクロールする
リンク	押せる形になっていない、飛び先が違う
画像	文字が小さくて読めない

テスト配信が届く先は、連携の状況で変わります

ここは公式に明記されています。LINEビジネスIDがLINEアカウントと連携しているかどうかで、届く先が変わります。

ビジネスIDの状態	届く先
LINE連携が未連携	管理者と運用担当者のうち、LINE連携が済んでいる人にだけ届く
LINE連携が済んでいる	「自分」か「すべての管理者と運用担当者」を選べる

「テスト配信を押したのに届かない」の原因はほぼこれです。 自分のビジネスIDがLINEアカウントと連携していないと、自分には届きません。連携の確認は管理画面の設定からです。歩き方は第9回にあります。

なお、下書きの詳細画面からもテスト配信ができます。 下書きは1,000件まで保存できるので、作りかけを置いておいて、あとから確認する流れも組めます。

標準機能にA/Bテストはありません

管理画面を探しても、A/Bテストのボタンは出てきません。公式のマニュアル一覧にも項目がありません。

これは欠点ではなく、前提です。 ないものを探して時間を使うより、あるもので組んだほうが早いです。

使える部品は3つあります。

部品	何ができるか
一部のターゲットへの配信を許可	ターゲットが上限を超えたとき、配信対象からランダムに選んで配信する
配信メッセージ数の上限を指定	送る通数の上限を決める。上の項目がオンでないと選べない
過去の配信を除外する	前回送った相手を外して配信する（認証済アカウントのみ）

この3つを組み合わせると、2案を別々の相手に送れます。 手順は次の章です。

標準機能だけで2案を比べる手順

やることは4ステップです。友だちが1,000人以上いる前提で書きます。

ステップ1｜A案を、人数を決めて送る

1. メッセージを作る 2. 配信先で「絞り込み」を選ぶ（ここは後で効きます） 3. 高度な設定で「一部のターゲットへの配信を許可」にチェックを入れる 4. 「配信メッセージ数の上限を指定」にチェックを入れて、送る数を入力する 5. 配信する

指定した数だけ、対象からランダムに選ばれて届きます。

ステップ2｜B案を、A案の相手を外して送る

1. B案のメッセージを作る 2. 配信先で「絞り込み」を選び、「オーディエンス・過去の配信」を開く 3. 「過去の配信」タブでA案の配信を選び、「除外する」にする 4. 同じ人数を指定して配信する

これでA案とB案が別々の相手に届きます。 同じ人が両方受け取ることがなくなるので、比べられる形になります。

ステップ3｜14日待つ

ここを待てない人がほとんどです。 理由は次の章に書きます。

ステップ4｜率で比べる

送った人数が完全には揃わないので、数ではなく率で見ます。 開封率とクリック率です。

この方法の限界を、正直に書きます

厳密なA/Bテストではありません。 理由を3つ挙げます。

1つ目。ランダム抽出なので、2つのグループの中身が完全には揃いません。 公式の説明では「配信日時時点の属性情報の推計が可能な友だちからランダムで配信されます」となっています。人数が少ないほど偏ります。

2つ目。指定した数と実際の配信数が一致しないことがあります。 これも公式に明記されています。

3つ目。「過去の配信」は認証済アカウントでしか使えません。 さらに、対象になるのは絞り込みを設定して配信したメッセージだけで、配信完了から2週間で選べなくなります。ステップ1で絞り込みを選んでおくのは、このためです。

未認証アカウントの場合は、A案とB案を別の日に全員へ送って、時期の差を承知のうえで比べるしかありません。 認証の取り方は第5回にあります。

何を比べるか｜1回に1か所だけ変える

これが守れないと、何をやっても分かりません。

2案の違いを2つ以上作ると、どちらが効いたのか永久に分からなくなります。変えるのは1回に1か所だけです。

比べる価値がある順に並べます。

順	変えるところ	なぜ効くか
1	1行目（通知に出る部分）	開くかどうかがここで決まる
2	送る時間帯	見られる時間そのものが変わる
3	画像かテキストか	押せる面積が変わる
4	押させたい先の数	1つと3つでは押される率が変わる
5	言い回し	効くが、差が小さくて判定しにくい

1番から始めてください。 1行目を変えるのがいちばん手間が小さく、差がいちばん大きく出ます。

5番は最後です。 言い回しの差は小さいので、友だちが数千人いないと判定できません。

判定する｜数字が出るまでの仕様を知る

ここがこのレッスンの本体です。LINEの分析には集計の仕様があって、知らないと数字を読み違えます。

仕様1｜各指標は配信から14日間集計されます

公式に明記されています。 配信の翌日に見た数字は、まだ途中経過です。

14日待ってから比べてください。 翌日の数字でA案の勝ちと決めて、B案を捨てるのがいちばんもったいない失敗です。

仕様2｜配信直後の24時間は推定値です

グラフは配信直後から24時間は約30分刻みで更新され、それ以降は1日ごとの更新になります。そして約30分刻みで更新される値は推定値で、実際の数値と1%程度の誤差が生じる場合があると書かれています。

当日の数字は、動いているところを見ているだけです。

仕様3｜結果が20未満だと数字が出ません

これがいちばん引っかかります。公式の表示ルールはこうです。

指標	結果が20未満のとき
配信	実数値が表示される
開封	「0」と表示される
その他の指標	「ー」と表示される

開封が「0」なのは、本当に0だからではありません。 20未満だと0と表示される仕様です。ここを知らずに「誰も開封していない」と判断すると、まったく違う打ち手を選ぶことになります。

つまり、片方に100通ずつ送るような小さいテストでは、そもそも判定できません。 開封が20人以上出る規模が要ります。

仕様4｜開封の定義が独特です

「開封」は、いずれかの吹き出しを100%表示した時点でカウントされます。 そしてトークルームを開かずに既読にされた場合はカウントされません。

つまり、既読の数と開封の数は別物です。 トークリストの一覧で内容だけ見た人は、開封に入りません。

開封率が思ったより低く出るのは、この定義のせいです。 他社の記事に出ている平均値と比べても意味がありません。自分のアカウントの過去の数字と比べてください。

判定できるようになるまでの仕様を、1枚にまとめておきます。

仕様5｜1回で決めない

上の4つを踏まえると、結論はこうなります。

同じ比べ方を3回やって、3回とも同じ側が勝ったら採用する。 1回の差は、配信した曜日と時間帯と、その日のニュースで簡単にひっくり返ります。

これは面倒に見えますが、逆です。 1回の結果で方針を変えると、毎回違うことをやることになって、いつまでも型が決まりません。

キャンペーンでまとめて見る

管理画面に「キャンペーン」という機能があります。複数のメッセージに同じキャンペーンを設定すると、キャンペーン単位で集計できます。

使い方は2つです。

使い方	中身
シリーズの合計を見る	3回に分けた告知をまとめて集計する
テストの記録を残す	同じテストの2案に同じキャンペーンを付けて、後から探せるようにする

特に2つ目が効きます。 配信が増えてくると、どれとどれを比べたのか分からなくなります。キャンペーン名に「1行目テスト 9月」のように書いておけば、あとから一覧で追えます。

分析タブの「メッセージ配信」で「キャンペーン」タブを選ぶと、まとめた結果が見られます。

つまずきポイント

テスト配信が届きません

ビジネスIDがLINEアカウントと連携していません。 上の表をもう一度見てください。連携していない場合、届くのは連携済みの管理者と運用担当者だけです。

予約した時刻ちょうどに配信されません

公式に注記があります。 混雑状況によって遅延が発生する場合がある、と書かれています。そのうえでキリの良い時間帯（00:00、12:00など）の指定配信を避けることで緩和が期待される、とあります。

「12時00分」ではなく「12時11分」にする。 これだけで遅れにくくなります。テストの条件を揃えたいなら、なおさら時刻はずらしてください。

短縮URLを使ってもいいですか

公式が非推奨としています。 メッセージ作成の画面に「短縮URLの使用は非推奨となります」と書かれています。計測したいなら、短縮URLではなくパラメータを付けたURLを使ってください。

配信メッセージ数の上限が選べません

「一部のターゲットへの配信を許可」がオフです。 これをオンにしないと、上限の指定はグレーのままです。

もう1つ、配信先を「属性の絞り込み」にしている場合、50通以下の通数指定はできません。

テストのために通数を使うのがもったいないです

その感覚は正しいです。 だからテストは、送る内容が決まっていて、これから何回も送るものだけでやってください。一度きりの告知でテストしても、学びが次に使えません。

何回テストすればいいですか

同じ比べ方で3回です。 それ以上やっても、その間に季節も友だちの構成も変わります。

数字の見方

見る順番を決めておくと、迷いません。

1. 配信 … 何人に届いたか。ここが揃っていないと比較にならない 2. 開封 … 20人以上出ているか。出ていなければ判定不能 3. 開封率 … 1行目と時間帯の勝負。ここを最初に上げる 4. クリックユーザー … 中身とリンクの勝負 5. クリック率 … 開いた人のうち何人が押したか

3番と5番を分けて見てください。 開封率が低いのに中身を直しても効きません。開かれていないのだから、直すべきは1行目です。

吹き出しごとの数字は「詳細を表示」から見られます。

2つ目の吹き出しだけクリックが少ない、というときは、そこだけ差し替えれば済みます。 配信全体を作り直す必要はありません。

なお分析画面では、セグメント別の表示は2025年3月1日以降に配信されたメッセージだけが対象です。それより前の配信は、セグメントで割った数字が出ません。

慣れたらここまで｜記録が残っていないと積み上がらない

テストの結果を管理画面だけで管理するのは無理です。 配信が100件を超えると、どれが何のテストだったか分からなくなります。

残すのは5つだけで足ります。

項目	例
日付と時刻	9月10日 12時11分
変えた1か所	1行目
A案	「今週の入荷です」
B案	「3日だけの入荷です」
14日後の開封率	A 32% ／ B 41%

この5行を配信のたびに1行ずつ足していくだけで、半年後には自分のアカウントの型が見えます。 他社の平均値より、これのほうがはるかに役に立ちます。

そして勝った型は、配信だけでなく他の場所にも効きます。 第13回のあいさつメッセージ、第19回のステップ配信。1行目の書き方は全部同じ理屈です。

突き詰めるなら｜テストする前に、テストする価値があるかを見る

最後に、身も蓋もない話を書きます。

友だちが500人以下のアカウントで、A/Bテストをやる価値はほとんどありません。 20未満だと数字が出ない仕様がある以上、片側250人では開封が20人を超えるかどうかの勝負になります。差が出ても偶然と区別できません。

その段階でやるべきは、テストではなく友だちを増やすことです。 第24回にあります。

では500人以下のときに何もしないのかというと、違います。 やることは1つあって、毎回テスト配信を通して、自分のスマホで読むことです。これは人数に関係なく効きます。

読み返して「自分なら押さないな」と思ったものは、友だちも押しません。 数字が出ない規模では、この判断がいちばん確かな指標です。

次のレッスン

ここまでで、配信の一通りが揃いました。次は、集める側に戻ります。

第26回では、友だち追加広告を扱います。友だちが増えたときにだけ料金がかかる仕組みなので、広告の中では始めやすい部類です。 ただし出せる条件が4つあって、しかも月の上限で止まります。そこを先に整理します。

前のレッスンは第18回 絞り込み配信とオーディエンスです。

この講座は全38回のカリキュラムです。第1回から順に読み進められます。