什么是 A/B 测试以及如何在 Google Optimize 中进行 A/B 测试

ashammi298@gmai

让我们弄清楚什么是 A/B 测试、为什么需要它、如何进行它、启动它需要什么、测试需要多长时间以及如何解释结果。


斯坦尼斯拉夫·基洛夫,
iConText Group 网络分析小组负责人。
目录
1.什么是A/B测试。
2.为什么要进行A/B测试。
3.可以测试什么。
4.如何进行A/B测试。
5.运行 A/B 测试需要什么。
选择/创建目标。
选择/创建目标受众
6.什么是 A/A 测试以及为什么需要它？
7.测试需要多少流量和时间。
8.最短测试时间。
9.结果解释。
优势概率。
预计转化率。
预计的改进。
A/B 测试结果。
什么是 A/B 测试
假设网站上有一个带有目标按钮的页面，每次点击的转化率较低。为了改进它，我们提出一个假设：如果按钮是彩色的，而不是像现在这样黑白的，用户会更频繁地点击它，转化率也会增加。事实上，我们不知道这个假设是否会得到证实。

为此，我们进行测试并创建页面的第二个版本：选项 A - 带黑色按钮，选项 B - 新选项，带彩色按钮。然后我们运行测试。

访问该页面的用户按 50 比 50 的比例划分：

50%看到选项A，有一个黑色按钮；
50% 的人看到选项 B，带有彩色按钮。

测试结束时，我们测量按钮的转化情况并查看：如果 中国电话号码 选项 B 的转化效果更好，那么我们会将此版本推出到网站。

为什么要进行 A/B 测试
假设您已经优化了所有广告活动，并且 100% 确定您为网站带来了目标流量：您没有无效的关键字，所有位置的出价调整均设置正确，等等。同时，CPA（每次转化费用） Action)指标高：你在流量上花了很多钱，但转化却很少。另一个例子是废弃购物车或高废弃率的问题。

这并不是说广告活动带来了无针对性的流量。通常，问题出在网站本身：交互逻辑破碎、界面难以理解等。A/B 测试方法有助于解决这些问题。

可以测试什么
文本（例如标题和产品描述）。
转换按钮的外观或其位置。
转换形式的尺寸、外观和位置。
页面布局和设计。
USP（价格、产品形象、特性等）。
如何进行 A/B 测试
步骤 1. 研究

首先，我们对网站进行研究。在执行用户体验审核时，分析师会遵循一般规则和有关资源可用性的主观意见。但对分析师来说方便的东西并不一定对所有用户来说都方便。为了消除主观因素，进行A/B测试。

步骤 2. 假设的形成

在这个阶段我们提出假设。例如，网站上的这样那样的变化可以改善该指标。但它们可能不会改善，反而会恶化。这正是 A/B 测试将显示的内容。

步骤 3. 创建选项

我们创建不同的选项并进行测试：A - 旧选项，B - 新选项。

步骤 4. 运行测试

接下来，运行测试。由于假设可能不起作用并导致性能恶化，因此我们不会对所有流量进行测试，而仅对部分流量进行测试，例如对 10% 的用户：我们以 50/50 的比例向他们展示两种不同的选项。

假设每天有 1000 人访问该网站。我们随机选择 10% 的用户进行测试，即 100 个用户，然后将他们分成两组，各半：50 个用户看到选项 A，其余 50 个用户看到选项 B。

如果事件出现负面发展，这总体而言，这将使我们不会在转换方面陷入困境。

步骤5.结果分析

在测试开始之前计算两个样本的测试时间和用户数量。在给定时间后，当两个样本中有足够数量的访问者时，我们收集统计数据并分析结果。