ABtest 数据疑问，请 AB 达人进

[zorodesign]

实现方式

1.随机给用户种cookie 0~99
2.命中0~9的访问 A版本
3.命中10~99的访问 B版本

以下是问题

1.当js跳转方式为先到A版本，然后根据cookie判断是停留在A版本还是跳转到B版本时，B版本的数据优于A版本
2.当js跳转方式为先到B版本，然后根据cookie判断是停留在B版本还是跳转到A版本时，A版本的数据优于B版本

也就是说，先落地到哪个页面，哪个页面数据就差。更要命的是，两种测试差额数据恰好相等，类似数据镜像

各位有没有碰到过？谢谢~

[lyric]

信息太少了。这里最后比的是什么指标？

但是这个A/B测试的方法不对吧。首先测试组和对照组的量要尽量相同。其次跳转方式对不同版本是不公平的。考虑网速很慢的情况，若着陆点是A，即使用户配置是跳转B，也有可能因为加载失败没有机会看到B就滚粗了。

有可能因为网速问题拉低了第一个着陆点的数据，但是不知道你的评价指标，所以没法确定，也许你可以比较一下跳出用户的请求时间。

可以换一个测试方法：先统一跳到一个中间页面，然后读 cookies 跳两个不同页面。

[jobtesting]

你这样跳转有问题呀。
如果用户本身是B版本，你的实现无论如何都会从A版本跳到B版本吧。
这样就可以解释你数据相等的问题了。

[zorodesign]

@lyric 指标是当前页面转化率，应该不会受到网速问题的影响，如果没有到达下一个页面，当前页面的tracker也不会发送，这次访问不会被记录

[lyric]

@zorodesign 如果是页面的转换率，就存在2楼 @jobtesting 说的问题了。