优化可靠性

最后发布: 2016-12-08 18:52:22


问题

我们开始使用Optimizely,我们对结果感到震惊,因此我们开始制作积极的广告系列。 但后来我们意识到出了问题,我希望得到任何帮助。

我们在主页上测试(例如)而不是蓝色CTA,我们使用绿色CTA创建了一个变体,我们看到变换的转换率增加了35%。 然后我们切换了东西并将绿色CTA设置为控件,将蓝色CTA设置为变量。 如果绿色CTA确实更好,我们现在应该看到蓝色CTA变化导致转换率降低35%。 相反,变化带来了更高的转换率。

我无法确定我们做错了什么,但总的来说,所有变化的成功率都高于对照,但如果我们改变方向并将变化设置为控制,结果就不会切换。

optimizely
回答

你如何衡量转换? 以多种方式进行衡量通常是一种很好的做法 - 例如,对于CTA实验,我会测量点击次数,登陆链接重定向的页面,有效的表单提交等。扩展您对数据的看法并查看更改方式会影响其他部分的用户体验总是一个好主意。


回答

尝试:在结果页面上应用不同的段来识别每个变体的改进我建议设置90%的统计显着性如果你在2个单独的测试中测试,也许你没有让它在正确的时间我通常喜欢让他们在一周内避免季节性,


回答

您是否正在对已经运行的实验进行这些调整? 你应该记住,一旦你开始实验,用户就会被打断,所以在实验运行之后或者同时进行调整,例如切换属于控件的人,将不会让你感到新鲜。 如果您正在进行所描述的调整,那么您需要创建一个新实验。