給要做的A/B測試定個小目標,比如先跳過這4個坑。

你聽到每個人都大讚A/B測試,它是如何幫助一款產品降低跳出率,增加轉化及轉化價值,並帶來更多的銷售。但是,你做的A/B測試卻並沒有達到人們說的那麼神奇的效果。

事實上,不是每個獨立訪客都會注意到新的購買按鈕,你的註冊表單仍然會產生零轉化。而且,從產品頁跳轉過來的用戶看起來好像沒什麼變化。困境在於:即使轉化上來了,你也知道這是因為時間的累積而不是測試!

儘管你認為A/B測有效,並且有足夠的證據來證明它的價值。但問題在於,在設置測試時你就Z在不經意間破壞了你的A/B測試。在這篇文章中,我會告訴你殺A/B測試於無形中的四大誤區。

1.運行“快速”測試,難以發現真實問題

你知道,我敢肯定大多數轉化率專家聽到“快速”這個詞都會感到畏懼,但是我猜這也是從客戶那裡聽到的最多的一個詞。

關鍵是:A/B測試不是快速解決問題的靈丹妙藥。

如果你想找出那些對轉化率有积極影響的頁面元素,首先需要研究和理解你的受眾,他們對你的商業模式會做何反應,識別造成低轉化的潛在問題,最終,提出如何解決它的想法。然後,啟動A/B測試來驗證它們。這是增加你獲勝砝碼的唯一真實解決方案。

從另一方面講,“快速”分割測試着眼於方案而非問題。測試不同的按鈕顏色絕不是一個有意義的測試。相反,運行基於數據的測試來分析“添加到購物車”按鈕的性能才是有意義的。

2.要相信人為的合理決定限制了你的測試選項

事實上:作為市場人員,我們經常對客戶的喜好、信仰以及行為驅動因素做出假設。基於數據,我們試圖去猜測什麼原因會說服一個人做出購買決定,註冊一個郵件列表,或引起其它任何轉化。

然而,問題在於,我們缺乏合理依據。

例如,我們根據情緒而非邏輯做決定。南加州大學神經科學教授 Antonio Damasio 對大腦產生情感的區域受損的人群做了一個實驗,發現他們不僅無法感覺到任何情緒,而且他們也無法做出決定。

他的課題可以解釋這些人群在邏輯上的行為,但實驗證明做決定對他們來說是很困難的一件事。

我們經常迴避做決定。

例如,我們經常會選擇默認選項,因為這意味着根本不用做決定。

Dan Ariely 在他精彩的 TED 演講中解釋了這種行為:Are we in control of our own decision ? ( TED , December 2009)(觀看可能需要翻牆)

人們總是很容易接受建議

第一位研究人類行為的心理學家 Walter Dill Scott 寫道:“人類被稱為理性動物,但毋庸置疑,人類也是建議性生物。人是理性的,但很大程度上都會受別人建議的影響。”

想一想:什麼時候你會被朋友或認為有權威性的人那裡得到的建議所左右?什麼時候你買東西是因為你很信賴的人也買了它?或者去一個度假勝地只是因為你的朋友去過那裡?

我們來看看希拉里競選做的A/B測試中含有的暗示性信息:

1.注意這頁里的信息“Thank you”(背景左上角部位彈出),在捐助者捐助前展示,推動募捐。

2.“She’s with……”信息(在背景中同樣的地點,左上角彈出)

擁有的信息越多,我們所做的決策越差

奧斯丁大學的研究證明,我們對可用選項的信息越多,越會做出比較差的選擇,尤其是從長期結果來看。好吧,但是這根A/B測試有什麼關係呢?關係很大。

你可以看到:假設你的客戶基於邏輯和理性做決定,那麼你為潛在假設所做的試驗就越少。

總關注於決策背後的邏輯論證,意味着你很少測試“不常見的”場景。然而,“不常見的”場景可能會比你在註冊按鈕上做的其它測試帶來更加意想不到的結果。

3.忽略科學流程導致測試質量不佳

看:如果一遍又一遍的測試都沒能提供任何有意義的結果,那很可能是因為你沒有正確的設計試驗。或許你只是簡單的複製別人的測試。或許,你應該從頭開始設計你的測試的最佳實踐。

科學的方式是旨在幫助制定,測試和修改可行假設的一套程序。

該流程從觀察階段開始,識別問題並制定可測試的假設。再與研究發現的結果進行分析,得出的結論反過來又成為新的研究和假設的基礎。在另一篇文章(公眾號里發送關鍵字“另一篇文章”,查看鏈接)里我解釋了怎麼通過科學的方式來設計A/B測試的細節。

但我必須澄清:使用科學方法並不意味着你必須從頭拿出你的假設的潛在解決方案。並且,科學的方法應該是運行每一個測試的基礎。

4.在錯的時間做的A/B測試掩蓋了正確的結果

你知道:買家行為變化取決於一年所在的時間。例如,季節會影響到購買行為的每一個變量,想一想黑色星期五時用戶的瘋狂表現吧。

你的公司也可能在一年的特定時間有不一樣的運行狀態。在你所在的區域你可能會季節性備貨,或者做比平時力度更大的促銷和優惠,你可能會發更多的郵件,產出更多的內容等。

不用說,這些行為都將反映在你的A/B測試結果里。因此,你可能不能確定是你的假設起了作用還是購物者的季節性行為引起你所期待的改善。

不是你跟A/B測試沒有緣,是相戀在了錯的時間。因此,作為一項準則,你應該在自然的商業循環周期里運行重要測試,以得到最客觀的數據,比如避免在旺季做測試。

結論

眾所周知,A / B測試是提高轉換率,降低跳出率,提高銷量的好方法。但是它很容易因為你不當的試驗設置而遭到破壞。為了避免這樣,在設計測試時,你應該注重科學的方法,關注目標群體的情緒心態,最後,避免在不合適的時間做測試。

 

本文由吆喝科技編譯,微信 ID:appadhoc

原文:How Not to Split Test. 4 Mistakes that Sabotage Your A/B Testing

本文由 @吆喝科技 原創發佈於人人都是產品經理。未經許可,禁止轉載。