對于廣大應用開發團隊,尤其是游戲APP的開發者們來說,持續優化應用界面和設置的常用方式之一是開展 A/B 測試。
什么是 A/B 測試
將兩個測試版本同時呈現給分組的用戶進行實驗,并保持各組用戶的組成和屬性相似,最終在測試完成后選出較好的選項實行操作,整個過程我們稱為 A/B 測試。
然而在進行測試時,開發者們一旦遇到新的問題,不得不重新打包一個甚至多個版本來重復測試和比對數據,這一切都需要耗費大量的人力精力。本期內容由谷歌的變現合作伙伴 WebEye為大家介紹Firebase 的 A/B 測試流程和特點,學會之后能幫助大家成為 A/B 測試小能手,優化應用品質,賺取更高收益。
Firebase A/B 測試 3個亮點
1、參數設置簡單,容易上手
通過在 Remote Config 里更改幾個參數值就能自動修改應用設置,不用寫代碼或重新打包數據。
2、平均分配流量,提升精度
以設置百分比的方式平均分配流量,達到讓全部或部分用戶參與實驗的目標,確保每一個變體在測試投放時都擁有相同的用戶屬性,變量試驗靈活。
3、對比試驗結果,快速決策
Firebase 自帶的 Analytics 工具可呈現實時可視化圖表,幫助開發者們在觀察試驗結果后迅速做出判斷。這個特點能有效減免分析人員每日篩數據做圖表的重復工作,之后只需通過查看可視化圖表就能及時了解測試情況。
看完三大特點之后,你是不是心動得想立即試用 Firebase 的測試功能呢?歡迎了解并收藏以下的測試流程。我們以一款個性化主題頁面的應用為例,為你分步驟解析。
1.測試目的
在設計應用首頁時,研發團隊一開始并不確定是否需要在頂部設置滾動輪播橫幅海報。為了更好地了解用戶的行為與喜好,團隊針對“頂部滾動輪播橫幅”這一元素進行了 Firebase A/B 測試。
2.測試準備工作
在為應用開發一個新的功能點時,開發人員可以針對這項功能在 Firebase 的 Remote Config 中設置參數。此做法不僅可以為之后的 A/B 測試做準備,而且可以在未來當功能點發生故障時及時調整或關閉,盡可能降低因為 bug 帶來的損失。
案例中,研發團隊首先在 Remote Config 界面設置了一個頂部滾動橫幅海報空間的參數,并設置默認值為“TRUE”,即為默認打開。完成開關設置之后,我們在后續進行 A/B 測試時可以直接通過關閉功能來完成變體設置,非常方便。
3.四項測試步驟
步驟一:創建實驗并設置變量
創建試驗名稱,選擇目標用戶人群,選定參考指標等。
步驟二:選擇目標用戶范圍
在定位目標用戶群時,你可以選擇讓所有的用戶都參與到測試中,即在目標用戶的百分比填寫100%;或者選擇把控風險,僅選擇讓一部分的用戶參與到試驗過程中,比如在此次試驗中僅選擇讓50%的用戶參與到測試中。
步驟三:設置最主要的參數指標
在 Remote Config 界面中你需要設定一個最主要的指標,用于以后確定試驗中的領先變體,同時額外設置多個追蹤的其他指標,以便更全面地了解試驗數據。
例如在這個案例中,團隊將用戶的一日留存作為最主要的參數指標,并額外設置了三個衡量指標:主題瀏覽量,主頁停留時長和應用使用時間。
步驟四:設置對照組與試驗變體
在參數列表里選擇自己之前設置好的功能參數,通過更改一個參數值就能完成對照組和變體的設置。在一些針對應用界面顏色,廣告時長等參數的試驗時,也可以同時設置多個變體,來選擇一個最優的配置。
4.數據分析
根據預設好的觀測指標,Firebase 的 A/B 測試連續數據追蹤與分析,自動評估最優試驗結果。
5.測試結果
在本次的試驗中,系統根據數據判定沒有頂部滾動橫幅是更好的選擇。因此應用團隊在確定結果后,自動將應用全部調整為首頁沒有滾動橫幅的版本。經過這次測試與優化,應用次日留存提升了19%,整體收益提升23%。
閱讀完此次測試的整個過程,相信你已經體會到 Firebase 的 A/B 測試有哪些優勢。例如完全不需要技術開發人員參與流程,運營人員就能輕松搞定。相信 Firebase 的 A/B 測試會成為你們的新幫手,挖掘出更廣闊的應用的潛力與價值。