藏身在A/B測試身後的「多變量測試」

「A/B測試」是現今優化網頁的重要方法之一，儘管原理簡單，但它背後則隱藏統計方法當中的另一個重要課題，就是所謂的「多變量測試（Multivariate test）」。

先來回顧一下，「A/B測試」中的「控制實驗（controlled experiment）」理論，最早可以追溯到1920年英國學者雷諾‧費雪（Ronald Fisher），他在英格蘭的羅桑斯特（Rothamsted）農業實驗站進行相關實驗，而往後控制實驗相關主題，也在統計學中大放異彩。

從1990年後期開始使用，隨著網際網路的發展，控制實驗又演變如今的「線上控制實驗」，包括Amazon、Bing、臉書、Google，LinkedIn和Yahoo！在內的許多大型網站，每年都會進行數萬次的實驗，以測試用戶界面（UI）的更改，以及相關演算法的增強（搜索、廣告、個性化和推薦），甚至是更改應用程式和內容管理系統等。

哈佛商業評論指出，在A / B測試中，企業或電商往往是在建立了兩種不同體驗方式，A是對照組，通常也就是現有的網頁，它常被暱稱為「冠軍」，而B這個實驗組則是一種修改，藉以改善某些方面功能，也就俗稱的「挑戰者」。至於挑戰方法，常是將用戶隨機指配到不同體驗的頁面，然後計算、比較關鍵指標。例如對單變量進行A / B / C測試，或者是A / B / C / D測試。

事實上，如果同時對兩個或兩個以上的變量（或稱變數）進行試測，則被稱為多變量測試。圖1即顯示單變量測試與多變量測試的差異。

進行多變量測試時，可以針對網頁內，不同元素、不同版本的不同排列組合下手測試。舉例來說，同時針對3種標題、3種CTA（Call To Action，如Buy Now點擊按鈕）和3種圖片進行測試。這樣就可以測試共27種不同版本的頁面（3項標題x 3個CTA x 3張圖片）。

多變量測試的好處，可以找出網頁裡，元素之間的複合效果來優化頁面。但也因為背後的排列組合眾多，無論是4個版本（2 x 2），或是18個版本（3 x 2 x 3），甚至是更多的版本，背後需要有大量的流量來支持測試，以達到足夠的信度與效度。

回到網頁設計，以上單變量或多變量測試的內容，可能是一項新功能、用戶界面的更動（例如新的版型）、後端更改（例如，亞馬遜網路上對推薦書本的演算法）或不同的業務模式（例如免費送貨到府）。至於企業最關心運營的各個方面（例如銷售、重複使用、點擊率或用戶在網站停留時間），都可以使用線上A / B測試進行優化。此處，最重要的概念是，A / B測試的原理很簡單，卻價值不菲。

作者：蘇宇暉（台科大管研所博士候選人）、羅凱揚（台科大企管系博士）

繪圖者：彭煖蘋