分析結果與預期出現重大差異,如何解?

有一句話說「計畫永遠趕不上變化」,日常生活中,這種事情似乎隨時可能發生。如果在做行銷資料科學專案時,跑出來的分析結果,與預期的大不同,這時候,該怎麼辦?

一位從事行銷資料科學分析的學員跑來問我們,他們想透過消費者對A、B產品在論壇上所討論的內容,進行輿情分析,並進一步對這些消費者進行分群。接著,再了解消費者購買A、B產品的動機與目的,以及會受到何種干擾因素所影響、同時他們究竟在意產品的哪些功能,甚至是關於產品的品牌競爭狀況。

透過輿情分析,該學員的行銷資料科學團隊順利將A產品的消費者進行分群,並且在比較各種演算法的結果,以及與產品經理確認後,找出某種最適合的分群方式,並將消費者分成三群。

但透過同樣的程序,該團隊針對B產品進行輿情分析,卻無法跑出最適合的結果,因為無論用哪一種演算法,電腦跑出來的結果,卻都只有一群。而這一點與產品經理的認知大相逕庭,因為只有一群似乎明顯不合理,這名產品經理認為至少可以將消費者分成兩到三群,難道這時只能徒呼負負,接下該怎麼處理呢?

還記得在念研究方法時,曾經聽過的一個故事。當一名研究者透過嚴謹的研究,發現了一個以前沒有人發現過的創見,感到自己實在太棒了,而這樣的研究成果再發展下去,甚至感覺自己有可能會獲得諾貝爾獎(這當然是開玩笑的)。一旦研究結果,好的不像真的,這個時,下一步該怎麼做?答案有兩點:

首先,這個「好的不像真的」的研究結果,九成九是因為研究過程有錯,畢竟諾貝爾獎不是那麼好到手。此時一定要想到,在研究的過程中,常常會遇到「垃圾進、垃圾出」的情況。只要研究中一個環節不嚴謹或稍有閃失,出了一點點小錯誤,縱使接下來的每個程序都做對,結果還是錯的。

回到分析團隊的案例,分別對A、B產品兩個市場進行輿情分析,A產品跑的出來,B產品跑不出來。這時候,請再對B產品的程序做一次完整的檢視,確認是否有某個環節出了問題。

如果對B產品重新跑過一次,結果還是一樣。這個時候建議向上回溯一步,回過頭來檢視A產品的流程,確認A產品與B產品的分析流程,有足夠的嚴謹度。此時,如果是規模較大的企業,往往會請另外一個團隊再分析一次,以進行比較。

假設重新檢視A、B產品的分析流程之後,甚至請其他團隊也做了一次分析,並獲得相同結果,確定流程沒有問題。這時,就要對整個研究程序背後的干擾因素進行探究。例如,研究架構背後,有沒有其他沒有考慮到的變數?研究程序中,是否還有被忽略掉的環節?或者研究發現中,是否真的與實務狀況不符?亦或者產品經理真的懂這個市場嗎?畢竟許多專家的想法,已經漸漸脫離市場……等。

如果以上的問題,都一一被確認,最終發現,分析出來的結果真的是創見。那恭喜您,因為您正透過行銷資料科學,獲得了更大的市場價值(雖然不會得諾貝爾獎,而諾貝爾也還沒有創立行銷獎)。

 

圖1 分析結果與預期出現重大差異

本文要凸顯的,是研究過程中的嚴謹性。當我們以為發現創見時,九成九是研究過程中有問題,而非真正獲得創見。而該名學員最後也依照建議,找出研究程序中的瑕疵,成功將A、B產品的消費者加以分群。

作者:蘇宇暉(台科大管研所博士候選人)、羅凱揚(台科大企管系博士)

繪圖者:謝瑜倩


 

更多商普好文推薦

回到頂端