企業如何更有效地取得網絡數據？

網路世代，許多企業藉由網路來取得各式各樣的消費者訊息，並廣泛的應用在市場經營，這也是大數據時代主要的經營方式。而企業該如何有效率、有效果地取得這些網路數據，則成為一項項重要的議題。

荷蘭伊拉斯姆斯大學（Erasmus University）鹿特丹管理學院行銷助理教授博格斯豪森（Boegershausen）等學者 [1]，在2022年提出，企業可以透過選擇數據來源、設計數據搜集方式、與取得數據等三個步驟，來回應上述的議題（如圖1所示）。分述如下：

資料來源：Boegershausen, Johannes, Hannes Datta, Abhishek Borah, and Andrew T. Stephen (2022), ” Fields of Gold: Scraping Web Data for Marketing Insights,” Journal of Marketing, 86 (5), 1–20.

1. 選擇數據來源（Source Selection）：

網路資訊存在著很大的差異，不同的來源會有數據品質、數據提供穩定性、與是否容易檢索等差異。舉例來說，大家常用的數據搜集平台為Google、Facebook、IG、抖音等，這些平台的特性也有所不同。Google偏向搜尋，主要是提供使用者搜尋與點選的結果資料；Facebook與IG則為社群平台，大多數為使用者上傳的文字、照片及影片；抖音則為短視頻為主。

企業可以多加拓展數據來源，像是從消費者、競爭者、或是內部人員等。而現有的資料庫也是可參考的來源，包括：Google Trend 的相關搜索查詢、各種開放資料庫等。接著，企業可利用不同的數據搜集方式，增加數據來源，並了解這些數據對於企業經營的相關性與成效之影響。

2. 設計數據搜集方式（Collection Design）：

此階段主要討論搜集數據的方式。首先，要先確認哪些數據是必須蒐集的？這裡要思考所選擇的數據是否足以衡量經營的問題？是否超過經營問題的範圍？同時避免數據偏誤，與找出數據產生過程的重大變化等。

在蒐集數據時，企業要思考更多的數據取得方式，像是：URL、點擊、登錄網站、搜集模式、搜集時間等。並在公司系統可負擔的前提下，思考數據更新的速度是否足夠？數據是否具有時效性？以更高頻率搜集更多的數據，是否會蒐集到更具價值性的數據？要回答這些問題，需要建立最佳的樣本量、與資訊存取的頻率。企業通常可透過多次的搜集與分析來進行動態調整，同時建立更完善的數據搜集與分析模式。

當在進行數據處理時，要小心是否會導致重要數據的遺失？需要使用哪些儲存設備來存放數據（需考慮數據量大小、位置、格式、編碼方式等）？企業最好能保留原始的數據，並在不同的時間點做到即時監控檢查。

在蒐集數據前，要確保是在合法的前提下進行數據蒐集。例如，為了取得客戶的同意，當客戶在瀏覽網站時，會被詢問是否同意網站搜集與分析客戶的數據。

3. 取得數據（Data Extraction）：

此階段主要討論在進行數據搜集時，需要提升分析的效率、監控數據品質與紀錄等。

首先在提升分析效率方面，企業在抓取數據時，可利用標籤、屬性與特定的訊息關聯分析等方式來進行輔助，並隨時進行數據搜集的錯誤處理。

此外，企業要隨時監控數據品質與做好紀錄，因為監控是即時了解數據品質的關鍵。企業需要建立一個監控系統以及早發現錯誤的數據、或是分析方式，進而避免造成數據無用的問題。通常企業會利用監控工具來注意經營時的問題，像是文件數量、分析文件大小、搜集時間、花費的成本等，並自動產生經營的數據分析報告。

企業該如何有效率、有效果地取得網路數據，是一項重要的經營議題。以上三項步驟，可作為企業決策時的參考。

作者：陳苡任（台科大企管系博士）、羅凱揚（台科大企管系博士）
繪圖者：鍾淳育

[1] Boegershausen, Johannes, Hannes Datta, Abhishek Borah, and Andrew T. Stephen (2022), ” Fields of Gold: Scraping Web Data for Marketing Insights,” Journal of Marketing, 86 (5), 1–20.