數(shù)據(jù)分析怎樣進行數(shù)據(jù)清洗？【詳細講解】

數(shù)據(jù)清洗的基本流程一共分為5個步驟，分別是數(shù)據(jù)分析、定義數(shù)據(jù)清洗的策略和規(guī)則、搜尋并確定錯誤實例、糾正發(fā)現(xiàn)的錯誤以及干凈數(shù)據(jù)回流。下面通過一張圖描述數(shù)據(jù)清洗的基本流程，具體如圖所示。

接下來針對圖中數(shù)據(jù)清洗的基本流程進行詳細講解。

1.數(shù)據(jù)分析

數(shù)據(jù)分析是數(shù)據(jù)清洗的前提和基礎，通過人工檢測或者計算機分析程序的方式對原始數(shù)據(jù)源的數(shù)據(jù)進行檢測分析，從而得出原始數(shù)據(jù)源中存在的數(shù)據(jù)質(zhì)量問題。

2.定義數(shù)據(jù)清洗的策略和規(guī)則

根據(jù)數(shù)據(jù)分析出的數(shù)據(jù)源個數(shù)和數(shù)據(jù)源中的“臟”數(shù)據(jù)程度定義數(shù)據(jù)清洗策略和規(guī)則，并選擇合適的數(shù)據(jù)清洗算法。

3.搜尋并確定錯誤實例

搜尋并確定錯誤實例步驟包括自動檢測屬性錯誤和檢測重復記錄的算法。

手工檢測數(shù)據(jù)集中的屬性錯誤需要花費大量的時間、精力以及物力，并且該過程本身很容易出錯，所以需要使用高效的方法自動檢測數(shù)據(jù)集中的屬性錯誤，主要檢測方法有基于統(tǒng)計的方法、聚類方法和關(guān)聯(lián)規(guī)則方法。

檢測重復記錄的算法可以對兩個數(shù)據(jù)集或者一個合并后的數(shù)據(jù)集進行檢測，從而確定同一個現(xiàn)實實體的重復記錄，即匹配過程。檢測重復記錄的算法有基本的字段匹配算法、遞歸字段匹配算法等。

4.糾正發(fā)現(xiàn)的錯誤

根據(jù)不同的“臟”數(shù)據(jù)存在形式的不同，執(zhí)行相應的數(shù)據(jù)清洗和轉(zhuǎn)換步驟解決原始數(shù)據(jù)源中存在的質(zhì)量問題。需要注意的是，對原始數(shù)據(jù)源進行數(shù)據(jù)清洗時，應該將原始數(shù)據(jù)源進行備份，以防需要撤銷清洗操作。

為了便于處理單數(shù)據(jù)源、多數(shù)據(jù)源以及單數(shù)據(jù)源與其他數(shù)據(jù)源合并的數(shù)據(jù)質(zhì)量問題，一般需要在各個數(shù)據(jù)源上進行數(shù)據(jù)轉(zhuǎn)換操作，具體如下。

(1)從原始數(shù)據(jù)源的屬性字段中抽取值(屬性分離)

原始數(shù)據(jù)源的屬性一般包含很多信息，這些信息有時需要細化成多個屬性，便于后續(xù)清洗重復記錄。

(2)確認并改正

確認并改正輸入和拼寫的錯誤，然后盡可能地使該步驟自動化。若是基于字典查詢拼寫錯誤，則更利于發(fā)現(xiàn)拼寫的錯誤。

(3)標準化

為了便于記錄實例匹配和合并，應該將屬性值轉(zhuǎn)換成統(tǒng)一格式。

5.干凈數(shù)據(jù)回流

當數(shù)據(jù)被清洗后，干凈的數(shù)據(jù)替代原始數(shù)據(jù)源中的“臟”數(shù)據(jù)，這樣可以提高信息系統(tǒng)的數(shù)據(jù)質(zhì)量，還可避免將來再次抽取數(shù)據(jù)后進行重復的清洗工作。