數(shù)據(jù)清洗概述：數(shù)據(jù)質(zhì)量的評價指標(biāo)

　　數(shù)據(jù)質(zhì)量的評價指標(biāo)主要包括數(shù)據(jù)的準(zhǔn)確性(accuracy)、完整性(completeness)、簡潔性(concision)及適用性(applicability)，其中數(shù)據(jù)的準(zhǔn)確性、完整性和簡潔性是為了保證數(shù)據(jù)的適用性。下面針對數(shù)據(jù)質(zhì)量的主要評價指標(biāo)進(jìn)行詳細(xì)的介紹。

　　1.準(zhǔn)確性

　　數(shù)據(jù)的準(zhǔn)確性就是要求數(shù)據(jù)中的噪聲盡可能少。為提高數(shù)據(jù)的準(zhǔn)確性，需對數(shù)據(jù)集進(jìn)行降噪處理。對于數(shù)據(jù)中偏離常規(guī)、分散的小樣本數(shù)據(jù)，一般可視為噪聲或異常數(shù)據(jù)，可通過最常用的異常值檢測方法聚類進(jìn)行處理。

　　2.完整性

　　完整性指的是數(shù)據(jù)信息是否存在缺失的狀況。數(shù)據(jù)缺失的情況可能是整條數(shù)據(jù)記錄缺失，也可能是數(shù)據(jù)中某個字段信息的記錄缺失。不完整的數(shù)據(jù)所能借鑒的價值會大大降低，也是數(shù)據(jù)質(zhì)量更為基礎(chǔ)的一項評估標(biāo)準(zhǔn)。

　　數(shù)據(jù)質(zhì)量的完整性比較容易評估，一般通過數(shù)據(jù)統(tǒng)計中的記錄值和唯一值進(jìn)行評估。例如，網(wǎng)站日志訪問量就是一個記錄值，平時的日訪問量在1000左右，突然某天降到100，就需要檢查數(shù)據(jù)是否存在缺失了。

　　3.簡潔性

　　簡潔性就是要盡量選擇重要的本質(zhì)屬性，并消除冗余。進(jìn)行決策時，決策者往往抓住反映問題的主要因素，而不需要把問題的細(xì)節(jié)都搞得很清楚。在數(shù)據(jù)挖掘時，特征的個數(shù)越多，產(chǎn)生噪聲的機(jī)會就越大。一些不必要的屬性既會增大數(shù)據(jù)量，又會影響挖掘數(shù)據(jù)的質(zhì)量。因此，選擇較小的典型特征集不僅符合決策者的心理，而且還容易挖掘到簡潔有價值的信息。

　　4.適用性

　　適用性是評價數(shù)據(jù)質(zhì)量的重要標(biāo)準(zhǔn)。建立數(shù)據(jù)倉庫的目的是進(jìn)行數(shù)據(jù)挖掘、支持決策分析，而在現(xiàn)實世界中很難挖掘到滿意的數(shù)據(jù)，但是我們可以盡量獲取符合要求的數(shù)據(jù)。數(shù)據(jù)的質(zhì)量是否能滿足決策的需要是適用性的關(guān)鍵所在。盡管前面已經(jīng)強調(diào)了數(shù)據(jù)的準(zhǔn)確性、完整性和簡潔性，但歸根結(jié)底是為了數(shù)據(jù)的實際效用。從數(shù)據(jù)的實際效用上講，適用性才是評價數(shù)據(jù)質(zhì)量的核心準(zhǔn)則。