摘 要：數(shù)據(jù)質(zhì)量是所有數(shù)據(jù)處理和分析的前提，否則，基于一個不可靠數(shù)據(jù)的分析結(jié)果必將是南轅北轍。用友UAP數(shù)據(jù)質(zhì)量管理方案，可幫企業(yè)探索識別隱藏在企業(yè)各個地方的數(shù)據(jù)質(zhì)量問題，并匯總分析，直至清洗處理完成，使企業(yè)的數(shù)據(jù)保持清潔。

　　從2011年麥肯錫首次提出大數(shù)據(jù)的概念，到今天，已進入大數(shù)據(jù)盛行的時代。數(shù)據(jù)成為一種全新的資產(chǎn)類別，數(shù)據(jù)的有效管理和順暢分析成為企業(yè)與組織成功的關(guān)鍵。零售業(yè)可以利用大數(shù)據(jù)提高運營利潤，醫(yī)療業(yè)使用大數(shù)據(jù)，可保障醫(yī)療系統(tǒng)安全有效運行，服務(wù)業(yè)利用大數(shù)據(jù)機分析個人行為信息可以刺激消費。隨著大數(shù)據(jù)技術(shù)的成熟和應(yīng)用的發(fā)展，企業(yè)開始真正重視如何有效利用這些數(shù)據(jù)來產(chǎn)生更大的智慧和價值。

　　大數(shù)據(jù)時代，數(shù)據(jù)不再是單純的存放在關(guān)系數(shù)據(jù)庫中的交易記錄，包括文檔、位置、社交等各種形式的外部信息都是數(shù)據(jù)，都可能對企業(yè)的發(fā)展產(chǎn)生影響。這一切對企業(yè)來說既是機遇，更是挑戰(zhàn)。機遇在于催生了更多的業(yè)務(wù)機會，將促進企業(yè)發(fā)展的跨越;挑戰(zhàn)則在于管理和運用大數(shù)據(jù)，企業(yè)IT部門積累的傳統(tǒng)數(shù)據(jù)管理和治理經(jīng)驗將完全無法滿足需要。關(guān)于企業(yè)面臨的挑戰(zhàn)，大家都關(guān)注到了存儲管理、集成整合、分析計算，而且在這些方面，基本都已經(jīng)有了一些相關(guān)的產(chǎn)品和技術(shù)。但是這一切的前提是——你的數(shù)據(jù)必須可靠、可信、可用，這就是說，首先要保證數(shù)據(jù)的質(zhì)量。數(shù)據(jù)質(zhì)量是所有數(shù)據(jù)處理和分析的前提，否則，基于一個不可靠數(shù)據(jù)的分析結(jié)果必將是南轅北轍。

　　企業(yè)需警惕的五大數(shù)據(jù)質(zhì)量問題

　　目前市場大多數(shù)數(shù)據(jù)質(zhì)量產(chǎn)品，都是在數(shù)據(jù)集成產(chǎn)品套件中，開發(fā)了一些數(shù)據(jù)清洗規(guī)則校驗的工具，并宣稱為數(shù)據(jù)質(zhì)量產(chǎn)品。這在很大程度上誤導(dǎo)了大家對數(shù)據(jù)質(zhì)量管理的認識，認為數(shù)據(jù)質(zhì)量管理就是修改數(shù)據(jù)中的錯誤、并對錯誤數(shù)據(jù)和垃圾數(shù)據(jù)進行清理。這的確是數(shù)據(jù)質(zhì)量要解決的問題，但跟全面數(shù)據(jù)質(zhì)量管理還有相當大的差距。導(dǎo)致企業(yè)數(shù)據(jù)質(zhì)量問題的原因是涉及企業(yè)信息技術(shù)和管理的多個方面，要想全面系統(tǒng)的解決企業(yè)數(shù)據(jù)質(zhì)量問題，僅憑數(shù)據(jù)清洗和校驗處理是遠遠不夠的。實際上，數(shù)據(jù)質(zhì)量管理，是指對數(shù)據(jù)從建模、采集、存儲、共享、管理、應(yīng)用、歸檔整個生命周期的每個階段里的各類數(shù)據(jù)質(zhì)量問題，進行綜合管理的活動。

　　對企業(yè)來說，數(shù)據(jù)質(zhì)量問題主要反映在以下幾個方面。

　　一，數(shù)據(jù)缺失：這個問題典型的情形是在進行數(shù)據(jù)分析和挖掘時，突然發(fā)現(xiàn)某些重要的屬性，數(shù)據(jù)記錄值缺失，導(dǎo)致分析建模和分析結(jié)果誤差較大。比如對客戶購買預(yù)測分析其中年齡是一個重要的分析變量，但是原始客戶記錄數(shù)據(jù)的年齡字段絕大多數(shù)記錄為空。這類問題產(chǎn)生的由于業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型設(shè)計或者應(yīng)用校驗做的不到位導(dǎo)致，比如數(shù)據(jù)模型沒有對該字段進行強制約束或者數(shù)據(jù)采集應(yīng)用未做校驗。

　　二，數(shù)據(jù)不完整：比如在戶購買分析中，發(fā)現(xiàn)有的客戶沒有產(chǎn)品購買記錄，有的客戶的購買記錄找不到對應(yīng)的客戶信息。這類問題產(chǎn)生的原因在于業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型沒有進行外建約束設(shè)計，或者應(yīng)用校驗做的不到位導(dǎo)致。比如數(shù)據(jù)模型沒有對該字段進行強制約束或者數(shù)據(jù)采集應(yīng)用未做校驗。

　　三，數(shù)據(jù)不合理：比如客戶年齡200歲，省份證號碼位數(shù)不正確，造成這類數(shù)據(jù)質(zhì)量問題的主要原因是數(shù)據(jù)采集應(yīng)用程序沒有進行合法性校驗。

　　四，數(shù)據(jù)冗余：同一數(shù)據(jù)有多個版本和入口。這既浪費了存儲同時產(chǎn)生了不一致。產(chǎn)生這個問題的主要原因是數(shù)據(jù)模型設(shè)計不合理。

　　五，數(shù)據(jù)沖突：同一數(shù)據(jù)有多個系統(tǒng)中有多個不同的內(nèi)容，莫衷一是，產(chǎn)生混亂。造成這類數(shù)據(jù)質(zhì)量問題的主要原因是沒有一個統(tǒng)一的規(guī)劃和沖突解決方案。

　　深究影響企業(yè)數(shù)據(jù)質(zhì)量的兩大因素

　　上面的種種問題，都是企業(yè)數(shù)據(jù)質(zhì)量問題的具體表現(xiàn)，究其原因，影響數(shù)據(jù)質(zhì)量的因素概括來說有兩個方面：技術(shù)和管理。其中，技術(shù)又可分為定義、采集、和應(yīng)用三個部分;管理又可分為標準、流程、機制。

　　首先來看技術(shù)因素：

　　定義因素：數(shù)據(jù)定義就是規(guī)劃建模，就是產(chǎn)生元數(shù)據(jù)，由于這部分因素導(dǎo)致的數(shù)據(jù)質(zhì)量問題的原因主要有：元數(shù)據(jù)描述及理解錯誤、元數(shù)據(jù)的規(guī)格無法保證統(tǒng)一等。

　　采集因素：主要是指由于具體數(shù)據(jù)采集環(huán)節(jié)造成的數(shù)據(jù)質(zhì)量問題。比如信息系統(tǒng)應(yīng)用程序錄入校驗不完善導(dǎo)致的數(shù)據(jù)質(zhì)量問題，數(shù)據(jù)錄入關(guān)系約束不當產(chǎn)生的數(shù)據(jù)質(zhì)量問題，手工采集產(chǎn)生的數(shù)據(jù)質(zhì)量問題等。

　　應(yīng)用因素：主要是指由于數(shù)據(jù)應(yīng)用過程中，由于處理的各技術(shù)環(huán)節(jié)的異常而產(chǎn)生的數(shù)據(jù)質(zhì)量問題。比如數(shù)據(jù)獲取、傳輸、裝載、使用等方面的異常導(dǎo)致的數(shù)據(jù)質(zhì)量問題。

　　然后再看管理因素：

　　標準因素：數(shù)據(jù)質(zhì)量標準體系是企業(yè)數(shù)據(jù)質(zhì)量管理的基礎(chǔ)。標準因素是指由于企業(yè)數(shù)據(jù)標準缺失或不當導(dǎo)致的數(shù)據(jù)質(zhì)量問題。比如客戶信息，在企業(yè)中有多個產(chǎn)生渠道和方式，如果沒有統(tǒng)一標準，則會導(dǎo)致大量的數(shù)據(jù)質(zhì)量問題。

　　流程因素：是指由于各種各樣產(chǎn)生數(shù)據(jù)的系統(tǒng)作業(yè)流程和人工操作流程設(shè)置不當造成的數(shù)據(jù)質(zhì)量問題。比如數(shù)據(jù)交換流程，業(yè)務(wù)流程等。

　　機制因素：是指由于人員技能及管理機制 方面的原因造成的數(shù)據(jù)質(zhì)量問題。如人員培訓(xùn) 、人員管理 操作規(guī)范等。

　　因此，要持續(xù)改進企業(yè)的數(shù)據(jù)質(zhì)量，必須按照一個循環(huán)的閉環(huán)數(shù)據(jù)質(zhì)量管理過程推進工作，最終使企業(yè)通過可靠高質(zhì)量的數(shù)據(jù)進行精準分析，為企業(yè)創(chuàng)造經(jīng)濟效益。數(shù)據(jù)質(zhì)量管理，不僅包含技術(shù)方面的因素，同時還包含管理方面的改進。從技術(shù)方面來說，主要包括探索、識別、評估、檢核、處理、監(jiān)控、預(yù)警等;從管理方面來說，主要包括制定企業(yè)數(shù)據(jù)質(zhì)量標準規(guī)范，確定數(shù)據(jù)質(zhì)量改進 目標，制定數(shù)據(jù)質(zhì)量評估組織流程 ，制定企業(yè)數(shù)據(jù)共享交換規(guī)則和流程，明確數(shù)據(jù)沖突處理方案，制定審核機制等多個方面。

　　數(shù)據(jù)質(zhì)量管理是一套完整的解決方案

　　在一個組織中，數(shù)據(jù)質(zhì)量管理不是一個孤立的系統(tǒng)和平臺，而是要和企業(yè)其他專業(yè)領(lǐng)域的技術(shù)和產(chǎn)品配合，共同完成企業(yè)數(shù)據(jù)質(zhì)量的管理。比如有的公司有數(shù)據(jù)標準管理系統(tǒng)，數(shù)據(jù)質(zhì)量標準及其規(guī)則放在數(shù)據(jù)標準管理系統(tǒng)進行管理。另外，數(shù)據(jù)質(zhì)量管理的落地主要是基于元數(shù)據(jù)技術(shù)進行，所以企業(yè)數(shù)據(jù)質(zhì)量管理需要元數(shù)據(jù)管理的支持，目前，一些信息化水平較高的企業(yè)也有專門的元數(shù)據(jù)管理系統(tǒng)，所以數(shù)據(jù)質(zhì)量管理企業(yè)也要與企業(yè)元數(shù)據(jù)管理系統(tǒng)協(xié)同工作。

 

　　用友UAP結(jié)合其在企業(yè)數(shù)據(jù)處理和治理方面的經(jīng)營積累，形成了一整套完善的數(shù)據(jù)質(zhì)量管理解決方案，并形成了一套體系完備，行之有效的管理流程，為企業(yè)進一步的精準分析奠定基礎(chǔ)。

　　定義，指定義數(shù)據(jù)質(zhì)量目標，以指導(dǎo)整個數(shù)據(jù)質(zhì)量管理工作;檢核，指按照設(shè)定的規(guī)則檢查捕獲數(shù)據(jù)質(zhì)量問題;評估，指按照評估的方案的評估指標，并對數(shù)據(jù)質(zhì)量進行評估;分析，指詳細分析數(shù)據(jù)質(zhì)量對業(yè)務(wù)產(chǎn)生的影響;定位，指確定引起數(shù)據(jù)質(zhì)量問題的原因;整改，指對數(shù)據(jù)質(zhì)量問題制定解決定方案，并從數(shù)據(jù)和管理兩方面進行整改;預(yù)防，指建立數(shù)據(jù)錯誤預(yù)防方案，并檢查執(zhí)行;管理，指通過改進管理流程，全面管理數(shù)據(jù)質(zhì)量問題;監(jiān)控，指對數(shù)據(jù)和管理實施監(jiān)控，維護已改善的效果。以上九個方面循環(huán)往復(fù)，反復(fù)執(zhí)行，持續(xù)改進，形成一個良性循環(huán)。由于數(shù)據(jù)質(zhì)量涉及企業(yè)的各個系統(tǒng)、各個業(yè)務(wù)和各級組織，上面的九個步驟必須在所有相關(guān)方面的有效溝通和充分協(xié)同的基礎(chǔ)上才能真正的發(fā)揮效用。

　　用友UAP為滿足企業(yè)數(shù)據(jù)質(zhì)量管理需求，提供了一些列的產(chǎn)品和技術(shù)，解決企業(yè)數(shù)據(jù)從定義、產(chǎn)生到應(yīng)用的全生命周期的數(shù)據(jù)質(zhì)量管理能力。首先提供統(tǒng)一建模產(chǎn)品套件，從數(shù)據(jù)定義階段保證數(shù)據(jù)質(zhì)量，一個產(chǎn)品涵蓋從業(yè)務(wù)模型創(chuàng)建到關(guān)系數(shù)據(jù)庫模型再到數(shù)據(jù)倉庫模型和分析模型，并可定義各種數(shù)據(jù)質(zhì)量規(guī)則;另外用友UAP還可提供數(shù)據(jù)標準管理、元數(shù)據(jù)管理、數(shù)據(jù)清洗等產(chǎn)品和解決方案，滿足企業(yè)數(shù)據(jù)質(zhì)量管理的全面需求。

　　用友UAP數(shù)據(jù)質(zhì)量管理方案，可幫企業(yè)探索識別隱藏在企業(yè)各個地方的數(shù)據(jù)質(zhì)量問題，并匯總分析，直至清洗處理完成，使企業(yè)的數(shù)據(jù)保持清潔;用友UAP數(shù)據(jù)質(zhì)量管理方案可改進企業(yè)的業(yè)務(wù)工作，使企業(yè)中的每個人都可以完全信賴滿足各類業(yè)務(wù)用途的數(shù)據(jù)。

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實，對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關(guān)內(nèi)容。本站不承擔此類作品侵權(quán)行為的直接責任及連帶責任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請及時聯(lián)系我們，本站將會在24小時內(nèi)處理完畢。