站長資訊網(wǎng)摘 要：數(shù)據(jù)質(zhì)量是所有數(shù)據(jù)處理和分析的前提，否則，基于一個(gè)不可靠數(shù)據(jù)的分析結(jié)果必將是南轅北轍。用友UAP數(shù)據(jù)質(zhì)量管理方案，可幫企業(yè)探索識別隱藏在企業(yè)各個(gè)地方的數(shù)據(jù)質(zhì)量問題，并匯總分析，直至清洗處理完成，使企業(yè)的數(shù)據(jù)保持清潔。
從2011年麥肯錫首次提出大數(shù)據(jù)的概念，到今天，已進(jìn)入大數(shù)據(jù)盛行的時(shí)代。數(shù)據(jù)成為一種全新的資產(chǎn)類別，數(shù)據(jù)的有效管理和順暢分析成為企業(yè)與組織成功的關(guān)鍵。零售業(yè)可以利用大數(shù)據(jù)提高運(yùn)營利潤，醫(yī)療業(yè)使用大數(shù)據(jù)，可保障醫(yī)療系統(tǒng)安全有效運(yùn)行，服務(wù)業(yè)利用大數(shù)據(jù)機(jī)分析個(gè)人行為信息可以刺激消費(fèi)。隨著大數(shù)據(jù)技術(shù)的成熟和應(yīng)用的發(fā)展，企業(yè)開始真正重視如何有效利用這些數(shù)據(jù)來產(chǎn)生更大的智慧和價(jià)值。
大數(shù)據(jù)時(shí)代，數(shù)據(jù)不再是單純的存放在關(guān)系數(shù)據(jù)庫中的交易記錄，包括文檔、位置、社交等各種形式的外部信息都是數(shù)據(jù)，都可能對企業(yè)的發(fā)展產(chǎn)生影響。這一切對企業(yè)來說既是機(jī)遇，更是挑戰(zhàn)。機(jī)遇在于催生了更多的業(yè)務(wù)機(jī)會，將促進(jìn)企業(yè)發(fā)展的跨越;挑戰(zhàn)則在于管理和運(yùn)用大數(shù)據(jù)，企業(yè)IT部門積累的傳統(tǒng)數(shù)據(jù)管理和治理經(jīng)驗(yàn)將完全無法滿足需要。關(guān)于企業(yè)面臨的挑戰(zhàn)，大家都關(guān)注到了存儲管理、集成整合、分析計(jì)算，而且在這些方面，基本都已經(jīng)有了一些相關(guān)的產(chǎn)品和技術(shù)。但是這一切的前提是——你的數(shù)據(jù)必須可靠、可信、可用，這就是說，首先要保證數(shù)據(jù)的質(zhì)量。數(shù)據(jù)質(zhì)量是所有數(shù)據(jù)處理和分析的前提，否則，基于一個(gè)不可靠數(shù)據(jù)的分析結(jié)果必將是南轅北轍。
企業(yè)需警惕的五大數(shù)據(jù)質(zhì)量問題
目前市場大多數(shù)數(shù)據(jù)質(zhì)量產(chǎn)品，都是在數(shù)據(jù)集成產(chǎn)品套件中，開發(fā)了一些數(shù)據(jù)清洗規(guī)則校驗(yàn)的工具，并宣稱為數(shù)據(jù)質(zhì)量產(chǎn)品。這在很大程度上誤導(dǎo)了大家對數(shù)據(jù)質(zhì)量管理的認(rèn)識，認(rèn)為數(shù)據(jù)質(zhì)量管理就是修改數(shù)據(jù)中的錯(cuò)誤、并對錯(cuò)誤數(shù)據(jù)和垃圾數(shù)據(jù)進(jìn)行清理。這的確是數(shù)據(jù)質(zhì)量要解決的問題，但跟全面數(shù)據(jù)質(zhì)量管理還有相當(dāng)大的差距。導(dǎo)致企業(yè)數(shù)據(jù)質(zhì)量問題的原因是涉及企業(yè)信息技術(shù)和管理的多個(gè)方面，要想全面系統(tǒng)的解決企業(yè)數(shù)據(jù)質(zhì)量問題，僅憑數(shù)據(jù)清洗和校驗(yàn)處理是遠(yuǎn)遠(yuǎn)不夠的。實(shí)際上，數(shù)據(jù)質(zhì)量管理，是指對數(shù)據(jù)從建模、采集、存儲、共享、管理、應(yīng)用、歸檔整個(gè)生命周期的每個(gè)階段里的各類數(shù)據(jù)質(zhì)量問題，進(jìn)行綜合管理的活動。
對企業(yè)來說，數(shù)據(jù)質(zhì)量問題主要反映在以下幾個(gè)方面。
一，數(shù)據(jù)缺失：這個(gè)問題典型的情形是在進(jìn)行數(shù)據(jù)分析和挖掘時(shí)，突然發(fā)現(xiàn)某些重要的屬性，數(shù)據(jù)記錄值缺失，導(dǎo)致分析建模和分析結(jié)果誤差較大。比如對客戶購買預(yù)測分析其中年齡是一個(gè)重要的分析變量，但是原始客戶記錄數(shù)據(jù)的年齡字段絕大多數(shù)記錄為空。這類問題產(chǎn)生的由于業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型設(shè)計(jì)或者應(yīng)用校驗(yàn)做的不到位導(dǎo)致，比如數(shù)據(jù)模型沒有對該字段進(jìn)行強(qiáng)制約束或者數(shù)據(jù)采集應(yīng)用未做校驗(yàn)。
二，數(shù)據(jù)不完整：比如在戶購買分析中，發(fā)現(xiàn)有的客戶沒有產(chǎn)品購買記錄，有的客戶的購買記錄找不到對應(yīng)的客戶信息。這類問題產(chǎn)生的原因在于業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型沒有進(jìn)行外建約束設(shè)計(jì)，或者應(yīng)用校驗(yàn)做的不到位導(dǎo)致。比如數(shù)據(jù)模型沒有對該字段進(jìn)行強(qiáng)制約束或者數(shù)據(jù)采集應(yīng)用未做校驗(yàn)。
三，數(shù)據(jù)不合理：比如客戶年齡200歲，省份證號碼位數(shù)不正確，造成這類數(shù)據(jù)質(zhì)量問題的主要原因是數(shù)據(jù)采集應(yīng)用程序沒有進(jìn)行合法性校驗(yàn)。
四，數(shù)據(jù)冗余：同一數(shù)據(jù)有多個(gè)版本和入口。這既浪費(fèi)了存儲同時(shí)產(chǎn)生了不一致。產(chǎn)生這個(gè)問題的主要原因是數(shù)據(jù)模型設(shè)計(jì)不合理。
五，數(shù)據(jù)沖突：同一數(shù)據(jù)有多個(gè)系統(tǒng)中有多個(gè)不同的內(nèi)容，莫衷一是，產(chǎn)生混亂。造成這類數(shù)據(jù)質(zhì)量問題的主要原因是沒有一個(gè)統(tǒng)一的規(guī)劃和沖突解決方案。
深究影響企業(yè)數(shù)據(jù)質(zhì)量的兩大因素
上面的種種問題，都是企業(yè)數(shù)據(jù)質(zhì)量問題的具體表現(xiàn)，究其原因，影響數(shù)據(jù)質(zhì)量的因素概括來說有兩個(gè)方面：技術(shù)和管理。其中，技術(shù)又可分為定義、采集、和應(yīng)用三個(gè)部分;管理又可分為標(biāo)準(zhǔn)、流程、機(jī)制。
首先來看技術(shù)因素：
定義因素：數(shù)據(jù)定義就是規(guī)劃建模，就是產(chǎn)生元數(shù)據(jù)，由于這部分因素導(dǎo)致的數(shù)據(jù)質(zhì)量問題的原因主要有：元數(shù)據(jù)描述及理解錯(cuò)誤、元數(shù)據(jù)的規(guī)格無法保證統(tǒng)一等。
采集因素：主要是指由于具體數(shù)據(jù)采集環(huán)節(jié)造成的數(shù)據(jù)質(zhì)量問題。比如信息系統(tǒng)應(yīng)用程序錄入校驗(yàn)不完善導(dǎo)致的數(shù)據(jù)質(zhì)量問題，數(shù)據(jù)錄入關(guān)系約束不當(dāng)產(chǎn)生的數(shù)據(jù)質(zhì)量問題，手工采集產(chǎn)生的數(shù)據(jù)質(zhì)量問題等。
應(yīng)用因素：主要是指由于數(shù)據(jù)應(yīng)用過程中，由于處理的各技術(shù)環(huán)節(jié)的異常而產(chǎn)生的數(shù)據(jù)質(zhì)量問題。比如數(shù)據(jù)獲取、傳輸、裝載、使用等方面的異常導(dǎo)致的數(shù)據(jù)質(zhì)量問題。
然后再看管理因素：
標(biāo)準(zhǔn)因素：數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)體系是企業(yè)數(shù)據(jù)質(zhì)量管理的基礎(chǔ)。標(biāo)準(zhǔn)因素是指由于企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)缺失或不當(dāng)導(dǎo)致的數(shù)據(jù)質(zhì)量問題。比如客戶信息，在企業(yè)中有多個(gè)產(chǎn)生渠道和方式，如果沒有統(tǒng)一標(biāo)準(zhǔn)，則會導(dǎo)致大量的數(shù)據(jù)質(zhì)量問題。
流程因素：是指由于各種各樣產(chǎn)生數(shù)據(jù)的系統(tǒng)作業(yè)流程和人工操作流程設(shè)置不當(dāng)造成的數(shù)據(jù)質(zhì)量問題。比如數(shù)據(jù)交換流程，業(yè)務(wù)流程等。
機(jī)制因素：是指由于人員技能及管理機(jī)制 方面的原因造成的數(shù)據(jù)質(zhì)量問題。如人員培訓(xùn) 、人員管理 操作規(guī)范等。
因此，要持續(xù)改進(jìn)企業(yè)的數(shù)據(jù)質(zhì)量，必須按照一個(gè)循環(huán)的閉環(huán)數(shù)據(jù)質(zhì)量管理過程推進(jìn)工作，最終使企業(yè)通過可靠高質(zhì)量的數(shù)據(jù)進(jìn)行精準(zhǔn)分析，為企業(yè)創(chuàng)造經(jīng)濟(jì)效益。數(shù)據(jù)質(zhì)量管理，不僅包含技術(shù)方面的因素，同時(shí)還包含管理方面的改進(jìn)。從技術(shù)方面來說，主要包括探索、識別、評估、檢核、處理、監(jiān)控、預(yù)警等;從管理方面來說，主要包括制定企業(yè)數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)規(guī)范，確定數(shù)據(jù)質(zhì)量改進(jìn) 目標(biāo)，制定數(shù)據(jù)質(zhì)量評估組織流程 ，制定企業(yè)數(shù)據(jù)共享交換規(guī)則和流程，明確數(shù)據(jù)沖突處理方案，制定審核機(jī)制等多個(gè)方面。
數(shù)據(jù)質(zhì)量管理是一套完整的解決方案
在一個(gè)組織中，數(shù)據(jù)質(zhì)量管理不是一個(gè)孤立的系統(tǒng)和平臺，而是要和企業(yè)其他專業(yè)領(lǐng)域的技術(shù)和產(chǎn)品配合，共同完成企業(yè)數(shù)據(jù)質(zhì)量的管理。比如有的公司有數(shù)據(jù)標(biāo)準(zhǔn)管理系統(tǒng)，數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)及其規(guī)則放在數(shù)據(jù)標(biāo)準(zhǔn)管理系統(tǒng)進(jìn)行管理。另外，數(shù)據(jù)質(zhì)量管理的落地主要是基于元數(shù)據(jù)技術(shù)進(jìn)行，所以企業(yè)數(shù)據(jù)質(zhì)量管理需要元數(shù)據(jù)管理的支持，目前，一些信息化水平較高的企業(yè)也有專門的元數(shù)據(jù)管理系統(tǒng)，所以數(shù)據(jù)質(zhì)量管理企業(yè)也要與企業(yè)元數(shù)據(jù)管理系統(tǒng)協(xié)同工作。
用友UAP結(jié)合其在企業(yè)數(shù)據(jù)處理和治理方面的經(jīng)營積累，形成了一整套完善的數(shù)據(jù)質(zhì)量管理解決方案，并形成了一套體系完備，行之有效的管理流程，為企業(yè)進(jìn)一步的精準(zhǔn)分析奠定基礎(chǔ)。
定義，指定義數(shù)據(jù)質(zhì)量目標(biāo)，以指導(dǎo)整個(gè)數(shù)據(jù)質(zhì)量管理工作;檢核，指按照設(shè)定的規(guī)則檢查捕獲數(shù)據(jù)質(zhì)量問題;評估，指按照評估的方案的評估指標(biāo)，并對數(shù)據(jù)質(zhì)量進(jìn)行評估;分析，指詳細(xì)分析數(shù)據(jù)質(zhì)量對業(yè)務(wù)產(chǎn)生的影響;定位，指確定引起數(shù)據(jù)質(zhì)量問題的原因;整改，指對數(shù)據(jù)質(zhì)量問題制定解決定方案，并從數(shù)據(jù)和管理兩方面進(jìn)行整改;預(yù)防，指建立數(shù)據(jù)錯(cuò)誤預(yù)防方案，并檢查執(zhí)行;管理，指通過改進(jìn)管理流程，全面管理數(shù)據(jù)質(zhì)量問題;監(jiān)控，指對數(shù)據(jù)和管理實(shí)施監(jiān)控，維護(hù)已改善的效果。以上九個(gè)方面循環(huán)往復(fù)，反復(fù)執(zhí)行，持續(xù)改進(jìn)，形成一個(gè)良性循環(huán)。由于數(shù)據(jù)質(zhì)量涉及企業(yè)的各個(gè)系統(tǒng)、各個(gè)業(yè)務(wù)和各級組織，上面的九個(gè)步驟必須在所有相關(guān)方面的有效溝通和充分協(xié)同的基礎(chǔ)上才能真正的發(fā)揮效用。
用友UAP為滿足企業(yè)數(shù)據(jù)質(zhì)量管理需求，提供了一些列的產(chǎn)品和技術(shù)，解決企業(yè)數(shù)據(jù)從定義、產(chǎn)生到應(yīng)用的全生命周期的數(shù)據(jù)質(zhì)量管理能力。首先提供統(tǒng)一建模產(chǎn)品套件，從數(shù)據(jù)定義階段保證數(shù)據(jù)質(zhì)量，一個(gè)產(chǎn)品涵蓋從業(yè)務(wù)模型創(chuàng)建到關(guān)系數(shù)據(jù)庫模型再到數(shù)據(jù)倉庫模型和分析模型，并可定義各種數(shù)據(jù)質(zhì)量規(guī)則;另外用友UAP還可提供數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、數(shù)據(jù)清洗等產(chǎn)品和解決方案，滿足企業(yè)數(shù)據(jù)質(zhì)量管理的全面需求。
用友UAP數(shù)據(jù)質(zhì)量管理方案，可幫企業(yè)探索識別隱藏在企業(yè)各個(gè)地方的數(shù)據(jù)質(zhì)量問題，并匯總分析，直至清洗處理完成，使企業(yè)的數(shù)據(jù)保持清潔;用友UAP數(shù)據(jù)質(zhì)量管理方案可改進(jìn)企業(yè)的業(yè)務(wù)工作，使企業(yè)中的每個(gè)人都可以完全信賴滿足各類業(yè)務(wù)用途的數(shù)據(jù)。
特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請及時(shí)聯(lián)系我們，本站將會在24小時(shí)內(nèi)處理完畢。
