數(shù)據(jù)治理治什么？在哪治？怎么治？

今天我們來探討一下關于數(shù)據(jù)治理的靈魂三問：

? ? 1、數(shù)據(jù)治理治什么，治的是數(shù)據(jù)嗎？

? ? 2、數(shù)據(jù)治理在哪里治，中臺還是后臺？

? ? 3、數(shù)據(jù)治理到底怎么治？

? ? ? ?數(shù)據(jù)是指對客觀事件進行記錄并可以鑒別的符號，是對客觀事物的性質、狀態(tài)以及相互關系等進行記載的物理符號或這些物理符號的組合。其實在我看來，數(shù)據(jù)可以分為兩個部分，一是數(shù)字，二是文字。數(shù)字是沒有意義的抽象符號，數(shù)據(jù)是有意義的數(shù)字。文字表意，數(shù)字表量，當兩者結合起來，數(shù)據(jù)就產(chǎn)生了。

? ? ? ?在我們的生活和工作當中，數(shù)據(jù)無處不在。對企業(yè)來講，有很多數(shù)據(jù)是無關企業(yè)重大利益的數(shù)據(jù)，是沒有治理的必要的。數(shù)據(jù)治理的對象必須是重要的數(shù)據(jù)資源，是關乎企業(yè)重大商業(yè)利益的數(shù)據(jù)資源，這樣的數(shù)據(jù)資源可以稱其為“數(shù)據(jù)資產(chǎn)”。正如北大教授王漢生先生所說：“數(shù)據(jù)治理不是對“數(shù)據(jù)”的治理，而是對“數(shù)據(jù)資產(chǎn)”的治理，是對數(shù)據(jù)資產(chǎn)所有相關方利益的協(xié)調與規(guī)范。”

我們需要分開來理解這句話：

? ? ? ?①什么是數(shù)據(jù)資產(chǎn)？

? ? ? ?②數(shù)據(jù)資產(chǎn)的相關利益方是誰？

? ? ? ③協(xié)調與規(guī)范什么？

先說一說什么是數(shù)據(jù)資產(chǎn)。我們說不是所有數(shù)據(jù)都是數(shù)據(jù)資產(chǎn)，那到底什么才是數(shù)據(jù)資產(chǎn)呢？

? ? ? 《企業(yè)會計準則-基本準則》第20條規(guī)定：“資產(chǎn)是指企業(yè)過去的交易或者事項形成的、由企業(yè)擁有或者控制的、預期會給企業(yè)帶來經(jīng)濟利益的資源?！?如果照貓畫虎修改一下，不難獲得一個關于數(shù)據(jù)資產(chǎn)的定義：“數(shù)據(jù)資產(chǎn)是指企業(yè)過去的交易或者事項形成的，由企業(yè)擁有或者控制的，預期會給企業(yè)帶來經(jīng)濟利益的數(shù)據(jù)資源。”由此可見，數(shù)據(jù)要成為數(shù)據(jù)資產(chǎn)，至少要滿足3個核心必要條件：

? ? ? ?①數(shù)據(jù)資產(chǎn)應該是企業(yè)的交易或者事項形成的；

? ? ? ?②企業(yè)擁有或者控制；

? ? ? ③預期會給企業(yè)帶來經(jīng)濟利益。

數(shù)據(jù)資產(chǎn)的利益相關方是誰？

? ? ? 根據(jù)數(shù)據(jù)資產(chǎn)的定義，數(shù)據(jù)資產(chǎn)的利益相關方，包括：

? ? ? ①數(shù)據(jù)的生產(chǎn)者，即通過業(yè)務交易或事項產(chǎn)生數(shù)據(jù)的人或組織。

? ? ? ②數(shù)據(jù)的擁有或控制者，生產(chǎn)數(shù)據(jù)的人不一定是擁有數(shù)據(jù)，就像我們天天上網(wǎng)的各種數(shù)據(jù)都不歸我們自己所有，而是落在了各個互聯(lián)網(wǎng)公司的數(shù)據(jù)庫中。

? ? ?③數(shù)據(jù)價值和經(jīng)濟利益的收益者。數(shù)據(jù)治理就是對數(shù)據(jù)生產(chǎn)者、擁有或控制者，數(shù)據(jù)價值獲益者的規(guī)范和協(xié)調。

都什么是需要協(xié)調和規(guī)范？

? ? ? 首先是數(shù)據(jù)的標準化，定義統(tǒng)一的數(shù)據(jù)標準，“寫中國字、說普通話”讓數(shù)據(jù)資產(chǎn)的相關利益方在同一個“頻道”溝通。數(shù)據(jù)的標準化包含幾個層面：①數(shù)據(jù)模型標準化。②核心數(shù)據(jù)實體的標準化（主數(shù)據(jù)的標準化）。③關鍵指標的標準化。關于數(shù)據(jù)標準化這里不再展開，有需要深入了解的朋友請參考筆者之前寫的文章：《數(shù)據(jù)治理系列3：數(shù)據(jù)標準管理》。

? ? ? 其次是數(shù)據(jù)的確權。數(shù)據(jù)一旦成為資產(chǎn)，就一定有擁有方，或者實際控制人，可以把他們統(tǒng)稱產(chǎn)權人。與實物不同的是，實物的產(chǎn)權是比較明確的，數(shù)據(jù)則比較復雜。產(chǎn)品在生產(chǎn)制造過程中，并沒有與消費者交易之前，制造商擁有完全產(chǎn)權。產(chǎn)品生產(chǎn)出來后，消費者通過購買支付相應的貨幣，便擁有了產(chǎn)品的產(chǎn)權。而數(shù)據(jù)的生產(chǎn)過程就不一樣了，我們的各種上網(wǎng)行為每天都會產(chǎn)生大量的數(shù)據(jù)，例如：網(wǎng)上購物、瀏覽網(wǎng)頁、使用地圖、評論/評價……。這些數(shù)據(jù)到底歸誰所有？控制權該如何治理？這是擺在面前的一個難題！我們看到近幾年一些不良商家，利用我們的上網(wǎng)數(shù)據(jù)，導致安全隱私泄密的事件也層出不窮。希望隨著技術和商業(yè)的進步，盡快能夠找到解決方案！

? ? ? 第三是流程的優(yōu)化。數(shù)據(jù)治理的兩個目標：一個是提質量，一個是控安全?；ヂ?lián)網(wǎng)數(shù)據(jù)的確權目前已經(jīng)是一個世界級難題，做好企業(yè)業(yè)務流程的優(yōu)化可能會對隱私保護起到一定的作用。通過業(yè)務流程優(yōu)化，規(guī)范數(shù)據(jù)從產(chǎn)生、處理、使用到銷毀的整個生命周期，使得數(shù)據(jù)在各階段、各流程環(huán)節(jié)安全可控，合規(guī)使用。另外，通過一定的流程優(yōu)化，通過對相關流程進行監(jiān)管，按照數(shù)據(jù)的質量規(guī)則進行數(shù)據(jù)校驗，符合“垃圾進、垃圾出”的數(shù)據(jù)采集、處理、存儲原則，提升數(shù)據(jù)治理，賦能業(yè)務應用。

? ? ? ?關于數(shù)據(jù)中臺到底應該在中臺治理還是應該在后臺治理，這個話題在筆者所在的數(shù)據(jù)圈子中引起了激烈的討論。群里參與討論的都是業(yè)界的大咖，討論內容也十分精彩，我截了部分的截圖，先看看大咖們的觀點：

? ? ? ?數(shù)據(jù)治理到底應該放在中臺，還是后臺，我個人的理解是：小數(shù)據(jù)標準化治理靠人工、大數(shù)據(jù)預測性分析靠智能，將兩者結合起來：“人工+智能”形成了完整的數(shù)據(jù)治理技術體系。一個企業(yè)的數(shù)據(jù)治理既離不開小數(shù)據(jù)的標準化治理，也離不開大數(shù)據(jù)的預測性分析。

? ? ? ?這里的小數(shù)據(jù)，是在承載事物實體的數(shù)據(jù)，例如：人、財、物等，是企業(yè)所有業(yè)務開展的載體。其實說白了就是主數(shù)據(jù)管理。對于主數(shù)據(jù)的治理筆者認為是一個后臺行為，治理核心是“唯一數(shù)據(jù)源、統(tǒng)一數(shù)據(jù)標準”，而要達到這一目標是需要從數(shù)據(jù)的源頭抓起的，并且需要大量的人為干預，比如：數(shù)據(jù)標準的制定和落實，數(shù)據(jù)質量的清洗，數(shù)據(jù)的申請審批，數(shù)據(jù)的分發(fā)和共享等。從這里也能夠看出小數(shù)據(jù)的治理，追求的是標準化、精確化，應該是一個后臺行為。

而在大數(shù)據(jù)時代，得益于大數(shù)據(jù)技術的突破，大量的結構化、非結構化、異構化的數(shù)據(jù)能夠得到儲存、處理、計算和分析，這一方面提升了我們從海量數(shù)據(jù)中獲取知識和洞見的能力。對于大數(shù)據(jù)，傳統(tǒng)的一味追求精確的思維受到了挑戰(zhàn)。而對于大數(shù)據(jù)的治理，允許一定程度上的容錯，反而可以在宏觀層面擁有更好的知識和洞察力。對于大數(shù)據(jù)的治理更多的是采用AI技術，例如：知識圖譜、語音識別等，對大數(shù)據(jù)的采集、處理、使用過程加以控制，使其能夠合規(guī)使用。所以，大數(shù)據(jù)的治理放在中臺似乎更為合適。

? ? ? ? 數(shù)據(jù)到底怎么治，這確實是一個寬泛的話題，首先是要明確治理的內容。針對不同的治理內容采取不同的數(shù)據(jù)治理策略。關于小數(shù)據(jù)和大數(shù)據(jù)的治理側重點上文已經(jīng)說明。以下為筆者在數(shù)據(jù)治理領域總結的數(shù)據(jù)治理十大關鍵實踐：

1、成立組織，育人才

? ? ? ? 數(shù)據(jù)治理的根本目標的是提升數(shù)據(jù)質量，控制數(shù)據(jù)安全和合規(guī)使用。數(shù)據(jù)治理涉及范圍廣，參與人員多，需要一定的組織和制度的保障才可能獲得成功。首先，依據(jù)行業(yè)經(jīng)驗來看，不論是基于后臺的小數(shù)據(jù)治理，還是基于中臺的大數(shù)據(jù)治理，“一把手”工程是數(shù)據(jù)治理組織建設的最佳實踐。尤其是中臺數(shù)據(jù)治理更是上升至企業(yè)戰(zhàn)略層面，自下而上的治理幾乎不太可能成功。其次，數(shù)據(jù)治理組織的建立并是組建一個非臨時團隊，而是要能夠支撐企業(yè)數(shù)據(jù)化業(yè)務的一個完整體系，包括：組織體系、管理體系、執(zhí)行體系、技術體系等。第三，數(shù)據(jù)治理組織的人員選拔和人才培養(yǎng)，不同企業(yè)應有不同的策略。一般來說，建立數(shù)據(jù)治理組織從企業(yè)內部進行選拔相應的技術專家、業(yè)務專家更為合適，要比從外部招聘更能夠快速上手。不過，對于傳統(tǒng)企業(yè)，其內部更偏管理，數(shù)據(jù)治理團隊建設更多需要借助外部力量。

2、需求調研，摸家底

? ? ? ? 與數(shù)據(jù)項目一樣，詳細需求調研是開展數(shù)據(jù)治理工作的第一階段的重要工作。本階段主要是理解企業(yè)的戰(zhàn)略，并按照從上而下的策略進行開展企業(yè)數(shù)據(jù)管理的現(xiàn)狀調研，摸清楚企業(yè)數(shù)據(jù)資產(chǎn)的分布、數(shù)據(jù)的質量、數(shù)據(jù)的管理現(xiàn)狀、數(shù)據(jù)應用需求等情況。該階段的工作目標是確定數(shù)據(jù)治理項目的目標和范圍，評估數(shù)據(jù)治理成熟度，確定改進內容和方向并與客戶達成共識。

3、梳理數(shù)據(jù)，建標準

? ? ? ? 按照業(yè)務主題進行數(shù)據(jù)資產(chǎn)的梳理，并制定數(shù)據(jù)資產(chǎn)的標準。首先，定義數(shù)據(jù)資產(chǎn)元模型標準，包括：數(shù)據(jù)資產(chǎn)的數(shù)據(jù)含義、業(yè)務規(guī)則、質量規(guī)則、數(shù)據(jù)來源、存儲路徑、管理部門、管理人等，即數(shù)據(jù)資產(chǎn)的元數(shù)據(jù)標準，定義好數(shù)據(jù)模型是數(shù)據(jù)治理成功落地的重要前提；其次，重點對企業(yè)的核心數(shù)據(jù)資產(chǎn)——主數(shù)據(jù)進行標準化，包括：主數(shù)據(jù)標準化定義、參照字典的標準化、數(shù)據(jù)清洗、數(shù)據(jù)服務共享等；第三，對業(yè)務指標的屬性的標準化，指標的屬性分為“業(yè)務屬性”和“技術屬性”兩類，業(yè)務屬性包含業(yè)務人員通常認識的指標分類、名稱、計算公式、展現(xiàn)方式和查詢權限等；技術屬性包含技術運維人員所關心的系統(tǒng)來源、取數(shù)字段、取數(shù)頻率、加工規(guī)則等，其核心也是元數(shù)據(jù)管理。

4、優(yōu)化流程，定制度

? ? ? ? 對于企業(yè)而言，數(shù)據(jù)來源于很多方面，內部數(shù)據(jù)如財務、人力、供應鏈、生產(chǎn)、銷售等；外部數(shù)據(jù)如政治、經(jīng)濟、社會、科技、行業(yè)、市場、競爭對手等。雖然數(shù)據(jù)來源廣、數(shù)據(jù)量大是優(yōu)點，但如果不加以整理和關聯(lián)，雜亂無章的數(shù)據(jù)不僅不利于分析應用，還將帶來不必要的人財物的消耗。所以，非常有必要對數(shù)據(jù)產(chǎn)生、采集、處理、加工、使用等過程進行規(guī)范。通過統(tǒng)一數(shù)據(jù)標準，制定合理的數(shù)據(jù)管理流程和制度，規(guī)范數(shù)據(jù)生產(chǎn)供應的過程。

5、搭建平臺，接數(shù)據(jù)

? ? ? ? 數(shù)據(jù)治理平臺的搭建要根據(jù)不同的客戶需求搭建不同模塊，數(shù)據(jù)治理平臺主要涵蓋功能模塊有：元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)質量管理、數(shù)據(jù)標準管理、數(shù)據(jù)安全管理、數(shù)據(jù)模型工具、ETL工具等。數(shù)據(jù)接入是將各種來源、各種類型的數(shù)據(jù)，通過數(shù)據(jù)集成工具將這些零散的數(shù)據(jù)整合在一起，納入統(tǒng)一的大數(shù)據(jù)平平臺或數(shù)據(jù)倉庫中，這一過程需要符合數(shù)據(jù)治理平臺定義各種數(shù)據(jù)標準、質量規(guī)則、安全指標。所以，我們說數(shù)據(jù)治理項目不是為了治理數(shù)據(jù)而建設的，而是配合大數(shù)據(jù)平臺、數(shù)據(jù)倉庫、數(shù)據(jù)分析挖掘等項目，通過提升數(shù)據(jù)質量、控制數(shù)據(jù)安全，讓數(shù)據(jù)發(fā)揮出最大的效益。

6、建立指標，提質量

? ? ? ? 提升數(shù)據(jù)質量是企業(yè)數(shù)據(jù)治理的重要目標，也是企業(yè)進行數(shù)據(jù)分析挖掘、業(yè)務管理和決策的重要基礎，只有建立完整的數(shù)據(jù)質量體系，才能有效提升企業(yè)數(shù)據(jù)整體質量，從而更好的為業(yè)務服務。從技術面上講，定義完整全面的數(shù)據(jù)質量的評估維度，包括完整性、時效性等，并按照已定義的維度，在系統(tǒng)建設的各個階段都應該根據(jù)標準進行數(shù)據(jù)質量檢測和規(guī)范，及時進行治理，避免事后的清洗工作。

7、優(yōu)化模型，控安全

? ? ? ? 數(shù)據(jù)安全治理，始于數(shù)據(jù)資產(chǎn)梳理。通過對數(shù)據(jù)資產(chǎn)的梳理，可以確定敏感數(shù)據(jù)在系統(tǒng)內部的分布、確定敏感數(shù)據(jù)是如何被訪問的、確定當前的賬號和授權的狀況。根據(jù)企業(yè)的數(shù)據(jù)價值和特征，梳理出企業(yè)的核心數(shù)據(jù)資產(chǎn)，對其分級分類，通過數(shù)據(jù)治理工具進行建模，定義敏感數(shù)據(jù)位置、描述和處理方式，保證數(shù)據(jù)的合規(guī)合法使用。

8、開放服務，促應用

? ? ? ?數(shù)據(jù)的治理是為促進數(shù)據(jù)更好的應用，一切不以應用為目的數(shù)據(jù)治理都是耍流氓。通過數(shù)據(jù)資產(chǎn)目錄、微服務等技術將數(shù)據(jù)進行開發(fā)共享，促進數(shù)據(jù)在企業(yè)中的應用，使得數(shù)據(jù)作為企業(yè)的寶貴資產(chǎn)應用于業(yè)務、管理和戰(zhàn)略決策中，發(fā)揮數(shù)據(jù)資產(chǎn)價值。

9、賦能業(yè)務，抓創(chuàng)新

? ? ? ?數(shù)據(jù)賦能是在管理和業(yè)務應用中發(fā)揮數(shù)據(jù)更大的價值，以數(shù)據(jù)驅動業(yè)務的落地。數(shù)據(jù)賦能核心是，①匯聚數(shù)據(jù)：完善企業(yè)內部信息數(shù)據(jù)化，采集外部數(shù)據(jù)；②治理數(shù)據(jù)：整合數(shù)據(jù)，清洗、轉換、分析、服務；③應用數(shù)據(jù)：以數(shù)據(jù)為驅動將洞察結果應用到實際業(yè)務中去，推動企業(yè)業(yè)務和管理的創(chuàng)新。

10、持續(xù)優(yōu)化，再出發(fā)

? ? ? ?筆者認為企業(yè)的數(shù)據(jù)治理是一個螺旋上升模型，需要不斷的迭代和優(yōu)化。數(shù)據(jù)治理不能一蹴而就，需要建立起長效的持續(xù)運營機制，要將數(shù)據(jù)治理變成企業(yè)的一種機制、一種文化、一種習慣，而數(shù)據(jù)治理每一次迭代優(yōu)化都預示著企業(yè)數(shù)據(jù)戰(zhàn)略目標的再出發(fā)！